WO2000049812A1

WO2000049812A1 - Image signal processor, image signal processing method, learning device, learning method, and recorded medium

Info

Publication number: WO2000049812A1
Application number: PCT/JP2000/000950
Authority: WO
Inventors: Tetsujiro Kondo; Hideo Nakaya; Takashi Sawao
Original assignee: Sony Corporation
Priority date: 1999-02-19
Filing date: 2000-02-18
Publication date: 2000-08-24
Also published as: US8106957B2; EP1073279A4; US20070076104A1; CN1300504A; US7512267B2; KR100745386B1; EP1073279A1; US20050200723A1; CN1310521C; KR20010042845A; US7573508B1

Description

明細書画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体

技術分野本発明は画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体に関し、特に、 1つの固体イメージセンサにより得られる画像に対し、その画像信号の 1画素が赤（R ： Red) 成分、緑（G : Green) 成分及び青（ B ： Blue)成分をもつように、クラス分類適応処理を用いて色成分を補間する画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体に関する。

n景技術

C C D (Charge Coupled Device) イメージセンサなどの固体ィメージセンサを用いた撮像装置には、主に、 1つの C C Dイメージセンサを用いた単板方式のもの（以後、単板式カメラという）と、 3 つの C C Dイメージセンサを用いた 3板方式のもの（以後、 3板式カメラという）とがある。

3板式カメラでは、例えば R信号用、 G信号用及び B信号用の 3 つの C C Dィメージセンサを用いて、その 3つの C C Dイメージセンサにより 3原色信号を得る。そして、この 3原色信号から生成されるカラー画像信号が記録媒体に記録される。

単板式カメラでは、 1画素毎に割り当てられた色フィルタアレイからなる色コーディングフィルタが前面に設置された 1つの C C D イメージセンサを用いて、上記色コーディングフィルタにより色コ一ディングされた色成分の信号を 1画素毎に得る。上記色コーディングフィルタを構成する色フィルタアレイとしては、例えば、 R (R ed) ， G (Green) , B (Blue) の原色フィルタアレイや、 Y e (Yel l ow) , C y (Cyanogen) , M g (Magenta) のネ甬色フイノレタアレイ力用いられている。そして、単板式カメラにおいては、 C C Dイメージセンサにより 1画素毎に 1つの色成分の信号を得て、各画素が持つている色成分の信号以外の色信号を線形補間処理により生成して、 3板式カメラにより得られる画像に近い画像を得るようしていた。ビデオカメラなどにおいて、小型化、軽量化を図る場合に、単板式が採用されている。

単板式カメラにおいて、例えば図 1 Aに示すような色配列の色フィルタアレイにより構成された色コーディングフィルタが設けられた C C Dイメージセンサは、 R , G , Bの 3原色のうちの 1つの色のフィルタが配置された各画素から、そのフィルタの色に対応する画像信号のみが出力される。すなわち、 Rの色フィルタが配置された画素からは、 R成分の画像信号は出力されるが、 G成分及び B成分の画像信号は出力されない。同様に、 Gの画素からは、 G成分の画像信号のみが出力され、 R成分及び B成分の画像信号は出力されず、 Bの画素からは、 B成分の画像信号のみが出力され、 R成分及び G成分の画像信号は出力されない。

ここで、図 1 Aに示す色フィルタアレイの色配列は、べィヤー配列と称される。この場合においては、 Gの色フィルタが市松状に配され、残った部分に Rと Bがー列毎に交互に配されている。

しかしながら、後段において各画素の信号を処理する際、各画素毎に R成分， G成分及び B成分の画像信号が必要となる。そこで、従来、 n X m ( n及び inは正の整数）個の画素で構成される C C D イメージセンサの出力から、図 1 Bに示すように、 n X m個の R画素の画像信号、 n X m個の G画素の画像信号及び η Χ πα個の B画素の画像信号、すなわち、 3板式カメラの C C D出力相当の画像信号力それぞれ捕間演算により求められ、それらの画像信号が後段に出力される。

そして、さらに、例えば 4倍密度の画像信号を生成する場合、図 1 Cに示すように、 n X m個の R画素の画像信号から 2 n X 2 m個の R画素の画像信号が補間演算により求められ、 n X m個の G画素の画像信号から 2 n X 2 m個の G画素の画像信号が補間演算により求められ、さらに、 n X m個の B画素の画像信号から、 2 n X 2 m 個の Β画素の画像信号が補間演算により求められる。

しかしながら、上述した単板式カメラでは、線形処理を行うことにより色信号の補間を行っているので、画像の波形が鈍ってしまい、画像全体が不鮮明となってしまうので、輪郭強調処理等の処理を行つて、見掛けの解像度を上げる処理が必要であった。また、その撮像出力として得られる画像信号による画像の解像度が、 3板式カメラの撮像出力として得られる画像信号による画像と比較して低く、上記線形処理の影響により全体的にぼやけた画像となってしまうといった問題点があった。

また、単板式カメラの C C Dイメージセンサの出力から、同一解像度の 3原色の成分を各画素毎に生成し、その画像信号から、さらにより高密度の画像信号を演算することにより、画素密度を大きくしたとしても、十分な精細度を得ることができないという問題点がめった。

さらに、線形補間と異なる処理方法として、単板式カメラの C C D出力から、 R， G， Bの 3原色の各画像信号毎に独立にクラス分類適応処理を行うことよって 3板式カメラの C C D出力に相当する画像信号を生成することが提案されている（特願平 8— 5 0 8 6 2 3号）。しかしながら、 R , G , Bの各色信号毎に独立にクラス分類適応処理を行ったのでは、図 1 A、図 I Bからわかるように、ベィヤー配列の色フィルタアレイが用いられる場合、 m X n (m及び nは正の整数）個の画素のうち R画素と B画素に関しては 4画素に 1個の割合でしか存在しないにも拘わらず G ( 4画素に 2個の割合で存在する）と同様の処理がなされることになる。このため、 R成分の画像信号と B成分の画像信号に関しては精度の良い予測処理を行うことができない。

発明の開示そこで、本発明の目的は、色信号の予測処理をクラス分類適応処理を用いて行うことにより、単板式カメラにおいて、 3板式カメラの撮像出力として得られる画像信号に匹敵する画像信号を得られるようにした画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体を提供することにある。

また、本発明の他の目的は、確実に高精細度の画像信号を得ることができるようにした画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体を提供することにある。

さらに、本発明の他の目的は、より高精度に予測処理を行うことができ、解像度の高い画像信号を生成することができるようにした画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体を提供することにある。

本発明は、画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理装置において、上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出手段と、上記抽出手段で抽出された複数の画素に基づいて、クラスを決定するクラス決定手段と、上記クラス決定手段で決定されたクラスに基づいて、上記注目画素の位置に、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成手段とを備えることを特徴とする。

また、本発明は、画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理方法において、上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出ステップと、上記画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに基づいて、上記注目画素の位置に、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップを有すること特徴とする。また、本発明は、画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理を行うコンビユータ制御可能なプログラムが記録された記録媒体において、上記プログラムは、上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出ステップと、上記画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに基づいて、上記注目画素の位置に、少なくとも上記注目画素が持つ色成分となる色成分を持つ画素を生成する画素生成ステップを有することを特徴とする。

また、本発明に係る学習装置は、画素位置毎に一つの色成分を持つ生徒画像信号の注目画素の近傍の複数の画素を抽出する第 1の画素抽出手段と、上記第 1の画素抽出手段で抽出された複数の画素に基づいて、クラスを決定するクラス決定手段と、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第 2の画素抽出手段と、上記第 1及び第 2の画素抽出手段で抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成手段とを備えることを特徴とする。

また、本発明に係る学習方法は、画素位置毎に一つの色成分を持つ生徒画像信号の注目画素の近傍の複数の画素を抽出する第 1の画素抽出ステップと、上記第 1の画素抽出ステップで抽出された複数の素に基づいて、クラスを決定するクラス決定ステップと、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第 2の画素抽出ステツプと、上記第 1及び第 2の画素抽出ステップで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステツプとを有することを特徴とする。

また、本発明は、クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、上記プログラムは、画素位置毎に一つの色成分を持つ生徒画像信号の注目画素の近傍の複数の画素を抽出する第 1 の画素抽出ステップと、上記第 1の画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第 2の画素抽出ステツプと、上記第 1及び第 2の画素抽出ステップで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップとを有することを特徴とする。

本発明は、複数の色のうちのいずれか 1つを表す色成分を画素位置毎に持つ所定数のサンプル値によって、 1枚の画像が構成される入力画像信号を処理する画像信号処理装置において、上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出手段と、上記抽出手段で抽出された複数の画素に基づいて、クラスを決定するクラス決定手段と、上記クラス決定手段で決定されたクラスに基づいて、上記入力画像信号の各画素に処理を行うことによって、上記所定数のサンプル値より多いサンプル値を上記複数の色それぞれに関して有する出力画像信号を生成する出力画像生成手段とを備えることを特徴とする。

また、本発明は、複数の色のうちのいずれか 1つを表す色成分を画素位置毎に持つ所定数のサンプル値によって、 1枚の画像が構成される入力画像信号を処理する画像信号処理方法において、上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出ステップと、上記抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに基づいて、上記入力画像信号の各画素に処理を行うことによって、上記所定数のサンプル値より多いサンプル値を上記複数の色それぞれに関して有する出力画像信号を生成する出力画像生成ステップとを有することを特徴とする。また、本発明は、複数の色のうちのいずれか 1つを表す色成分を画素位置毎に持つ所定数のサンプル値によって、 1枚の画像が構成される入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、上記プロダラムは、上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出ステップと、上記抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに基づいて、上記入力画像信号の各画素に処理を行うことによって、上記所定数のサンプル値より多いサンプル値を上記複数の色それぞれに関して有する出力画像信号を生成する出力画像生成ステップとを有することを特徴とする。

また、本発明に係る学習装置は、複数の色のうちのいずれか 1つを表す色成分を画素位置毎に持つ所定数のサンプル値によって、 1 枚の画像が構成される生徒画像信号から、上記所定数のサンプル値より多いサンプル値を有する予測画像信号の注目画素の近傍の複数の画素を抽出する第 1の画素抽出手段と、上記第 1 の画素抽出手段で抽出された複数の画素に基づいて、クラスを決定するクラス決定手段と、上記予測画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記注目画素の位置に相当する位置の近傍の複数の画素を抽出する第 2の画素抽出手段と、上記第 1及び第 2の画素抽出手段で抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成手段とを備えることを特徴とする。

また、本発明に係る学習方法は、複数の色のうちのいずれか 1つを表す色成分を画素位置毎に持つ所定数のサンプル値によって、 1 枚の画像が構成される生徒画像信号から、上記所定数のサンプル値より多いサンプル値を有する予測画像信号の注目画素の近傍の複数の画素を抽出する第 1の画素抽出ステップと、上記第 1の画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記予測画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記注目画素の位置に相当する位置の近傍の複数の画素を抽出する第 2の画素抽出ステップと、上記第 1及び第 2の画素抽出ステツプで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップとを備えることを特徴とする。

また、本発明は、クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、上記プログラムは、複数の色のうちのいずれか 1つを表す色成分を画素位置毎に持つ所定数のサンプル値によって、 1枚の画像が構成される生徒画像信号から、上記所定数のサンプル値より多いサンプル値を有する予測画像信号の注目画素の近傍の複数の画素を抽出する第 1の画素抽出ステップと、上記第 1の画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記予測画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記注目画素の位置に相当する位置の近傍の複数の画素を抽出する第 2の画素抽出ステップと、上記第 1及び第 2の画素抽出ステップで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップとを備えることを特徴とする。

また、本発明は、画素位置毎に複数の色のうちのいずれか 1つを表す色成分を持つ入力画像信号を処理する画像信号処理装置において、上記入力画像信号の注目画素毎に、上記複数の色成分のうち最も高密度である色成分を有し、上記注目画素近傍に位置する複数の画素を抽出する抽出手段と、上記抽出手段で抽出された複数の画素に基づいて、クラスを決定するクラス決定手段と、上記クラス決定ステップで決定されたクラスに基づいて、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成手段とを備えることを特徴とする。

また、本発明は、画素位置毎に複数の色のうちのいずれか 1つを表す色成分を持つ入力画像信号を処理する画像信号処理方法において、上記入力画像信号の注目画素毎に、上記複数の色成分のうち最も高密度である色成分を有し、上記注目画素近傍に位置する複数の画素を抽出する抽出ステップと、上記抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに基づいて、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップとを備えることを特徴とする。

また、本発明は、画素位置毎に複数の色のうちのいずれか 1つを表す色成分を持つ入力画像信号を処理する画像信号処理を行ぅコンピュータ制御可能なプログラムが記録された記録媒体において、上記プログラムは、上記入力画像信号の注目画素毎に、上記複数の色成分のうち最も高密度である色成分を有し、上記注目画素近傍に位置する複数の画素を抽出する抽出ステップと、上記抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステツプと、上記クラス決定ステップで決定されたクラスに基づいて、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップとを有することを特徴とする。

また、本発明に係る学習装置は、画素位置毎に複数の色のうちのいずれか 1つを表す色成分を持つ生徒画像信号の注目画素近傍に位置し、複数の色成分のうち最も高密度である色成分を有する複数の画素を抽出する第 1の画素抽出芋段と、上記第 1の画素抽出手段で抽出された複数の画素に基づいて、クラスを決定するクラス決定手段と、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第 2の画素抽出手段と、上記第 1及び第 2の画素抽出手段で抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成手段とを備えることを特徴とする。

また、本発明に係る学習方法は、画素位置毎に複数の色のうちのいずれか 1つを表す色成分を持つ生徒画像信号の注目画素近傍に位置し、複数の色成分のうち最も高密度である色成分を有する複数の画素を抽出する第 1の画素抽出ステップと、上記第 1の画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第 2の画素抽出ステップと、上記第 1及び第 2の画素抽出手段で抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップとを備えることを特徴とする。

また、本発明は、クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、上記プログラムは、画素位置毎に複数の色のうちのいずれか 1つを表す色成分を持つ生徒画像信号の注目画素近傍に位置し、複数の色成分のうち最も高密度である色成分を有する複数の画素を抽出する第 1の画素抽出ステップと、上記第 1の画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第 2の画素抽出ステップと、上記第 1及び第 2の画素抽出手段で抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステッブとを備えることを特徴とする。また、本発明は、画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理装置において、上記入力画像信号の注目画素毎に対して、上記注目画素近傍の画素から、各色成分毎に複数の画素を抽出する抽出手段と、上記抽出手段で抽出された各色成分毎の複数の画素に基づいて各色成分毎の画素の特徴情報を生成する特徴情報生成部と、上記各色成分毎の特徴情報に基づいて 1つのクラスを決定するクラス決定部とを含むクラス決定手段と、上記クラス決定手段で決定されたクラスに基づいて、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成手段とを備えることを特徴とする。

また、本発明は、画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理方法において、上記入力画像信号の注目画素毎に対して、上記注目画素近傍の画素から、各色成分毎に複数の画素を抽出する抽出ステップと、上記抽出ステップで抽出された各色成分毎の複数の画素に基づいて、各色成分毎の画素の特徴情報を生成し、上記各色成分毎の特徴情報に基づいて、 1つのクラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに基づいて、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステツプとを備えることを特徴とする。

また、本発明は、画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理を行うコンビユータ制御可能なプログラムが記録された記録媒体において、上記プログラムは、上記入力画像信号の注目画素毎に対して、上記注目画素近傍の画素から、各色成分毎に複数の画素を抽出する抽出ステップと、上記抽出ステップで抽出された各色成分毎の複数の画素に基づいて、各色成分毎の画素の特徴情報を生成し、上記各色成分毎の特徴情報に基づいて、 1つのクラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに基づいて、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップとを備えることを特徴とする。

また、本発明に係る学習装置は、画素位置毎に一つの色成分を持つ生徒画像信号の注目画素の近傍の複数の画素を抽出する第 1の画素抽出手段と、上記第 1の画素抽出手段で抽出された各色成分毎の複数の画素に基づいて各色成分毎の画素の特徴情報を生成し、上記各色成分毎の画素の特徴情報に基づいて 1つのクラスを決定するクラス決定手段と、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第 2の画素抽出手段と、上記第 1及び第 2の画素抽出手段で抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成手段とを備えることを特徴とする。

また、本発明に係る学習方法は、画素位置毎に一つの色成分を持つ生徒画像信号の注目画素の近傍の複数の画素を抽出する第 1の画素抽出ステップと、上記第 1の画素抽出ステップで抽出された各色成分毎の複数の画素に基づいて各色成分毎の画素の特徴情報を生成し、上記各色成分毎の画素の特徴情報に基づいて 1つのクラスを決定するクラス決定ステップと、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第 2の画素抽出ステップと、上記第 1及び第 2の画素抽出ステップで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップとを有することを特徴とする。

さらに、本発明は、クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、上記プログラムは、画素位置毎に一つの色成分を持つ生徒画像信号の注目画素の近傍の複数の画素を抽出する第 1の画素抽出ステップと、上記第 1の画素抽出ステップで抽出された各色成分毎の複数の画素に基づいて各色成分毎の画素の特徴情報を生成し、上記各色成分毎の画素の特徴情報に基づいて 1つのクラスを決定するクラス決定ステップと、上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第 2の画素抽出ステップと、上記第 1及び第 2 の画素抽出ステップで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップとを有することを特徴とする。

図面の簡単な説明図 1 A、図 I B及び図 1 Cは、従来の線形補間による画像信号処理を模式的に示す図である。

図 2は、本発明を適用したデジタルスチルカメラの構成を示すブ口ック図である。図 3は、上記デジタルスチルカメラの動作を説明するためのフロ一チャートである。

図 4は、上記デジタルスチルカメラにおける画像信号処理部の構成を示すブロック図である。

図 5は、上記画像信号処理部により行われる画像信号処理を説明するためのフローチヤ一トである。

図 6は、クラス分類適応処理を用いた予測演算を行うための構成例を示す示すブロック図である。

図 7は、予測係数セットを決定するための構成例を示すブロック図である。

図 8は、予測タップの構造例を模式的に示す図である。

図 9 A、図 9 B、図 9 C及び図 9 Dは、上記画像信号処理部におけるクラス適応処理による画像信号処理の一例を模式的に示す図である。

図 1 0 A及び図 1 0 Bは、予測係数セットの一例を示す図である。図 1 1 A及び図 1 1 Bは、予測係数セットの一例を示す図である _c 図 1 2 A及び図 1 2 Bは、予測係数セットの一例を示す図である _c 図 1 3は、予測係数セットを学習により得る学習装置の構成例を示すブロック図である。

図 1 4は、上記学習装置の動作を説明するためのフローチヤ一トである。

図 1 5 A、図 1 5 B及び図 1 5 Cは、上記学習装置による学習処理の一例を模式的に示す図である。

図 1 6 A、図 1 6 B及び図 1 6 Cは、クラスタップを模式的に示す図である。図 1 7 A、図 1 7 B及び図 1 7 Cは、クラスタップを模式的に示す図である。

図 1 8 A、図 1 8 B及び図 1 8 Cは、クラスタップを模式的に示す図である。

図 1 9 A、図 1 9 B及び図 1 9 Cは、クラスタップを模式的に示す図である。

図 2 O A乃至図 2 O Nは、上記デジタルスチルカメラの C C Dィメ一ジセンサに用いることのできる色コーディングフィルタの色フィルタアレイの構成例を模式的に示す図である。

図 2 1 A、図 2 I B及び図 2 1 Cは、上記画像信号処理部による画像信号処理の他の例を模式的に示す図である。

図 2 2 A及び図 2 2 Bは、上記画像信号処理部におけるクラス適応処理による画像信号処理の他の例を模式的に示す図である。図 2 3は、クラスタップの例を模式的に示す図である。

図 2 4は、クラスタップの例を模式的に示す図である。

図 2 5は、クラスタップの例を模式的に示す図である。

図 2 6は、クラスタップの例を模式的に示す図である。

図 2 7は、予測タップの例を模式的に示す図である。

図 2 8は、予測タップの例を模式的に示す図である。

図 2 9は、予測タップの例を模式的に示す図である。

図 3 0は、予測タップの例を模式的に示す図である。

図 3 1は、予測画素の例を模式的に示す図である。

図 3 2は、図 3 1に示した予測画素に対応するクラスタップを模式的に示す図である。

図 3 3は、図 3 1に示した予測画素に対応する予測タップを模式的に示す図である。

図 3 4は、予測画素の例を模式的に示す図である。

図 3 5は、図 3 4に示した予測画素に対応するクラスタップを模式的に示す図である。

図 3 6は、図 3 4に示した予測画素に対応する予測タップを模式的に示す図である。

図 3 7は、予測画素の例を模式的に示す図である。

図 3 8 A及び図 3 8 Bは、図 3 7に示した予測画素に対応するクラスタップを模式的に示す図である。

図 3 9 A及び図 3 9 Bは、図 3 7に示した予測画素に対応する予測タップを模式的に示す図である。

図 4 0 A、図 4 O B及び図 4 0 Cは、タップ構造の一例を模式的に示す図である。

図 4 1 A、図 4 I B及び図 4 1 Cは、タップ構造の他の例を模式的に示す図である。

図 4 2は、コンピュータシステムの構成を示すプロック図である _c

発明を実施するための最良の形態以下、本発明を実施するための最良の形態について図面を参照しながら詳細に説明する。

本発明は、例えば図 2に示すような構成のデジタルスチルカメラ 1に適用される。このデジタルスチルカメラ 1は、 1画素毎に割り当てられた色フィルタからなる色コーディングフィルタ 4が前面に設置された 1つの C C Dィメ一ジセンサ 5を用いてカラー撮像を行う単板式カメラであって、被写体からの入射光が、レンズ 2により集光され、アイリス 3及び色コ一ディングフィルタ 4を介して C C Dイメージセンサ 5に入射されるようになつている。上記 C C Dィメージセンサ 5の撮像面上には、上記アイリス 3により所定レベルの光量とされた入射光により被写体像が結像される。なお、このデジタルスチルカメラ 1においては、色コーディングフィルタ 4と C C Dイメージセンサ 5は別体としたが、一体化した構造とすることができる。

上記 C C Dイメージセンサ 5は、タイミングジェネレータ 9からのタイミング信号により制御される電子シャッタに応じて所定時間にわたつて露光を行い、色コーディングフィルタ 4を透過した入射光の光量に応じた信号電荷（アナログ量）を画素毎に発生することにより、上記入射光により結像された被写体像を撮像して、その撮像出力として得られる画像信号を信号調整部 6に供給する。

信号調整部 6は、画像信号の信号レベルが一定となるようにゲインを調整する A G C (Automatic Gain Contorol) 回路と、 C C Dィメ一ジセンサ 5が発生する 1 Z f のノイズを除去する C D S (Corre iated Double Sampling)回路力らなる。

上記信号調整部 6から出力される画像信号は、 A ZD変換部 7によりアナログ信号からデジタル信号に変換されて、画像信号処理部 8に供給される。上記 A/ D変換部 7では、タイミングジエネレータ 9からのタイミング信号に応じて、例えば 1サンプル 1 0ビットのディジタル撮像信号を生成する。

このデジタルスチルカメラ 1において、タイミングジエネレータ 9は、 CCDイメージセンサ 5、信号調整部 6、 AZD変換部 7及びじ P U (Central Processing Unit) 1 0に各種タイミング信号を供給する。 C PU 1 0は、モータ 1 1を駆動することにより、アイリス 3を制御する。また、 C PU 10は、モータ 1 2を駆動することにより、レンズ 2などを移動させ、ズームやオートフォーカスなどの制御をする。さらに、 C PU 10は、必要に応じ、フラッシュ 1 3により閃光を発する制御を行うようにされている。

画像信号処理部 8は、 AZD変換部 7から供給された画像信号に対し、欠陥補正処理、ディジタルクランプ処理、ホワイトバランス調整処理、ガンマ補正処理、クラス分類適応処理を用いた予測処理等の処理を行う。

この画像信号処理部 8に接続されたメモリ 1 5は、例えば、 RA M (Random Access Memory)で構成され、画像信号処理部 8が画像処理を行う際に必要な信号を記憶する。画像信号処理部 8により処理された画像信号は、インタフェース 1 4を介してメモリ 1 6に記憶される。このメモリ 1 6に記憶された画像信号は、インタフェース 14を介してデジタルスチルカメラ 1に対して着脱可能な記録媒体 1 7に記録される。

なお、モータ 1 1は、 C PU 1 0からの制御情報に基づいてアイリス 3を駆動し、レンズ 2を介して入射される光の量を制御する。また、モータ 1 2は、 C PU 1 0からの制御情報に基づいてレンズ 2の C CDイメージセンサ 2に対するフォーカス状態を制御する。これにより、自動絞り制御動作や自動焦点制御動作が実現される。また、フラッシュ 1 3は、 C PU 1 0による制御の下で、被写体に対して所定の閃光を照射する。また、インターフェース 14は、画像信号処理部 8からの画像信号を必要に応じてメモリ 1 6に記憶し、所定のインターフェース処理を実行した後、記録媒体 1 7に供給し、記憶させる。記録媒体 1 7としては、デジタルスチルカメラ 1の本体に対して着脱可能な記録媒体、例えばフロッピーディスク、ハードディスク等のディスク記録媒体、メモリカード等のフラッシュメモリ等を用いることができる。

コントローラ 1 8は、 C PU 1 0の制御の下で、画像信号処理部 8及びィンターフェース 14に制御情報を供給してそれぞれを制御する。 C PU 1 0には、シャツタボタンやズームボタンなどの操作ボタンから構成される操作部 20からユーザによる操作情報が入力さる。 C PU 1 0は、入力された操作情報を基に、上述した各部を制御する。電源部 1 9は、バッテリ 1 9 Aと DC/DCコンバータ 1 9 Bなどを有する。 DCZDCコンバータ 1 9 Bは、バッテリ 1 9 Aからの電力を所定の値の直流電圧に変換し、装置内の各構成要素に供給する。充電可能なバッテリ 1 9 Aは、デジタルスチルカメラ 1の本体に着脱可能とされている。

次に、図 3のフローチャートを参照し、図 2に示したデジタルスチルカメラ 1の動作について説明する。このデジタルスチルカメラ 1は、ステップ S 1において、電源がオンされることにより、被写体の撮像を開始する。すなわち、 C PU 1 0は、モータ 1 1及びモータ 1 2を駆動し、焦点を合わせたりアイリス 3を調整することにより、レンズ 2を介して CCDイメージセンサ 5上に被写体像を結像させる。

ステップ S 2では、結像された像を C CDイメージセンサ 5により撮像した画像信号が、信号調整部 6において、信号レベルが一定となるようにゲイン調整され、さらにノイズが除去され、さらに、

AZ D変換部 7によりデジタル化される。

また、ステップ S 3では、上記 A Z D変換部 7によりデジタル化された画像信号に対して、画像信号処理部 8によりクラス分類適応処理を含む画像信号処理を行う。

ここで、被写体像は、 C C Dイメージセンサ 5の撮像出力として得られる画像信号を電子ビューファインダに表示するよりユーザが確認できるようになつている。なお、被写体像は、光学的ビューフアインダによりユーザが確認できるようにすることもできる。

そして、ユーザは、ビューファインダにより確認した被写体像の画像を記録媒体 1 7に記録したい場合、操作部 2 0のシャツタボタンを操作する。デジタルスチルカメラ 1の C P U 1 0は、ステップ S 4において、シャツタボタンが操作されたか否かを判断する。デジタルスチルカメラ 1は、シャッタボタンが操作されたと判断するまで、ステップ S 2〜S 3の処理を繰り返し、シャツタボタンが操作されたと判断すると、ステップ S 5に進む。

そして、ステップ S 5では、画像信号処理部 8による画像信号処理が施された画像信号をィンターフェース 1 4を介して記録媒体 1 7に記録する。

次に、図 4を参照して画像信号処理部 8について説明する。この画像信号処理部 8は、上記 A/ D変換部 7によりデジタル化された画像信号が供給される欠陥補正部 2 1を備える。 C C Dィメージセンサ 5の画素の中で、何らかの原因により入射光に反応しない画素や、入射光に依存せず、電荷が常に蓄えられている画素、換言すれば、欠陥がある画素を検出し、その検出結果に従って、それらの欠陥画素の影響が露呈しないように、画像信号を補正する処理を行う。

A/ D変換部 7では、負の値がカットされるのを防ぐため、一般に信号値を若干正の方向へシフトさせた状態で A/ D変換が行われている。クランプ部 2 2は、欠陥補正部 2 1により欠陥補正された画像信号に対し、上述したシフト量がなくなるようにクランプする。クランプ部 2 2によりクランプされた画像信号は、ホワイトバランス調整部 2 3に供給される。ホワイトバランス調整部 2 3は、クランプ部 2 2から供給された画像信号のゲインを捕正することにより、ホワイトバランスを調整する。このホワイトバランス調整部 2 3によりホワイトパランスが調整された画像信号は、ガンマ補正部 2 4に供給される。ガンマ補正部 2 4は、ホワイトバランス調整部 2 3によりホワイトバランスが調整された画像信号の信号レベルをガンマ曲線に従って補正する。このガンマ補正部 2 4によりガンマ補正された画像信号は、予測処理部 2 5に供給される。

予測処理部 2 5は、クラス分類適応処理を行うことによってガンマ補正部 2 4の出力を例えば 3板式カメラの C C D出力相当の画像信号に変換して、補正部 2 6に供給する。上記予測処理部 2 5は、ブロック化部 2 8、 A D R C (Adaptive Dynamic Range Coding) 処理部 2 9、クラス分類部 3 0、適応処理部 3 1、係数メモリ 3 2等からなる。

ブロック化部 2 8は、後述するクラスタップの画像信号を A D R C処理部 2 9に供給するとともに、予測タップの画像信号を適応処理部 3 1に供給する。 0 1¾ 処理部2 9は、入力されたクラスタップの画像信号に対して A D R C処理を行つて再量子化コードを生成し、この再量子化コードを特徴情報としてクラス分類部 3 0に供給する。クラス分類部 3 0は、 A D R C処理部 2 9から供給される特徴情報に基づいて、画像信号パターンの分類を行い、分類結果を示すクラス番号（クラスコード）を生成する。係数メモリ 3 2は、クラス分類部 3 0により分類されたクラス番号に対応する係数セットを適応処理部 3 1に供給する。適応処理部 3 1は、係数セットメモリ 3 2から供給された係数セットを用いて、ブロック化部 2 8から供給された予測タップの画像信号から予測画素値を求める処理を行う。

補正部 2 6は、上記予測処理部 2 5により処理された画像信号に対してエツジ強調等の画像を視覚的に良く見せるために必要ないわゆる画作りのための処理を行う。

そして、色空間変換部 2 7は、補正部 2 6によりエッジ強調などの処理が施された画像信号（R G B信号）をマトリクス変換して Y U V (輝度 Yと色差 U , Vとでなる信号）などの所定の信号フォーマットの画像信号に変換する。ただし、マトリクス変換処理を行わず、色空間変換部 2 7から R G B信号をそのまま出力させても良いこの発明の一実施形態では、例えばユーザの操作によって、 Y U V 信号、 R G B信号の何れを出力するかを切り換えることが可能とされている。色空間変換部 2 7により変換された画像信号は、上述のインタフエ一ス 1 4に供給される。

ここで、上記図 3に示したフ口一チヤ一トのステップ S 3において、画像信号処理部 8により行われる画像信号処理について、図 5 のフローチャートを参照して説明する。すなわち、画像信号処理部 8では、 AZD変換部 7によりデジタル化された画像信号に対する画像信号処理を開始すると、先ず、ステツプ S 1 1において、 C C Dイメージセンサ 5の欠陥の影響が出ないように、欠陥補正部 2 1により画像信号の欠陥補正を行う。そして、次のステップ S 1 2では、欠陥補正部 2 1により欠陥捕正された画像信号に対して、正の方向にシフトされていた量をもとに戻すクランプ処理をクランプ部 2 2により行う。

次のステップ S 1 3では、クランプ部 2 2によりクランプされた画像信号に対して、ホワイトバランス調整部 2 3によりホワイトバランスの調整を行い各色信号間のゲインを調整する。さらに、ステップ S 1 4では、ホワイトバランスが調整された画像信号に対して、ガンマ補正部 2 4によりガンマ曲線に従った補正を施す。

ステップ S 1 5では、クラス分類適応処理を用いた予測処理を行う。かかる処理は、ステップ S 1 5 1〜ステップ S 1 5 5までのステツプからなる。ステップ S 1 5 1では、ガンマ捕正部 2 4によりガンマ補正された画像信号に対してプロック化部 2 8によりプロック化、すなわち、クラスタップ及び予測タップの切り出しを行う。ここで、クラスタップは、複数種類の色信号に対応する画素を含む。ステップ S 1 5 2では、 A D R C処理部 2 9により A D R C処理を行う。

ステップ S 1 5 3では、クラス分類部 3 0において A D R C処理の結果に基づいてクラスを分類するクラス分類処理を行う。そして、分類されたクラスに対応するクラス番号を適応処理部 3 1に与える。ステップ S 1 5 4において、適応処理部 3 1は、クラス分類部 3 0より与えられたクラス番号に対応する予測係数セットを係数メモリ 32から読み出し、その予測係数セットを対応する予測タップの画像信号に乗算し、それらの総和をとることで、予測画素値を演算する。

ステップ S 1 5 5では、すべての領域に対して処理が行われたか否かを判定する。すべての領域に対して処理が行われたと判定される場合にはステップ S 16に移行し、それ以外の場合にはステップ S 1 5 1に移行し、次の領域に対する処理を行う。

ステップ S 1 6では、ステップ S 1 5によって得られた 3板式力メラの C CD出力相当の画像に対して、視覚的に良く見せるための補正処理（いわゆる画作り）を行う。ステップ S 1 7では、ステツプ S 1 6によって得られた画像に例えば RGB信号を YUV信号に変換するなどの色空間の変換処理を施す。これにより、例えば記録信号として好適な信号フォーマツトを有する出力画像が生成される。ここで、クラス分類適応処理について説明する。クラス分類適応処理を用いた予測演算を行うための一般的な構成例を図 6に示す。入力画像信号が領域切り出し部 1 0 1、 1 02に供給される。領域切り出し部 1 0 1は、入力画像信号から所定の画像領域（クラスタップと称される）を抽出し、クラスタップの信号を ADRC処理部 1 03に供給する。八01¾じ処理部1 03は、供給される信号に A DRC処理を施すことにより、再量子化コードを生成する。

なお、再量子化コードを生成する方法として、 ADRCを用いた力 ^s、例えば、 DC T (Discrete Cosine Transform) 、 V Q (べクトノレ量子ィ匕）、 D P CM (Differential Pulse Code Modulation) , B T C (Block Trancation Coding) 、非線形量子化などを用いても良い。 AD R Cは、本来、 VT R (Video Tape Recorder) 用の高能率符号化のために開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語調で効率的に表現できるという特徴を有する。このため、クラス分類のコードを発生するための、画像信号の時空間内でのパターンすなわち空間ァクティビティの検出に使用することができる。 01 じ処理部1 0 3では、以下の式（1 ) により、クラスタップとして切り出される領域内の最大値 MAXと最小値 M I Nとの間を指定されたビット数で均等に分割して再量子化する。

D R =MAX-M I N+ 1

Q= 〔 (L -M I N+ 0. 5 ) X 2 n /OR) ( 1 ) ここで、 D Rは領域内のダイナミックレンジである。また、 nはビット割当て数であり、例えば n = 2とすることができる。また、 Lは領域内画素の信号レベルであり、 Qが再量子化コードである。ただし、大かっこ（〔 · · ·〕）は小数点以下を切り捨てる処理を意味する。

これにより、 1画素当たり例えば 8ビットからなるクラスタップの画像信号が例えば 2ビットの再量子化コード値に変換される。このようにして生成される再量子化コード値により、クラスタップの信号におけるレベル分布のパターンがより少ない情報量によって表現される。例えば 7画素からなるクラスタップ構造を用いる場合、上述したような処理により、各画素に対応する 7個の再量子化コード q l〜q 7が生成される。クラスコード class は、次の式（2) のようなものである。 class= ∑ q > (2 ^p) ¹ (2) ここで、 nはクラスタップとして切り出される画素の数である。また、 pの値としては、例えば p= 2とすることができる。

クラスコード class は、時空間内での画像信号のレベル分布のパターンすなわち空間アクティビティを特徴情報として分類してなるクラスを表現している。クラスコード class は、予測係数メモリ 1 04に供給される。予測係数メモリ 1 04は、後述するようにして予め決定されたクラス毎の予測係数セットを記憶しており、供給される再量子化コードによって表現されるクラスの予測係数セットを出力する。一方、領域切り出し部 1 02は、入力画像から所定の画像領域（予測タップと称される）を抽出し、予測タップの画像信号を予測演算部 1 05に供給する。予測演算部 1 05は、領域切り出し部 1 0 2の出力と、予測係数メモリ 1 04から供給される予測係数セットとに基づいて以下の式（3) のような演算を行うことにより、出力画像信号 yを生成する。

y=W l X X l + W2 X 2 + · ■ · + w n X X π «3 ) ここで、 X , ， · · · , X n が各予測タップの画素値であり、 W 1 , · · · , Wn が各予測係数である。

また、予測係数セットを決定するための処理について図 7を参照して説明する。出力画像信号と同一の画像信号形式を有する HD (H igh Definition) 画像信号が H D— S D変換部 20 1 と画素抽出部 208に供給される。 HD— S D変換部 20 1は、間引き処理等を行うことにより、 HD画像信号を入力画像信号と同等の解像度（画素数）の画像信号（以下、 S D (Standard Definition) 画像信号という）に変換する。この SD画像信号が領域切り出し部 202、 2 03に供給される。領域切り出し部 202は、上記領域切り出し部 1 01 と同様に、 SD画像信号からクラスタップを切り出し、クラスタップの画像信号を ADRC処理部 204に供給する。

ADRC処理部 204は、図 6中の ADRC処理部 1 03と同様な ADRC処理を行い、供給される信号に基づく再量子化コードを生成する。再量子化コードは、クラスコード生成部 20 5に供給される。クラスコード生成部 20 5は、供給される再量子化コードに対応するクラスを示すクラスコ一ドを生成し、クラスコードを正規方程式加算部 206に供給する。一方、領域切り出し部 203は、図 6中の領域切り出し部 1 02と同様に、供給される S D画像信号から予測タップを切り出し、切り出した予測タップの画像信号を正規方程式加算部 206に供給する。

正規方程式加算部 206は、領域切り出し部 20 3から供給される画像信号と画素抽出部 208から供給される画像信号について、クラスコ一ド生成部 205から供給されるクラスコード毎に加算し、加算した各クラス毎の信号を予測係数決定部 207に供給する。予測係数決定部 20 7は、供給される各クラス毎の信号に基づいて各クラス毎に予測係数セットを決定する。

さらに、予測係数セットを決定するための演算について説明する _c 予測係数 W i は、図 7に示したような構成に対し、 HD画像信号として複数種類の画像信号を供給することにより、次のよう演算される。これらの画像信号の種類数を mと表記する場合、式（3) から- 以下の式（4) が設定される。

V k = W 1 X X k 1 + W 2 X X k 2 + · · ' + W n X X k n (4リ (k = 1， 2 , · · · , m)

一 m> nの場合には、 _Wl , · · · , wn は一意に決まらないので、誤差べクトル eの要素 e kを以下の式（5 ) で定義して、式（6) によって定義される誤差べクトル eの 2乗を最小とするように予測係数セットを定めるようにする。すなわち、いわゆる最小 2乗法によって予測係数セットを一意に定める。

e k = y k— { wi X x k l + w 2 X k 2 + · · · + w n X k _n }

( k = 1 , 2 , - - · m) (5)

e ² = ∑ e (6)

式（6 ) の e ² を最小とする予測係数セットを求めるための実際的な計算方法としては、 e ² を予測係数 _{W i} ( i = 1 , 2, · · · ) で偏微分し（式（7) ) 、 iの各値について偏微分値が 0となるように各予測係数 W i を決定すればよい。 d e d e

∑ 2 ( 7) d w d w i 式（7) から各予測係数 W i を決定する具体的な手順について説明する。式（8) , (9) のように Xii, Yi を定義すると、式 (7) は、式（ 1 0) の行列式の形に書くことができる。

X i i = -, X_P i ■ X_f ( 8) y y k (9)

式（ 1 0) が一般に正規方程式と呼ばれるものである。正規方程式加算部 205は、供給される信号に基づいて式（8) ，（9) に示すような演算を行うことにより、 X ， Yi ( i = 1 , 2， · · • , η) をそれぞれ計算する。予測係数決定部 20 7は、掃き出し法等の一般的な行列解法に従って正規方程式（ 1 0) を解くことにより、予測係数 W i ( i = 1 , 2, · · · ) を算出する。

ここでは、注目画素の特徴情報に対応した予測係数セットと予測タップを用いて、上述の式（3) における線形 1次結合モデルの演算を行うことにより、適応処理を行う。なお、適応処理に用いる注目画素の特徴情報に対応した予測係数セットは、学習により得るが、クラス対応の画素値を用いたり、非線形モデルの演算により適応処理を行うこともできる。

上述したようなクラス分類適応処理により、入力画像信号から、例えばノィズが除去された画像信号、走査線構造が変換されてなる画像信号等を出力画像信号として生成する種々の画像信号変換処理が実現される。

このデジタルスチルカメラ 1では、例えば、単板式カメラの CC Dィメージセンサによって生成される画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号から、入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出し、抽出された複数の画素に基づいてクラスを決定し、決定されたクラスに基づいて、上記注目画素の位置に、上記注目画素が持つ色成分と異なる色成分を持つ画素を生成するクラス分類適応処理を上記予測処理部 2

5で行うことによって、 3板式カメラの C C D出力相当の画像信号を得ることができる。

ここで、図 8に予測タップの構造の一例を示す。予測タップは、注目画素（処理対象となる画素）を中心とし、隣接する 3 X 3個の 9画素から構成されている。ブロック化部 2 8は、注目画素毎に予測タップを抽出することにより、予測タップに対応する注目画素を中心とする 9画素からなるブロックを複数個生成する。この注目画素は、 1フレームを構成するすべての画素が対象となる。

適応処理部 3 1により行われる適応処理により、注目画素の画素信号が R信号である場合、その R信号の画素の位置に、 R信号、 G 信号及び B信号が生成される。同様に、注目画素の画素信号が G信号又は B信号の場合も、 R信号、 G信号及び B信号が、それぞれ生成される。すなわち、 1フレーム分の画素信号の内、図 9 Aに示すように 8 X 6画素から構成される部分を考えた場合、この 8 X 6画素すベてを順次、注目画素として適応処理することにより、図 9 B , 図 9 C及び図 9 Dに示すように、 R信号のみから構成される 8 X 6 画素、 G信号のみから構成される 8 X 6画素及び B信号のみから構成される 8 X 6画素が、それぞれ得られる。換言すれば、 3板カメラの C C D出力相当の画像信号が得られる。

このように、本発明を適用したデジタルスチルカメラ 1においては、クラス分類適応処理を用いて、 3板式カメラの CCD出力相当の各色信号 R， G, Bを得ることことにより、エッジ部分や細部の鮮鋭度が増し、 S/N比の評価値も向上する。

この場合、例えば図 1 OAに示すような 3 X 3画素（Gn， B₁₂， • · · B 32, G₃₃) の中心画素（G₂₂) に R信号を生成するためには、 3 X 3画素（GH, B 12, · · · B ₃₂， G₃₃) に対応して図 1 0 Bに示すような予測係数セット（_Wl 〜w₉ ) が用いられる。図 1 OA及び図 1 0 Bは、注目画素（G₂₂) が G信号であり、この G 信号の注目画素（G₂₂) に隣接する上下方向に B信号の画素（B₁₂, B ₃₂) 、左右方向に R信号の画素（R₂₁, R₂₂) 、斜め方向に G信号の画素（Gu， da, G₃₁, G 33 ) が位置している場合で、この注目画素（G₂₂) である G信号の位置に R信号を生成する場合に用いる予測係数セット（w，〜w₉ ) の一例を示している。

また、図 1 1 Aに示すような 3 X 3画素（Gn, R₁₂， · · - R ₃₂, G₃₃) の中心画素（G₂₂) に R信号を生成するためには、 3 X 3画素（Gu， Ri2, · · · R₃₂， G 33 ) に対応して図 1 1 Bに示すような予測係数セット（W i 〜w₉ ) が用いられる。図 1 1 A及び図 1 1 Bは、注目画素（G₂₂) が G信号であり、この注目画素

(G₂₂) の G信号の位置に R信号を生成する場合であるが、注目画素（G₂₂) である G信号に隣接する上下方向には R信号の画素（R 1₂, R ₃₂) 力左右方向には B信号の画素（B₂₁， B₂₂) 力それぞれ位置している場合で、この注目画素（G₂₂) である G信号の位置に R信号を生成する場合の予測係数セット（_Wl 〜w₉ ) の一例を示している。

さらに、図 1 2 Aに示すような 3 X 3画素（Rn, G₁₂, · · · G₃₂， R 33) の中心画素（B₂₂) に R信号を生成するためには、 3 X 3画素（Rn, G12, · · · G₃₂， R 33 ) に対応して図 1 2 Bに示すような予測係数セット（w: 〜w₉ ) が用いられる。図 1 2A 及び図 1 2 Bは、注目画素（B₂₂) が B信号であり、この注目画素

(B ₂₂) の上下左右方向に G信号の画素（G₁₂， G21, G₂₃， Ga 2) 、斜め方向に R信号の画素（Rn, R₁₃, R 31 , R33) が位置している場合で、この注目画素（B₂₂) である B信号の位置に R信号を生成する場合の予測係数セット（〜w₉ ) を示している。上記予測係数セットは、予め学習により得られるもので、上記係数メモリ 32に記憶されている。

ここで、この学習について説明する。図 1 3は、予測係数セットを学習により得る学習装置 40の構成を示すプロック図である。この学習装置 40では、クラス分類適応処理の結果として生成されるべき出力画像信号、すなわち 3板式カメラの C CD出力相当の画像信号と同一の信号形式を有する画像信号が教師画像信号として間引き部 4 1及び教師画像プロック化部 4 5に供給される。間引き部 4 1は、教師画像信号から、色フィルタアレイの各色の配置に従つて画素を間引く。間引き処理は、 CCDイメージセンサ 5に対して着される光学ローパスフィルタを想定したフィルタをかけることによって行う。すなわち、実際の光学系を想定した間引き処理を行う。間引き部 4 1の出力が生徒画像信号として生徒画像プロック化部 42に供給される。

生徒画像ブロック化部 4 2は、間引き部 4 1により生成された生徒信号から、プロック毎に教師画像信号の予測画素との対応を取りながら、注目画素に基づくクラスタップ及び予測タップを抽出するこ一とにより、生徒画像信号をプロック化して A D R C処理部 4 3と演算部 4 6に供給する。 0 〇処理部4 3は、生徒画像ブロック化部 4 2から供給された生徒画像信号に A D R C処理を施し特徴情報を生成し、クラス分類部 4 4に供給する。クラス分類部 4 4は、入力された特徴情報からクラスコードを発生し、演算部 4 6に出力する。

ここでは、教師画像信号は、 3板式カメラの C C D出力相当の解像度をもつ画像信号であり、生徒画像信号は、単板式カメラの C C D出力相当の解像度をもつ画像信号、換言すれば、 3板式カメラより解像度の低い画像信号である。さらに換言するに、教師画像信号は、 1画素が R成分， G成分及び B成分すなわち 3原色成分をもつ画像信号であり、生徒画像信号は、 1画素が R成分， G成分又は B 成分のうちの 1つの色成分のみをもつ画像信号である。

—方、教師画像ブロック化部 4 5は、生徒画像信号におけるクラスタップとの対応を取りながら、教師画像信号から予測画素の画像信号を切り出し、切り出した予測画像信号を演算部 4 6に供給する。演算部 4 6は、生徒画像ブロック化部 4 2から供給される予測タツプの画像信号と、教師画像プロック化部 4 5より供給される予測画画像信号との対応を取りながら、クラス分類部 4 4より供給されるクラス番号に従って、予測係数セットを解とする方程式である正規方程式のデータを生成する演算を行う。上記演算部 4 6によって生成される正規方程式のデータが学習データメモリ 4 7に逐次読み込まれ、記憶される。

演算部 4 8は、学習データメモリ 4 7に蓄積された正規方程式のデータを用いて正規方程式を解く処理を実行する。これにより、クラ^毎の予測係数セットが算出される。算出された予測係数セットは、クラスに対応させて係数メモリ 4 9に記憶される。係数メモリ 4 9の記憶内容は、上述の係数メモリ 3 2にロードされ、クラス分類適応処理を行う際に使用される。

次に、図 1 4のフローチャートを参照して、学習装置 4 0の動作について説明する。

この学習装置 4 0に入力されるデジタル画像信号は、 3板式カメラで撮像された画像に相当する画質が得られる画像信号である。なお、 3板式カメラで得られる画像信号（教師画像信号）は、 1画素の画像信号として R , G , Bの 3原色信号を含んでいるのに対し、単板式カメラで得られる画像信号（生徒画像信号）は、 1画素の画像信号として R , G , Bの 3原色信号の内の 1つの色信号のみを含んでいる。例えば図 1 5 Aに示すように 3板式カメラで撮像された H D画像信号をフィルタリングして図 1 5 Bに示すように 1 4サィズの S D画像信号に変換した教師画像信号が、この学習装匱 4 0 に入力される。

ステップ S 3 1では、教師画像ブロック化部 4 5において、入力された教師画像信号をプロック化し、入力された教師画像信号から生徒画像プロック化部 4 2が注目画素として設定する画素に対応する位置に位置する予測画素の画素値を抽出して、演算部 4 6に出力する。

また、ステップ S 3 2では、 3板式カメラで撮像された画像に相当する画質が得られる教師画像信号に対して間引き部 4 1により単板カメラの C C Dイメージセンサ 5に用いられる色コーディングフィルタ 4に相当するフィルタをかける間引き処理を実行することで、図一 1 5 Cに示すように単板式カメラの CCDイメージセンサ 5が出力する画像信号に対応する生徒画像信号を教師画像信号から生成し、生成した生徒画像信号を生徒画像プロック化部 42に出力する。ステップ S 33では、生徒画像ブロック化部 42において、入力された生徒画像信号のブロック化を行い、各ブロック毎に、注目画素に基づいて、クラスタップと予測タップを生成する。

ステップ S 34では、 ADR C処理部 4 3において、生徒画像信号から切り出されたクラスタップの信号を各色信号毎に ADR C処理する。

ステップ S 35では、クラス分類部 44において、ステップ S 3 3における ADR C処理の結果に基づいてクラス分類し、分類されるクラスに対応するクラス番号を示す信号を出力する。

ステップ S 36では、演算部 46において、クラス分類部 44より供給されたクラス毎に、生徒画像プロック化部 42より供給された予測タップと、教師画像ブロック化部 4 5より供給される予測画像に基づいて、上述の式（ 10) の正規方程式を生成する処理を実行する。正規方程式は、学習データメモリ 4 7に記憶される。

ステップ S 37では、演算部 46によりすべてのブロックについての処理が終了したか否かを判定する。まだ処理していないプロックが存在する場合には、ステップ S 36に戻り、それ以降の処理を繰り返し実行する。そして、ステップ S 3 7において、すべてのブ口ックについての処理が終了したと判定された場合、ステップ S 3 8に進む。

ステップ S 38では、演算部 48において、学習データメモリ 4 7に記憶された正規方程式を例えば掃き出し法（Gauss-Jordan の消 ¾¾) ゃコレスキー分解法を用いて解く処理を実行することにより、予測係数セットを算出する。このようにして算出された予測係数セットはクラス分類部 4 4により出力されたクラスコードと関連付けられ、係数メモリ 4 9に記憶される。

ステップ S 3 9において、演算部 4 8においてすべてのクラスについての正規方程式を解く処理を実行したか否かを判定し、まだ実行していないクラスが残っている場合には、ステップ S 3 8に戻り、それ以降の処理を繰り返し実行する。

ステップ S 3 9において、すべてのクラスについての正規方程式を解く処理が完了したと判定された場合、処理は終了される。

このようにしてクラスコードと関連付けられて係数メモリ 4 9に記憶された予測係数セットは、図 4に示した画像信号処理部 8の係数メモリ 3 2に記憶されることになる。そして、画像信号処理部 8 の適応処理部 3 1は、上述したように、係数メモリ 3 2に記憶されている予測係数セットを用いて、式（3 ) に示した線形 1次結合モデルにより、注目画素に対して適応処理を行う。

図 1 6 A乃至図 1 6 C、図 1 7 A乃至図 1 7 C、図 1 8 A乃至図 1 8 C及び図 1 9 A乃至図 1 9 Cは、ベィャ一配列の色フィルタァレイにより色コーディングされた画像信号に対し、注目画素（図中、斜線を付けた面素）の位置に、 R信号、 G信号又は B信号を生成する場合、及び、そのための予測係数セットを算出する際に、クラスを決定するの用いられるにクラスタップの一例の構造を示す。

図 1 6 A乃至図 1 6 Cに示すクラスタップ 1は、左右方向に R信号の画素が隣接する G信号の画素を注目画素とした場合を示している。 Jll 1 6 Aに示したクラスタップ 1は、注目画素の G信号の位置に R信号を生成する際に用いられる予測係数セットを算出する際に用いられ、 G信号の注目画素に隣接する左右方向に位置する R信号の画素と、それらの R信号の画素より 1画素離れた上方向、下方向、及び右方向又は左方向に位置する R信号の画素、合計 8画素から構成される。

図 1 6 Bに示したクラスタップ 1は、注目画素の G信号の位置に G信号を生成する際に用いられる予測係数セットを算出する際に用いられ、 G信号の注目画素に隣接する斜め方向に位置する G信号の画素と、 G信号の注目画素より 1画素離れた上方向又は下方向、及び右方向又は左方向に位置する G信号の画素の、合計 9画素（注目画素を含む）から構成されている。

図 1 6 Cに示したクラスタップ 1は、注目画素の G信号の位置に B信号を生成する際に用いられる予測係数セットを算出する際に用いられ、 G信号の注目画素に隣接する上下方向に位置する B信号の画素と、それらの B信号の画素より 1画素離れた上方向又は下方向、及び右方向又は左方向に位置する B信号の画素の、合計 8画素から構成されている。

図 1 7 A乃至図 1 7 Cに示すクラスタップ 2は、左右方向に B信号の画素が隣接する G信号の画素を注目画素とした場合を示している。

図 1 7 Aに示したクラスタップ 2は、注目画素の G信号の位置に R信号を生成する際に用いられる予測係数セットを算出する際に用いられ、 G信号の注目画素に隣接する上下方向に位置する R信号の画素と、それらの R信号の画素より 1画素離れた上方向、下方向、及 _ 右方向又は左方向に位置する R信号の画素、合計 8画素から構成される。

図 1 7 Bに示したクラスタップ 2は、注目画素の G信号の位置に G信号を生成する際に用いられる予測係数セットを算出する際に用いられ、 G信号の注目画素に隣接する斜め方向に位置する G信号の画素と、 G信号の注目画素より 1画素離れた上方向又は下方向、及び右方向又は左方向に位置する G信号の画素の、合計 9画素（注目画素を含む）から構成されている。

図 1 7 Cに示したクラスタップ 2は、注目画素の G信号の位置に B信号を生成する際に用いられる予測係数セットを算出する際に用いられ、 G信号の注目画素に隣接する左右方向に位置する B信号の画素と、それらの B信号の画素より 1画素離れた上方向又は下方向、及び右方向又は左方向に位置する B信号の画素の、合計 8画素から構成されている。

図 1 8 A乃至図 1 8 Cに示すクラスタップ 3は、左右方向に G信号の画素が瞵接する B信号の画素を注目画素とした場合を示している。

図 1 8 Aに示したクラスタップ 3は、注目画素の B信号の位置に R信号を生成する際に用いられる予測係数セットを算出する際に用いられ、 B信号に隣接する斜め方向に位置する R信号の画素と、それらの R信号の画素より 1画素離れた上方向、下方向、右方向、あるいは、左方向に位置する R信号の画素の、合計 8画素から構成されている。

図 1 8 Bに示したクラスタップ 3は、注目画素の B信号の位置に G信号を生成する際に用いられる予測係数セットを算出する際に用いられ、 B信号の注目画素に隣接する上下左右方向に位置する G信号の画素と、それらの G信号の画素の斜め上方向、あるいは斜め下方向に位置する G信号の画素の、合計 8画素から構成されている。図 1 8 Cに示したクラスタップ 3は、注目画素の B信号の位置に B信号を生成する際に用いられる予測係数セットを算出する際に用いられ、 B信号の注目画素より 1画素離れて上下方向、右左方向及び斜め方向に位置する R信号の画素の、合計 9画素（注目画素を含む）から構成されている。

図 1 9 A乃至図 1 9 Cに示すクラスタップ 4は、左右方向に G信号の画素が隣接する R信号の画素を注目画素とした場合を示している。

図 1 9 Aに示したクラスタップ 4は、注目画素の R信号の位置に R信号を生成する際に用いられる予測係数セットを算出する際に用いられ、 R信号の注目画素より 1画素離れて上下方向、右左方向及び斜め方向に位置する R信号の画素の、合計 9画素（注目画素を含む）から構成されている。

図 1 9 Bに示したクラスタップ 4は、注目画素の R信号の位置に G信号を生成する際に用いられる予測係数セットを算出する際に用いられ、 R信号の注目画素に隣接する上下左右方向に位置する G信号の画素と、それらの G信号の画素の斜め上方向、あるいは斜め下方向に位置する G信号の画素の、合計 8画素から構成されている。図 1 9 Cに示したクラスタップ 4は、注目画素の R信号の位置に B信号を生成する際に用いられる予測係数セットを算出する際に用いられ、 R信号に隣接する斜め方向に位置する B信号の画素と、それらの R信号の画素より 1画素離れた上方向、下方向、右方向、あ 6_いは、左方向に位置する R信号の画素の、合計 8画素から構成されている。

このデジタルスチルカメラ 1では、ブロック化部 2 8において、注目画素の画像信号の色の種類と、その注目画素の位置に生成する画像信号の色の種類により、上述したクラスタップ 1乃至 4を使い分けて抽出された複数の画素に基づいてクラスタップを抽出し、抽出されたクラスタップに対して A D R C処理部 2 9で A D R C処理を施すことにより特徴情報を生成する。そして、適応処理部 3 1において、 A D R C処理により生成された特徴情報をクラス分類部 3 0で分類することにより得られるクラス番号（クラスコード）に対応する係数セットを係数メモリ 3 2から読み出して、式（3 ) に示した線形 1次結合モデルにより、注目画素に対して適応処理を行うことによって、上記注目画素の位置に、すべての色成分と異なる色成分を持つ画素を生成することができる。

このように、入力画像信号の注目画素に基づいて、クラスタップと予測タップを抽出し、抽出されたクラスタップからクラスコードを生成し、その生成されたクラスコードに対応する予測係数セットと予測タップを用いて、注目画素の位置に R G B全ての色信号を生成するようにしたので、解像度の高い画像信号を得ることが可能となる。

また、入力された教師画像信号から生徒画像信号を生成し、その生徒画像信号の注目画素に基づいて、クラスタップを抽出し、生徒画像信号の注目画素に対応する位置に位置する教師画像信号の画素値を抽出し、抽出されたクラスタタップからクラスコードを生成し、抽出されたクラスタップと画素値を用いて、生徒画像の注目画素の位—^に新たに色信号を生成するための演算に用いる予測係数セットを算出し、算出された予測係数セットとクラスコードを関連付けて記憶するようにしたので、解像度の高い画像を得るための処理を行う画像信号処理装置が用いる予測係数セットを算出することができる。

なお、上述した説明においては、画像信号処理部 8が適応処理に用いる予測タップと、学習装置 4 0が予測係数セットを算出する際に用いるクラスタップは、異なる構造としたが、同一の構造としても良い。また、予測タップとクラスタップは、上述した構造に限定されるものではない。

さらに、上述した説明では、色コーディングフィルタ 4として、べィヤー配列のものを用いた場合を説明したが、他の色コ一ディングフィルタを用いた場合においても、本発明を適応する事は可能である。

ここで、このデジタルスチルカメラ 1の C C Dイメージセンサ 5 に用いることのできる色コ一ディングフィルタ 4を構成する色フィルタアレイの構成例を図 2 0 A乃至図 2 0 Nに示す。

図 2 0 A〜図 2 0 Gは、原色（R , G , B ) 成分を通過させる原色フィルタァレイで構成された色コーディングフィルタ 4における緑（G ) ·赤（R ) ·青（B ) の色配列の例を示している。

図 2 0 Aはべィヤー配列を示し、図 2 0 Bはィンタライン配列を示し、図 2 0 Cは Gストライプ R B市松配列を示し、図 2 0 Dは G ストライプ R B完全市松配列を示し、図 2 O Eはストライプ配列を示し、図 2 0 Fは斜めストライプ配列を示し、図 2 0 Gは原色色差配列を示す。き†こ、図 2 OH〜図 2 ONは、補色（M, Y， C， W, G) 成分を通過させる補色フィルタアレイで構成された色コーディングフィルタ 4におけるマゼンタ（M) '黄（Y) 'シアン（C) ' 白

(W) の色配列を示す。図 20 Hはフィールド色差順次配列を示し、図 20 Iがフレーム色差順次配列を示し、図 20 Jは MOS型配列を示し、図 20 Kは改良 MO S型配列を示し、図 20 Lはフレームインタ一リーブ配列を示し、図 2 OMはフィールドィンターリーブ配列を示し、図 2 ONはストライプ配列を示す。

なお、補色（M, Y, C, W, G) 成分は、

Y = G + R

M= R + B

C = G + B

W=R+G+B

にて与えられる。また、図 20 I に示すフレーム色差順対応の色コーデイングフィルタ 4を通過する各色（YM， YG, CM, C G) 成分は、

YM= Y + M= 2 R + G + B,

CG = C + G= 2 G + B,

YG = Y+G = R+ 2 G

CM=C+M=R+G+ 2 R

にて与えられる。

このようにして適応処理により単板式カメラの C CD出力相当の画像信号から得られる 3板式カメラの CCD出力相当の画像信号は, 従来の線形補間処理による場合と比較して、鮮明な画像となるので, さらに補間処理を施して、例えば 4倍密度の画像を生成するようにしても、画像の鮮明度を高く保つことができる。すなわち、例えば、図 2 1 Aに示すように、 n Xm (n及び mは正の整数）個の画素で構成される C CDイメージセンサの出力画像信号から、図 2 1 B

(B 1 ) に示すように、 n Xm個の R画素の画像信号、 n Xm個の G画素の画像信号及び n Xm個の Bの画像信号、すなわち、 3板式カメラの C CD出力相当の画像信号を適応処理により求め、さらに、 n Xm個の R画素の画像信号から 2 n X 2m個の Rの画像信号を予測演算により求め、 11 Xm個の G画素の画像信号から 2 n X 2 m個の G画素の画像信号を予測演算により求め、 n Xm個の B画素の画像信号から、 2 n X 2m個の B画素の画像信号が予測演算により求めることにより、鮮明な 4倍密度の画像を生成することができる。ここで、このデジタルスチルカメラ 1における画像信号処理部 8 では、 CCDイメージセンサ 5の出力から、より高密度（この例の場合、 4倍密度）の画像信号を適応処理により直接生成することもできる。

例えば、図 22 に示す11 111 (n及び mは正の整数）個の画素で構成される CCDイメージセンサの出力画像信号から、図 2 2 B に示す 2 n X 2 m個の R画素の画像信号、 2 n X 2 m個の G画素の画像信号及び 2 n X 2 m個の B画素の画像信号を、それぞれ直接生成する適応処理を行う。

この場合、画像信号処理部 8では、ブロック化部 28により入力画像信号を p X q (P及び qは正の整数）個のブロックに分割し、 ADR C処理部 2 9において、各ブロック毎に次のようなクラスタップを抽出し、そのクラスタップに ADR C処理を施す。

図 2 3乃至図 2 6は、クラスタップの例を表している。この例においては、 C CDィメージセンサ 5の色フィルタアレイがべィヤー配列のものである場合の例を示している。図 23は、 1個の R画素の周囲に 4倍の密度の RG B全ての画素を生成する場合のクラスタップの例を表している。図中、生成する画素は X印で表されており、クラスタップは太い枠で示されている。

図 24と図 25は、 1個の Gの画素の周囲に 4倍密度の RGB全ての画素を生成する場合のクラスタップを表しており、図 24は、 R画素が存在する行の G画素の周囲に画素を生成する場合のクラスタップの例を表し、図 25は、 B画素が存在する行の G画素の周囲に 4倍密度の RG B全ての画素を生成する場合のクラスタップの例を表している。

図 26は、 1個の B画素の周囲に 4倍密度の RGB全ての画素を生成する場合のクラスタップの例を表している。

0尺0処理部29は、例えば、 R画素の周囲の 4画素の R, G, Bの各色成分の画像信号を生成する場合、図 2 3の太枠で示す 26 個の画素のうちの対応する色の画素をクラスタップとして抽出し、それぞれの R， G， Bの成分の信号値を ADRC処理する。

クラス分類部 3 0は、ステップ S 1 7において、 ADRC処理部 3 1より入力された信号から、クラス分類処理を行う。すなわち、例えば図 23に示すような 26個の画素のうち抽出された色の画素に対して ADRC処理して得られた信号値に対応するクラスを決定し、そのクラス番号を適応処理部 3 1に供給する。適応処理部 3 1 は、ステップ S 1 8において、クラス分類部 30より供給されたクラス番号に対応する予測係数セットを係数メモリ 3 2から読み出し、その予測係数セットを対応する予測タップに乗算し、その和を求める一ことで、 4倍密度の画素の画像信号を生成する。

図 2 7乃至図 3 0は、予測タップの例を表している。図 2 7は、 1個の R画素の周囲に 4倍密度の 4個の画素を生成する場合の予測タップの例を表している。図 2 8と図 2 9は、 1個の G画素の周囲に 4倍密度の 4個の画素を生成する場合の予測タップの例を表し、図 2 8は、 R画素が存在する行の G画素の周囲に 4倍密度の画素を生成する場合の予測タップを表しており、図 2 9は、 B画素が存在する行の G画素の周囲に 4倍密度の画素を生成する場合の予測タップの例を表している。

図 3 0は、 1個の B画素の周囲に 4倍密度の 4個の画素を生成する場合の予測タップの例を表している。

図 2 7乃至図 3 0を参照して明らかなように、この例では、 4倍密度の 4個の画素に対応する注目画素の周囲の 5 X 5個の画素が予測タップとされる。

適応処理部 3 1は、例えば図 2 7に示す 1個の Rの画素の左上の 4倍密度の画素を予測する場合、クラス分類部 3 0より供給されたクラス番号の係数セットのうち、左上の画素を予測する場合の予測係数セットを対応する予測タップに乗算し、その和を求める。同様の処理が、右上、左下、右下の各予測画素を生成する場合にも行われる。

このようなクラス分類適応処理により、 η Χ πα個の画素で構成される 1枚の画像信号（各画素は 1つの色の信号のみを有している）から、 2 η X 2 m個の R画素の画像信号、 2 0 2 111個の0画素の画像信号、及び 2 n X 2 m個の B画素の画像信号が直接生成することによって、一旦、 n X m個の Rの画像信号、 n X m個の G画素の画」象信号及び n X m個の B画素の画像信号を生成してから、 4倍密度の画像信号を生成する場合に較べて、より高精細度の画像を得ることが可能となる。

この場合、学習装置 4 0では、 4倍密度の画像信号を教師画像信号とし、間引き部 4 1で入力された教師画像信号に対して、撮像系に持たせたい倍率の逆の倍率の色フィルタを想定した間引き処理を行うことにより単板カメラの C C Dイメージセンサ 5が出力した画像信号に対応する生徒画像信号を生成することにより、上述のような適応処理を行うための予測係数セットを得ることができる。

すなわち、学習装置 4 0では、複数の色のうちのいずれか 1つを表す色成分を画素位置毎に持つ所定数のサンプル値によって、 1枚の画像が構成される生徒画像信号から、上記所定数のサンプル値より多いサンプル値を有する予測画像信号の注目画素の近傍の複数の画素を抽出し、抽出された複数の画素に基づいて、クラスを決定し、上記予測画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記注目画素の位置に相当する位置の近傍の複数の画素を抽出して、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する。以上の実施の形態の効果を評価するため、色フィルタアレイとしてべィヤー配列のものを用いた場合を想定し、 I τ E (Institute o f Television Engineers) のハイビジョン標準画像 9枚を使用し、予測係数セットの算出に関してもその 9枚を用いてシミュレーションを行った。

3板式カメラの C C D出力相当の画像信号から、クラス分類適応処理の倍率と画素の位置関係を考慮した間引き操作により、単板式カメラの C C D出力相当の画像信号を生成し、学習装置 4 0と同様の処理を行うアルゴリズムで予測係数セットを生成した。そして、単板式カメラの C C Dイメージセンサの出力を、縦と横それぞれ 2 倍ずつの画素数を有する変換処理を、その予測係数セットを用いて、クラス分類適応処理により予測生成した。クラスタップ及び予測タップは、図 2 3乃至図 3 0に示すものを用いた。クラスタップについては、 R G Bそれぞれ独立に扱い、予測タップは、 R G Bを混合して使用した。

シミュレーションの結果、図 2 1 Aに示すような単板式カメラの C C D出力から、図 2 1 Bに示すような 3板式カメラの C C D出力相当の画像信号を介して、 4倍密度の画像信号を得る場合より、ェッジゃ細部の鮮鋭度が向上しており、より高い解像度の画像が得られた。クラス分類適応処理に代えて、線形補間処理についてもシミユレーシヨンしてみたが、クラス分類した方が、解像度も、 S Z N 比も良好な結果が得られた。

なお、以上においては、単板 C C Dイメージセンサの出力を 4倍密度の画像信号とするようにしたが、それ以外の倍率の画像信号を生成する場合にも、本発明は適用することが可能である。

さらに、本発明はデジタルスチルカメラ以外のビデオカメラ、その他の画像処理装置に適用することが可能である。

ここで、上記デジタルスチルカメラ 1の C C Dィメージセンサ 5 に C C Dイメージセンサ 5に用いることのできる色コーディングフィルタ 4を構成する色フィルタアレイの構成は、各種存在するが、色フィルタアレイの中で各信号値が有する情報の密度に差がある場 ^、各色信号毎に独立にクラス分類適応処理を行ったのでは、情報の密度差により予測精度に差が生じる。すなわち、例えば、べィャ一配列の色フィルタアレイが用いられる場合に、 R， G、 Bの各色信号毎に独立にクラス分類適応処理を行ったのでは、 m X n (m及び nは正の整数）個の画素のうち R画素と B画素に関しては 4画素に 1個の割合でしか存在しないにも拘わらず G ( 4画素に 2個の割合で存在する）と同様の処理がなされることになる。このため、 R と Bに関しては Gと比較して精度の良い予測処理を行うことができない。

このように、情報の密度に差がある場合には、最も高密度に配置されている色成分のみを利用して、画素位置毎に複数の色のうちのいずれか 1つを表す色成分を持つ入力画像信号の注目画素毎に、上記複数の色成分のうち最も高密度である色成分を有し、上記注目画素近傍に位置する複数の画素を抽出し、抽出された複数の画素に基づいて決定されたクラスに基づいて、上記注目画素が持つ色成分と異なる色成分を持つ画素を生成することにより予測精度を向上させることができる。

この場合のべィヤー配列の色フィルタアレイにより色コーディングされた画像信号に対するクラスタップと予測タップの具体例について説明する。例えば図 3 1に示すように、 B画素を予測画素位置とする場合、図 3 2に示すように、その予測画素位置にある B画素の上下左右に隣接する 4個の G画素、左側に隣接する G画素の左上と左下に隣接する 2個の G画素、さらに、予測画素位置にある B画素の右側に隣接する G画素の右上と右下に隣接する 2個の G画素の合計 8個の G画素がクラスタップとされる。そして、この場合におけ >予測タップとしては、図 3 3に示すように、中央の B画素を中心とする 5 X 5個の R G Bの各成分を含む画素が用いられる。

また、図 3 4に示すように、 R画素が予測画素位置とされる場合、図 3 5に示すように、その予測画素位置にある R画素の上下左右に隣接する 4個の G画素、左側に隣接する G画素の左上と左下に隣接する 2個の G画素、さらに、右側に隣接する G画素の右上とお下に隣接する 2個の画素の合計 8個の G画素がクラスタップとされる。この場合における予測タップとしては、図 3 6に示すように、予測画素位置にある R画素を中心とする 5 X 5個の R G Bの各色成分を含む 2 5個の画素が用いられる。

さらに図 3 7に示すように、 G画素が予測画素位置とされる場合、予測画素位置にある G画素と隣接する画素の色の違いに対応して図 3 8 A及び図 3 8 Bに示すような画素がクラスタップとして用いられる。すなわち、図 3 8 Aに示すクラスタップは、予測画素位置にある G画素の左上、左下、右上及び右下に隣接する 4個の G画素、予測画素位置にある G画素から上下方向に R画素を介して隣接する 2個の G画素、及び水平方向に B画素を介して隣接する 2個の G画素、並びに自分自身を含む合計 9個の G画素により構成されている。また、図 3 8 Bに示すクラスタップは、予測画素位置にある G画素の左上、左下、右上及び右下に隣接する 4個の G画素、予測画素にある G画素から上下方向に B画素を介して隣接する 2個の G画素、及び水平方向に R画素を介して隣接する 2個の G画素、並びに自分自身を含む合計 9個の G画素により構成されている。さらに、この場合における予測タップとしては、図 3 9 A及び図 3 9 Bに示すように、予測画素位置にある画素を含む、その周囲の 5 X 5個の R G Bの各色成分を含む画素が用いられる。

RGBの各信号値から、輝度信号 Yは、次式に従って演算される。

Y= 0. 59 G+ 0. 30 R+ 0. 1 1 Β

このように、輝度信号 Υに与える影響は G成分が最も大きく、したがって、図 3 1に示すように、べィヤー配列の場合においても、 G成分の画素が最も高密度に配置されている。輝度信号 Υは、人間の視覚特性、解像度に影響する情報を多量に含んでいる。

そこで、クラスタップを G成分の画像信号を G画素のみから構成すれば、より精度良く、クラスを決定することができ、精度の良いクラス分類適応処理が可能となる。

この場合、学習装置 40では、画素位置毎に複数の色のうちのいずれか 1つを表す色成分を持つ生徒画像信号の注目画素近傍に位置し、複数の色成分のうち最も高密度である色成分を有する複数の画素を抽出し、抽出された複数の画素に基づいてクラスを決定することにより、上述のような適応処理を行うための予測係数セットを得ることができる。

以上の実施の形態の効果を評価するため、色フィルタアレイとしてべィヤー配列のものを用いた場合を想定し、 I τ E (Institute o f Television Engineers) のハイビジョン標準画像 9枚を使用し、予測係数セットの算出に関してもその 9枚を用いてシミュレーションを行った。 3板式カメラの C CD出力相当の画像信号から、クラス分類適応処理の倍率と画素の位置関係を考慮した間引き操作により、単板式カメラの CCD出力相当の画像信号を生成し、学習装置 40と同様の処理を行うアルゴリズムで予測係数セットを生成するとともに、単板式カメラの CCDイメージセンサの出力に対し、上述したクラス分類適応処理により予測処理を行い、縦と横それぞれ

2倍ずつの画素数を有する画像信号に変換した結果、 R (G又は B も同様）の画素を予測する場合のクラスタップを、 RGBが混合する画素としたときょり、エッジや細部の鮮鋭度が向上しており、より高い解像度の画像が得られた。クラス分類適応処理に代えて、線形補間処理についてもシミュレーションしてみたが、クラス分類した方が、解像度も、 SZN比も良好な結果が得られた。

上記シミュレーションによる S/N比の評価結果として、標準画像 A， B, Cについてクラス適応処理生成した各色信号の SZN比は、クラスタップとして RGBの各画素を独立に抽出するクラス適応処理では、

標準画像 A

R ： 3 5. 22 d b

G ： 3 5. 48 d b

B ： 34. 9 3 d b

標準画像 B

R : 3 2. 4 5 d b

G : 3 2. 40 d b

B : 2 9. 2 9 d b

標準画像 Cでは、

R ： 24. 7 5 d b

G : 2 5. 3 1 d b

B : 2 3. 2 3 d b

であったものが、クラスタップとして G画素を用いたクラス適応処理では、票準画像 A

R ： 3 5 . 3 8 d b

G : 3 5 . 4 8 d b

B : 3 5 . 1 3 d b

標準画像 B

R : 3 2 . 6 0 d b

G : 3 2 . 4 0 d b

B : 2 9 . 4 6 d b

標準画像 C

R : 2 4 . 9 9 d b

G : 2 5 . 3 1 d b

B : 2 3 . 7 9 d b

が得られた。

このように、情報の密度に差がある場合には、例えば、上記クラスタップとして、最も高密度に配置されている色成分の画素のみを利用することにより、予測精度を向上させることができる。

さらに、切り出された複数の色信号を含むクラスタップに色フィルタアレイの各色信号毎に別個に A D R C処理を行うことより得られる結果を合わせ込んでクラスを決定するようにすれば、より高精度に予測処理を行うことができ、解像度の高い画像信号を生成することができる。

単板式カメラの C C Dイメージセンサによって生成される画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号から、入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出し、抽出された各色成分毎の複数の画素の空間ァクティビティ_を特徴情報として A D R C処理により生成し、生成した特徴情報に基づいて基づいてクラスを決定し、決定されたクラスに基づいて、上記注目画素の位置に、上記注目画素が持つ色成分と異なる色成分を持つ画素を生成するクラス分類適応処理を上記予測処理部 2 5で行うことによって、 3板式カメラの C C D出力相当の画像信号を得ることができる。

すなわち、 A D R C処理部 2 9の出力すなわち再量子化コードが供給されるクラス分類部 3 0において、上記再量子化コードに基づいて画像信号パターンすなわち空間ァクティビティの分類を行い、分類結果を示すクラス番号を生成することにより、クラス分類がより適切になされ、予測処理精度を向上させることができる。

この場合の、べィヤー配列の色フィルタアレイにより色コーディングされた画像信号に対するクラスタップと予測タップの具体例について説明する。

図 4 0 A、図 4 O B及び図 4 0 Cは、 B画素の位置に R， G , B それぞれの色信号を生成する（B画素の位置にも B成分の画像信号を生成する）場合のタップ構造の一例を示している。

また、図 4 1 A、図 4 1 B及び図 4 1 Cは、 Gの画素の位置に R， G， Bそれぞれの色信号を生成する（B画素の位置にも B成分の画像信号を生成する）場合のタップ構造の一例を示している。図 4 0 A〜図 4 0 C及び図 4 1 A〜図 4 1 Cにおいて、二重丸が予測されるべき画素すなわち予測画素の位置を示す。図 4 0 B及び図 4 1 B において、 A D R C処理に用いられる画素の外枠位置を示し、さらに、三角形が実際にクラスタップとして切り出される画素の外枠位置を示す。図 4 0 B及び図 4 1 Bにおいて、三角形が予測タップとして切り出される画素の外枠位置を示す。

図 4 0 Aに示すように G画素の位置に R， G , Bのそれぞれの色信号を予測生成する場合には、例えば、図 4 0 Bに示すような画素がクラスタップとして切り出される。すなわち、予測生成されるべき位置の画素と、それに隣接する画素との計 9個の画素（三角形で示す）をクラスタップとして切り出すに当たり、このクラスタップ中には G画素が 1つしか含まれないので、 A D R C処理によりクラス分類に使用する特徴情報を確実に抽出することができないが、実際にクラスタップとして切り出される画素の範囲よりも広い範囲の画素を A D R C処理に用いることによって、クラス分類に使用する特徴情報を確実に抽出することができる。

そして、図 4 0 Cに示すように予測タップが切り出される。すなわち、 R， G , Bの各画素が混合されるような画素位置を予測タツプとして切り出し、予測タップの信号に基づいて、各クラスに対応する予測係数セットを用いた重み付け加算等の演算を行うことによつて予測位置の画素信号を予測生成する。

べィヤー配列の場合には、 R， G， Bのそれぞれの色信号に対応する画素数が 1 ： 2 ： 1である。したがって、 R， G， Bのそれぞれの色信号を R画素の位置に予測生成する場合には、上述した R， G , Bのそれぞれの信号を R画素の位置に予測生成する場合と同様なクラスタツプ構造及び予測タップ構造を用いることができる。

—方、図 4 1 Aに示すように Gの画素位置に R， G , Bのそれぞれの色信号を予測生成する場合には、例えば、図 4 1 Bに示すような画素がクラスタップとして切り出される。すなわち、図 4 1 Bに示すように予測画素位置にある画素を中心とした隣接する 9個の画素—（三角形で示す）をクラスタップとして切り出すか、若しくは、特に画素数が少ない色信号についてはクラスタップの範囲が四角形で示す画素等にまで広げられる。そして、クラスタップの信号に基づいて A D R C処理がなされ、処理結果から中心の画素だけ抜き出すことによってクラス分類がなされる。さらに、 R， G , Bの各画素間の関係をクラス分類結果に反映させる処理が行われる。例えば、各信号の A D R C処理の際のダイナミックレンジの大小関係及びしきい値処理の結果、 A D R C処理の際の最大値及び最小値の関係等を数ビットの情報により付加することにより、より高精度で、解像度の高い画像信号を予測生成することができる。

また、図 4 1 Cに示すように予測タップが切り出される。すなわち、 R， G , Bの各画素が混合されるような画素を予測タップとして配置し、予測タップの信号に基づいて、各クラスのに対応する予測係数セットを用いた重み付け加算等の演算を行うことによって予測位置の画素信号を予測生成する。

上述したようになされる一実施形態の効果を評価するため、色フィルタアレイとしてべィヤー配列を用いる場合を想定してシミユレーションを行った。前述した学習装置 4 0と同じ動作を行うアルゴリズムで予測係数セットを生成するとともに、間引き処理により 3 板式カメラの C C D出力に相当する画像信号から単板式カメラの C C D出力に相当する画像信号を生成し、上述したクラス分類適応処理に予測処理を実施した。また、この発明による効果と比較するため、従来方式である線形補間と、 R， G , Bそれぞれ独立にクラス分類を行ったクラス分類適応処理とを実施し、対比を試みた。

シミュレーションには、 I T E (Insti tute of Television Engin eers) のハイビジョン標準画像 9枚を使用し、予測係数セットの算出に関してもその 9枚を用いた。その結果、線形補間との比較では、すべての画像の R, G, Bの各色像信号においてエッジ部分や細部の鮮鋭度が増し、 SZN比の向上も確認された。また、 R, G, B の各画像信号それぞれ独立にクラス分類を行ったクラス分類適応処理と比較した場合も、すべての画像において R成分の画像信号と B 成分の画像信号で解像度の向上が確認された。このように、この発明の一実施形態においては、線形補間や、 R, G, Bの各色信号それぞれ独立にクラス分類を行ったクラス分類適応処理と比較して、エッジ部分や細部の鮮鋭度、 SZN比、解像度等における画質の向上が実現される。

なお、クラスタップ及び予測タップのタップ構造は、図 40A〜図 40 C及び図 4 1 A〜図 4 1 Cに示したものに限定されるものではない。原色フィルタアレイあるいは補色フィルタフィルタアレイの配列、生成すべき画像信号の解像度等の性質等の条件に応じて、クラスタップ及び予測タップのタップ構造を、適宜設定するようにすれば良い。例えば、出力画像により高い画質が要求される場合には、クラスタップ及び予測タップとしてより多くの画素が切り出されるようにすれば良い。

図 2 OA乃至図 2 ONに示したように、単板式カメラの CCDィメージセンサ 5に用いることができる色コーディングフィルタ 4を構成する色フィルタアレイの色配列には、各種存在するが、上記手法は、色フィルタァレイの中で各信号値が有する情報の密度に差がある、すべての場合に有効である。

また、 CCDイメージセンサの画素数に比べて、例えば縦横それぞれ 2倍で計 4倍の解像度を有するなど、上述の図 2 2 A及び図 2

2 Bに示しような変換により、解像度等が異なる画像信号を生成する場合にも、この発明を適用することができる。すなわち、生成したい画像信号を教師画像信号とし、デジタルスチルカメラ 1に搭載される C C Dィメージセンサ 5からの出力画像信号を生徒画像信号として学習を行うことによって生成される予測係数セットを使用してクラス分類適応処理を行うようにすれば良い。

また、この発明は、デジタルスチルカメラ以外に、例えばカメラ一体型 V T R等の映像機器や、例えば放送業務に用いられる画像処理装置、さらには、例えばプリンタやスキャナ等に対しても適用することができる。

また、上記予測処理部 2 5におけるクラス分類適応処理や、上記学習装置 4 0において予測係数セットを得るための学習処理は、例えば図 4 2に示すように、バス 3 1 1に接続された C P U (Central Processing Unit) 3 1 2、メモリ 3 1 3、入力インターフェース

3 1 4、ユーザインタ一フェース 3 1 5や出力インタ一フェース 3 1 6などにより構成される一般的なコンピュータシステム 3 1 0により実行することができる。上記処理を実行するコンピュータプログラムは、記録媒体に記録されて、画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体、又は、クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体として、ユーザに提供される。上記記録媒体には、磁気ディスク、 C D— R O Mなどの情報記録媒体の他、インターネット、デジタル衛星などのネットワークによる伝送媒体も含まれる。

Claims

_ 請求の範囲

1 . 画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理装置において、

上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出手段と、

上記抽出手段で抽出された複数の画素に基づいて、クラスを決定するクラス決定手段と、

上記クラス決定手段で決定されたクラスに基づいて、上記注目画素の位置に、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成手段とを備えることを特徴とする画像信号処理装置。

2 . 上記画素生成手段は、上記注目画素の位置に、すべての色成分を持つ画素を生成することを特徴とする請求の範囲第 1項記載の画像信号処理装置。

3 . 上記画素生成手段は、各クラス毎の予測係数セットを記憶する記憶手段と、上記クラス決定手段で決定されたクラスに応じた予測係数セットと、上記抽出手段によって抽出された上記注目画素近傍の複数の画素に基づく演算を行うことにより、上記異なる色成分を持つ画素を生成する演算手段とを備える特徴とする請求の範囲第 1項記載の画像信号処理装置。

4 . 上記演算手段は、上記予測係数セットと上記注目画素近傍の複数の画素値との線形一次結合に基づく演算を行うことを特徴とする請求の範囲第 3項記載の画像信号処理装置。

5 . 上記抽出手段は、上記クラス決定手段と上記演算手段に対して、少なくとも 1画素は異なる画素を抽出することを特徴とする請求の範囲第 3項記載の画像信号処理装置。

6 . 上記色成分で表される色は、赤、青、緑の何れかであることを特徴とする請求の範囲第 1項記載の画像信号処理装置。

7 . 画素位置毎に複数の色のうち何れか 1つを表す色成分を持つ上記画像信号を取得する取得手段をさらに備えることを特徴とする請求の範囲第 1項記載の画像信号処理装置。

8 . 上記取得手段は、固体撮像素子であることを特徴とする請求の範囲第 7項記載の画像信号処理装置。

9 . 上記固体撮像素子は、べィヤー配列の C C Dイメージセンサであることを特徴とする請求の範囲第 8項記載の画像信号処理装置。

1 0 . 画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理方法において、

上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出ステップと、

上記画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、

上記クラス決定ステップで決定されたクラスに基づいて、上記注目画素の位置に、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップを有すること特徴とする画像信号処理方法。

1 1 . 上記画素生成ステップでは、上記注目画素の位置に、すべての色成分を持つ画素を生成することを特徴とする請求の範囲第 1 0項記載の画像信号処理方法。

1 2 . 上記画素生成ステップでは、上記クラス決定ステップで決 ^されたクラスに応じた予測係数セットと上記抽出ステップで抽出された上記注目画素近傍の複数の画素に基づく演算を行うことにより、上記異なる色成分を持つ画素を生成する演算手段とを特徴とする請求の範囲第 1 0項記載の画像信号処理方法。

1 3 . 上記画素生成ステップでは、上記予測係数セットと上記注目画素近傍の複数の画素値との線形一次結合に基づく演算を行うことを特徴とする請求の範囲第 1 2項記載の画像信号処理方法。

1 4 . 上記抽出ステップでは、上記クラス決定ステップと上記画素生成ステップに対して、少なくとも 1画素は異なる画素を抽出することを特徴とする請求の範囲第 1 2項記載の画像信号処理方法。

1 5 . 上記色成分で表される色は、赤、青、緑の何れかであることを特徴とする請求の範囲第 1 0項記載の画像信号処理方法。

1 6 . 画素位置毎に複数の色のうち何れか 1つを表す色成分を持つ上記画像信号を取得する取得ステップをさらに有することを特徴とする請求の範囲第 1 0項記載の画像信号処理方法。

1 7 . 上記取得ステップでは、固体撮像素子により上記画像信号を取得することを特徴とする請求の範囲第 1 6項記載の画像信号処理方法。

1 8 . 上記取得ステップでは、べィヤー配列の C C Dイメージセンサにより上記画像信号を取得することを特徴とする請求の範囲第 1 7項記載の画像信号処理方法。

1 9 . 画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、

上記プログラムは、上記入力画像信号の注目画素毎に、上記注目画素近傍の複数の画素を抽出する抽出ステップと、

上記クラス決定ステップで決定されたクラスに基づいて、上記注目画素の位置に、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップを有することを特徴とする記録媒体。

2 0 . 上記画素生成ステップでは、上記注目画素の位置に、すべての色成分を持つ画素を生成することを特徴とする請求の範囲第 1 9項記載の記録媒体。

2 1 . 上記画素生成ステップでは、上記クラス決定ステップで決定されたクラスに応じた予測係数セットと、上記抽出ステップで抽出された上記注目画素近傍の複数の画素に基づく演算を行うことにより、上記異なる色成分を持つ画素を生成する演算手段とを特徴とする請求の範囲第 1 9項記載の記録媒体。

2 2 . 上記画素生成ステツプでは、上記予測係数セットと上記注目画素近傍の複数の画素値との線形一次結合に基づく演算を行うことを特徴とする請求の範囲第 2 1項記載の記録媒体。

2 3 . 上記抽出ステップでは、上記クラス決定ステップと上記画素生成ステップに対して、少なくとも 1画素は異なる画素を抽出することを特徴とする請求の範囲第 2 1項記載の記録媒体。

2 4 . 上記色成分で表される色は、赤、青、緑の何れかであることを特徴とする請求の範囲第 1 9項記載の記録媒体。

2 5 . 画素位置毎に複数の色のうち何れか 1つを表す色成分を持つ Jl記画像信号を取得する取得ステツプをさらに有することを特徵とする請求の範囲第 1 9項記載の記録媒体。

2 6 . 上記取得ステップでは、固体撮像素子により上記画像信号を取得することを特徴とする請求の範囲第 2 5項記載の記録媒体。

2 7 . 上記取得ステップでは、べィヤー配列の C C Dイメージセンサにより上記画像信号を取得することを特徴とする請求の範囲第 2 6項記載の記録媒体。

2 8 . 画素位置毎に一つの色成分を持つ生徒画像信号の注目画素の近傍の複数の画素を抽出する第 1の画素抽出手段と、

上記第 1の画素抽出手段で抽出された複数の画素に基づいて、クラスを決定するクラス決定手段と、

上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第 2の画素抽出手段と、

上記第 1及び第 2の画素抽出手段で抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成手段とを備えることを特徴とする学習装置。

2 9 . 上記第 1の画素抽出手段は、上記注目画素の位置と、上記注目画素が持つ色成分に基づいて、上記注目画素の近傍の複数の画素を抽出することを特徴とする請求の範囲第 2 8項記載の学習装置。

3 0 . 上記クラス決定手段は、上記第 1の画素抽出手段で抽出された複数の画素に対して、 A D R C (Adaptive Dynamic Range Codi ng) 処理により特徴情報を生成し、特徴情報に基づいてクラスを決定することを特徴とする請求の範囲第 2 8項記載の学習装置。

3 1 . 画素位置毎に一つの色成分を持つ生徒画像信号の注目画素の近傍の複数の画素を抽出する第 1の画素抽出ステップと、

上記第 1の画素抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、

上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第 2の画素抽出ステップと、

上記第 1及び第 2の画素抽出ステップで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステツプとを有することを特徴とする学習方法。

3 2 . 上記第 1の画素抽出ステップでは、上記注目画素の位置と、上記注目画素が持つ色成分に基づいて、上記注目画素の近傍の複数の画素を抽出することを特徴とする請求の範囲第 3 1項記載の学習方法。

3 3 . 上記クラス決定ステップでは、上記第 1の画素抽出手段で抽出された複数の画素に対して、 A D R C (Adaptive Dynamic Rang e Coding) 処理により生成される特徴情報を生成し、特徴情報に基づいてクラスを決定することを特徴とする請求の範囲第 3 1項記載の学習方法。

3 4 . クラスに応じた予測係数セットを生成するための学習処理を^うコンピュータ制御可能なプログラムが記録された記録媒体において、

上記プログラムは、

画素位置毎に一つの色成分を持つ生徒画像信号の注目画素の近傍の複数の画素を抽出する第 1の画素抽出ステップと、

上記第 1及び第 2の画素抽出ステツプで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステツプとを有することを特徴とする記録媒体。

3 5 . 上記第 1の画素抽出ステップでは、上記注目画素の位置と、上記注目画素が持つ色成分に基づいて、上記注目画素の近傍の複数の画素を抽出することを特徴とする請求の範囲第 3 4項記載の記録媒体。

3 6 . 上記クラス決定ステップでは、上記第 1の画素抽出手段で抽出された複数の画素に対して、 A D R C (Adaptive Dynamic Ran ge Coding) 処理により生成される特徴情報を生成し、特徴情報に基づいてクラスを決定することを特徴とする請求の範囲第 3 4項記載の記録媒体。

3 7 . 複数の色のうちのいずれか 1つを表す色成分を画素位置毎に持つ所定数のサンプル値によって、 1枚の画像が構成される入力画像信号を処理する画像信号処理装置において、

上記クラス決定手段で決定されたクラスに基づいて、上記入力画像信号の各画素に処理を行うことによって、上記所定数のサンプル値より多いサンプル値を上記複数の色それぞれに関して有する出力画像信号を生成する出力画像生成手段とを備えることを特徴とする画像信号処理装置。

3 8 . 上記出力画像生成手段は、各クラス毎の予測係数セットを記憶する記憶手段と、上記クラス決定手段で決定されたクラスに応じた予測係数セットと上記抽出手段によって抽出された上記注目画素近傍の複数の画素に基づく演算を行うことにより、上記出力画像信号を生成する演算手段とを備えること特徴とする請求の範囲第 3 7項記載の画像信号処理装置。

3 9 . 複数の色のうちのいずれか 1つを表す色成分を画素位置毎に持つ所定数のサンプル値によって、 1枚の画像が構成される入力画像信号を処理する画像信号処理方法において、

上記抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに基づいて、上記入力画像信号の各画素に処理を行うことによって、上記所定数のサンプル値より多いサンプル値を上記複数の色それぞれに関して有する出力画像信号を生成する出力画像生成ステップとを有することを特徴とする画像信号処理方法。

4 0 . 上記出力画像生成ステップでは、上記クラス決定ステップで決定されたクラスに応じた予測係数セットと上記抽出ステップで抽出された上記注目画素近傍の複数の画素に基づく演算を行うことにより、上記出力画像信号を生成することを特徴とする請求の範囲第 3 9項記載の画像信号処理方法。

4 1 . 複数の色のうちのいずれか 1つを表す色成分を画素位置毎に持つ所定数のサンプル値によって、 1枚の画像が構成される入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプ口グラムが記録された記録媒体において、

上記プログラムは、

上記抽出ステップで抽出された複数の画素に基づいて、クラスを決定するクラス決定ステップと、

上記クラス決定ステップで決定されたクラスに基づいて、上記入力画像信号の各画素に処理を行うことによって、上記所定数のサンプル値より多いサンプル値を上記複数の色それぞれに関して有する出力画像信号を生成する出力画像生成ステップとを有することを特徴とする記録媒体。

4 2 . 上記出力画像生成ステップでは、上記クラス決定ステップで^:定されたクラスに応じた予測係数セットと上記抽出ステップで抽出された上記注目画素近傍の複数の画素に基づく演算を行うことにより、上記出力画像信号を生成することを特徴とする請求の範囲第 4 1項記載の記録媒体。

4 3 . 複数の色のうちのいずれか 1つを表す色成分を画素位置毎に持つ所定数のサンプル値によって、 1枚の画像が構成される生徒画像信号から、上記所定数のサンプル値より多いサンプル値を有する予測画像信号の注目画素の近傍の複数の画素を抽出する第 1の画素抽出手段と、

上記予測画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記注目画素の位置に相当する位置の近傍の複数の画素を抽出する第 2の画素抽出手段と、

上記第 1及ぴ第 2の画素抽出手段で抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成手段とを備えることを特徴とする学習装置。

4 4 . 上記クラス決定手段は、上記第 1の画素抽出手段で抽出された複数の画素に対して、 A D R C (Adaptive Dynamic Range Codi ng) 処理により特徴情報を生成し、特徴情報に基づいてクラスを決定することを特徴とする請求の範囲第 4 3項記載の学習装置。

4 5 . 複数の色のうちのいずれか 1つを表す色成分を画素位置毎に持つ所定数のサンプル値によって、 1枚の画像が構成される生徒 ^像信号から、上記所定数のサンプル値より多いサンプル値を有する予測画像信号の注目画素の近傍の複数の画素を抽出する第 1の画素抽出ステップと、

上記予測画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記注目画素の位置に相当する位置の近傍の複数の画素を抽出する第 2の画素抽出ステップと、上記第 1及び第 2の画素抽出ステツプで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステツプとを備えることを特徴とする学習方法。

4 6 . 上記クラス決定手段は、上記第 1の画素抽出手段で抽出された複数の画素に対して、 A D R C (Adapt ive Dynami c Range Codi ng) 処理により特徴情報を生成し、特徴情報に基づいてクラスを決定することを特徴とする請求の範囲第 4 5項記載の学習方法。

4 7 . クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、

上記プログラムは、

複数の色のうちのいずれか 1つを表す色成分を画素位置毎に持つ所定数のサンプル値によって、 1枚の画像が構成される生徒画像信号から、上記所定数のサンプル値より多いサンプル値を有する予測画像信号の注目画素の近傍の複数の画素を抽出する第 1の画素抽出ス^ップと、

上記予測画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記注目画素の位置に相当する位置の近傍の複数の画素を抽出する第 2の画素抽出ステップと、上記第 1及び第 2の画素抽出ステップで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステツプとを備えることを特徴とする記録媒体。

4 8 . 上記クラス決定手段は、上記第 1の画素抽出手段で抽出された複数の画素に対して、 A D R C (Adapt i ve Dynamic Range Codi ng) 処理により特徴情報を生成し、特徴情報に基づいてクラスを決定することを特徴とする請求の範囲第 4 7項記載の記録媒体。

4 9 . 画素位置毎に複数の色のうちのいずれか 1つを表す色成分を持つ入力画像信号を処理する画像信号処理装置において、

上記入力画像信号の注目画素毎に、上記複数の色成分のうち最も高密度である色成分を有し、上記注目画素近傍に位置する複数の画素を抽出する抽出手段と、

上記クラス決定ステップで決定されたクラスに基づいて、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成手段とを備えることを特徴とする画像信号処理装置。 5_0 . 上記画素生成手段は、各クラス毎の予測係数セットを記憶する記憶手段と、上記クラス決定手段で決定されたクラスに応じた予測係数セットと上記抽出手段によって抽出された上記注目画素近傍の複数の画素に基づく演算を行うことにより、上記異なる色成分を持つ画素を生成する演算手段とを備えること特徴とする請求の範囲第 4 9項記載の画像信号処理装置。

5 1 . 上記画素生成手段は、上記注目画素の位置に、すべての色成分を持つ画素を生成することを特徴とする請求の範囲第 4 9項記載の画像信号処理装置。

5 2 . 画素位置毎に複数の色のうちのいずれか 1つを表す色成分を持つ入力画像信号を処理する画像信号処理方法において、上記入力画像信号の注目画素毎に、上記複数の色成分のうち最も高密度である色成分を有し、上記注目画素近傍に位置する複数の画素を抽出する抽出ステップと、

上記クラス決定ステップで決定されたクラスに基づいて、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップとを備えることを特徴とする画像信号処理方法

5 3 . 上記画素生成ステップでは、上記クラス決定ステップで決定されたクラスに応じた予測係数セットと、上記抽出ステップによつて抽出された上記注目画素近傍の複数の画素に基づく演算を行うことにより、上記異なる色成分を持つ画素を生成することを特徴とする請求の範囲第 5 2項記載の画像信号処理方法。

5 4 . 上記画素生成ステップでは、上記注目画素の位置に、すべ "^の色成分を持つ画素を生成することを特徴とする請求の範囲第 5

2項記載の画像信号処理方法。

5 5 . 画素位置毎に複数の色のうちのいずれか 1つを表す色成分を持つ入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、

上記プログラムは、

上記入力画像信号の注目画素毎に、上記複数の色成分のうち最も高密度である色成分を有し、上記注目画素近傍に位置する複数の画素を抽出する抽出ステップと、

上記クラス決定ステップで決定されたクラスに基づいて、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップとを有することを特徴とする記録媒体。

5 6 . 上記画素生成ステップでは、上記クラス決定ステップで決定されたクラスに応じた予測係数セットと、上記抽出ステップで抽出された上記注目画素近傍の複数の画素に基づく演算を行うことにより、上記異なる色成分を持つ画素を生成することを特徴とする請求の範囲第 5 5記載の記録媒体。

5 7 . 上記画素生成ステップでは、上記注目画素の位置に、すべての色成分を持つ画素を生成することを特徴とする請求の範囲第 5 5項記載の記録媒体。

5 8 . 画素位置毎に複数の色のうちのいずれか 1つを表す色成分を持つ生徒画像信号の注目画素近傍に位置し、複数の色成分のうち最も高密度である色成分を有する複数の画素を抽出する第 1の画素 ,手段と、

5 9 . 上記クラス決定手段は、上記第 1の画素抽出手段で抽出された複数の画素に対して、 A D R C (Adaptive Dynamic Range Codi ng) 処理により特徴情報を生成し、特徴情報に基づいてクラスを決定することを特徴とする請求の範囲第 5 8項記載の学習装置。

6 0 . 画素位置毎に複数の色のうちのいずれか 1つを表す色成分を持つ生徒画像信号の注目画素近傍に位置し、複数の色成分のうち最も高密度である色成分を有する複数の画素を抽出する第 1の画素抽出ステップと、

上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第 2の画素抽出スップと、

上記第 1及び第 2の画素抽出手段で抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップとを備えることを特徴とする学習方法。

6 1 . 上記クラス決定ステップでは、上記第 1の画素抽出ステツプで抽出された複数の画素に対して、 A D R C (Adaptive Dynamic Range Coding) 処理により特徴情報を生成し、特徴情報に基づいてクラスを決定することを特徴とする請求の範囲第 6◦項記載の学習方法。

6 2 . クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、

上記プログラムは、

画素位置毎に複数の色のうちのいずれか 1つを表す色成分を持つ生徒画像信号の注目画素近傍に位置し、複数の色成分のうち最も高密度である色成分を有する複数の画素を抽出する第 1の画素抽出ステツプと、

上記生徒画像信号と対応する画像信号であり、画素位置毎に複数の色成分を持つ教師画像信号から、上記生徒画像信号の注目画素の位置に相当する位置の近傍の複数の画素を抽出する第 2の画素抽出ステップと、 Jl記第 1及び第 2の画素抽出手段で抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステップとを備えることを特徴とする記録媒体。

6 3 . 上記クラス決定ステップでは、上記第 1の画素抽出ステツプで抽出された複数の画素に対して、 A D R C (Adaptive Dynamic Range Coding) 処理により特徴情報を生成し、特徴情報に基づいてクラスを決定することを特徴とする請求の範囲第 6 2項記載の記録媒体。

6 4 . 画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理装置において、

上記入力画像信号の注目画素毎に対して、上記注目画素近傍の画素から、各色成分毎に複数の画素を抽出する抽出手段と、

上記抽出手段で抽出された各色成分毎の複数の画素に基づいて各色成分毎の画素の特徴情報を生成する特徴情報生成部と、上記各色成分毎の特徴情報に基づいて 1つのクラスを決定するクラス決定部とを含むクラス決定手段と、

上記クラス決定手段で決定されたクラスに基づいて、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成手段とを備えることを特徴とする画像信号処理装置。

6 5 . 上記特徴情報生成部は、上記抽出手段で抽出された各色成分毎の複数の画素の空間ァクティビティを上記特徴情報として生成することを特徴とする請求の範囲第 6 4項記載の画像信号処理装置 _c 6 6 . 上記特徴情報生成部は、上記各色成分毎の複数の画素に対して A D R C (Adaptive Dynamic Range Coding) 処理によって上記空間ァクティビティを生成することを特徴とする請求の範囲第 6 5 項記載の画像信号処理装置。

6 7 . 上記抽出手段は、上記注目画素近傍の所定の範囲に含まれる複数の画素から、各色成分に対応する画素をそれぞれ抽出することを特徴とする請求の範囲第 6 4項記載の画像信号処理装置。

6 8 . 画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理方法において、

上記入力画像信号の注目画素毎に対して、上記注目画素近傍の画素から、各色成分毎に複数の画素を抽出する抽出ステップと、上記抽出ステップで抽出された各色成分毎の複数の画素に基づいて、各色成分毎の画素の特徴情報を生成し、上記各色成分毎の特徴情報に基づいて、 1つのクラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに基づいて、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップとを備えることを特徴とする画像信号処理方法。

6 9 . 上記クラス決定ステップでは、上記抽出ステップで抽出された各色成分毎の複数の画素の空間ァクティビティを上記特徴情報として生成することを特徴とする請求の範囲第 6 8項記載の画像信号処理方法。

7 0 . 上記クラス決定ステップでは、上記各色成分毎の複数の画素（こ対して A D R C (Adaptive Dynamic Range Coding) 処理 tこよつて上記空間ァクティビティを生成することを特徴とする請求の範囲第 6 9項記載の画像信号処理方法。

7 1 . 上記抽出ステップでは、上記注目画素近傍の所定の範囲に含まれる複数の画素から、各色成分に対応する画素をそれぞれ抽出することを特徴とする請求の範囲第 6 8項記載の画像信号処理方法。 7 2 . 画素位置毎に複数のうちの何れか一つを表す色成分を持つ入力画像信号を処理する画像信号処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、

上記プログラムは、

上記入力画像信号の注目画素毎に対して、上記注目画素近傍の画素から、各色成分毎に複数の画素を抽出する抽出ステップと、上記抽出ステップで抽出された各色成分毎の複数の画素に基づいて、各色成分毎の画素の特徴情報を生成し、上記各色成分毎の特徴情報に基づいて、 1つのクラスを決定するクラス決定ステップと、上記クラス決定ステップで決定されたクラスに基づいて、少なくとも上記注目画素が持つ色成分と異なる色成分を持つ画素を生成する画素生成ステップとを備えることを特徴とする記録媒体。

7 3 . 上記クラス決定ステップでは、上記抽出ステップで抽出された各色成分毎の複数の画素の空間ァクティビティを上記特徴情報として生成することを特徴とする請求の範囲第 7 2項記載の記録媒体。

7 4 . 上記クラス決定ステップでは、上記各色成分毎の複数の画素に対して A D R C (Adaptive Dynamic Range Coding) 処理によつて上記空間アクティビティを生成することを特徴とする請求の範囲第 7 3項記載の記録媒体。

7 5 . 上記抽出ステップでは、上記注目画素近傍の所定の範囲に含まれる複数の画素から、各色成分に対応する画素をそれぞれ抽出することを特徴とする請求の範囲第 7 2項記載の記録媒体。

7 6 . 画素位置毎に一つの色成分を持つ生徒画像信号の注目画素の近傍の複数の画素を抽出する第 1の画素抽出手段と、

上記第 1の画素抽出手段で抽出された各色成分毎の複数の画素に基づいて各色成分毎の画素の特徴情報を生成し、上記各色成分毎の画素の特徴情報に基づいて 1つのクラスを決定するクラス決定手段と、

7 7 . 上記クラス決定手段は、上記第 1の画素抽出手段で抽出された各色成分毎の複数の画素の空間ァクティビティを上記特徴情報として、クラスを決定することを特徴とする請求の範囲第 7 6項記載の学習装置。

7 8 . 上記クラス決定手段は、上記各色成分毎の複数の画素に対して A D R C (Adaptive Dynamic Range Coding) 処理によって上記空間ァクティビティを生成することを特徴とする請求の範囲第 7 7 項記載の学習装置。

7 9 . 画素位置毎に一つの色成分を持つ生徒画像信号の注目画素の近傍の複数の画素を抽出する第 1の画素抽出ステップと、上記第 1の画素抽出ステップで抽出された各色成分毎の複数の画素に基づいて各色成分毎の画素の特徴情報を生成し、上記各色成分毎の画素の特徴情報に基づいて 1つのクラスを決定するクラス決定ステツブと、

上記第 1及び第 2の画素抽出ステツプで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステツプとを有することを特徴とする学習方法。

8 0 . 上記クラス決定ステップでは、上記第 1の画素抽出ステツプで抽出された各色成分毎の複数の画素の空間ァクティビティを上記特徴情報として、クラスを決定することを特徴とする請求の範囲第 7 9項記載の学習方法。

8 1 . 上記クラス決定ステップでは、上記各色成分毎の複数の画素 Iこ対して A D R C (Adaptive Dynamic Range Coding) 処理 tこよつて上記空間ァクティビティを生成することを特徴とする請求の範囲第 8 0項記載の学習方法。

8 2 . クラスに応じた予測係数セットを生成するための学習処理を行うコンピュータ制御可能なプログラムが記録された記録媒体において、

上記プログラムは、画素位置毎に一つの色成分を持つ生徒画像信号の注目画素の近傍の複数の画素を抽出する第 1の画素抽出ステップと、

上記第 1の画素抽出ステップで抽出された各色成分毎の複数の画素に基づいて各色成分毎の画素の特徴情報を生成し、上記各色成分毎の画素の特徴情報に基づいて 1つのクラスを決定するクラス決定ステップと、

上記第 1及び第 2の画素抽出ステップで抽出された複数の画素の画素値に基づいて、上記クラス毎に、上記生徒画像信号に相当する画像信号から上記教師画像信号に相当する画像信号を生成するための予測演算に用いる予測係数セットを生成する予測係数生成ステツプとを有することを特徴とする記録媒体。

8 3 . 上記クラス決定ステップでは、上記第 1の画素抽出ステツプで抽出された各色成分毎の複数の画素の空間ァクティビティを上記特徴情報として、クラスを決定することを特徴とする請求の範囲第 8 2項記載の記録媒体。

8 4 . 上記クラス決定ステップでは、上記各色成分毎の複数の画素に対して A D R C (Adaptive Dynamic Range Coding) 処理によつて上記空間ァクティビティを生成することを特徴とする請求の範囲第 8 3項記載の記録媒体。