WO2013175686A1

WO2013175686A1 - 撮像処理装置および内視鏡

Info

Publication number: WO2013175686A1
Application number: PCT/JP2013/001675
Authority: WO
Inventors: 克洋金森; 年伸松野
Original assignee: パナソニック株式会社
Priority date: 2012-05-22
Filing date: 2013-03-13
Publication date: 2013-11-28
Also published as: JPWO2013175686A1; JP5603508B2; US9392231B2; US20140092227A1

Abstract

　本開示の実施形態において、撮像処理装置は、照明光で被写体（１１１）を照明した状態で偏光画像を取得する撮像素子（１１５）を含む撮像部と画像処理部（画像プロセッサ１１０）とを備える。照明光の光軸と撮像素子（１１５）の光軸とは略同軸の関係を形成する。画像処理部は、撮像素子（１１５）の出力に基づいて輝度画像を生成する輝度画像生成部３１２と、撮像素子（１１５）の出力に基づいて画素ごとに偏光度を算出し、偏光度画像を生成する偏光画像生成部（３１４）と、被写体（１１１）の表面における凹凸部の凹部で偏光度画像の偏光度を強調し、かつ、色相、彩度、および明度の少なくとも１つを補正して加工偏光画像を生成する偏光画像加工部（３１６）と、加工偏光画像と輝度画像とを合成する画像合成部（３２０）とを備える。

Description

撮像処理装置および内視鏡

　本願は、半透明物体など輝度情報では観察が困難な物質の表面凹凸情報を得ることができる撮像処理装置、および臓器表面観察に使用され得る内視鏡に関する。

　内視鏡による撮像は、粘膜で覆われた、生体の臓器器官の壁表面に対して照明を照射して行われる。内視鏡を用いた臓器器官の観察では、被写体の表面の色の変化と同時に、表面の微細な凹凸のテクスチャを確認することが求められる。しかし、内視鏡による観察では、後述するように、被写体の表面の微細な凹凸構造を輝度の陰影でとらえることは難しい。このため、インジゴカルミン溶液などの青色色素液体を被写体である粘膜上に撒布して、青色色素液体が粘膜表面の溝にたまった状態を輝度で観察している。

　しかし、この処理では、粘膜上に液体を吹き付けるために出血したり、粘膜の色が変わってしまうなど問題も多かった。また、体内で水中撮影を行ういわゆるカプセル内視鏡においては、粘膜上への液体の撒布自体がそもそも不可能である。

　この課題に対して、偏光照明と偏光撮像を用いた偏光内視鏡の提案があった（特許文献１～特許文献４）。

　なお、アルミニウム製ワイヤグリッド偏光子を用いた偏光撮像素子が非特許文献１に開示されている。

特開２００９－２４６７７０号公報特開２０１０－１０４４２１号公報特開２０１２－２４１４０号公報特開２０１０－８２２７１号公報

Viktor Gruev, Rob Perkins, and Tiｍothy York ,"CCD polarization iｍaging sensor with aluｍinuｍ nanowire optical filters", ３０ August ２０１０ / Vol. １８, No. １８ / OPTICS EXPRESS PP.１９０８７-１９０９４

　従来技術では、透明または半透明の粘膜に存在する微細な凹凸部の形状を検出して表示することが難しい。

　本開示の実施形態は、被写体表面の微細凹凸を検出して表示することができる撮像処理装置、内視鏡、画像処理方法、およびプログラムを提供する。

　本開示の撮像処理装置は、照明光を発し、前記照明光で被写体を照明した状態で偏光画像を取得する撮像素子を含む撮像部と、画像処理部とを備え、照明光軸と撮影光軸とが略同軸の関係を形成し、前記画像処理部は、前記撮像素子の出力に基づいて輝度画像を生成する輝度画像生成部と、前記撮像素子の出力に基づいて画素ごとに偏光度を算出し、偏光度画像を生成する偏光画像生成部と、前記被写体の表面における凹凸部の凹部で前記偏光度画像の偏光度を強調し、かつ、色相、彩度、および明度の少なくとも１つを補正して加工偏光画像を生成する偏光画像加工部と、前記加工偏光画像と前記輝度画像とを合成する画像合成部とを備える。

　本開示の画像処理装置は、上記の撮像処理装置における画像処理部として用いられる画像処理装置であって、前記撮像素子の出力に基づいて輝度画像を生成する輝度画像生成部と、前記撮像素子の出力に基づいて画素ごとに偏光度を算出し、偏光度画像を生成する偏光画像生成部と、前記被写体の表面における凹凸部の凹部で前記偏光度画像の偏光度を強調し、かつ、色相、彩度、および明度の少なくとも１つを補正して加工偏光画像を生成する偏光画像加工部と、前記加工偏光画像と前記輝度画像とを合成する画像合成部とを備える。

　本開示の内視鏡は、上記のいずれかの撮像処理装置に用いられる内視鏡であって、照明光を発し、前記照明光で被写体を照明した状態で偏光画像を取得する撮像素子を含み、照明光軸と撮影光軸とが略同軸の関係を形成するように配置されている。

　本開示の画像処理方法は、照明光軸と撮影光軸とが略同軸の関係を形成するようにして照明光によって被写体を照明した状態において撮像素子が取得した偏光画像のデータに基づいて画像処理を行う画像処理方法であって、前記撮像素子の出力に基づいて輝度画像を生成する工程と、前記撮像素子の出力に基づいて画素ごとに偏光度を算出し、偏光度画像を生成する偏光画像生成部と、前記被写体の表面における凹凸部の凹部で前記偏光度画像の偏光度を強調し、かつ、色相、彩度、および明度の少なくとも１つを補正して加工偏光画像を生成する工程と、前記加工偏光画像と前記輝度画像とを合成する工程とを含む。

　本開示の画像処理プログラムは、照明光軸と撮影光軸とが略同軸の関係を形成するようにして照明光によって被写体を照明した状態において撮像素子が取得した偏光画像のデータに基づいて画像処理を行うための画像処理プログラムであって、前記撮像素子の出力に基づいて輝度画像を生成する工程と、前記撮像素子の出力に基づいて画素ごとに偏光度を算出し、偏光度画像を生成する偏光画像生成部と、前記被写体の表面における凹凸部の凹部で前記偏光度画像の偏光度を強調し、かつ、色相、彩度、および明度の少なくとも１つを補正して加工偏光画像を生成する工程と、前記加工偏光画像と前記輝度画像とを合成する工程とをコンピュータに実行させる。

　本開示の実施形態によれば、被写体が透明あるいは半透明であっても、被写体の表面における凹凸部の凹部が視認しやすい画像が得られる。

半透明凹凸部の鏡面反射による輝度分布を模式的に示す図半透明凹凸部の内部拡散反射による輝度分布を模式的に示す図半透明凹凸部での２回反射による偏光を示す図半透明凹凸部での２回反射による偏光度の凹部傾斜角依存性を示す図半透明凹凸部での内部拡散光による偏光を示す図半透明凹凸部での内部拡散光による偏光度の観測角依存性を示す図（Ａ）、（Ｂ）、（Ｃ）、および（Ｄ）は、半透明凹凸の偏光度の強調加工方法を説明するための図本開示の第１の実施形態を示す図第１の実施形態におけるモノクロ広帯域偏光撮像素子のワイヤグリッド偏光子の平面構造を示す図第１の実施形態におけるモノクロ広帯域偏光撮像素子のフレーム付ワイヤグリッド偏光子の平面構造を示す図第１の実施形態におけるモノクロ広帯域偏光撮像素子の円形ワイヤグリッド偏光子の平面構造を示す図ワイヤグリッド偏光子（Ｐ＝１２０ｎｍ）のＴＭ透過率と消光比の波長依存性（シミュレーション結果）を示す図ワイヤグリッド偏光子（Ｐ＝１６０ｎｍ）のＴＭ透過率と消光比の波長依存性（シミュレーション結果）を示す図ワイヤグリッド偏光子（Ｐ＝２００ｎｍ）のＴＭ透過率と消光比の波長依存性（シミュレーション結果）を示す図ワイヤグリッド偏光子（Ｐ＝２００ｎｍ）で光の入射角=３０°の場合のＴＭ透過率と消光比の波長依存性（シミュレーション結果）を示す図ワイヤグリッド偏光子（Ｐ＝２００ｎｍ）で背景媒質(ｎ=１.４６)がある場合と無い場合とにおけるＴＭ透過率と消光比の波長依存性（シミュレーション結果）を示す図第１の実施形態におけるモノクロ広帯域偏光撮像素子のワイヤグリッド偏光子の断面構造（マイクロレンズが最上層）を示す図第１の実施形態におけるモノクロ広帯域偏光撮像素子のワイヤグリッド偏光子の断面構造（マイクロレンズが最上層）を裏面照射型の撮像素子に適用した図第１の実施形態におけるモノクロ広帯域偏光撮像素子のワイヤグリッド偏光子の断面構造（ワイヤグリッド偏光子が最上層）を示す図（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）、および（Ｅ）は、第１の実施形態におけるモノクロ広帯域偏光撮像素子の平面偏光モザイク構造の例を示す図（Ａ）、（Ｂ）、および（Ｃ）は、第１の実施形態における画像処理を説明する図第１の実施形態における輝度画像生成部と偏光度画像生成部の計算処理を説明するための図第１の実施形態における偏光度画像加工部の画像処理を説明する図第１の実施形態における偏光度画像加工部による強調処理で使用されるＥｎｈａｎｃｅ関数の例を説明する図（Ａ）～（Ｆ）は、生体粘膜の模擬被写体として半透明レンチキュラー板を用いた凹凸検出強調の実験結果を示す図本開示の第２の実施形態を示す図（Ａ）、（Ｂ）、および（Ｃ）は、第２の実施形態に関わるカラー偏光撮像素子のカラー偏光複合モザイク構造を示す図（Ａ）および（Ｂ）は、偏光処理によるアーティファクトを示す図第２の実施形態に関わるカラー偏光撮像素子の断面構造の一例を示す図第２の実施形態に関わるカラー偏光撮像素子の断面構造の他の例を示す図第２の実施形態に関わるカラー偏光撮像素子の断面構造の他の例を示す図第２の実施形態に関わるカラー偏光撮像素子の断面構造の他の例を示す図第２の実施形態に関わるカラー偏光撮像素子の断面構造の他の例を示す図第２の実施形態に関わるカラー偏光撮像素子の断面構造の他の例を示す図本開示の第３の実施形態を示す図（Ａ）、（Ｂ）、および（Ｃ）は、第３の実施形態に関わる偏光回転照明で内部拡散反射光の変動を検出する原理を示す図フレネル理論に基づくＰ波とＳ波が媒質への侵入する光量と入射角との関係を示す図本開示の第３の実施形態に関わる内視鏡先端部の偏光回転照明の偏光板配置を示す図本開示の第４の実施形態を示す図第４の実施形態に関わる内視鏡先端部の偏光回転照明を示す図第４の実施形態に関わる面発光偏光回転照明を示す図第４の実施形態に関わる面発光偏光回転照明の画素サイズの条件を示す図（Ａ）～（Ｈ）は、モノクロ広帯域偏光撮像素子のワイヤグリッド偏光子を作製する方法の一例を示す図（Ａ）～（Ｈ）は、モノクロ広帯域偏光撮像素子のワイヤグリッド偏光子を作製する方法の他の例を示す図（Ａ）～（Ｉ）は、モノクロ広帯域偏光撮像素子のワイヤグリッド偏光子を作製する方法の他の例を示す図

　本開示によれば、以下の撮像処理装置、画像処理装置、画像処理方法、画像処理ブログラムが提供され得る。

（項目１）
　照明光を発し、前記照明光で被写体を照明した状態で偏光画像を取得する撮像素子を含む撮像部と、画像処理部とを備え、照明光軸と撮影光軸とが略同軸の関係を形成し、前記画像処理部は、前記撮像素子の出力に基づいて輝度画像を生成する輝度画像生成部と、前記撮像素子の出力に基づいて画素ごとに偏光度を算出し、偏光度画像を生成する偏光画像生成部と、前記被写体の表面における凹凸部の凹部で前記偏光度画像の偏光度を強調し、かつ、色相、彩度、および明度の少なくとも１つを補正して加工偏光画像を生成する偏光画像加工部と、前記加工偏光画像と前記輝度画像とを合成する画像合成部とを備える撮像処理装置。

（項目２）
　前記撮像部は、前記照明光として、順次、異なる色の非偏光の光を発し、前記撮像素子は、偏光子アレイと、光電変換素子アレイとを有する、項目１に記載の撮像処理装置。

（項目３）
　前記撮像部は、前記照明光として、非偏光の白色光を発し、前記撮像素子は、偏光子アレイと、カラーモザイクフィルタアレイと、光電変換素子アレイとを有する、項目１に記載の撮像処理装置。

（項目４）
　前記撮像部は、前記照明光として、順次、少なくとも３つの方向に偏光面の向きが異なる偏光光を発し、前記撮像素子は、カラーモザイクフィルタアレイと、光電変換素子アレイとを有する、項目１に記載の撮像処理装置。

（項目５）
　前記偏光画像加工部は、前記偏光度画像に比べて、前記偏光度画像の前記被写体の表面における前記凹凸部の凹部の輝度を低下させた前記加工偏光度画像を生成する、項目１に記載の撮像処理装置。

（項目６）
　前記偏光画像加工部は、色の彩度を前記強調した偏光度に設定し、かつ、色の色相および明度を特定値に設定し、前記色相、彩度、明度の組をＨＳＶ空間からＲＧＢ空間に変換する、項目１に記載の撮像処理装置。

（項目７）
　前記偏光画像加工部は、前記凹凸部の凹部を青暗く表示するように前記加工偏光度画像を生成する、項目６に記載の撮像処理装置。

（項目８）
　前記偏光度画像生成部は、前記被写体の表面における前記凹凸部での２回反射に起因する偏光、および前記被写体の内部拡散光に起因する偏光の強度の極大位置を、前記被写体の表面における前記凹凸部の凹部として検出する、項目１に記載の撮像処理装置。

（項目９）
　前記偏光子アレイは、偏光透過軸の方位が異なる４個の偏光子が２行２列に配列された偏光子単位が行および列状に配列された偏光モザイク構造を有している、項目２または３に記載の撮像処理装置。

（項目１０）
　前記偏光度画像生成部は、各偏光子単位における２行２列の対角線上に位置する２個の偏光子に対応する画素値の差分の２乗数値に基づいて偏光度を決定する、項目９に記載の撮像処理装置。

（項目１１）
　前記撮像部は、レッド、グリーン、ブルーの各々の非偏光光を時分割で出射し、前記撮像素子は、可視光波長の全域において、偏光画像を取得できるモノクロ広帯域偏光撮像素子である、項目２に記載の撮像処理装置。

（項目１２）
　前記撮像素子はカラー偏光撮像素子である、項目３または４に記載の撮像処理装置。

（項目１３）
　前記偏光子アレイは、偏光透過軸の方向が異なる金属ワイヤグリッド偏光子の配列である、項目２または３に記載の撮像処理装置。

（項目１４）
　前記撮像素子は、前記偏光子アレイよりも前記被写体に近い位置または前記被写体から遠い位置に設けられたマイクロレンズを備えている、項目２または３に記載の撮像処理装置。

（項目１５）
　前記撮像素子は、マイクロレンズアレイを備え、光の入射側から順に、前記マイクロレンズアレイ、前記偏光子アレイ、前記カラーモザイクフィルタアレイが配置されている、項目３に記載の撮像処理装置。

（項目１６）
　前記撮像素子は、マイクロレンズアレイを備え、光の入射側から順に前記カラーモザイクフィルタアレイ、前記マイクロレンズアレイ、前記偏光子アレイが配置されている、項目３に記載の撮像処理装置。

（項目１７）
　前記撮像素子は、マイクロレンズアレイを備え、光の入射側から順に前記カラーモザイクフィルタアレイ、前記偏光子アレイ、前記マイクロレンズアレイが配置されている、項目３に記載の撮像処理装置。

（項目１８）
　前記カラーモザイクフィルタアレイの１色のカラーフィルタに相当する画素が、サブ画素構造を有しており、前記サブ画素構造に偏光透過軸の向きが異なる複数の偏光フィルタが対応する項目１５から１７のいずれかに記載の撮像処理装置。

（項目１９）
　前記偏光子アレイの各偏光子は、側面が空気と接している複数の金属ワイヤを有するワイヤグリッド偏光子である、項目２または３に記載の撮像処理装置。

（項目２０）
　前記撮像部は内視鏡である、項目１から１９のいずれかに記載の撮像処理装置。

（項目２１）
　前記撮像部はカプセル形状を有する容器におさめられている、項目２０に記載の撮像処理装置。

（項目２２）
　前記撮像部は前記照明光を発する光源を内蔵する、項目１から２１のいずれかに記載の撮像処理装置。

（項目２３）
　項目１から２２のいずれかに記載の撮像処理装置における画像処理部として用いられる画像処理装置であって、前記撮像素子の出力に基づいて輝度画像を生成する輝度画像生成部と、前記撮像素子の出力に基づいて画素ごとに偏光度を算出し、偏光度画像を生成する偏光画像生成部と、前記被写体の表面における凹凸部の凹部で前記偏光度画像の偏光度を強調し、かつ、色相、彩度、および明度の少なくとも１つを補正して加工偏光画像を生成する偏光画像加工部と、前記加工偏光画像と前記輝度画像とを合成する画像合成部と、を備える画像処理装置。

（項目２４）
　項目１から２２のいずれかに記載の撮像処理装置に用いられる内視鏡であって、照明光を発し、前記照明光で被写体を照明した状態で偏光画像を取得する撮像素子を含み、照明光軸と撮影光軸とが略同軸の関係を形成するように配置されている、内視鏡。

（項目２５）
　照明光軸と撮影光軸とが略同軸の関係を形成するようにして照明光によって被写体を照明した状態において撮像素子が取得した偏光画像のデータに基づいて画像処理を行う画像処理方法であって、前記撮像素子の出力に基づいて輝度画像を生成する工程と、前記撮像素子の出力に基づいて画素ごとに偏光度を算出し、偏光度画像を生成する偏光画像生成部と、前記被写体の表面における凹凸部の凹部で前記偏光度画像の偏光度を強調し、かつ、色相、彩度、および明度の少なくとも１つを補正して加工偏光画像を生成する工程と、前記加工偏光画像と前記輝度画像とを合成する工程と、を含む、画像処理方法。

（項目２６）
　照明光軸と撮影光軸とが略同軸の関係を形成するようにして照明光によって被写体を照明した状態において撮像素子が取得した偏光画像のデータに基づいて画像処理を行うための画像処理プログラムであって、前記撮像素子の出力に基づいて輝度画像を生成する工程と、前記撮像素子の出力に基づいて画素ごとに偏光度を算出し、偏光度画像を生成する偏光画像生成部と、前記被写体の表面における凹凸部の凹部で前記偏光度画像の偏光度を強調し、かつ、色相、彩度、および明度の少なくとも１つを補正して加工偏光画像を生成する工程と、前記加工偏光画像と前記輝度画像とを合成する工程と、をコンピュータに実行させる、画像処理プログラム。

　従来の輝度カラー画像処理によれば、透明または半透明の凹凸構造を検出することが困難であった。本開示の実施形態による撮像処理装置は、例えば臓器表面の透明または半透明の凹凸構造を検出することができる。

　図１Ａおよび図１Ｂを参照しながら、透明または半透明の凹凸構造の検出がなぜ輝度画像処理では困難であるかについて、理由を説明する。図１Ａおよび図１Ｂは、胃や腸の臓器表面に形成された凹凸構造の断面を簡略的に示している。胃や腸の表面に存在する多数の溝を有する構造は、一般的には、上に凸のカマボコ状（seｍi-cylindrical）の形状を有する構造物の繰り返し配列によって構成されていると考えられる。

　内視鏡による観察は同軸照明で行われる。すなわち、被写体に対して略真正面に位置する光源から照明光を照射し、略真正面から撮影が行われる。言い換えると、同軸照明では、光源から発せられた光の進行軸（照明光軸）とカメラ光軸（撮影光軸）とが略同軸（光軸がなす角度が１５°以下）の関係を形成する。同軸照明の場合において、通常のカラー輝度撮影にて観察できる反射光は大きく２種に分けられる。１つは、図１Ａに示すように、表面にて光が反射する鏡面反射光である。もう１つは、図１Ｂに示すように、媒質内部に浸透し、より下層で反射して戻って表面から再出射される内部拡散光である。

　鏡面反射光は、照射される光の方向と撮影光軸とが正反射の条件に近い場合に限って発生するため、内視鏡の撮影シーンではごく局所的にしか発生しない。鏡面反射光の色は照明の色すなわち白色であり、輝度は非常に強い。鏡面反射光は、前記の正反射条件から一般に凹凸の凸部にて強く明るく、凹部では弱く暗い。

　一方、内部拡散光は、撮影シーンの全域に渡って観測される。内部拡散光の色は媒質の色自身であり輝度はそれほど強くならない。内部反射光では、媒質全体が光り、媒質の厚い凸部において暗く、媒質の薄い凹部において明るくなる傾向がある。

　以上のことから明らかなように、臓器表面における凹凸の輝度画像は、鏡面反射光と内部拡散光とで反対になる。

　撮影シーンの中では、上記の２種の反射光がその光量を変えながら重ねあわされる。このため、両者の輝度の差がほぼ拮抗する領域では、凹凸部で輝度の明暗差がほとんど無くなる。そのため、凹凸の検出にとって輝度画像が無力となる。もし明暗の輝度差があったとしても、その情報に基づいて、たとえば周囲の画素よりも輝度の低い画素を凹部として検出する処理をすると、鏡面反射光が相対的に強い領域と内部拡散反射光が相対的に強い領域との間で凹凸の位置関係にズレを生じてしまう。

　次に、凹凸の偏光観察を行う場合を説明する。内視鏡による同軸照明による撮影において、偏光情報にて観察できる反射光には大きく２種ある。１つは凹凸の凹部の斜面にて光が２回反射することによって生じる偏光（２回反射偏光）である。もう１つは媒質内部に浸透し、より下層で反射して戻って表面から再出射される過程で生じる偏光（内部拡散偏光）である。

　偏光の強度は偏光度にて表現される。フレネル理論では、偏光度は媒質の屈折率、入射角、出射角によって決定される。表面での１回反射光はほとんど偏光しない。

　図２Ａは、凹凸構造における凹部で２回反射が生じる様子を示している。生体表面の溝をモデル化した凸のカマボコ形状の凹部の底部付近の斜面と法線とのなす角度は一定ではなくある分布を有している。しかし、簡単のため、ここでは底部の最大の角度を略４５度としている。このとき、入射光は斜面で２回反射して撮影視点に到達する。光が空気と表面媒質との間で２回反射する際に非常に強い偏光を呈する。

　図２Ｂは、斜面の傾斜角度と同軸照明の２回反射で観察される光の偏光度との関係を示すグラフである。凹部斜面の傾斜角度が４５度のときに２回反射光の偏光度がきわめて大きくなるが、傾斜角度が４５°から外れると、偏光度は急激に低くなることがわかる。このため、表面一面に凹凸が存在した場合、２回反射光の偏光はきわめて強く検出は容易だが、一定の角度関係を満たす一部の局所領域でしか２回反射光が発生しない上、斜面どうしの開き角度が小さい場合などには現象自体が発生しない。よって、２回反射偏光を利用して表面凹凸の凹部を検出することは、人工物である工業製品の検査などにおいては有効であるが、形状が一定しない生体を任意の位置から観察する内視鏡の観察においては、使える情報としては非常に限定的なものとなってしまう。

　図３Ａは、表面凹凸を有する媒質で内部拡散反射が生じる様子を示している。入射光は、半透明媒質内部に進入すると媒質内にてさまざまな散乱を受けながら、より下層の粘膜境界面に到達し、そこから反射されて表面から再度放出される。内部拡散光は、媒質内の屈折率が一様であれば、特定の偏光を有しない。しかし、境界面法線と視線との傾きである出射角が大きい場合には、同軸照明で観察される内部反射光の偏光度か大きくなる。図３Ｂは、この内部拡散光の偏光度（ＤＯＰ）と出射角（観測角θ）との関係を示すグラフである。同軸照明で観察される内部反射光の偏光度は、図３Ｂに示すように、遮蔽エッジに近いほど大きくなる。そのため、このモデルのように最大傾斜角度が４５度では偏光度は小さくなる。しかし、このように弱い偏光の検出は、性能のよい偏光イメージセンサを用いれば、充分に実現可能である。

　２回反射による偏光と内部拡散反射による偏光との間には、上記のとおり、局所的限定的なものか、大域的なものであるか、また偏光度が大きいか微弱か、という性質のほか、凹凸の向きに対して偏光の振動面が平行になるか垂直になるかという違いも存在する。

　したがって、２回反射光の強度が強い場合、それに直交する内部拡散反射が消されてしまい観測ができなくなる。本発明者の実験では、被写体となる半透明物体が比較的暗い物質（光の拡散反射率が低い黒や茶色の被写体）の場合には、表面での２回反射が強くなるため、それに直交する内部拡散反射の偏光の観測が困難になる。しかし、この場合は、上記のように、表面には凹凸に伴う明暗の輝度が観測されるため、偏光観測に頼る必要はない。一方で、消化器の粘膜のような明るい半透明物質（光の拡散反射率の高い白と、黄色、ピンク色の被写体）の場合には、内部拡散反射光が多いために輝度の明暗が見えにくくなると同時に、内部拡散による偏光観察が主成分となってくる補完的関係となる。

　なお、上記内部拡散光の偏光を観察する場合には、撮像系の偏光検出性能が重要になる。偏光イメージセンサの性能評価指標として、消光比（ＥｘｔｉｎｃｔｉｏｎＲａｔｉｏ）が使われる。本物の消化器粘膜の代用として後述する半透明レンチキュラー板を使った本発明者の実験では、消光比が６：１程度の偏光イメージングカメラを用いた場合には、凹凸の観測が困難であった。しかし、消光比１６６：１程度の偏光板とカラーカメラの組み合わせの撮像系では、凹凸の観察が十分に可能であった。本開示の実施形態に使用する偏光イメージセンサは、偏光撮像を利用する波長帯において、１００：１以上の消光比を有している。

　次に図４を参照して、実際に検出された凹溝を医師にわかりやすく提示する方法の例を説明する。図４（Ａ）は、凹凸にて検出される前記２種類の偏光光を示している。この２種の偏光光の偏光度は、いずれも、凹部において極大化し、凸部では極小化する。このため、この２種類の偏光光から偏光度画像を生成すると、図４（Ｂ）に示すように、偏光度の値が大きい箇所である凹部において偏光度画像が明るく、凸部において偏光度画像が暗くなる。しかし、現在、内視鏡観察において医師が表面凹凸に青色色素撒布を実際に実施した際には、凹部に青い液体がたまって暗くなり凸部では青色液体ははじかれて明るくなっている。このため、この偏光度画像を輝度画像にそのまま重畳しても医師にはわかりづらいものとなる。

　そこで、実施形態では、偏光度画像に加工を実施する。図４（Ｃ）に示すように、偏光度画像の明度を反転する処理をしてから、その偏光度画像と輝度画像とで重み付け加算を実施する。これによって、内視鏡のカラー画像で凹凸が見えない表面に凹部が「暗」、凸部が「明」という輝度の明暗を重ねて表示できることになる。より色素撒布画像に近づける処理をするには、図４（Ｄ）に示すように、偏光度画像の色相を青色に設定して明度を高くし彩度を明度で変調する処理を行えばよい。これによって、ちょうど凹部に青色液体が溜まる状態に類似した画像を生成することも可能となる。

　本開示の実施形態では、透明あるいは半透明の被写体表面において２回反射（鏡面反射）による局所的ではあるが強い偏光度を有する反射光と、透明あるいは半透明の被写体内部の内部拡散光が表面から射出される際の非局所的であるが弱い偏光度を有する反射光の、２種類の反射光を合成した光がちょうど凹凸の凹部において極大になるという性質が利用される。このため、輝度を直接利用する必要がなくなり、明暗変化がほとんど無い領域でも、また反射状態によって明暗と凹凸の関係が異なる場合でも被写体表面の凹凸を検出することができる。

　さらに偏光度画像に対して、その色信号の色相、輝度、明度の少なくとも１属性に加工を施し、加工された偏光度画像と輝度画像とを合成すれば、被写体表面の凹凸を強調表示する画像が得られる。こうすれば、弱い偏光度の画像でも、検出した凹凸を人間に対して判りやすい形で画像上に輝度と重ね合わせて提示することができる。具体的には凹凸の凹部を暗、凸部を明に輝度表示するモードとインジゴカルミンなどの青色色素液体を撒布したのと類似の状態にするように凹凸の凹部を青色、凸部を白色に輝度表示するモードを備える。

　以下、本開示の実施形態をより詳細に説明する。後述する４つの実施形態の概略は、以下のように整理され得る。本開示は、これらの実施形態に限定されない。
　第１の実施形態：
　照明光はＲ、Ｇ、Ｂの色を有する非偏光の光であり、時分割で色の異なる光で被写体が照射される。撮像素子には偏光子アレイが設けられているが、カラーモザイクフィルタは設けられていない。
　第２の実施形態：
　照明光は非偏光の白色光である。撮像素子には偏光子アレイおよびカラーモザイクフィルタが設けられている。
　第３の実施形態：
　照明光は白色光の偏光光であり、偏光面の向きが異なる偏光光を時分割で被写体に照射する。内視鏡の先端部で偏光照明が形成されるが、光源は、内視鏡の先端部には設けられていない。撮像素子にはカラーモザイクフィルタが設けられているが、偏光子アレイは設けられていない。
　第４の実施形態：
　照明光は白色光の偏光光であり、偏光面の向きが異なる偏光光を時分割で被写体に照射する。内視鏡の先端部に光源が設けられている。撮像素子にはカラーモザイクフィルタが設けられているが、偏光子アレイは設けられていない。

（第１の実施形態）
　図５は、本開示の実施形態１における撮像処理装置の全体構成を模式的に示す。本撮像処理装置は、内視鏡１０１と、制御装置１０２と、表示部１１４とを備える。内視鏡１０１は、モノクロ広帯域偏光撮像素子１１５を有する先端部１０６、および、ライトガイド１０５と映像信号線１０８とを内部に有する挿入部１０３を有している。内視鏡１０１の挿入部１０３は、図示されているように左右に長く、フレキシブルに曲がり得る構造を有している。ライドガイド１０５は曲がった状態でも光を伝達することができる。

　制御装置１０２は、光源部１０４と画像プロセッサ１１０とを備える。光源部１０４内には、キセノン光源、ハロゲン光源、あるいはＬＥＤ光源などによるランプ１０８が備えられている。ランプ１０８から発した白色非偏光の光は、回転するＲＧＢフィルタを有するカラーホイール１１６を通過する。その結果、Ｒレッド、Ｇグリーン、Ｂブルーの面順次光が形成され、ライトガイド１０５を経由して先端部１０６に導かれる。こうして、被写体にＲ、Ｇ、Ｂの色が順次切り替わる非偏光の照明光１１７で凹凸のある半透明被写体１１１を照射する。被写体１１１からの反射光１１３は、撮影レンズ１０９を通ってモノクロ広帯域偏光撮像素子１１５上に結像する。

　同期装置１１２は、カラーホイール１１６の回転と同期しながら、モノクロ広帯域偏光撮像素子１１５に撮影開始信号を送って反射光による映像を取得する。撮像によって得られた映像信号は、映像信号線１０８を経由して画像プロセッサ１１０に到達する。

　以上の処理をＲ、Ｇ、Ｂの色が切り替わる面順次方式で実施してカラー撮像と偏光撮像を実施する。

　次に、モノクロ広帯域偏光撮像素子１１５の構成と、画像プロセッサ１１０による特徴的な画像処理によって図４で説明した処理がいかに実現されるかを説明する。

　図６は、モノクロ広帯域偏光撮像素子１１５の撮像面の構成例を示す図である。図６に示すように撮像面には、画素が行および列状に規則的に配列されている。

　本実施形態では、照明光の色がＲ、Ｇ、Ｂの間で順番に変化するために、撮像面上にはカラーモザイクフィルタは設置されない。このため、本実施形態における撮像素子１１５はモノクロ撮像素子であるが、ＲＧＢの各波長帯域において感度を有するよう構成されている。また、偏光撮像がこの広い波長帯で可能なように偏光子も可視光帯域で十分な性能を有する。例えば波長４００ｎｍ～８００ｎｍの帯域において、偏光子の消光比が１００：１以上であり得る。本実施形態では、特定波長の狭い帯域のみで偏光特性を呈する偏光子を使用する代わりに、金属ワイヤグリッド偏光子アレイ２００を採用している。

　金属ワイヤグリッド偏光子アレイ２００の具体的配置例の一部が図６に拡大して示されている。この例では、２×２の画素ブロックに偏光透過軸を４５°ずつ回転させた金属ワイヤグリッド偏光子アレイ２００ａ、２００ｂ、２００ｃ、２００ｄが配列されている。この２行２列の金属ワイヤグリッド偏光子アレイ２００ａ、２００ｂ、２００ｃ、２００ｄからなるブロックが周期構造の１つの単位を形成している。本明細書では、一定の方向に金属ワイヤが平行に並んだワイヤのグリッドを１個の「金属ワイヤグリッド偏光子」と称し、複数の金属ワイヤグリッド偏光子が面内に配列された構造を全体として「金属ワイヤグリッド偏光子アレイ」と称する。

　後述するように、この金属ワイヤグリッド偏光子アレイ２００は、撮像素子の最上面から下層までの間の任意のレベルに配置され得る。撮像面に垂直な方向から見たとき、画素の各々に割り当てられる個々の金属ワイヤグリッド偏光子アレイ２００ａ、２００ｂ、２００ｃ、２００ｄは、画素の外縁よりも若干の余裕度Δだけ内側に後退して領域内に配置されている。１画素が一辺の長さＤ＝３～４μｍの正方形であるとすると、余裕度Δは、例えば０．２μｍ＝２００ｎｍ以上に設定され得る。ワイヤグリッド偏光子アレイ２００ａ、２００ｂ、２００ｃ、２００ｄを構成する複数の金属ワイヤの各々の幅Ｌと間隔Ｓのデユーティ比は、透過率と消光比のトレードオフになる。本実施形態では、後述するようにＬ＝Ｓ＝０．１μｍ＝１００ｎｍに設定している。Δ＝０．２μｍ＝２００ｎｍの場合、各ワイヤグリッド偏光子アレイ２００ａ、２００ｂ、２００ｃ、２００ｄを構成する金属ワイヤの本数は、金属ワイヤの方向によって異なり、金属ワイヤの方向が０°と９０°の場合には、金属ワイヤの本数は１７本であり、４５°と１３５°の場合には２３本（いずれも奇数）である。このため、撮像面に垂直な方向から見たとき、各画素の中心はかならずワイヤグリッド偏光子アレイ２００ａ、２００ｂ、２００ｃ、２００ｄのいずれかによって覆われている。また、ワイヤグリッド偏光子アレイ２００ａ、２００ｂ、２００ｃ、２００ｄの各々において、中心のワイヤを基準にすると、その両側に位置するワイヤは、中心のワイヤに対して線対称に配列されている。

　図７および図８は、それぞれ、ワイヤグリッド偏光子アレイ２００における一組の偏光子アレイ２００ａ、２００ｂ、２００ｃ、２００ｄの別の配置例を示している。いずれの例でも、２×２＝４個のワイヤグリッド偏光子アレイ２００ａ、２００ｂ、２００ｃ、２００ｄが周期構造の１単位を形成し、４個のワイヤグリッド偏光子アレイ２００ａ、２００ｂ、２００ｃ、２００ｄの金属ワイヤの方向が４５°ずつ回転した関係を有している。

　図７の例では、各ワイヤグリッド偏光子アレイ２００ａ、２００ｂ、２００ｃ、２００ｄの周囲に金属のフレームを設けることにより、ワイヤグリッド偏光子を構成する個々のワイヤが高い場合の倒れを防止することができる。

　図８の例では、各ワイヤグリッド偏光子アレイ２００ａ、２００ｂ、２００ｃ、２００ｄを構成する金属ワイヤの本数が金属ワイヤの方向によらず一定である。

　金属ワイヤグリッド偏光子アレイ２００ａ、２００ｂ、２００ｃ、２００ｄは、一般的なワイヤグリッド偏光子で使われているＡｌ（アルミニウム）から形成され得るが、他の金属から形成されていてもよい。ワイヤグリッド偏光子アレイ２００ａ、２００ｂ、２００ｃ、２００ｄを構成する金属ワイヤの寸法は、可視光での動作を行うためサブ波長領域にある。金属ワイヤグリッド偏光子アレイ２００を正面から見たときの金属ワイヤの幅、および、金属ワイヤの間隔を、それぞれ、「ライン幅」および「スペース幅」と呼ぶことにする。また、金属ワイヤグリッド偏光子アレイ２００を側面から見たときの金属ワイヤの厚さを、「高さ」と呼ぶことにする。ライン幅、スペース幅、および高さは、それぞれ、１００、１００、および１００ｎｍ程度以下に設定され得る。

　表１に、アルミニウム製ワイヤグリッド偏光子の寸法による性能の違いを示す。

　表１に示す数値は、本発明者のシミュレーション実験から得られた。ワイヤグリッド偏光子のライン幅Ｌとスペース幅Ｓを同じ幅とした場合、ピッチＰ＝（Ｌ＋Ｓ）および高さＨを表１に示す値に設定すると、１００：１以上の消光比が得られることがわかる。

　図９から図１１は、Ｐ＝１２０、１６０、２００ｎｍとした場合のワイヤグリッド偏光子のＴＭ透過率（ＴＭ　Ｔｒａｎｓｍｉｔｔａｎｃｅ）および消光比（ＥｘｔｉｎｃｔｉｏｎＲａｔｉｏ）の波長依存性を示すシミュレーション結果である。ピッチＰ＝１２０ｎｍのとき、最も性能が高くなるが、Ｐ＝２００ｎｍでもＨ＝１１０ｎｍ以上とすることによって消光比１００：１をほぼ全可視光範囲で得られることが判明した。

　次に、ワイヤグリッド偏光子の斜入射特性につき説明する。

　図１２は、Ｐ＝２００ｎｍのワイヤグリッド偏光子に３０°の入射角で平行光が入射した場合のシミュレーション結果を示している。図１１と図１２との比較により、波長４００ｎｍ付近でＴＭ透過率、消光比とも低下が見られる。この低下はＰが十分小さい場合には比較的軽微である。ワイヤグリッド偏光子に垂直に光を入射させると、このような低下は見られない。

　次に、ワイヤグリッド偏光子の背景媒質の影響につき説明する。

　図１３は、背景媒質の屈折率ｎを１．４６（SiO₂など）とした場合と１．０（空気）にした場合における消光比の波長依存性を示すグラフである。図１３のグラフは、上からＰ＝１２０、１８０、２００ｎｍにおけるシミュレーション結果を示している。図１３における「Ａｌｉｎｔｈｅａｉｒ」はワイヤが空気に囲まれている例を示し、「Ａｌｉｎｔｈｅｍｅｄｉｕｍ」はワイヤが背景媒質によって囲まれている例を意味する。ここで注目されるのが消光比の違いが１桁程度もあることある。ワイヤグリッド偏光子は屈折率が高い媒質中に埋められるよりも、空気中に置かれた方が高い消光比を実現できる。これは媒質中では光の波長が１／ｎになるため、媒質中に設置された金属構造が波長に比較して相対的に大きく見えるため、サブ波長素子としての条件を満足できなくなるためと想像される。

　非特許文献１によると、Ｐ＝１４０ｎｍ、Ｈ＝７０ｎｍで消光比はＧ、Ｒの各波長でそれぞれ４４：１、Ｒで３０：１であった。この数値はワイヤグリッド偏光子単独のシミュレーション結果から見ると１桁以上低下している。したがって、ワイヤグリッド偏光子を撮像素子に実際に装着すると、その性能が劣化することが予想される。性能劣化を引きおこす主要な原因は、画素間クロストークである。そこで本実施形態においては、まずワイヤグリッド偏光子の基本性能を向上させるとともにワイヤグリッド偏光子から撮像素子のフォトダイオード（ＰＤ）までの距離は２～３μｍ程度にする。

　図１４は、本実施形態におけるモノクロ広帯域偏光撮像素子１１５の１画素に相当する部分の断面構造を示す図である。撮像素子は、種類が限定されず、ＣＭＯＳ型、ＣＣＤ型などであり得る。

　入射光は、図１４における撮像素子の上方に設置される対物レンズ（図示せず）から撮像面に到達する。最上面にはマイクロレンズ２１０が設置される。このマイクロレンズ２１０の役割は光の効率的なＰＤ２２０への集光であるが、同時に斜め入射光の光路をまげて垂直に近い角度にするもので、特に内視鏡のように広角撮影が多用されるケースでは有効である。同時にワイヤグリッド偏光子アレイ２００に対してほぼ直上から光を入射させることができるため、ＴＭ透過率と消光比の低下を防ぐ効果を有する。

　マイクロレンズの下には平坦化層があり、その下層にワイヤグリッド偏光子アレイ２００が設置されて４５°ずつ回転した特定の方向の偏光だけが透過し、それ以外の光は反射または吸収される。ここで、ワイヤグリッド偏光子アレイ２００は、図１４に示すように、金属ワイヤの隙間からなる中空構造を有している。各金属ワイヤは、隙間を充填する屈折率がほぼ１の空気と接しているため、高い消光比が実現され得る。

　ワイヤグリッド偏光子アレイ２００が上方に位置するほど、中空構造を作りやすいため、マイクロレンズ２１０の次の下層に設置される。ワイヤグリッド偏光子アレイ２００の下層には、平坦化層２３０ａと配線層２５０がある。光の透過部分には配線が設けられていないため、入射光は配線に遮光されることなく、その下層にあるＰＤ２２０に到達する。一般に撮像素子では、マイクロレンズからＰＤまでの距離を短くする低背化が重要である。偏光撮像素子の場合も同様であり、マイクロレンズ２１０からＰＤ２２０までの距離が長い場合、画素間クロストークが発生して偏光特性、特に消光比を低下させてしまう。本実施形態においては、偏光における画素間クロストークの原因となるワイヤグリッド偏光子アレイ２００からＰＤ２２０までの距離（深さＤ）を２～３μｍ程度に設定している。

　ワイヤグリッド偏光子アレイ２００では、金属ワイヤが延びる方向に対して垂直な方向に電場が振動する電磁波（ＴＭ波）の透過率は高いが、金属ワイヤが延びる方向に対して平行な方向に電場の振動する電磁波（ＴＥ波）の透過率は低い。このため、ＴＥ波はワイヤグリッド偏光子アレイ２００で反射され、反射光が迷光となり、性能劣化の原因となる。これを回避するためには、ワイヤグリッド偏光子アレイ２００を複数の層に積層し、反射光を積層された構造中で吸収するように構成することが有効である。

　図１５は、おなじくモノクロ広帯域偏光撮像素子１１５の撮像面の断面構造の他の例を示す図である。この例における撮像素子１１５は、いわゆる裏面照射型である。上層からマイクロレンズ２１０・ワイヤグリッド偏光子アレイ２００・ＰＤ（２２０という順番は同じであるが、配線層２５０がＰＤ２２０の上に存在しないため一層の低背化が実現され、撮像素子１１５の感度が向上する利点がある。さらにワイヤグリッド偏光子－ＰＤ間距離Ｄもきわめて短くできる。図１６は、おなじくモノクロ広帯域偏光撮像素子１１５の撮像面の別の断面構造を示す図である。この例における撮像素子１１５は、光の入射側の上層から、ワイヤグリッド偏光子アレイ２００、マイクロレンズ２１０、ＰＤ２２０という順番の構成をとる。この構成は、テレセントリック光学系などを用いて撮像素子１１５には斜め入射がないような状態で使う場合の偏光撮像素子を想定したものである。ワイヤグリッド偏光子アレイ２００を最上層に配置することで中空型の構造を作る必要がなくなる利点がある。

　図１７は、モノクロ広帯域偏光撮像素子１１５の撮像面において、０°、４５°、９０°、１３５°という異なる４つの角度で特定される偏光子の偏光モザイク配列のの幾つかの例を示す平面図である。図１７（Ａ）および（Ｂ）は、それぞれ、偏光モザイク配列の周期構造を規定する単位が２×２＝４個の偏光子から構成される例を示している。一方、図１７（Ｃ）および（Ｄ）は、それぞれ、偏光モザイク配列の周期構造を規定する単位が２×４＝８個の偏光子から構成される例を示している。偏光子の４つの角度は、図１７（Ｅ）の座標に示すように、ワイヤグリッド偏光子のワイヤの向き（方位角）で定義される。

　これらの偏光モザイク配列では、それぞれの単位を上下左右に並べて平面が埋め尽くされ得る。このような偏光モザイク配列によれば、接接する２×２個の偏光子の中に必ずワイヤの向きが異なる４種類のワイヤグリッド偏光子が存在する。

　なお、臓器からの反射光の偏光度は、極めて微弱なため、本実施形態では、偏光撮像素子１１５の消光比性能を向上させている。偏光撮像素子１１５の性能を最大限まで高めるための偏光キャリブレーション処理を実施してもよい。

　この偏光キャリブレーション処理は、以下のようにして行われ得る。

　偏光撮像素子を用いて、完全拡散板などの偏光度が０に近い標準被写体を撮影した偏光画素構造レベルの画像データを蓄積しておく。実際の観察時点では、画素構造レベルで観測された画素値ＩＯを、事前に完全拡散板で観測された画素値ＩＷを使って以下の式１で示される除算を実施する。この処理は、以下に説明する図５の偏光モザイク処理部３００において観測時にリアルタイムに実施されてもよいし、撮像素子１１５自身内部の電子回路で処理されてもよい。これによって偏光撮像素子１１５の各偏光画素の有する輝度や偏光特性のばらつきやオフセット等が補正され、微弱な偏光度を正確に観測することができる効果を有する。観測される偏光度ＤＯＰが０．０５程度の場合には、撮像素子１１５の偏光特性のばらつきやオフセット値に対して信号が微弱となる。しかし、この偏光キャリブレーション処理によって鮮明な表面凹凸画像を得ることが可能になる。

ここで、Ｋは定数を示し、０、°４５°、９０°、１３５°における観測輝度をそれぞれIＯ₀、IＯ₁、IＯ₂、ＩＯ₃、事前に観測された完全拡散板などの観測輝度をIＷ₀、IＷ₁、IＷ₂、ＩＷ₃としている。

　上述のモノクロ広帯域偏光撮像素子１１５で撮影された映像信号は、次に図５の偏光モザイク処理部３００に入力される。偏光モザイク処理部３００では、撮像素子１１５からの画像の読み出しと面順次に取得された画像を、後段の画像処理のため、ＲＧＢカラー画像に整えてバッファに蓄積する。また、偏光モザイク処理部３００は、図１７を参照して説明した各種のモザイク配列に基づいて、画像平面内のどの場所においても４種類の偏光画素値I₀、I₁、I₂、Ｉ₃を出力する。

　図１８を参照して、この偏光モザイク処理部３００、輝度画像生成部３１２、偏光度画像生成部３１４の処理を説明する。図１８（Ａ）に、２×２単位の偏光モザイクの仮想的な中心画素位置１８０１を示す。４種の異なる向きの偏光子で観測された輝度値をI₀、I₁、I₂、Ｉ₃とし、これらの値は上記の中心画素位置１８０１にて取得されたものとみなして処理をする。

　図５の輝度画像生成部３１２は、観測後、上記のキャリブレーション処理された４個の偏光画素値I₀、I₁、I₂、Ｉ₃を平均する。こうして、偏光成分がキャンセルされたカラー輝度値を取得する。カラー輝度値は、色毎に決定された輝度Yをカラー成分として含む。以下の説明では、輝度YはＲ、Ｇ、Ｂなどのカラー成分の１つを表す。０、°４５°、９０°、１３５°における観測輝度をそれぞれI₀、I₁、I₂、Ｉ₃とすると、平均値である非偏光輝度Ｙ_AVEは、以下の式２によって算出される。

　本明細書における「輝度画像」とは、Ｒ成分、Ｇ成分、Ｂ成分が合成されたカラー画像を示すものとする。従って、Ｒ、Ｇ、Ｂの３つのカラー成分について式２によって算出された輝度を、３つのカラー成分について合算することにより、輝度画像が得られる。

　図５の偏光度画像生成部では、４個の画素値の変動を余弦関数にフィッティングする。偏光透過軸は、ワイヤグリッド偏光子のワイヤに対して直交している。この偏光透過軸の方位角をΨ_Iとすると、４個の画素値の輝度変動Ｙ（Ψ_I）は、平均輝度ＹΨ_I＿_AVE、位相Ψｏ、振幅Ａ_Iを変数として、以下の式３で表現される。この式３で表される余弦関数の例が図１８（Ｃ）に示される。

　図１８（Ｂ）は、偏光度画像生成部３１４で実行される演算を説明する図である。偏光度画像生成部３１４では、図１８（Ｂ）に示されるように、２つの対角差分値（I₀－I₂）および（I₁-I₃）が計算される。これらの対角差分値を用いると、振幅Ａ_Iは以下の式４で得られる。

　以下の式５を用いると、偏光度ＤＯＰ（Degree of Polarization）は、以下の式６で求められる。

　ＤＯＰは、図１８（Ａ）に示される中心画素位置１８０１に１つの値が与えられる。撮像面内における多数の中心画素位置１８０１の各々でＤＯＰが求められる。このＤＯＰをデジタル値として各画素に割り当てて画像としたものが偏光度画像である。ＤＯＰの値を８ビットで表現する場合、偏光度＝０（最低）ときの画素値が０、偏光度＝１（最高）のときの画素値が２５５をとるモノクロ画像によって偏光度画像が表現される。

　偏光度の計算は、図１８（Ｂ）で示す２×２画素単位での対角差分値が基本的になる。この演算は、隣接画素との差分演算であるため、ノイズに弱い。その結果、偏光度画像上にモアレなどのアーティファクトが発生することがよくある。これを防ぐために、偏光度計算をする前段階で画像の最高周波数（空間周波数の最高値）を下げてもよい。具体的には、広帯域偏光撮像素子１１５で撮像された全解像度の画像に対してローパスフィルタ処理を実施してもよい。ローパスフィルタ処理は、光学的にではなく画像処理によって行うことができる。あるいは、最大解像度を使用せず、２×２単位画素を仮想的な１画素の単位として全体の画像サイズを１／２×１／２にしてもよい。

　図１９Ａは、輝度画像生成部３１２と偏光度画像生成部３１４における計算をリアルタイム処理するための構成例を示すブロック図である。偏光モザイク処理部３００から輝度画像生成部３１２に入力された４種の画素値I₀、I₁、I₂、Ｉ₃は、まず輝度画像生成部３１２で加算平均される。輝度画像生成部は、加算平均によって得たＹ_AVEを出力する。また２種の対角位置の画素値（I₀、I₂）および（I₁、I₃）は、偏光度画像生成部に入力される。偏光度画像生成部３１４では、前述した２つの対角差分値（I₀－I₂）および（I₁-I₃）に基づいて、計算回路によって振幅A_Iが算出される。この計算は、式４に従って実行される。

　最後にY_ABEとA_Iとから、（式５）（式６）を計算する処理を経て、偏光度ＤＯＰが算出される。

　なお、ここで述べたブロック図の処理は、本実施形態における画像プロセッサ１１０内で専用ハードウエアまたは高速ソフトウエアにて実施され得る。しかし、偏光撮像素子１１５が、このブロックで示した計算回路を含んでいてもよい。そのような計算回路を偏光撮像素子１１５が備える場合、その偏光撮像素子から通常のカラー画像（輝度画像）と偏光度画像とを、同時または選択的に出力させることもできる。制御信号線を介して偏光撮像素子１１５に制御信号を入力し、あるモードでは通常のカラー画像を出力させ、他のモードでは偏光度画像を出力させることができる。

　図１９Ｂは偏光度画像加工部での処理を説明する図である。

　図４を参照して説明したように、本実施形態では、生成された偏光度画像を人間にとって見易い画像として医師に提示するための特殊な加工を施す。従来、偏光度画像処理の結果は擬似カラー表示されることが多かった。たとえば、（式３）で示される余弦関数にフィッティングして得られるΨ０とＤＯＰを、擬似色信号の色相と彩度に割り当てることが知られている。しかし、この表示は、偏光情報のビジュアライゼーション手法に過ぎない。一方、本実施形態では、表面凹凸の強調による人間に見易い画像への加工を２つの手法で実現する。

（１）輝度モード
　輝度モードでは、通常のカラー輝度画像に対して、凹部を暗く、凸部を明るく強調して表示する。凹部が暗く、凸部か明るい画像（強調画像）をカラー輝度画像（基準画像）と重畳して表示しても良いし、強調画像と基準画像とを個別に切り替えて表示してもよい。凹部が暗く、凸部か明るい画像は、偏光度画像から作成される。

　偏光度を強調した後に反転する処理を偏光度画像に対して行えば、強調画像を得ることができる。この処理は、以下の式７に従って実行され得る。

ここでＥｎｈａｎｃｅ関数は入力を線形、非線形に強調する関数である。この処理の結果得られるＤＯＰ１は、Ｒ、Ｇ、Ｂ成分を有するカラー画像であるが、Ｒ、Ｇ、Ｂ成分の大きさが等しいため、グレイ画像と言える。

　図１９Ｃは、上記のＥｎｈａｎｃｅ関数の例を示している。８ｂｉｔ信号で表現された偏光度ＤＯＰがおなじく８ｂｉｔ信号の偏光度ＤＯＰ１に強調される。図１９Ｃの例では、直線的なゲインアップが行われるが、Ｅｎｈａｎｃｅ関数の形は任意である。半透明被写体の表面凹凸を観測するため、内部拡散光の微弱な偏光を偏光度画像として見える状態にまで強調する。Ｅｎｈａｎｃｅ関数のゲインは、例えば５０倍程度に設定され得る。

（２）青色色素モード
　青色色素モードでは、凹部をインジゴカルミン液が溜まった状態のように青暗く、凸部をカラー画像のままに表示する。この処理は偏光度を強調した後にＨＳＶカラー処理をして加工することによって実現される。この処理は、例えば、以下の式８に従って行われ得る。

ここで、ＨＳＶ２ＲＧＢ()関数は、色相Ｈ、彩度Ｓ、明度ＶからなるＨＳＶ色空間からＲＧＢ色空間に変換する関数である。本実施形態では、色相を青色の色相Ｂｌｕｅ＿Ｈｕｅ、明度を最大値１と固定する。そして、ＤＯＰが高い箇所の青色を濃くするように彩度を決定する。結果として得られるＤＯＰ２は、カラー画像である。

　画像合成部３２０では、輝度画像Ｙ_AVEと、上記のように加工された偏光度画像ＤＯＰ１またはＤＯＰ２とをカラー成分ごとに重みつき加算して合成する。重み係数をＷとすると、以下の式９に示すように表現できる。

　式９におけるＷを可変にすることにより、異なる種類の画像を得ることができる。例えばＷ＝１の場合には、通常カラー画像が得られ、Ｗ＝０の場合には、加工された偏光度画像が得られる。Ｗを自在に変更することにより、カラー輝度画像と加工された偏光度画像とを任意に比率で合成し、医師が見やすい画像を得ることができる。半透明粘膜から透けて見えている下層の毛細血管パターンなどを観察しつつ、最表面の凹凸も同時に観察する場合、従来のインジゴカルミン液撒布を行うと、表面の凹凸が明瞭化して背景の毛細血管などは隠蔽されてしまいがちであった。しかし、本開示の実施形態によると、表面の凹凸の観察と背景の毛細血管の観察とを両立させることができる。

　次に、本実施形態の撮像処理装置を用いて被写体を撮像し、画像処理を行った結果を説明する。被写体として、実際の臓器ではなく、市販の５０ｍｍ×５０ｍｍ×２ｍｍの正方形アクリル製の半透明レンチキュラー板を用いていた。色はイエローで透明性はないが、光が内部で拡散する。表面の溝は、ピッチ０.７ｍｍ、凸部半径が０．５ｍｍである。

　図２０（Ａ）は、被写体の一部を拡大して示す模式断面図である。被写体の表面における凹部の最大法線の角度は以下のように４５．５７°となり、ほぼ４５°である。

　図２０（Ｃ）は、撮影によって得たレンチキュラー板の表面の輝度画像を示す図である。図２０（Ｂ）は、凹凸溝の向きと長さを模式的に示す黒色の実線を図２０（Ｃ）の画像に付加したものを示す図である。溝は被写体全体に形成されている。ここでは、撮影の光軸をレンチキュラー板に対して斜めに傾けて撮影している。

　図２０（Ｂ）における領域（Ｂ-１）の中心付近の明るい帯の領域は、撮影に使ったリング照明が正反射している領域である。領域（Ｂ-１）では、表面に凹凸溝に沿って明暗が観測されている。

　一方で、図２０（Ｂ）における領域(Ｂ-２)は、内部拡散反射の領域である。領域（Ｂ-２）では、半透明物体の性質として表面の明暗はほとんど観察されない。すなわち領域（Ｂ-２）では、輝度によって凹凸を検出することができない。

　図２０（Ｄ）および図２０(Ｅ)は、偏光度画像の強調画像Ｅｎｈａｎｃｅ(ＤＯＰ)、および偏光度の反転画像ＤＯＰ１をそれぞれ示している。撮影に用いたのはカラーカメラとガラス製回転偏光板であり、実測消光比は１６６：１程度であった。実験によれば、この偏光撮影において消光比が６：１程度の市販偏光カメラを使用した場合、偏光度がノイズに埋もれてしまい、強調しても画像品質が劣化する結果となった。偏光板の消光比を１００：１以上に設定すると、ノイズの少ない像を得ることができる。

　図２０（Ｆ）は、合成画像の一例を示す図である。図２０（Ｃ）の画像と図２０（Ｆ）の画像とを比較すると、輝度画像では見えなかった領域（Ｂ-２）の内部拡散反射による凹凸溝が強調されて可視化できていることがわかる。また、領域（Ｂ-２）の内部拡散反射による凹凸溝の像と領域（Ｂ-１）の鏡面反射による凹凸溝の像との間で、整合性、連続性が実現されていることがわかる。

　上述した画像処理は、画像処理プログラムを格納した公知のコンピュータによっても実行され得る。そのような画像処理プログラムは、撮像素子の出力に基づいて輝度画像を生成する工程と、撮像素子の出力に基づいて画素ごとに偏光度を算出し、偏光度画像を生成する工程と、被写体の表面における凹凸部の凹部で偏光度画像の偏光度を強調し、かつ、色相、彩度、および明度の少なくとも１つを補正して加工偏光画像を生成する工程と、加工偏光画像と輝度画像とを合成する工程とをコンピュータに実行させるように構成され得る。このプログラムは、撮像処理装置の制御部１１０が備える、コンピュータ読み取り可能な非一過性（ｎｏｎ－ｔｒａｎｓｏｔｏｒｙ）の記録媒体に格納され得る。

　なお、上記の画像処理プログラムと同様のプログラムは、以下に説明する他の実施形態における画像処理についても作成され得る。

（第２の実施形態）
　図２１は、本開示の実施形態２における撮像処理装置の全体構成を模式的に示す図である。本実施形態が第１の実施形態と異なるのは、本実施形態では、ホワイト光を照射して単板カラー偏光撮像素子１１９にてカラー撮像を行う点にある。

　本実施形態においては、光源部１０４からの白色の非偏光光が、ライトガイド１０５を透過して白色非偏光の照明光１１７として被写体に照射される。被写体からの反射光は、カラー偏光撮像素子１１９によって観測される。それ以降の処理については、実施形態１と同様であるから説明を省略し、ここでは、カラー偏光撮像素子１１９の構成について詳しく説明する。

　図２２は、本実施形態におけるカラー偏光撮像素子１１９の平面構造を示す図である。図２２（Ａ）および図２２（Ｂ）に示されるように、本実施形態のカラー偏光撮像素子１１９では、モノクロ単板撮像素子と異なり、カラーモザイクフィルタが配列されている。ここでは、ベイヤーモザイクのパターンでＲ、Ｇ、Ｂの３種類のカラーフィルタが配列されているが、他のモザイクパターンでカラーフィルタが配列されていても良い。図２２（Ｃ）に示すように、カラーフィルタはサブ画素構造を有している。このサブ画素構造に４種類の偏光モザイクが包含される。サブ画素を基準にすると、イメージセンサの解像度は本来の解像度の１／２×１／２となって低下する。しかし、各カラーフィルタに対応する１画素内で偏光情報を取得できるため、偏光処理の結果発生するアーティファクトを低減させることができる。

　図２３は、偏光処理によるアーティファクト発生を示す実験結果を示す図である。本実施形態と同様な微細な２×２画素を基本周期とする周期型偏光モザイクを有するモノクロ偏光カメラ（フォトニックラティス社製ＰＩ－１００）でリング照明を用いてレンチキュラー板を照明、撮影して偏光度画像を求めた。図２３（Ａ）が周囲４画素の平均から求めた輝度画像、図２３（Ｂ）が偏光度画像を示す。いずれも１１２０×８６８画素のレンチキュラー板の撮像画像を示す。ここで、図２３（Ｂ）の偏光度画像の領域において、図２３（Ａ）の輝度画像には無いモアレ縞が発生しているのがわかる（枠線内の拡大図を参照）。この原因は、この領域がリング照明の正反射領域のため、レンチキュラー板の輝度で明暗のあるパターンが観測され、その周波数が２×２偏光モザイクの周波数帯内に入ってしまうためである。輝度画像を生成する処理では、偏光モザイク画素の周囲画素を平均化するため、アーティファクトは低減する。しかし、偏光度画像を生成する処理では、図２２（Ｃ）で示したように隣接画像との対角差分値を計算するため輝度差を増幅してアーティファクトが増加する。

　これを防止するには、対角差分を計算する範囲を画像上でなるべく小領域に局在化させればよい。複数の偏光画素を１つのカラーフィルタ内のサブ画素に対応させると、増強される画像の空間周波数を高めることができ、アーティフェクトの発生を低減できる。カラーモザイクフィルタを構成する１色のカラーフィルタのみに１つの偏光画素を配置する構成が従来の技術でよく見られる。しかし、その場合、上記の対角画素の空間周波数がより低い方向に移動するため撮像シーンの空間周波数と干渉する可能性が高くなり好ましくない。

　図２４は、本開示のカラー偏光撮像素子１１９の断面構造を示す図である。図１４で示したモノクロ広帯域偏光画像撮像素子１１５と異なるのはカラーフィルタ２７０がワイヤグリッド偏光子アレイ２００からＰＤ（フォトダイオード）２２０までの間に設置されることである。このカラーフィルタ２７０は有機物を用いるものでもフォトニック結晶などを用いるものでもよい。光の入射側からＰＤ２２０までの光の進行方向からみた場合、マイクロレンズ２２０、ワイヤグリッド偏光子アレイ２００、カラーフィルタ２７０の配置の取りえる順序は計６通りあり、各々でその利点が異なる。ワイヤグリッド偏光子－ＰＤ間距離Ｄはカラーフィルタ２７０が入る分長くなるために典型的には４～６μｍとなる。

　図２４の構成では、マイクロレンズが最上層に位置するため、ワイヤグリッド偏光子アレイ２００に垂直に光を入射させうる利点がある。カラーフィルタ２７０入射側にワイヤグリッド偏光子アレイ２００が配置されているため、ワイヤグリッド偏光子アレイ２００は広帯域で動作する特性が必要である。しかし、マイクロレンズの直下にワイヤグリッド偏光子を設置するため、ワイヤグリッド偏光子アレイ２００に空気層を接触させる中空構造を作りやすい。

　図２５は、本実施形態におけるカラー偏光撮像素子１１９の別の断面構造（最上層からマイクロレンズ２１０・カラーフィルタ２７０・ワイヤグリッド偏光子アレイ２００）を示す図である。マイクロレンズ２１０が最上層に位置するために、ワイヤグリッド偏光子アレイ２００に垂直に光を入入射させうる利点がある。また、この形態ではカラーフィルタ２７０より下層側にワイヤグリッド偏光子アレイ２００が配置されているため、ワイヤグリッド偏光子アレイ２００は狭帯域のものでも構わない。またワイヤグリッド偏光子-ＰＤ間距離のＤはカラーフィルタ２７０とマイクロレンズ２１０が入らない分短距離にできる利点がある。

　図２６は、本実施形態におけるカラー偏光撮像素子１１９の別の断面構造（最上層からカラーフィルタ２７０・マイクロレンズ２１０・ワイヤグリッド偏光子アレイ２００）を示す図である光はカラーフィルタ２７０を透過した後にワイヤグリッド偏光子アレイ２００を透過するため、ワイヤグリッド偏光子アレイ２００はＲＧＢなどの波長依存性を有する狭帯のものを設置することもでき、設計の自由度が増す。またマイクロレンズがワイヤグリッド偏光子よりも上層に位置するため、ワイヤグリッド偏光子に垂直に光を入射させうる利点がある。またワイヤグリッド偏光子-ＰＤ間距離Ｄはカラーフィルタアレイとマイクロレンズが入らない分短距離にできる利点がある。

　図２７は、本実施形態におけるカラー偏光撮像素子１１９の別の断面構造（最上層からカラーフィルタ２７０・ワイヤグリッド偏光子アレイ２００・マイクロレンズ２１０）を示す図である。光はカラーフィルタ２７０を透過した後にワイヤグリッド偏光子アレイ２００を透過するため、ワイヤグリッド偏光子アレイ２００はＲＧＢなどの波長依存性を有する狭帯のものを設置することもでき、設計の自由度が増す。また、ワイヤグリッド偏光子アレイ２００がカラーフィルタ２７０の直下に設置されるため中空構造を作りやすい利点がある。またワイヤグリッド偏光子-ＰＤ間距離のＤはカラーフィルタアレイが入らない分短距離にできる利点がある。

　図２８は、本実施形態におけるカラー偏光撮像素子１１９の別の断面構造（最上層からワイヤグリッド偏光子アレイ２００・マイクロレンズ２１０・カラーフィルタ２７０）を示す図である。カラーフィルタ２７０入射側にワイヤグリッド偏光子アレイ２００が配置されているため、ワイヤグリッド偏光子アレイ２００は広帯域で動作する特性が必要であるが、ワイヤグリッド偏光子アレイ２００が最上層に位置するため、中空構造を作る必要がない利点を有する。

　図２９は、本実施形態におけるカラー偏光撮像素子１１９の別の断面構造（最上層からワイヤグリッド偏光子アレイ２００・カラーフィルタ２７０・マイクロレンズ２１０）を示す図である。カラーフィルタ２７０入射側にワイヤグリッド偏光子アレイ２００が配置されているため、ワイヤグリッド偏光子アレイ２００は広帯域で動作する特性が必要であるが、ワイヤグリッド偏光子アレイ２００が最上層に位置するため、中空構造を作る必要がない利点を有する。

　なお、カラーモザイク構造と一緒に多用される構成要素である水晶ＬＰＦ（ローパスフィルタ）は複屈折現象を使うために偏光を乱す可能性があるため基本的に使うことは望ましくない。しかしながら、ベイヤーカラーモザイクフィルタを用いたカラー画質向上のために必要な場合には、ワイヤグリッド偏光子アレイアレイ２００よりも下層（後段）の位置に使用することは構わない。

　なお、いずれの構成においても図１５で示した裏面照射型の撮像素子へ適用することは可能であり、撮像素子の低背化によって感度向上が実現する。これは公知の技術であるため省略する。

　なお、第１の実施形態、第２の実施形態ともに通常の内視鏡の構成を描いているが、これをそのまま図示していないカプセル内視鏡へ適用することも可能である。カプセル内視鏡の場合、体内の水中撮影が基本となるため、従来のインジゴカルミン溶液撒布が原理的に使えない。そのため表面の半透明粘膜凹凸を観測するための方法が無く、本実施形態が有効になる。

（第３の実施形態）
　図３０は、本開示の実施形態３における撮像処理装置の全体構成を模式的に示す図である。

　本実施形態が第１、第２の実施形態と異なるのは、本実施形態では、照明光として偏光光を被写体に照射するため、偏光撮像素子を使う必要がない点にある。本実施形態では、偏光回転照明のホワイト光を被写体に照射して単板カラー撮像素子にてカラー撮像を行なう。偏光照明の偏光面の角度が異なる４種の照明ごとに１枚ずつ撮像を繰り返す。そうして、画素ごとに、その輝度変動を観測して擬似的に偏光撮像をする。

　光源部１０４に設置された４種のランプ１１８からの白色の非偏光光は、４種類のライトガイド１０５へ光源制御回路１２０によって選択的に順次入力される。各ライトガイド１０５の先端部には、偏光透過軸の方向が異なる偏光板１２１が配置されている。偏光板１２１の偏光透過軸の方向は撮像面座標系から見て０°、４５°、９０°、１３５°の回転角を有している。このため、前述の順次入力を実施することにより、偏光面が４つの異なる角度に変化する偏光照明が実現される。順次入力を高速で切り替えることにより、照明光の偏光面を異なる４つの角度の間でスムーズに切り替えることが可能になる。

　同期装置１１２は、光源制御回路１２０への信号と同期してカラー撮像素子１２９に撮像タイミング信号を送り、連続撮像を実施する。なお、通常利用されるマルチモード型の照明用光ファイバーでは偏光を維持したままの光伝達が困難である。このため、本実施形態では、ライトガイド１０５内には非偏光光を伝播させ、その先端部で偏光に変換する。光通信用のシングルモードファイバをバンドルすることによって偏光維持型の照明用光ファイバーを実現できる。このような偏光維持型の照明用光ファイバーを用いると、偏光板は先端に付ける必要がなくなる。その場合は、光源部１０４で偏光回転する照明を生成してライトガイド１０５内を伝播させればよい。

　また、回転偏光照明は、液晶などで構成される偏光面制御素子を、ライトガイド先端に設置してそれに電圧を駆動して偏光面を制御することによっても実現できる。その場合、液晶の複屈折の物性や使用するλ/４板などの光学素子に波長依存性があるため、白色光の全波長域で偏光動作させるのが困難になる。

　図３１を参照しながら、偏光回転照明によって半透明の被写体における内部拡散偏光を観測する原理について説明する。

　図１から図４を参照して説明したように、本開示の各実施形態では、局所的にしか発生しない２回反射による偏光だけではなく、微弱ながら大域的に発生する内部拡散反射による偏光を観測する。以下、偏光回転照明を利用して内部拡散反射の偏光を観測できる原理を説明する。

　図３１（Ａ）は凸型の半透明斜面に偏光回転照明が直上から入射する場合の反射の様子を示す模式図である。入射照明光は、図に示すように、順次、偏光面を回転しながら上から斜面に入射する。鏡面反射による反射光は、撮像対物レンズ側には戻らず外に外れていくため、撮像輝度には寄与しない。一方、内部散乱および吸収過程を経て非偏光化した光は、再び斜面から出射して一部が対物レンズ側に戻る。このため、撮像輝度に寄与する。被写体の斜面から出射する際に光は偏光するが、輝度撮像素子は偏光を観測できない。このため、照明光の偏光面の回転によって生じる輝度の変動のみが観測される。

　次に、図３１（Ｂ）および（Ｃ）を参照しながら、輝度変動生じる理由を説明する。

　図３１（Ｂ）および（Ｃ）に示す構造物の斜面に照明光が入射するとき、照明光がＰ偏光（紙面平面内に電場振動面がある偏光）の場合には、比較的多くの光が被写体内部に侵入するが、照明光がＳ偏光（紙面平面に垂直に電場振動面がある偏光）の場合には、少量の光しか進入できない。図３２は、この光の進入と偏光との関係を示すフレネル理論に基づくグラフである。図３２は、屈折率が１の空気中から屈折率が１より大きい媒質への境界面では、入射角度によらず常にＰ波が優位となって進入することを示している。このため、偏光回転照明を入射すると、媒質内部へ侵入する光量が変動する。その結果、図３１（Ｃ）に示すように、被写体の表面（境界）から再度空気中へ出射していく光の強さも、偏光回転照明では、入射光がＰ偏光に当たる回転角で輝度が最大になり、Ｓ偏光に当たる回転角で輝度が最小になる。一般には、被写体から出射する光の輝度変動は、入射光の強度にも依存する。しかし、内部に構造を有する媒質内を長距離伝播する場合、内部拡散光は、入射光の強度とは無関係に出射する。このため、内部拡散光の輝度と偏光回転照明の強度との相関はなくなる。

　図３３は、内視鏡の先端部１０６と偏光回転照明の射出部分を示す図である。この構成では、中心部の対物レンズ１０９をリング状照明装置が取り囲んでいる。そして、リング状照明装置の前面に０°、４５°、９０°、１３５°の方向を向いた偏光透過軸を有する複数の偏光板１２１が配列されている。具体的には、リング照明装置の照明部は１６分割されており、その４分割領域ごとに光偏光透過軸の方向が異なる偏光板１２１が設けられている。４分割領域の偏光板１２１に対応する照明部分が順次点灯することによって偏光回転照明を実現している。

　リング状照明装置の手前に配列される微細な偏光板１２１は、ワイヤグリッド偏光子やポリマーフィルム製の偏光子をガラス基板上に構成して作ることができる。ポリマーフィルムを用いて試作された偏光子アレイがXiaojin Zhao, Farid Boussaid, Aｍin bermak and Vladimir G.Chigrinov,"Thin Photo-patterned Mictopolaizer Array for CMOS Iｍages Sensors",IEEE Photonics Technology Letters,Vol.２１,No.１２,June １５,２００９.に開示されている。

　輝度変動処理部４００は、照明の偏光面の角度と各画素の輝度値との関係を求め、「輝度変調度画像」を生成する。本明細書において「輝度変調度画像」とは、各画素について偏光面の変化にともなう輝度値の変動の振幅と輝度平均値との比率によって定義される画像である。ある画素Ｐ（ｘ、ｙ）における輝度変調度が０．３であるならば、この画素Ｐ（ｘ、ｙ）に対して０．３の値が設定される。１つの「輝度変調度画像」は、このような輝度変調度の値を各画素に設定することによって構成される。

　偏光面が０°状態で第１の画像を撮像し、偏光面が４５°状態で第２の画像を撮像し、偏光面が９０°状態で第３の画像を撮像し、偏光面が１３５°状態で第４の画像を撮像する。偏光照明を回転した場合の輝度変動は周期１８０°の余弦関数になることが判明しているので、輝度変動処理部４００は、これを余弦関数に最適フィッティングする。輝度変動は照明の偏光面の角度をΨＩとして以下のように表現される。

　この処理は、第１、第２の実施形態における偏光画像撮像素子の４方向の偏光子を用いて得られる輝度値からの最適フィッティングと数学的には等価な処理である。このため、既に説明した処理方法と同一手順を、撮像された４枚の画像の対応する画素ごとに実施することにより、輝度変調度画像を生成できる。この輝度変調度画像の生成は、図３０に示す輝度変調度画像生成部４１４で行われる。輝度変調度画像加工部４１６は、偏光度画像加工部３１６とまったく同一の処理を輝度変調度画像に対して実施すればよい。画像合成部４２０の処理も同一である。なお、輝度画像生成部４１２は、各画素で得られる輝度値を加算または平均化することによって輝度画像を生成する。

（第４の実施形態）
　図３４は、本開示の実施形態４における撮像処理装置の全体構成を模式的に示す図である。

　本実施形態が第３の実施形態と異なるのは、本実施形態では、偏光回転照明を実現するために、ファイバー光源やライトガイドを使用せず、内視鏡の先端部に設置したＬＥＤや有機ＥＬなどの面光源を用いる点である。

　第３の実施形態においては、図３３に示すように、内視鏡先端には偏光面の異なる照明光の照射口が合計１６分割設置されている。偏光回転のため一度にそのうちの４個ずつが選択されて点灯して撮像をする場合、正確には４回ごとに照明の発光位置が異なる。このため鏡面反射が多い被写体では、４回の発光位置の光源が被写体上にそのまま写りこんでしまう。そのため、光源位置の違いに起因する輝度変動が被写体全面に発生し、本来は発生しないアーティファクトを生じさせ得る。これを回避するために、第４の実施形態では、順次点灯する照明単位を十分小さく、数量を多くする。こうすることにより、点灯する光源の位置の移動による輝度分布の空間的な変動が撮像側で１画素以内に抑えられる。

　図３５は、内視鏡の先端部１０６と偏光回転照明の射出部分を示す図である。図３５では、便宜上、４つの偏光子のみが拡大して表示されているが、実際には、各々が４つの偏光子によって構成される複数の単位が対物レンズ１０９の周りの領域に行および列状に配列されている。この構成では、中心部の対物レンズ１０９を取り囲む領域が面照明の光源として機能する。図３５の例では、ピッチＰ×Ｐの寸法の正方形内に０°、４５°、９０°、１３５°の方向を向いた偏光透過軸を有する偏光子が配置されている。

　図３６は、この面照明の全体構成を示す図である。面照明のＸ軸とＹ軸の各軸に順次点灯を制御するためのデータドライバが用意されており、Ｘ軸とＹ軸でアドレスされる画素が一斉に点灯する。たとえば、ここではＸ軸とＹ軸の両方が偶数の画素（Ｘ２ｍとＹ２ｍ)が一斉に点灯すると、それは偏光面が０°の照明光となる。そしてＸ軸とＹ軸のデータドライバの偶数、奇数の組みあわせによって、０°、４５°、９０°、１３５°の偏光面を有する照明光が得られることになる。

　図３７は、この面照明の照明画素ピッチを十分小さくする効果について説明するための図である。今、被写体表面が粘膜のように滑らかな鏡面だと想定する。そこに内視鏡を近接して撮影する場合、最接近する距離はおおよそ３ｍｍである。その場合、片側視野角を７０°とすると、撮像範囲は以下のようになる。

　これを１０００×１０００画素の撮像素子にて撮像する場合、１画素（解像度限界）の被写体上の実サイズLは、以下のように表される。

　実際に撮像される大きさは、被写体の奥側の仮想的な位置と考えると２Ｌとなる。そこで、この大きさが撮像画像の１画素に対応すると考えると、以下の関係が得られる。

　したがって、照明画素ピッチＰが３２.８μｍ以下であれば、光源位置の変動が画像上でわからなくなり第３の実施形態におけるアーティファクトの課題が解決される。

　実施形態１から４の内視鏡について、挿入部１０３および光源部１０４を小型化して制御部から切り離すことにより、撮像部についてはほぼ同じ構成のカプセル内視鏡を構成できる。カプセル内視鏡は、体内に飲み込まれて消化管全体を撮影するが、体内には水が満たされているため撮影はすべて水中撮影となる。発明者らの実験によると、本実施形態は水中撮影でも有効であるため、インジゴカルミン液が撒布不可能なカプセル内視鏡においても半透明粘膜の凹凸を検出し強調することができる。

（広帯域モノクロ撮像素子の製造方法）
　以下、広帯域モノクロ偏光撮像素子の製造方法を説明する。

　図３８を参照して、メタルワイヤグリッド構造をＡｌ（アルミニウム）層を蒸着または金属ナノ粒子を含む溶液、ペースト剤を用いた埋め込みを行い、リフトオフ法により形成する方法を説明する。ワイヤグリッド偏光子を構成する金属材料としてはＡｌに限らず、Ａｕ、Ａｇ、Ｃｕ、Ｔｉなどの金属であっても良い。

　図３８（Ａ）に示される構造では、Ｓｉからなる基板５００に、ＰＤ（フォトダイオード）５０１が形成され、その上に層間膜５０２を介して多層構造からなる配線層５０３が形成されている。配線層５０３は、光透過性の平坦化層５０４によって覆われている。平坦化層５０４は、ＳｉＯ₂、ＳｉＮ、ＳｉＯＮなどの無機絶縁膜、または樹脂（ポリマー）系の材料から形成され得る。

　図３８（Ｂ）の工程では、ワイヤグリッド偏光子のワイヤ部分が形成される領域が開口されたレジストパターン５０５をフォトリソグラフィによって平坦化層５０４上に形成する。

　図３８（Ｃ）の工程では、レジストパターン５０５をマスクとして真空蒸着法またはスパッタ等の方法により、ワイヤグリッド偏光子の構成材料であるＡｌからなるメタル層５０６を全面に堆積する。真空蒸着法またはスパッタの代わりに、ナノ粒子を含む溶液を全面に塗布することにより、レジストパターン５１５の開口部分にＡｌを埋め込んでも良い。リフトオフを容易にするため、メタル層５０６はレジストパターン５１５より、十分、薄いことが望ましい。単層のレジストパターン５１５に逆テーパー形状を持たせるか、もしくは多層レジスト構造のレジストパターン５１５にオーバーハング形状を付与することによって、所望の寸法および形状を有するワイヤグリッド偏光子を形成することができる。図３８（Ｄ）の工程では、レジストパターン５０５を除去することによってワイヤグリッド偏光子構造が完成する（リフトオフ法）。

　図３８（Ｅ）の工程では、ワイヤグリッド偏光子上にマイクロレンズ５０９の形成を行うため、まずワイヤグリッド偏光子を構成するメタル層の間隙に犠牲層５０７の埋め込みを行う。図３８（Ｆ）の工程では、その上に無機膜または有機膜からなる上部平坦化層５０８が形成される。図３８（Ｇ）の工程では、上部平坦化層５０８上に無機膜または有機膜からなるレンズ膜材料を堆積し、リソグラフィーによりマイクロレンズのレジストパターンを形成する。次に前記レジストパターンをマスクにエッチング、さらにエッチバックすることにより凸状のマイクロレンズ構造が形成される。

　図３８（Ｈ）の工程では、前記のマイクロレンズ領域外の表面及びワイヤグリッド偏光子の側面に露出させた犠牲層の一端からエッチングによりワイヤグリッド偏光子の間隙に埋めた犠牲層の選択的除去を行うことにより、図１４で示したモノクロ偏光撮像素子構造が形成される。

　図３９を参照して、ワイヤグリッド偏光子をＡｌからなるメタル層６０５のドライエッチングにより形成する方法を説明する。

　図３９（Ａ）に示される構造では、Ｓｉからなる基板６００に、ＰＤ（フォトダイオード）６０１が形成され、その上に層間膜６０２を介して配線層６０３が形成されている。配線層６０３は、光透過性の平坦化層６０４によって覆われている。図３９（Ｂ）の工程では、平坦化層６０４上にＡｌからなるメタル層６０６が形成される。図３９（Ｃ）の工程では、フォトリソグラフィによりワイヤグリッド偏光子の形状のレジストパターン６０５が形成する。

　図３９（Ｄ）の工程では、レジスストパターン６０５をマスクとしてドライエッチングを行うことでＡｌワイヤグリッド偏光子アレイが形成される。図３９（Ｅ）から図３９（Ｈ）の工程は、図３８の工程と同様であるため説明を省略する。

　図４０を参照して、ワイヤグリッド偏光子をめっき法により形成する方法を説明する。

　図４０（Ａ）に示される構造は、Ｓｉからなる基板７００に、ＰＤ（フォトダイオード）７０１が形成され、その上に層間膜７０２を介して配線層７０３が形成されている。配線層７０３は、光透過性の平坦化層７０４によって覆われている。

　図４０（Ｂ）の工程では、平坦化層７０４上に薄層のメタル層７０６が形成される。図４０（Ｃ）の工程では、フォトリソグラフィによりワイヤグリッド偏光子の形状のレジストパターン７０５が形成される。図４０（Ｄ）の工程では、レジスストパターン７０５をマスクとして無電解メッキ液に浸漬することにより、レジストパターンの開口部に選択的にめっき金属層が形成される。図４０（Ｅ）の工程では、レジスストパターン７０５を除去した後に、ワイヤグリッド偏光子パターンに形成されためっき金属層をマスクに下地のメタル層７０６をドライエッチングにより平坦化層７０４まで除去することにより、金属ワイヤグリッド偏光子構造を形成する。

　図４０（Ｆ）から図４０（Ｉ）の工程は、図３８、３９の工程と同様であるため説明を省略する。めっきの工法については無電解めっきで説明したが、電解めっき法を用いて形成することも可能である。前記の図３８、３９、４０におけるレジストからなるワイヤグリッド偏光子パターンについてはナノインプリントを用いて形成することも可能である。

　本明細書で説明した他の撮像素子についてもこれら３種の製造方法で実現できる。必要に応じてカラーフィルタが形成される。

　本開示の実施形態は、消化器内科向け医療用内視鏡、皮膚科、歯科、眼科、外科などのメディカル用途のカメラ、工業用内視鏡、指紋撮像装置、さらに工場などにおける表面検査装置など被写体の表面凹凸の観察、検査、認識を必要とする画像処理分野に広く適用可能である。特に、なめらかな透明物体、半透明物体などの表面に存在する凹凸の場合には内部拡散反射光のために輝度観測では明暗が観測されない状態になるが、その場合でも表面の凹凸を正しく検出でき、さらに凹凸の凹部を暗、凸部を明に輝度表示するモードなど人間に判別しやすい形での強調表示をすることができる。このため、輝度観察では困難な凹凸の検査に最適である。

　可視光波長域で動作し、高い消光比を有するワイヤグリッド偏光子を有するモノクロ広帯域偏光撮像素子およびカラー偏光撮像素子は、デジタルカメラやビデオカメラ、監視カメラなどに適用でき、水面や空撮影におけるコントラスト向上やガラス越しの撮影等に広く利用可能である。

１０１　　内視鏡
１０２　　制御装置
１０３　　挿入部
１０４　　光源部
１０５　　ライトガイド
１０６　　先端部
１０７　　照明レンズ
１０８　　映像信号線
１０９　　対物レンズ
１１０　　画像プロセッサ
１１１　　半透明被写体（凹凸あり）
１１２　　同期装置
１１３　　反射光
１１４　　表示部
１１５　　モノクロ広帯域偏光撮像素子
１１６　　カラーホイール
１１７　　非偏光の照明光
１１８　　ランプ
１１９　　単板カラー偏光撮像素子
１２９　　単板カラー撮像素子
２７０　　カラーフィルタ
３００　　偏光モザイク処理部
３１２　　輝度画像生成部
３１４　　偏光度画像生成部
３１６　　偏光度画像加工部
３２０　　画像合成部
４００　　輝度変動処理部
４１２　　輝度画像生成部
４１４　　輝度変調度画像生成部
４１６　　輝度変調度画像加工部
４２０　　画像合成部
５００　　基板
５０１　　ＰＤ
５０２　　層間膜
５０３　　配線層
５０４　　平坦化層
５０５　　レジスト
５０６　　メタル層
５０７　　犠牲層
５０８　　上部平坦化層
５０９　　マイクロレンズ
６００　　基板
６０１　　ＰＤ
６０２　　層間膜
６０３　　配線層
６０４　　平坦化層
６０５　　レジスト
６０６　　メタル層
６０７　　犠牲層
６０８　　上部平坦化層
６０９　　マイクロレンズ
７００　　基板
７０１　　ＰＤ
７０２　　層間膜
７０３　　配線層
７０４　　平坦化層
７０５　　レジスト
７０６　　メタル層
７０７　　犠牲層
７０８　　上部平坦化層
７０９　　マイクロレンズ

Claims

　照明光を発し、前記照明光で被写体を照明した状態で偏光画像を取得する撮像素子を含む撮像部と、
　画像処理部と、
を備え、
　照明光軸と撮影光軸とが略同軸の関係を形成し、
　前記画像処理部は、
　前記撮像素子の出力に基づいて輝度画像を生成する輝度画像生成部と、
　前記撮像素子の出力に基づいて画素ごとに偏光度を算出し、偏光度画像を生成する偏光画像生成部と、
　前記被写体の表面における凹凸部の凹部で前記偏光度画像の偏光度を強調し、かつ、色相、彩度、および明度の少なくとも１つを補正して加工偏光画像を生成する偏光画像加工部と、
　前記加工偏光画像と前記輝度画像とを合成する画像合成部と、
を備える撮像処理装置。
　前記撮像部は、前記照明光として、順次、異なる色の非偏光の光を発し、
　前記撮像素子は、偏光子アレイと、光電変換素子アレイとを有する、請求項１に記載の撮像処理装置。
　前記撮像部は、前記照明光として、非偏光の白色光を発し、
　前記撮像素子は、偏光子アレイと、カラーモザイクフィルタアレイと、光電変換素子アレイとを有する、請求項１に記載の撮像処理装置。
　前記撮像部は、前記照明光として、順次、少なくとも３つの方向に偏光面の向きが異なる偏光光を発し、
　前記撮像素子は、カラーモザイクフィルタアレイと、光電変換素子アレイとを有する、請求項１に記載の撮像処理装置。
　前記偏光画像加工部は、前記偏光度画像に比べて、前記偏光度画像の前記被写体の表面における前記凹凸部の凹部の輝度を低下させた前記加工偏光度画像を生成する、請求項１記載の撮像処理装置。
　前記偏光画像加工部は、色の彩度を前記強調した偏光度に設定し、かつ、色の色相および明度を特定値に設定し、前記色相、彩度、明度の組をＨＳＶ空間からＲＧＢ空間に変換する、請求項１に記載の撮像処理装置。
　前記偏光画像加工部は、前記凹凸部の凹部を青暗く表示するように前記加工偏光度画像を生成する、請求項６に記載の撮像処理装置。
　前記偏光度画像生成部は、前記被写体の表面における前記凹凸部での２回反射に起因する偏光、および前記被写体の内部拡散光に起因する偏光の強度の極大位置を、前記被写体の表面における前記凹凸部の凹部として検出する、請求項１に記載の撮像処理装置。
　前記偏光子アレイは、偏光透過軸の方位が異なる４個の偏光子が２行２列に配列された偏光子単位が行および列状に配列された偏光モザイク構造を有している、請求項２または３に記載の撮像処理装置。
　前記偏光度画像生成部は、各偏光子単位における２行２列の対角線上に位置する２個の偏光子に対応する画素値の差分の２乗数値に基づいて偏光度を決定する、請求項９に記載の撮像処理装置。
　前記撮像部は、レッド、グリーン、ブルーの各々の非偏光光を時分割で出射し、
　前記撮像素子は、可視光波長の全域において、偏光画像を取得できるモノクロ広帯域偏光撮像素子である、請求項２に記載の撮像処理装置。
　前記撮像素子はカラー偏光撮像素子である、請求項３または４に記載の撮像処理装置。
　前記偏光子アレイは、偏光透過軸の方向が異なる金属ワイヤグリッド偏光子の配列である、請求項２または３に記載の撮像処理装置。
　前記撮像素子は、前記偏光子アレイよりも前記被写体に近い位置または前記被写体から遠い位置に設けられたマイクロレンズを備えている、請求項２または３に記載の撮像処理装置。
　前記撮像素子は、マイクロレンズアレイを備え、
　光の入射側から順に、前記マイクロレンズアレイ、前記偏光子アレイ、前記カラーモザイクフィルタアレイが配置されている、請求項３に記載の撮像処理装置。
　前記撮像素子は、マイクロレンズアレイを備え、
　光の入射側から順に前記カラーモザイクフィルタアレイ、前記マイクロレンズアレイ、前記偏光子アレイが配置されている、請求項３に記載の撮像処理装置。
　前記撮像素子は、マイクロレンズアレイを備え、
　光の入射側から順に前記カラーモザイクフィルタアレイ、前記偏光子アレイ、前記マイクロレンズアレイが配置されている、請求項３に記載の撮像処理装置。
　前記カラーモザイクフィルタアレイの１色のカラーフィルタに相当する画素が、サブ画素構造を有しており、前記サブ画素構造に偏光透過軸の向きが異なる複数の偏光フィルタが対応する請求項１５から１７のいずれかに記載の撮像処理装置。
　前記偏光子アレイの各偏光子は、側面が空気と接している複数の金属ワイヤを有するワイヤグリッド偏光子である、請求項２または３に記載の撮像処理装置。
　前記撮像部は内視鏡である、請求項１から１９のいずれかに記載の撮像処理装置。
　前記撮像部はカプセル形状を有する容器におさめられている、請求項２０に記載の撮像処理装置。
　前記撮像部は前記照明光を発する光源を内蔵する、請求項１から２１のいずれかに記載の撮像処理装置。
　請求項１から２２のいずれかに記載の撮像処理装置における画像処理部として用いられる画像処理装置であって、
　前記撮像素子の出力に基づいて輝度画像を生成する輝度画像生成部と、
　前記撮像素子の出力に基づいて画素ごとに偏光度を算出し、偏光度画像を生成する偏光画像生成部と、
　前記被写体の表面における凹凸部の凹部で前記偏光度画像の偏光度を強調し、かつ、色相、彩度、および明度の少なくとも１つを補正して加工偏光画像を生成する偏光画像加工部と、
　前記加工偏光画像と前記輝度画像とを合成する画像合成部と、
を備える画像処理装置。
　請求項１から２２のいずれかに記載の撮像処理装置に用いられる内視鏡であって、
　照明光を発し、前記照明光で被写体を照明した状態で偏光画像を取得する撮像素子を含み、
　照明光軸と撮影光軸とが略同軸の関係を形成するように配置されている、内視鏡。
　照明光軸と撮影光軸とが略同軸の関係を形成するようにして照明光によって被写体を照明した状態において撮像素子が取得した偏光画像のデータに基づいて画像処理を行う画像処理方法であって、
　前記撮像素子の出力に基づいて輝度画像を生成する工程と、
　前記撮像素子の出力に基づいて画素ごとに偏光度を算出し、偏光度画像を生成する偏光画像生成部と、
　前記被写体の表面における凹凸部の凹部で前記偏光度画像の偏光度を強調し、かつ、色相、彩度、および明度の少なくとも１つを補正して加工偏光画像を生成する工程と、
　前記加工偏光画像と前記輝度画像とを合成する工程と、
を含む、画像処理方法。
　照明光軸と撮影光軸とが略同軸の関係を形成するようにして照明光によって被写体を照明した状態において撮像素子が取得した偏光画像のデータに基づいて画像処理を行うための画像処理プログラムであって、
　前記撮像素子の出力に基づいて輝度画像を生成する工程と、
　前記撮像素子の出力に基づいて画素ごとに偏光度を算出し、偏光度画像を生成する偏光画像生成部と、
　前記被写体の表面における凹凸部の凹部で前記偏光度画像の偏光度を強調し、かつ、色相、彩度、および明度の少なくとも１つを補正して加工偏光画像を生成する工程と、
　前記加工偏光画像と前記輝度画像とを合成する工程と、
をコンピュータに実行させる、画像処理プログラム。