WO2005095887A1

WO2005095887A1 - 投影装置および３次元形状検出装置

Info

Publication number: WO2005095887A1
Application number: PCT/JP2005/005862
Authority: WO
Inventors: Takeo Iwasaki
Original assignee: Brother Kogyo Kabushiki Kaisha
Priority date: 2004-03-31
Filing date: 2005-03-29
Publication date: 2005-10-13
Also published as: JP2005291839A; JP4734843B2; US20070019166A1; US7845807B2

Abstract

　投影装置であって、光を出射する複数の半導体発光素子と、その半導体発光素子により出射された光に対して空間変調を施して画像信号光を出力する空間変調素子と、その空間変調素子から出力される画像信号光を投影面に向けて投影する投影手段とを備える。この構成において、複数の半導体発光素子は、その複数の半導体発光素子を支持する基板上に少なくとも２つ以上の半導体素子を第１の方向において第１ピッチで一直線状に並べてなる半導体発光素子列を、少なくとも１列以上並列に並べて配置されており、記第１ピッチは、半導体発光素子の１つから出射された光によって前記空間変調素子において形成される照度分布の半値全幅以下となるように配設されている。

Description

明細書

投影装置および 3次元形状検出装置

技術分野

[0001] 本発明は、半導体発光素子力空間変調素子に照射される光の照度ムラを抑制し、投影面に高品質の画像を投影することができる投影装置および 3次元形状検出装置に関する。

背景技術

[0002] 従来より、空間変調素子を用いて光源力の光に空間変調を施すことで任意の画像を投影面に投影するよう構成された投影装置が知られている。詳細には、このような投影装置は、光源力出射される光を集光光学系によって集光し、その集光された光に空間変調素子によって画像信号に応じた空間変調を施して、その空間変調を施した光を画像信号光として投影手段を介して投影面に投影する。

[0003] この投影装置の光源としては、従来、キセノンランプ、ハロゲンランプ、メタルノヽライドランプ等が使用されていた。このような光源は、光源としての寿命が短い上オンオフ変調ができないので、投影装置では連続点灯して用いることを余儀なくされ、したがつて従来の投影装置にお!、ては消費電力が大き!、と、う問題点があった。

[0004] そこで、このような問題を解決すベぐ特開 11— 32278号公報（以下、文献 1と記す )ゃ特開 11— 231316号公報 (以下、文献 2と記す)には投影装置の光源として半導体発光素子、具体的には、発光ダイオード (以下「LED」と称す)を用いる技術が開示されている。

[0005] 投影装置の光源として LEDを用いることにより、光源の長寿命化、低消費電力化を図ることができることに加え、 LEDの出力光は、指向性が強ぐ発光面積も小さいため、集光効率が高まり、結果的に光利用効率を向上させることができる。

発明の開示

[0006] し力しながら、上述した投影装置の光源として LEDを用いた場合であっても、その L EDの配列、配置の仕方によっては、空間変調素子に対して略均一に光を発光することができず、照度ムラが生じ、結果的に投影面に投影される画像の品質が低下するという問題点があった。

[0007] 本発明は、上述した問題点を解決するためになされたものである。すなわち、本発明は、半導体発光素子力空間変調素子に照射される光の照度ムラを抑制し、投影面に高品質の画像を投影することができる投影装置および 3次元形状検出装置を提供することを目的としている。

[0008] 上記目的を達成する為、本発明の一つの側面により提供されるのは投影装置であつて、光を出射する複数の半導体発光素子と、その半導体発光素子により出射された光に対して空間変調を施して画像信号光を出力する空間変調素子と、その空間変調素子カゝら出力される画像信号光を投影面に向けて投影する投影手段とを備える。この構成において、複数の半導体発光素子は、その複数の半導体発光素子を支持する基板上に少なくとも 2つ以上の半導体素子を第 1の方向において第 1ピッチで一直線状に並べてなる半導体発光素子列を、少なくとも 1列以上並列に並べて配置されており、記第 1ピッチは、半導体発光素子の 1つから出射された光によって前記空間変調素子において形成される照度分布の半値全幅以下となるように配設されている。

[0009] このような構成によれば、少なくとも 2つ以上の半導体素子を略同一の第 1ピッチで一直線状に並べてなる半導体発光素子列において、その第 1ピッチは半導体発光素子の 1つ力出射された光によって空間変調素子において形成される照度分布の半値全幅以下に配設されている。したがって、隣接する半導体発光素子間における照度の低下を抑制することができる。よって、空間変調素子における照度ムラは抑制され、略均一な光を空間変調素子に照射することができる。結果的に高品質な画像を投影面に投影することができるという効果が得られる。

[0010] 本発明の別の側面により提供されるのは投影装置であって、光を出射する複数の半導体発光素子と、その半導体発光素子により出射された光に対して空間変調を施して画像信号光を出力する空間変調素子と、その空間変調素子から出力される画像信号光を投影面に向けて投影する投影手段とを備える。この構成において、複数の半導体発光素子は、その複数の半導体発光素子を支持する基板上に千鳥状に配置されている。 [0011] このような構成によれば、複数の半導体発光素子は、その複数の半導体発光素子を支持する基板上に千鳥状に配置されているので、隣接する半導体発光素子間の照度を、その前列又は後列の半導体発光素子によって補うことができる。よって、空間変調素子における照度ムラを抑制することができる。従って、略均一な光を空間変調素子に照射することができ、高品質な投影画像を投影することができるという効果が得られる。

[0012] また、本発明の別の側面によれば、上記のような構成の投影装置と、その投影装置に備えられた投影手段から出力される画像信号光が投影される投影方向に配置される被写体に対して、投影手段力画像信号光としてのパターン光が投影されて、る状態を撮像する撮像手段と、その撮像手段によって撮像された撮像画像に基づき、前記被写体の 3次元形状を検出する 3次元形状検出手段とを備えた 3次元形状検出装置が提供される。

[0013] このような 3次元形状検出装置によれば、略均一な光を空間変調素子に照射することができ、高品質な投影画像を投影することにより、高精度に 3次元の形状を検出することができると!/、う効果が得られる。

図面の簡単な説明

[0014] [図 1]画像入出力装置の外観斜視図である。

[図 2]撮像ヘッドの内部構成を示す図である。

[図 3]図 3 (a)は画像投影部の拡大図であり、図 3 (b)は光源レンズの平面図であり、図 3 (c)は投影 LCDの正面図である。

[図 4]図 4 (a)力図 4 (c)は、 LEDアレイの配列に関する説明をするための図である。

[図 5]画像入出力装置の電気的なブロック図である。

[図 6]メイン処理のフローチャートである。

[図 7]デジカメ処理のフローチャートである。

[図 8]webcam処理のフローチャートである。

[図 9]投影処理のフローチャートである。

[図 10]立体画像処理のフローチャートである。

[図 11]図 11 (a)は、空間コード法の原理を説明するための図であり、図 11 (b)は図 1 1 (a )とは異なるマスクパターン (グレイコード)を示す図である。

[図 12]図 12 (a)は 3次元形状検出処理のフローチャートである。図 12 (b)は撮像処理のフローチャートである。図 12 (c)は 3次元計測処理のフローチャートである。

[図 13]コード境界座標検出処理の概略を説明するための図である。

[図 14]コード境界座標検出処理のフローチャートである。

[図 15]コード境界座標をサブピクセル精度で求める処理のフローチャートである。

[図 16]PatID[i]のマスクパターン番号を持つ輝度画像について、境界の CCDY値を求める処理のフローチャートである。

[図 17]図 17 (a)から図 17 (c)は、レンズ収差補正処理を説明するための図である。

[図 18]図 18 (a)及び図 18 (b)は、 CCD空間における座標から 3次元空間における 3 次元座標を算出する法を説明するための図である。

[図 19]平面化画像処理のフローチャートである。

[図 20]図 20 (a)から図 20 (c)は、原稿姿勢演算処理を説明するための図である。

[図 21]平面変換処理のフローチャートである。

[図 22]図 22 (a)は、湾曲計算処理についての大略を説明するための図であり、図 22 (b)は平面変換処理によって平面化された平面化画像を示す図である。

[図 23]図 23 (a)は光源レンズの他の例を示す側面図であり、図 23 (b)は図 23 (a)の光源レンズを示す平面図である。

[図 24]図 24 (a)は、光源レンズを固定した状態を示す斜視図であり、図 24 (b)はその部分的な断面図である。

[図 25]被写体に投影するパターン光としての他の例を示す図である。

符号の説明

画像入出力装置

13 画像投影部

14 撮像光学系

17 LED

18, 50 光源レンズ

19 投影 LCD 20 投影光学系

21 撮像光学系

22 CCD

52, 60 固定咅附

60a 固定孔

61 付勢プレート

62 Oリング

発明を実施するための最良の形態

[0016] 以下、本発明の好ましい実施例について、添付図面を参照して説明する。図 1は、画像入出力装置 1の外観斜視図である。尚、本発明の投影装置および 3次元形状検出装置は、この画像入出力装置 1に含まれる装置である。

[0017] 画像入出力装置 1は、デジタルカメラとして機能するデジカメモード、ウェブカメラとして機能する webcamモード、 3次元形状を検出して立体画像を取得するための立体画像モード、湾曲した原稿等を平面化した平面化画像を取得するための平面化画像モード等の種々のモードを備えて、る。

[0018] 図 1では、特に、立体画像モードや平面化画像モードにおいて、被写体としての原稿 Pの 3次元形状を検出するために、後述する画像投影部 13から明暗を交互に並べてなる縞状のパターン光を投影して、る様子を図示して、る。

[0019] 画像入出力装置 1は、略箱状に形成された撮像ヘッド 2と、その撮像ヘッド 2と一端が連結されたパイプ状のアーム部材 3と、そのアーム部材 3の他端と連結され、平面視略 L型に形成されたベース 4とを備えて、る。

[0020] 撮像ヘッド 2は、その内部に後述する画像投影部 13や画像撮像部 14を内包するケースである。撮像ヘッド 2の正面において、中央部には筒状の鏡筒 5が配置され、鏡筒 5の斜め上方にファインダ 6が配置され、さらに、ファインダ 6の反対側にフラッシュ 7が配置されている。ファインダ 6とフラッシュ 7との間には、後述する画像撮像部 14 の一部である撮像光学系 21のレンズの一部が外面に露出している。撮像光学系のこの露出部分力被写体の画像が入力される。

[0021] 鏡筒 5は、撮像ヘッド 2の正面カゝら突出するよう形成されるとともに、その内部に画像投影部 13の一部である投影光学系 20を内包するカバーである。この鏡筒 5によって、投影光学系 20が保持され、全体を焦点調節のため移動可能とされ、且つ、投影光学系 20が傷つくのが防止されている。鏡筒 5端面からは、画像投影部 13の一部である投影光学系 20のレンズの一部が外面に露出しており、この露出部分力も投影面に向かって画像信号光が投影される。

[0022] ファインダ 6は、撮像ヘッド 2の背面カゝら正面を通して配設される光学レンズで構成されている。撮像ヘッド 2の背面力も使用者がのぞき込んだ時に、撮像光学系 21が C CD22上に結像する範囲とほぼ一致する範囲が見えるようになつている。

[0023] フラッシュ 7は、例えば、デジカメモードにぉ、て、必要な光量を補足するための光源であり、キセノンガスが充填された放電管で構成されている。よって、撮像ヘッド 2 に内蔵されているコンデンサ（図示せず)からの放電により繰り返し使用することができる。

[0024] 撮像ヘッド 2の上面において、手前側にはレリーズボタン 8が配置され、レリーズボタン 8の奥方にモード切替スィッチ 9が配置され、さらに、モード切替スィッチ 9の反対側にモニタ LCD10が配置されている。

[0025] レリーズボタン 8は、「半押し状態」と「全押し状態」との 2種類の状態に設定可能な 2 段階の押しボタン式のスィッチで構成されて、る。レリーズボタン 8の状態は後述するプロセッサ 15に管理されている。プロセッサ 15の制御の下、レリーズボタン 8の「半押し状態」で周知のオートフォーカス (AF)および自動露出 (AF)機能が起動され、ピント、絞り、シャツタスピードが調節される。レリーズボタン 8の「全押し状態」では、撮像等が行われる。

[0026] モード切替スィッチ 9は、デジカメモード、 webcamモード、立体画像モード、平面化画像モード、オフモード等の種々のモードに設定する為のスィッチである。モード切替スィッチ 9の状態はプロセッサ 15に管理されており、モード切替スィッチ 9の状態がプロセッサ 15によって検出されることで各モードの処理が実行される。

[0027] モニタ LCD10は、液晶ディスプレイ（Liquid Crystal Display)で構成されており、プロセッサ 15からの画像信号を受けて画像を使用者に表示する。例えば、モニタ LCD10には、デジカメモードや webcamモードにおける撮像画像や、立体画像モードにおける 3次元形状検出結果画像、平面化画像モードにおける平面化画像等が表示される。

[0028] 撮像ヘッド 2の側面において、その上方には、 RF (無線)インターフェイスとしてのァンテナ 11と、撮像ヘッド 2とアーム部材 3とを連結する連結部材 12とが配置されている。

[0029] アンテナ 11は、後述する RFドライバ 24を介してデジカメモードで取得した撮像画像データや立体画像モードで取得した立体画像データ等を外部インターフェイスに無線通信によって送信する為に用いられる。

[0030] 連結部材 12は、リング状に形成され、かつその内周面には雌ねじが形成されている。連結部材 12は、撮像ヘッド 2の側面に回動可能に固定されている。アーム部材 3 の一端側には雄ねじが形成されている。連結部材 12の雌ねじとアーム部材 3の雄ねじとを嵌合させることで、撮像ヘッド 2とアーム部材 3とを着脱自在に連結することができると共に、撮像ヘッド 2を任意の角度で固定することができるようになつている。従つて、撮像ヘッド 2をアーム部材 3から取り外すことで、撮像ヘッド 2を通常のデジタル力メラとして使用できる。

[0031] アーム部材 3は、撮像ヘッド 2を所定の撮像位置に変化可能に保持するためのものであり、任意の形状に屈曲可能な蛇腹状のパイプで構成されている。よって、アーム部材 3によって、撮像ヘッド 2を任意の位置に向けることができる。

[0032] ベース 4は、机上等の載置台に載置され、撮像ヘッド 2とアーム部材 3とを支持する。ベース 4は平面視略 L字型に形成されているので、安定して撮像ヘッド 2等を支持することができる。ベース 4とアーム部材 3とは着脱自在に連結されており、このことが画像入力装置 1の持ち運びに便利にし、また、画像入力装置 1を省スペースで収納することも可會にする。

[0033] 図 2は、撮像ヘッド 2の内部構成を模式的に示す図である。撮像ヘッド 2の内部には、主に、画像投影部 13と、画像撮像部 14と、プロセッサ 15とが内蔵されている。

[0034] 画像投影部 13は、投影面に任意の投影画像を投影するためのユニットである。画像投影部 13は、投影方向に沿って、基板 16と、複数個の LED17 (その総称として以下「LEDアレイ 17A」という）と、光源レンズ 18と、投影 LCD19と、投影光学系 20とを備えている。尚、この画像投影部 13については、図 3 (a)から図 3 (c)を参照して後に詳細に説明する。

[0035] 画像撮像部 14は、被写体としての原稿 Pを撮像するためのユニットである。画像撮像部 14は、光の入力方向に沿って、撮像光学系 21と、 CCD22とを備えている。

[0036] 撮像光学系 21は、複数枚のレンズで構成されている。撮像光学系 21は、周知のォ一トフォーカス機能を有し、自動で焦点距離及び絞りを調整して外部力もの光を CC D22上に結像する。

[0037] CCD22は、マトリクス状に配列された CCD (Charge Coupled Device)素子など光電変換素子を有する。 CCD22は、撮像光学系 21を介して CCD22の表面に結像される画像の光の色及び強さに応じた信号を生成し、これをデジタルデータに変換してプロセッサ 15に出力する。

[0038] プロセッサ 15には、フラッシュ 7、レリーズボタン 8、モード切替スィッチ 9、外部メモリ 27、およびキャッシュメモリ 28が電気的に接続されている。さらに、プロセッサ 15には、モニタ LCDドライバ 23を介してモニタ LCD10が接続され、 RFドライバ 24を介してアンテナ 11が接続され、電源インターフェイス 25を介してバッテリ 26が接続され、光源ドライバ 29を介して LEDアレイ 17Aが接続され、投影 LCDドライバ 30を介して投影 LCD19が接続され、さらに、 CCDインターフェイス 31を介して CCD22が接続されている。プロセッサ 15に接続されたこれらの構成部品は、プロセッサ 15によって管理される。

[0039] 外部メモリ 27は、着脱自在なフラッシュ ROMであり、デジカメモードや webcamモード、そして立体画像モードにお！ヽて撮像された撮像画像や 3次元情報を記憶する。具体的には、外部メモリ 27として、 SDカード、コンパクトフラッシュ (登録商標)カード等を使用することができる。

[0040] キャッシュメモリ 28は、高速な記憶装置である。例えば、デジカメモードにぉ、て撮像した撮像画像を高速でキャッシュメモリ 28に転送し、プロセッサ 15で画像処理を行つてから外部メモリ 27に格納されるように使われる。具体的には、 SDRAM, DDRR AM等を使用することができる。

[0041] 電源インターフェイス 25、光源ドライバ 29、投影 LCDドライバ 30、 CCDインターフェイス 31は、 IC (Integrated Circuit:集積回路）によって構成されている。電源インタ一フェイス 25、光源ドライバ 29、投景 LCDドライバ 30、 CCDインターフェイス 31は、それぞれ、ノッテリ 26、 LEDアレイ 17A、投景 LCD19、 CCD22を制御する。

[0042] 図 3 (a)は画像投影部 13の拡大図であり、図 3 (b)は光源レンズ 18の平面図であり、図 3 (c)は投影 LCD19と CCD22との配置関係を示す図である。上述した通り、画像投影部 13は、投影方向に沿って、基板 16と、 LEDアレイ 17Aと、光源レンズ 18と、投影 LCD19と、投影光学系 20とを備えている。

[0043] 基板 16は、 LEDアレイ 17Aを実装すると共に、 LEDアレイ 17Aとの電気的な配線をするためのものである。具体的には、基板 16として、アルミ製基板に絶縁榭脂を塗布してカゝら無電解メツキにてパターンを形成したものや力ラエポ基材をコアとする単層または多層構造の基板を使用することができる。

[0044] LEDアレイ 17Aは、投影 LCD19に向けて放射状の光を発光する光源である。 LE Dアレイ 17Aは、基板 16上に千鳥状に配列された複数個の LED17 (発光ダイォード)からなる。これらの複数の LED17は、銀ペーストを介して基板 16に接着され、ボンデイングワイヤを介して基板 16に電気的に結線されて、る。

[0045] このように光源として複数個の LED17を使用することで、光源として白熱電球、ノヽロゲンランプ等を使用する場合に比べて、電気を光に変換する効率 (電気光変換効率)を高め、同時に赤外線や紫外線の発生を抑えることができる。よって、本実施形態によれば、光源を省電力で駆動でき、節電化、長寿命化を図ることができる。また、装置の温度上昇を低減させることができる。

[0046] この様に、 LED17はハロゲンランプ等に比べて熱線の発生が極めて低いので、後述する光源レンズ 18や投影光学系 20として、榭脂製のレンズを採用することができる。よって、ガラス製のレンズを採用する場合に比べて、光源レンズ 18,投影光学系 20を安価で軽量に構成することができる。

[0047] LEDアレイ 17Aを構成する各 LED17は、各々同じ発光色を発光する。各 LED17 は、材料に Al、 In、 Ga、 Pの 4元素が用いられており、アンバー色を発光する。よって、複数色の発光色を発光させる場合に生ずる色収差の補正を考慮する必要はなぐ色収差を補正するために投影光学系 20として色消しレンズを採用する必要はないので、簡単な面構成および安価な材料の投影手段を提供すると!、う効果がある。

[0048] また、他の発光色に比べて電気光変換率が約 801umenZWと高い 4元素材料のアンバー色 LEDを採用することで、一層、高輝度、節電、長寿命化を図ることができる。尚、各 LED17を千鳥状に配置する事に関する効果については、図 4 (a)から図 4 (c)を参照して説明する。

[0049] 具体的には、 LEDアレイ 17Aは 59個の LED17からなり、各 LED17は 50mW(20 mA, 2. 5V)で駆動される。したがって、全 59個の LED17は略 3Wの消費電力で駆動される。各 LED17から発光される光力光源レンズ 18、投影 LCD19を通過して投影光学系 20から照射される場合の光束値としての明るさは、全面照射の場合であつても 25ANSIルーメン程度に設定されて!、る。

[0050] この明るさを採用することで、例えば、立体画像モードにおいて、人や動物の顔面等の被写体の 3次元形状を検出する場合に、人や動物に眩しさを与えず、人や動物が目をつぶっていない状態の 3次元形状を検出することができる。

[0051] 光源レンズ 18は、 LEDアレイ 17Aから放射状に発光される光を集光する集光光学系としてのレンズであり、その材質はアクリルに代表される光学樹脂で構成されている

[0052] 具体的には、光源レンズ 18は、 LEDアレイ 17Aの各 LED17に対向する位置に投影 LCD19側に向けて凸設された凸状のレンズ部 18aと、そのレンズ部 18aを支持するベース部 18bと、そのベース部 18bの内部空間であって LEDアレイ 17Aを内包する開口に充填される LED17の封止および基板 16と光源レンズ 18との接着を目的としたエポキシ封止材 18cと、ベース部 18bから基板 16側に突設され、光源レンズ 18と基板 16とを接続する位置決めピン 18dとを備えている。

[0053] 光源レンズ 18は、開口の内部に LEDアレイ 17Aを内包させつつ、基板 16に穿設されている長孔 16に位置決めピン 18dを差し込むことによって、基板 16上に固定される。

[0054] よって、省スペースで光源レンズ 18を配置することができる。また、基板 16に LED アレイ 17Aを実装するという機能の他に、光源レンズ 18を支持するという機能をも備えさせることによって、光源レンズ 18を支持する部品を別途設ける必要がなくなり、部品点数を削減することができる。

[0055] 各レンズ部 18aは、 LEDアレイ 17Aの各 LED17と 1対 1の関係で対向する位置に配置されている。

[0056] よって、各 LED17から発光される放射状の光は、各 LED17に対向する各レンズ部 18aによって効率良く集光され、図 3 (a)に示すような指向性の高い放射光として投影 LCD19に照射される。この様に指向性を高めたのは、投影 LCD19に略垂直に光を入射させることによって、面内の透過率ムラが抑制され得るためである。また、指向性を高めた理由は、投影光学系 20はテレセントリック特性を持ち、その入射 NAが 0. 1程度であるため、垂直 ± 5° 以内の光のみが内部の絞りを通過できるように規制されているためである。従って、 LED17からの光を出射角度を投影 LCD19に対し垂直に揃え、且つ、 ± 5° にほどんどの光束を入れることが画質向上の要点となる。なぜなら投影 LCD19に垂直力も外れた光を入射すると、液晶の旋光性により、透過率が入射角度に依存して変わってしまい、透過率ムラとなる力もである。

[0057] 投影 LCD19は、光源レンズ 18を通過して集光された光に空間変調を施して、投影光学系 20に向けて画像信号光を出力する空間変調素子である。具体的には、投影 LCD 19は、縦横のサイズの異なる板状の液晶ディスプレイ（Liquid Crystal Disp lay)で構成されている。

[0058] 図 3 (c)に示すように、投影 LCD 19を構成する各画素は、投影 LCD 19の長手方向に沿って一直線状に並べられた 1の画素列と、その 1の画素列とは投影 LCD19の長手方向において所定間隔ずれた他の画素列とが交互に並列に並べられた状態となるように配置されている。

[0059] 尚、図 3 (c)にお、て、紙面手前側が撮像ヘッド 2の正面側に対応し、紙面裏側から光が投影 LCD19に向けて照射される。また、図 3 (c)では、被写体力もの光は紙面手間側から奥側に向か、、 CCD22上に被写体像が結像される。

[0060] このように、投影 LCD19を構成する画素を長手方向において千鳥状に配置することで、長手方向と直交する方向（短手方向）において、投影 LCD19によって空間変調が施される光を 1Z2ピッチで制御することができる。従って、細いピッチで投影パターンを制御でき、分解能を上げて高精度に 3次元の形状を検出することができる。 [0061] 特に、後述する立体画像モードや平面化画像モードにおいて、被写体の 3次元形状を検出すベぐ被写体に向けて明暗を交互に並べてなる縞状のパターン光を投光する場合に、その縞方向を投影 LCD19の短手方向に一致させることで、明暗の境界を 1Z2ピッチで制御することができる。したがって、高精度に 3次元の形状を検出することができる。

[0062] 撮像ヘッド 2の内部において、投影 LCD19と CCD22とは、図 3 (c)に示すような関係で配置される。具体的には、投影 LCD19の幅広面と CCD22の幅広面とは略同一の方向に向、て配置されて、るので、投影 LCD 19から投影面に投影されて、る画像を CCD22に結像させる場合に、投影画像をノヽーフミラー等で屈曲させることなぐそのままの状態で投影画像を結像させることができる。

[0063] CCD22は、投影 LCD19の長手方向側（画素列が延びる方向側）に配置されている。この場合、特に、立体画像モードや平面化画像モードにおいて、三角測量の原理を利用して被写体の 3次元形状を検出する場合には、 CCD22と被写体とのなす傾きを 1Z2ピッチで制御することができるので、高精度に 3次元の形状を検出することが可能になる。

[0064] 投影光学系 20は、投影 LCD 19を通過した画像信号光を投影面に向けて投影する複数のレンズからなる。投影光学系 20は、ガラス及び榭脂の組み合わせカゝらなるテレセントリックレンズで構成されている。テレセントリックとは、投影光学系 20を通過する主光線は、入射側の空間では光軸に平行になり、射出瞳の位置は無限になる構成をいう。このようにテレセントリックにすることで、前述のように投影 LCD19を垂直士 5° で通過する光のみを投影し得るので、画質を向上させることができる。

[0065] 図 4 (a)から図 4 (c)は、 LEDアレイ 17Aの配列に関する説明をするための図である。図 4 (a)は光源レンズ 18を通過した光の照度分布を示す図であり、図 4 (b)は LED アレイ 17Aの配列状態を示す平面図であり、図 4 (c)は投影 LCD19面における合成照度分布を示す図である。

[0066] 図 4 (a)に示すように、光源レンズ 18を通過した光は、半値拡がり半角 Θ (=略 5° )で、図 4 (a)左側に図示するような照度分布を有する光として投影 LCD19の表面に到達するように設計されて、る。 [0067] 図 4 (b)に示すように、複数の LED17は基板上 16に千鳥状に配列されている。具体的には、複数個の LED17を dピッチで直列に並べた LED列力 3Z2dピッチで並列に複数並べられており、更に、このように並列に並べられた複数の LED列において、 1列おきの列は隣の列に対して同じ方向に lZ2d移動された状態になっている。

[0068] 換言すれば、 1の LED17と、その 1の LED17の周辺の LED17との間隔は dになるように設定されて、る（すなわち、 LED17は三角格子配列となって、る）。

[0069] この dの長さは、 LED17の 1つから出射された光によって投影 LCD19において形成される照度分布の半値全幅（FWHM (Full Width Half Maximum) )以下となる様に決定されている。

[0070] よって、光源レンズ 18を通過して投影 LCD19の表面に到達する光の合成照度分布は、図 4 (c)に示すように小さなリップルを含んだ略直線状になり、投影 LCD19の面に略均一に光を照射することができる。従って、投影 LCD19における照度ムラを抑制することができ、結果的に、高品質な画像を投影することができる。

[0071] 図 5は、画像入出力装置 1の電気的なブロック図である。尚、既に上述した構成ついては、その説明を省略する。プロセッサ 15は、 CPU35と、 ROM36と、 RAM37とを備えている。

[0072] CPU35は、 ROM36に記憶されたプログラムにした力^、、 RAM37を利用して各種の処理を行う。 CPU35の制御の下で行われる処理には、レリーズボタン 8の押下げ操作の検知、 CCD22から画像データの取り込み、その画像データの転送、格納、モード切替スィッチ 9の状態の検出等が含まれる。

[0073] ROM36には、カメラ制御プログラム 36aと、パターン光撮影プログラム 36bと、輝度画像生成プログラム 36cと、コード画像生成プログラム 36dと、コード境界抽出プログラム 36eと、レンズ収差補正プログラム 36fと、三角測量演算プログラム 36gと、原稿姿勢演算プログラム 36hと、平面変換プログラム 36iとが格納されて、る。

[0074] カメラ制御プログラム 36aは、図 6に示すメイン処理を含む画像入出力装置 1全体の制御に関するプログラムである。

[0075] ノターン光撮影プログラム 36bは、原稿 Pの 3次元形状を検出するために被写体にノターン光を投影した状態と、投影して、な、状態とを撮像するプログラムである。

[0076] 輝度画像生成プログラム 36cは、パターン光撮影プログラム 36bによってパターン光を投影した状態で撮像されたパターン光有画像と、ノターン光を投影して、なヽ状態で撮像されたパターン光無画像との差分をとり、投影されたパターン光の輝度画像を生成するプログラムである。

[0077] また、パターン光は複数種類のものが時系列に投影され各パターン光毎に撮像され、撮像された複数枚のパターン光有画像の各々とパターン光無画像との差分がとられ、複数種類の輝度画像が生成される。

[0078] コード画像生成プログラム 36dは、輝度画像生成プログラム 36cによって生成される複数枚の輝度画像を重ね合わせ、各画素毎に所定のコードを割り当てたコード画像を生成するプログラムである。

[0079] コード境界抽出プログラム 36eは、コード画像生成プログラム 36dによって生成されるコード画像と、輝度画像生成プログラム 36cによって生成される輝度画像とを利用して、コードの境界座標をサブピクセル精度で求めるプログラムである。

[0080] レンズ収差補正プログラム 36fは、コード境界抽出プログラム 36eによってサブピクセル精度で求められてヽるコードの境界座標に対して、撮像光学系 20の収差補正を行うプログラムである。

[0081] 三角測量演算プログラム 36gは、レンズ収差補正プログラム 36fによって収差補正がなされたコードの境界座標から、その境界座標に関する実空間の 3次元座標を演算するプログラムである。

[0082] 原稿姿勢演算プログラム 36hは、三角測量演算プログラム 36gで演算された 3次元座標から原稿 Pの 3次元形状を推定して求めるプログラムである。

[0083] 平面変換プログラム 36iは、原稿姿勢演算プログラム 36hで演算される原稿 Pの 3次元形状に基づき、原稿 Pの正面力も撮像したような平面化画像を生成するプログラムである。

[0084] RAM37には、パターン光有画像格納部 37aと、パターン光無画像格納部 37bと、輝度画像格納部 37cと、コード画像格納部 37dと、コード境界座標格納部 37eと、 ID 格納部 37fと、収差補正座標格納部 37gと、 3次元座標格納部 37hと、原稿姿勢演算結果格納部 37iと、平面変換結果格納部 37jと、投影画像格納部 37kと、ヮーキングエリア 371とが記憶領域として割り当てられて、る。

[0085] パターン光有画像格納部 37aは、パターン光撮影プログラム 36bによって原稿 Pにノターン光を投影した状態を撮像したパターン光有画像を格納する。パターン光無画像格納部 37bは、パターン光撮影プログラム 36bによって原稿 Pにパターン光を投影して、な、状態を撮像したパターン光無画像を格納する。

[0086] 輝度画像格納部 37cは、輝度画像生成プログラム 36cによって生成される輝度画像を格納する。コード画像格納部 37dは、コード画像生成プログラム 36dによって生成されるコード画像を格納する。コード境界座標格納部 37eは、コード境界抽出プログラム 36eによって、抽出されるサブピクセル精度で求められた各コードの境界座標を格納する。 ID格納部 37fは、境界を有する画素位置において明暗の変化を有する輝度画像に割り当てられる ID等を格納する。収差補正座標格納部 37gは、レンズ収差補正プログラム 36fによって収差補正がなされたコードの境界座標を格納する。 3 次元形状座標格納部 37hは、三角測量演算プログラム 36gによって演算される実空間の 3次元座標を格納する。

[0087] 原稿姿勢演算結果格納部 37iは、原稿姿勢演算プログラム 36hによって演算される原稿 Pの 3次元形状に関するパラメータを格納する。平面変換結果格納部 37jは、平面変換プログラム 36はって生成される平面変換結果を格納する。投影画像格納部 3 7kは、画像投影部 13から投影する画像情報を格納する。ワーキングエリア 371は、 C PU15での演算のために一時的に使用するデータを格納する。

[0088] 図 6は、 CPU35による制御の下で実行されるメイン処理のフローチャートである。尚、このメイン処理におけるデジカメ処理（S605)、 webcam処理（S607)、立体画像処理（S607)、平面化画像処理（S611)

、ての詳細は後述する。

[0089] メイン処理では、まず、電源が起動されると（S601)、プロセッサ 15やその他のインターフェイス等が初期化される (S602)。

[0090] そして、モード切替スィッチ 9の状態を判別するキースキャンが行われ（S603)、モード切替スィッチ 9の設定がデジカメモードか否かが判断され（S604)、デジカメモードであれば（S604 : Yes)、後述するデジカメ処理に移行する（S605)。 [0091] 一方、デジカメモードでなければ（S604 : No)、モード切替スィッチ 9の設定が web camモードか否かが判断され（S606)、 webcamモードであれば（S606 : Yes)、後述する webcam処理に移行する（S607)。

[0092] 一方、 webcamモードでなければ（S605 : No)、モード切替スィッチ 9の設定が立体画像モードか否かが判断され（S608)、立体画像モードであれば（S608 : Yes)、後述する立体画像処理に移行する（S609)。

[0093] 一方、立体画像モードでなければ（S608 : No)、モード切替スィッチ 9の設定が平面化画像モードか否かが判断され (S610)、平面化画像モードであれば (S610 : Ye s)、後述する平面化画像処理に移行する（S611)。

[0094] 一方、平面化画像モードでなければ（S610 : No)、モード切替スィッチ 9がオフモードか否かが判断され（S612)、オフモードでなければ（S612 : No)、 S603からの処理が繰り返される。ステップ S612において、オフモードであれると判定された場合には（S612 :Yes)、当該処理を終了する。

[0095] 図 7は、デジカメ処理（図 6の S605)のフローチャートである。デジカメ処理は、画像撮像部 14によって撮像した画像を取得する処理である。

[0096] この処理では、まず、 CCD22に高解像度設定信号が送信される（S701)。これにより高品質の撮像画像を使用者に提供することができる。

[0097] 次に、モニタ LCD10にファインダ画像 (ファインダ 6を介して見える範囲の画像）が表示される（S702)。よって、使用者は、ファインダ 6を覼き込むことなぐモニタ LCD

10に表示された画像によって実際の撮像の前に、撮像画像 (撮像範囲）を確認することができる。

[0098] 次に、レリーズボタン 8をスキャンし（S703a)、レリーズボタン 8が半押しされたか否かを判断する（S703b)。半押しされていれば（S703b : Yes)、オートフォーカス (AF )および自動露出 (AE)機能を起動し、ピント、絞り、シャツタスピードを調節する（S7 03c)。半押しされていなければ（S703b :No)、 S703aからの処理を繰り返す。

[0099] 次に、再び、レリーズボタン 8をスキャンし（S703d)、レリーズボタン 8が全押しされたか否かを判断する（S703e)。全押しされていれば（S703e : Yes)、フラッシュモードか否かを判断する（S704)。 [0100] その結果、フラッシュモードであれば（S704 : Yes)、フラッシュ 7を投光して（S705)

、撮影が行われる（S706)。フラッシュモードでなければ（S704 : No)、フラッシュ 7を投光することなく撮影する（S706)。尚、 S703eの判断において、全押しされていなければ (S703e： No)、 S703a力らの処理を繰り返す。

[0101] 次に、撮影した撮像画像を CCD22からキャッシュメモリ 28に転送し（S707)、キヤッシュメモリ 28に記憶された撮像画像をモニタ LCD10に表示する（S708)。このように、撮像画像をキャッシュメモリ 28に転送することでメインメモリに転送する場合に比較して、撮像画像を高速にモニタ LCD10に表示させることができる。そして、その撮像画像を外部メモリ 27に格納する（S709)。

[0102] 最後に、モード切替スィッチ 9に変化が無いか否かを判断し (S710)、変化が無ければ（S710 :Yes)、 S702からの処理を繰り返す。ステップ S710において変化があると判定された場合には（S710 :No)、当該処理を終了する。

[0103] 図 8は、 webcam処理（図 6の S607)のフローチャートである。 webcam処理は、画像撮像部 14で撮像した撮像画像 (静止画および動画を含む)を外部ネットワークに送信する処理である。尚、本実施形態では、撮像画像として動画を外部ネットワークに送信する場合を想定して、る。

[0104] この処理では、ます、 CCD22に低解像度設定信号を送信し (S801)、周知のォートフォーカス及び自動露出機能を起動して、ピント、絞り、シャッター速度を調節した後に（S802)、撮影を開始する（S803)。

[0105] そして、撮影された撮像画像をモニタ LCD10に表示し (S804)、ファインダ画像を投影画像格納部 37kに格納し (S805)、後述する投影処理を行い（S806)、投影画像格納部 37kに格納されている画像を投影面に投影する。

[0106] また、撮像画像を CCD22からキャッシュメモリ 28に転送し（S807)、キャッシュメモリ 28に転送された撮像画像を RFインターフェイスを介して外部ネットワークに送信する（S808)。

[0107] そして、最後に、モード切替スィッチ 9に変化が無いか否かを判断し (S809)、変化が無ければ（S809 :Yes)、 S802からの処理を繰り返し、変化があれば（S809 :No) 、当該処理を終了する。 [0108] 図 9は投影処理（図 8の S806)のフローチャートである。この処理は、投画像投影部 13から投影画像格納部 37kに格納されている画像を投影面に投影する処理である。この処理では、まず、投影画像格納部 37kに画像が格納されているカゝ否かを確認する（S901)。格納されていれば（S901 : Yes)、投影画像格納部 37kに格納されている画像を投影 LCDドライバ 30に転送し（S902)、投影 LCDドライバ 30から、その画像に応じた画像信号を投影 LCD19に送り、投影 LCDに画像を表示する（S903)

[0109] 次に、光源ドライバ 29を駆動し (S904)、その光源ドライバ 29からの電気信号によつて LEDアレイ 17Aを点灯し（S905)、当該処理を終了する。

[0110] こうして、 LEDアレイ 17Aが点灯すると、 LEDアレイ 17Aから発光する光は、光源レンズ 18を介して投影 LCD 19に到達し、投影 LCD19において、投影 LCDドライバ 3 0から送信される画像信号に応じた空間変調が施され、画像信号光として出力される。そして、その投影 LCD19から出力される画像信号光は、投影光学系 20を介して投影面に投影画像として投影される。

[0111] 図 10は立体画像処理（図 6の S609)のフローチャートである。立体画像処理は、被写体の 3次元形状を検出し、その立体画像としての 3次元形状検出結果画像を取得、表示、投影する処理である。

[0112] この処理では、まず、 CCD22に高解像度設定信号を送信し (S1001)、モニタ LC D10にファインダ画像を表示する（S 1002)。

[0113] 次に、レリーズボタン 8をスキャンし（S1003a)、レリーズボタン 8が半押しされたか否かを判断する（S 1003b)。半押しされていれば（S 1003b : Yes)、オートフォーカス (AF)および自動露出 (AE)機能を起動し、ピント、絞り、シャツタスピードを調節する (S 1003c)。半押しされていなければ（S 1003b : No)、 S 1003aからの処理を繰り返す。

[0114] 次に、再び、レリーズボタン 8をスキャンし（S1003d)、レリーズボタン 8が全押しされたか否かを判断する（S1003e)。全押しされていれば（S1003e : Yes)、フラッシュモード力否かを判断する（S1003f)。

[0115] その結果、フラッシュモードであれば（S1003f : Yes)、フラッシュ 7を投光して（S 10 03g)、撮影が行われる（S1003h)。フラッシュモードでなければ（S1003f :No)、フラッシュ 7を投光することなく撮影する（S1003h)。 S1003eの判断において、全押しされてヽなければ (S1003e： No)、 S 1003aからの処理を繰り返す。

[0116] 次に、後述する 3次元形状検出処理を行い、被写体の 3次元形状を検出する（S10 06)。

[0117] 次に、 3次元形状検出処理 (S1006)における 3次元形状検出結果を外部メモリ 27 に格納し（S1007)、 3次元形状検出結果をモニタ LCD10に表示する（S1008)。尚、この 3次元形状検出結果とは、各計測頂点の実空間における 3次元座標 (XYZ)の集合体として表示する。

[0118] 次に、 3次元形状検出結果としての計測頂点をポリゴンで結んでそのサーフェスを表示した立体画像（3Dの CG画像）としての 3次元形状検出結果画像を投影画像格納部 37kに格納し (S1009)、図 8の S806の投影処理と同様な投影処理を行う（S10 10)。尚、この場合には、図 18 (a)及び図 18 (b)に関して説明する投影 LCD19上の座標を 3次元空間座標に変換する式の逆関数を利用して、求められた 3次元座標に対する投影 LCD19上の座標を求めることで、 3次元形状結果座標を投影面に投影させることがでさる。

[0119] そして、モード切替スィッチ 9に変化が無いか否かを判断し（S1011)、変化が無ければ（S1011 :Yes)、 S702からの処理を繰り返す。変化があれば（S1011 :No)、当該処理を終了する。

[0120] 図 11 (a)は、上述した 3次元形状検出処理（図 10の S1006)において、 3次元形状を検出するために利用する空間コード法の原理を説明するための図であり、（b)は (a )とは異なるパターン光を示す図である。パターン光にはこれら (a)または (b)のヽずれを用いても良ぐ更には、多階調コードであるグレイレベルコードを用いても良い。図 11 (a)は、上述した 3次元形状検出処理（図 10の S1006)において、 3次元形状を検出するために利用する空間コード法の原理を説明するための図である。図 11 (b )は、図 11 (a)とは異なるパターン光を示す図である。パターン光にはこれら図 11 (a) 、図 11 (b)に示されるいずれのものが用いられても良ぐ更には、多階調コードであるグレイレベルコードが用いられても良、。 [0121] 尚、この空間コード法につての詳細は、佐藤宏介、他 1名、「空間コードィ匕による距離画像入力」、電子通信学会論文誌、 85Z3Vol. J 68— D No3 p369〜375に詳細に開示されている。

[0122] 空間コード法は、投影光と観測画像間の三角測量に基づいて被写体の 3次元形状を検出する方法の 1種であり、図 11 (a)に示すように、投影光源 Lと観測器 Oとを距離 Dだけ離して設置し、空間を細長!/ヽ扇状領域に分割しコード化することを特徴とする

[0123] 図中の 3枚のマスクパターン A, B, Cを MSB力順番に投影すると、各扇状領域はマスクによって明「1」と暗「0」とにコード化される。例えば、点 Pを含む領域は、マスク

A, Bでは光が当たらず、マスク Cでは明になるので、 001 (A=0、 B = 0、 C= l)とコード化される。

[0124] 各扇状の領域には、その方向 φに相当するコードが割り当てられ、それぞれのコードの境界を 1本のスリット光線とみなすことができる。そこで各マスクごとに情景を観測機器としてのカメラで撮影し、明暗パターンを 2値ィ匕してメモリの各ビットプレーンを構成していく。

[0125] こうして、得られた多重ビットプレーン画像の横方向の位置 (アドレス）は、観測方向

Θに相当し、このアドレスのメモリの内容は投影光コード、即ち、 φを与える。この Θと Φとから注目点の座標を決定する。

[0126] また、この方法で使用するマスクパターンとしては、図 11 (a)ではマスクパターン A,

B, Cのような純 2進コードを用いる場合を図示している力マスクの位置ズレが起こると領域の境界で大きな誤差が生ずる危険性がある。

[0127] 例えば、図 11 (a)の点 Qは領域 3 (011)と領域 4 (100)の境界を示している力もしマスク Aの 1がずれ込むと領域 7 (111)のコードが生ずる可能性がある。換言すれば、隣接する領域間でハミング距離が 2以上のところで、大きな誤差が発生する可能性がある。

[0128] そこで、この方法で使用するマスクパターンとしては、図 11 (b)に示すように、隣接する領域間でハミング距離が常に 1であるコードを使うことで、上述したようなコードィ匕誤差を避けることができるとされて、る。 [0129] 図 12 (a)は、 3次元形状検出処理（図 10の S1006)のフローチャートである。この処理では、まず、撮像処理を行う（S1210)。この撮像処理は、図 11 (a)に示す複数枚の純 2進コードのマスクパターンを利用して画像投影部 13から、明暗を交互に並べてなる縞状のパターン光（図 1参照）を時系列的に被写体に投影し、各パターン光が投影されてヽる状態を撮像したパターン光有画像と、ノターン光が投影されてヽな状態を撮像したパターン光無画像とを取得する処理である。

[0130] 撮像処理を終了すると（S1210)、 3次元計測処理を行う（S1220)。 3次元計測処理は、撮像処理によって取得したパターン光有画像とパターン光無画像とを利用して、実際に被写体の 3次元形状を計測する処理である。こうして、 3次元計測処理を終了すると（S1220)、当該処理を終了する。

[0131] 図 12 (b)は、撮像処理（図 12 (a)の S1210)のフローチャートである。この処理は、ノターン光撮影プログラム 36aに基づき実行され、まず、画像投影部 13からパターン光を投影することなぐ画像撮像部 14によって被写体を撮像することで、パターン光無画像を取得する（S1211)。尚、取得したパターン光無画像はパターン光無画像格納部 37bに格納される。

[0132] 次に、カウンタ iを初期化し（S1212)、そのカウンタ iの値が最大値 imaxか否かを判断する（S1213)。尚、最大値 imaxは使用するマスクパターンの数によって決定される。例えば、 8種類のマスクパターンを使用する場合には、最大 imax ( = 8)となる。

[0133] そして、判断の結果、カウンタ iの値が最大値 imaxより小さい場合には（S1213 : Ye s)、使用するマスクパターンの内、 i番のマスクパターンを投影 LCD 19に表示し、その i番のマスクパターンによって投影される i番のパターン光を投影面に投影し（S121 4)、そのパターン光が投影されている状態を画像撮像部 14によって撮影する（S12 15)。

[0134] こうして、被写体に i番のパターン光が投影された状態を撮像したパターン光有画像を取得する。尚、取得したパターン光有画像は、パターン光有画像格納部 37aに格納される。

[0135] 撮影を終了すると、 i番のパターン光の投影を終了し (S1216)、次のパターン光を投影すべく、カウンタ iに「 1」を加算して（S1217)、 S1213からの処理を繰り返す。 [0136] そして、カウンタ iの値が最大値 imaxより大きいと判断すると（S1213 :No)、当該処理を終了する。即ち、この撮像処理においては、 1枚のパターン光無画像と、最大値 i max枚のパターン光有画像とを取得することになる。

[0137] 図 12 (c)は、 3次元計測処理（図 12 (a)の S1220)のフローチャートである。この処理は、輝度画像生成プログラム 36cに基づき実行される。この処理では、まず、輝度画像を生成する（S1221)。ここで、輝度は、 YCbCr空間における Y値であり、各画素の RGB値より Y=0. 2989 -R+O. 5866 -G + 0. 1145 · Βから計算される値である。各画素について Υ値を求めることにより、各パターン光有及び無し画像に関する輝度画像を生成する。生成した輝度画像は、輝度画像格納部 37cに格納される。また、パターン光の番号に対応した番号を各輝度画像に割り付けておく。

[0138] 次に、コード画像生成プログラム 36dにより、上述した空間コード法を利用して、生成した輝度画像を組み合わせることで、各画素毎にコード化されたコード画像を生成する（S1222)。

[0139] このコード画像は、輝度画像格納部 37cに格納したパターン光有画像に関する輝度画像の各画素について、あら力じめ設定した輝度閾値と比較し、その結果を結合させることで生成することができる。生成されたコード画像はコード画像格納部 37dに格納される。

[0140] 次に、コード境界抽出プログラム 36eにより、後述するコード境界座標検出処理を行い（S1223)、各画素毎に割り当てられたコードの境界座標をサブピクセル精度で検出する。

[0141] 次に、レンズ収差補正プログラム 36fにより、レンズ収差補正処理を行う（S1224)。

この処理によって、撮像光学系 21の歪みなどの影響で誤差を含んでいる S1223で検出されるコード境界座標の誤差を補正することができる。

[0142] 次に、三角測量演算プログラム 36gにより、三角測量原理による実空間変換処理を行う（S1225)。この処理によって収差補正が施された後の CCD空間上のコード境界座標は、実空間における 3次元座標に変換され、 3次元形状検出結果としての 3次元座標が求められる。

[0143] 図 13は、コード境界座標検出処理（図 12の S1223)の概略を説明するための図である。上側の図は、 CCD空間において実際のパターン光の明暗の境界を境界線 K で示し、そのパターン光を上述した空間コード法でコード化し、 1のコードと他のコードとの境界を図中太線で示した図である。

[0144] 即ち、上述した空間コード法におけるコードィ匕は、各画素単位で行われるため、実際のパターン光の境界線 Kと、コード化された境界（図中太線）とではサブピクセル精度の誤差が生ずる。そこで、このコード境界座標検出処理は、コードの境界座標をサブピクセル精度で検出することを目的とする。

[0145] この処理では、まず、ある検出位置（以下「curCCDX」と称す）にお、て、ある着目コード (以下「curCode」 t 、う）力も他のコードに変化する第 1画素 Gを検出する（第 1 画素検出工程)。

[0146] 例えば、 curCCDXにおいて、上から順番に各画素を検出すると、境界 (太線)までは curCodeを有する画素である力境界の次の画素、即ち、第 1画素 Gにおいて、 c urCodeは変化して!/、るので、これを第 1画素 Gとして検出する。

[0147] 次に、その第 1画素 Gの画素位置において、図 12の S1221において輝度画像格納部 37cに格納された輝度画像の内から、明暗の変化を持つ輝度画像の全部を抽出する (輝度画像抽出工程)。

[0148] 次に、近似に利用するための画素領域を特定するために検出位置を「2」左側に移動させ、検出位置 curCCDX— 2の位置において、コード画像を参照して、着目コード（curCode)力他のコードに変化する画素（境界画素（curCCDX— 2の検出位置では画素 H) )を探し、その画素を中心に予め定めた範囲 (本実施例の場合 Y軸方向に 3画素と + 2画素の範囲）の画素範囲を特定する（画素領域特定手段の一部)。

[0149] 次に、その予め定めた範囲内において、図中の下側の左側のグラフに示すように、 Y方向の画素位置と輝度とに関する近似式（図中実線で示す)を求め、その近似式における輝度閾値 bThとの交点における Y座標 Y1を求める（境界座標検出工程の一部)。

[0150] 尚、輝度閾値 bThは、予め定められた範囲内から算出（例えば、各画素の輝度の平均の 2分の 1)しても良ぐ予め与えられた固定値であっても良い。これにより、明と暗との境界をサブピクセル精度で検出することができる。 [0151] 次に、検出位置を curCCDX—2から「1」右側に移動させ、 curCCDX—lにおいて上述したのと同様な処理を行、、 curCCDX- 1における代表値を求める（境界座標検出工程の一部)。

[0152] このように、境界画素を中心に Y軸方向に予め定めた範囲と、 X軸方向における cu rCCDX- 2から curCCDX+ 2の範囲とで構成される画素領域（図中右下がり斜線部参照）において、各検出位置における代表値を求める。

[0153] これまでの処理を curCodeから他のコードへ変化する画素を持つ輝度画像の全てに行い、各輝度画像についての代表値の加重平均値を最終的に curCodeにおける境界座標として採用する (境界座標検出工程の一部)。

[0154] これにより、コードの境界座標を高精度にサブピクセル精度で検出することができ、この境界座標を利用して上述した三角測量原理による実空間変換処理 (図 12の S1 225)を行うことで、高精度に被写体の 3次元形状を検出することができる。

[0155] また、このように輝度画像に基づき算出される近似式を利用して境界座標をサブピクセル精度で検出することができるため、従来のように撮像枚数を増カロさせることもなぐまた、純 2進コードで明暗付けられたパターン光であっても良ぐ特殊なパターン光であるグレイコードを用いる必要はな、。

[0156] 尚、本実施例では、各検出位置において境界画素を中心に Y軸方向に「一 3」から「 + 2」の範囲と、 X軸方向における検出位置としての curCCDX— 2から curCCDX + 2の範囲とで構成される領域を、近似を求めるための画素領域として説明したが、この画素領域の Y軸、 X軸の範囲はこれらに限定されるものではない。例えば、 curC CDXの検出位置における境界画素を中心とした Y軸方向への所定範囲だけを画素領域としても良い。

[0157] 図 14は、コード境界座標検出処理（図 12 (c)の S1223)のフローチャートである。この処理は、コード境界抽出プログラム 36eに基づき実行される。この処理では、まず、 CCD空間におけるコード境界座標列の各要素を初期化し (S 1401)、 curCCDXを開始座標に設定する（S1402)。

[0158] 次に、 curCCDXが終了座標以下力否かを判断し（S 1403)、終了座標以下であれば（S 1403 : Yes)、 curCodeを「0」に設定する（S1404)。即ち、 curCodeは当初、最小値に設定される。

[0159] 次に、 curCodeが最大コードより小さいか否かを判断する（S1405)。 curCodeが最大コードより小さければ（S 1405 :Yes)、 curCCDXにおいてコード画像を参照して、 curCodeの画素を探し（S 1406)、 curCodeの画素が存在するか否かを判断する（S1407)。

[0160] その結果、 curCodeの画素が存在していれば（S 1407 : Yes)、 curCCDXにおいて、その curCodeよりも大きな Codeの画素をコード画像を参照して探し（S 1408)、その curCodeよりも大きな curCodeの画素が存在するか否かを判断する（S 1409)。

[0161] その結果、 curCodeよりも大きな Codeの画素が存在していれば（S 1409 : Yes)、後述する境界をサブピクセル精度で求める処理を行う（S1410)。そして、次の curC odeについて境界座標を求めるベぐ curCodeに「1」を加算して（S1411)、 S 1405 からの処理を繰り返す。

[0162] 即ち、境界は、 curCodeを有する画素の画素位置または curCodeよりも大きな Cod eの画素の画素位置に存在しているため、本実施例では、暫定的に境界は、 curCod eより大きな curCodeの画素の画素位置にあると仮定して処理を進めるものである。

[0163] また、 curCodeが存在していない場合や（S 1407 : No)、 curCodeよりも大きな Co deの画素が存在して!/ヽな、場合には（S1409： No)、次の curCodeにつ!/、て境界座標を求めるベぐ curCodeに「1」をカ卩算して（S1411)、 S1405からの処理を繰り返す。

[0164] こうして、 0から最大コードまでの curCodeについて、 S1405力ら S1411までの処理を繰り返し、 curCodeが最大コードより大きくなると（S 1405 : No)、検出位置を変更すべぐ curCCDXに「dCCDX」を加算し（S 1412)、新たな検出位置において、上述したのと同様に S1403からの処理を繰り返す。

[0165] そして、 curCCDXを変更してゆき、最終的に curCCDXが終了座標より大きくなると（S1403)、即ち、開始座標力も終了座標までの検出が終了すると、当該処理を終了する。

[0166] 図 15は、コード境界座標をサブピクセル精度で求める処理（図 14の S1410)のフロ一チャートである。 [0167] この処理では、まず、図 12 (c)の S1221において輝度画像格納部 37cに格納された輝度画像の内から、図 14の S1409において検出された curCodeよりも大きな Cod eを有する画素の画素位置において、明暗の変化を持つ輝度画像の全部を抽出する（S1501)。

[0168] そして、その抽出した輝度画像のマスクパターン番号を配列 PatID[]へ格納し、その抽出した輝度画像の画像数を noPatIDへ格納する（S1502)。尚、配列 PatID[] と noPatIDとは ID格納部 37fに格納される。

[0169] 次に、カウンタ iを初期化し（S1503)、カウンタ iの値力 ¾oPatIDより小さいか否かを判断する（S 1504)。その結果、小さいと判断されれば（S 1504 : Yes)、カウンタこ対応する PatID[i]のマスクパターン番号を持つ輝度画像について、境界の CCDY 値を求め、その値を f CCDY[i]へ格納する（S 1505)。

[0170] この S1505の処理を終了すると、カウンタ iに「1」をカロ算し（S1506)、 S1504力らの処理を繰り返す。そして、 S1504において、カウンタ iの値力 oPatIDより大きいと判断されると（S1504 :No)、即ち、 S1501で抽出された全部の輝度画像について S 1505の処理が終了すると、 S1505の処理で求めた fCCDY[i]の加重平均値を計算し、その結果を境界値とする（S 1507)。

[0171] 尚、加重平均値に代えて、 S1505の処理で求めた fCCDY[i]の中央値を計算し、その結果を境界値としたり、統計的な計算により境界値を計算したりすることもできる

[0172] 即ち、境界座標は、 curCCDXの座標と、 S 1507で求められる加重平均値とで表現され、この境界座標をコード境界座標格納部 37eに格納して、当該処理を終了する。

[0173] 図 16は、 PatID[i]のマスクパターン番号を持つ輝度画像について、境界の CCD

Y値を求める処理（図 15の S1505)のフローチャートである。

[0174] この処理では、まず、「curCCDX— dx」と「0」との内、大きい値を ccdxとして設定する「ccdx=MAX(curCCDX—dx, 0)」で表される処理を行うと共に、カウンタ jを初期化する（S1601)。

[0175] 具体的には、 S1601でいう「0」は CCDX値の最小値を意味し、例えば、今、検出位置としての curCCDX値が「1」で、予め設定されている dx値が「2」であったとすると、「curCCDX— dx」は「一 1」となり、 CCDX値の最小値である「0」よりも小さくなるため、「一 1」における以降の処理は、「ccdx=0」として設定する処理を行う。

[0176] 即ち、 CCDX値の最小値よりも小さい位置については、以降の処理を除外する処理を行う。

[0177] 尚、この「dx」の値は、予め「0」を含む適当な整数に設定することができ、図 13で説明した例では、この「dx」は「2」に設定されており、図 13の例に従えば、この ccdxは「 curCCDX- 2 Jに設定されること〖こなる。

[0178] 次に、 ccdx< = MIN (curCCDX + dx, ccdW—l)であるか否かを判断する（S16 02)。つまり、左辺の「MIN (curCCDX+dx, ccdW— 1)」は、「curCCDX+dx」と、 CCDX値の最大値「ccdW」から「1」を減算した「ccdW— 1」との内、小さい値であることを意味して、るので、その値と「ccdx」値との大小を比較する。

[0179] 即ち、 CCDX値の最大値よりも大きい位置については、以降の処理を除外する処理を行う。

[0180] そして、判断の結果、 ccdxが MIN (curCCDX+dx, ccdW—l)よりも小さければ（ S1602 :Yes)、コード画像と PatID[i]が割り当てられた輝度画像とを参照して、境界の存在する画素の画素位置の eCCDY値を求める（S 1603)。

[0181] 例えば、検出位置を図 13に示す curCCDX— 1であるとすると、画素 Iを境界が存在する画素候補として検出し、画素 Iの位置において eCCDY値を求める。

[0182] 次に、 PatID[i]のマスクパターン番号を持つ輝度画像から、 MAX(eCCDY—dy , 0) < =ccdy< =MIN (eCCDY+dy - 1, ccdH—l)の範囲で、 ccdy方向における輝度に関する近似多項式 Bt = fb (ccdy)を求める（S1604)。

[0183] 次に、その近似多項式 Btと輝度閾値 bThとの交差する ccdy値を求め、その値を ef CCDY [j]へ格納する（SI 605)。この S1604と S1605とによって、サブピクセル精度の境界座標の検出をすることができる。

[0184] 次に、 ccdxとカウンタ jとに各々「1」を加算し（S1605)、 S1602からの処理を繰り返す。即ち、 curCCDXを中心とした左右の所定範囲内における各検出位置において、サブピクセル精度の境界を検出するのである。 [0185] そして、 S1602において、「ccdx」カ「MIN (curCCDX+dx, ccdW— 1)」より大きいと判断されると（S1602 : No)、 curCCDX—dxから curCCDX+dxの範囲で計算された efCCDY[j]について、 ccdy=fy (ccdx)の近似多項式を求める（S 1606)。この処理によって S1605において検出された各値を用いるので、 1つの検出位置において境界座標を検出しょうとする場合に比べて、境界座標の検出精度を向上させることができる。

[0186] こうして得られた近似多項式と curCCDXとの交点を、 PatID[i]のマスクパターン番号を持つ輝度画像についての境界の CCDY値として（S 1607)、当該処理を終了する。ここまでの処理を図 15のフローチャートに示すように、抽出した全部の輝度画像の 1枚、 1枚に実行し、求められた境界座標について加重平均値を計算して、その結果を最終的な境界座標としているので (S 1507)、更に、境界座標の検出精度を向上させることができる。

[0187] 図 17 (a)から図 17 (c)は、レンズ収差補正処理（図 12 (c)の S 1224)を説明するための図である。レンズ収差補正処理は、図 17 (a)に示すように、撮像光学系 21の収差により、入射した光束が理想レンズにより結像すべき位置力ずれてしまうことに対して、撮像された画素の位置を本来結像すべき位置へ補正する処理である。

[0188] この収差補正は、例えば、図 17 (b)に示すように、撮像光学系 21の撮像範囲において、入射光の角度である半画角 Maをパラメータとして光学系の収差を計算して求めたデータを基に補正する。

[0189] この収差補正処理では、レンズ収差補正プログラム 36fに基づき実行され、コード境界座標格納部 37eに格納されて、るコード境界座標にっ、て行なわれ、収差補正処理がなされたデータは、収差補正座標格納部 37gに格納される。

[0190] 具体的には、実画像における任意点座標（ccdx、 ccdy)を理想カメラ画像での座標（ccdcx、 ccdcy)に変換する次の（1)から（3)のカメラキャリブレーション (近似式）を用いて補正する。

[0191] 本実施例では、収差量 dist (%)は、半画角 Ma (deg)を用いて dist=f (Ma)と記述する。また、撮像光学系 21の焦点距離を focallength (mm)、 ccd画素長 pixelleng th (mm)、 CCD22におけるレンズの中心座標を（Centx、 Centv)とする。 [0192] (l) ccdcx= (ccdx - Centx) / ( 1 + dist/ 100) +Centx

(2) ccdcy= (ccdy - Centy) / ( 1 + dist/ 100) +Centy

(3) hfa=arctan[ ( ( (ccdx— Centx) ² + (ccdy— Centy) ²) ) X pixellength Z focallength]

図 18 (a)及び図 18 (b)は、三角測量原理による実空間変換処理（図 12 (c)の S 12 25)において、 CCD空間における座標から、 3次元空間における 3次元座標を算出する方法を説明するための図である。

[0193] 三角測量原理による実空間変換処理では、三角測量演算プログラム 36gによって、収差補正座標格納部 37gに格納されている収差補正がなされたコード境界座標についての 3次元空間における 3次元座標が算出される。こうして算出される 3次元座標は、 3次元座標格納部 37hに格納される。

[0194] 本実施形態では、撮像される横方向に湾曲した原稿 Pに対する画像入力出力装置 1の座標系として、撮像光学系 21の光軸方向を Z軸、その Z軸に沿って撮像光学系 2 1の主点位置力 VPZ離れた地点を原点、画像入出力装置 1に対して水平方向を X 軸、垂直方向を Y軸とする。

[0195] また、 3次元空間 (X, Υ, Z)への画像投影部 13からの投影角度 θ p、撮像レンズ光学系 20の光軸と画像投影部 13の光軸との距離を D、撮像光学系 21の Y方向の視野を Yftopから Yfbottom、 X方向の視野を Xfstartから Xfend、 CCD22の Y軸方向の長さ（高さ）を Hc、 X軸方向の長さ（幅）を Wcとする。尚、投影角度 Θ pは、各画素毎に割り当てられたコードに基づき与えられる。

[0196] この場合、 CCD22の任意座標 (ccdx, ccdy)に対応する 3次元空間位置 (X, Y, Z)は、 CCD22の結像面上の点と、パターン光の投影点と、 X— Y平面に交差する点とで形成される三角形について 5つの式を解くことで得ることができる。 (l) Y= - (ta η Θ p) Z + PPZ+tan θ p— D + cmp (Xtarget) (2) Y = - (Ytarget/VPZ) Z+Yt arget

(3) X =— (Xtarget/ VP) Z+ Xtarget

(4) Ytarget = Yftop - (ccdcy/Hc) X (Yftop— Yf bottom)

(5) Xtarget = Xfstart + (ccdcx/Wc) X (Xf end—Xfstart) 尚、上記式（1)における cmp (Xtarget)は、撮像光学系 20と画像投影部 13とのズレを補正する関数であり、ズレが無い理想的な場合には cmp (Xtarget) =0とみなすことができる。

[0197] 一方、上述したのと同様に、画像投影部 13に含まれる投影 LCD19上の任意座標

(lcdcx、 lcdcy)と 3次元空間中の 3次元座標 (X, Υ, Z)との関係は次の（1)から (4) の式で表せる。

[0198] 尚、本実施例では、画像投影部 13の主点位置 (0, 0, PPZ)、画像投影部 13の Y 方向の視野を Ypftopから Ypf bottom, X方向の視野を Xpfstartから Xpfend、投景 LCD19の Y軸方向の長さ（高さ）を Hp、 X軸方向の長さ（幅) Wpとする。

(1) Y =— ( Yptarget/PPZ) Z + Yptarget

(2) X= - (Xptarget/PPZ) Z+Xptarget

(3) Yptarget = Ypftop - (lcdcy/Hp) X (Xpf top— Xpf bottom)

(4) Xptarget = Xpfstart + (lcdcx/Wp) X (Xpfend— Xpfstart)

この関係式を利用することで、 3次元空間座標 (X, Υ, Z)を上記（1)から (4)の式に与えることで、 LCD空間座標を (lcdcx, lcdcy)を算出することができる。よって、例えば、 3次元空間に任意の形状、文字を投影するための LCD素子パターンを算出することができる。

[0199] 図 19は、平面化画像処理（図 6の S611)のフローチャートである。平面化画像処理は、例えば、図 1に示すような湾曲した状態の原稿 Pを撮像した場合や矩形状の原稿を斜め方向から撮像した場合 (撮像された画像は台形状になる)であっても、その原稿が湾曲していない状態や鉛直方向から撮像したような状態に平面化された平面化画像を取得、表示する処理である。

[0200] この処理では、まず、 CCD22に高解像度設定信号を送信し（S1901)、モニタ LC D10にファインダ画像を表示する（S1902)。

[0201] 次に、レリーズボタン 8をスキャンし（S1903a)、レリーズボタン 8が半押しされたか否かを判断する（S 1903b)。半押しされていれば（SI 903b : Yes)、オートフォーカス (AF)および自動露出 (AE)機能を起動し、ピント、絞り、シャツタスピードを調節する (S1903c)。尚、半押しされていなければ（S1903b :No)、 S1903a力らの処理を繰り返す。

[0202] 次に、再び、レリーズボタン 8をスキャンし（S1903d)、レリーズボタン 8が全押しされたか否かを判断する（S1903e)。全押しされていれば（SI 903e : Yes)、フラッシュモード力否かを判断する（S1903f)。

[0203] その結果、フラッシュモードであれば（S1903f : Yes)、フラッシュ 7を投光して（S 19 03g)、撮影が行われる（S1903h)。フラッシュモードでなければ（S1903f :No)、フラッシュ 7を投光することなく撮影する（S1903h)。尚、 S1903eの判断において、全押しされて、なければ（S 1903e： No)、 S 1903aからの処理を繰り返す。

[0204] 次に、上述した 3次元形状検出処理（図 10の S1006)と同一の処理である 3次元形状検出処理を行い、被写体の 3次元形状を検出する（S1906)。

[0205] 次に、 3次元形状検出処理 (S1906)によって得られた 3次元形状検出結果に基づき、原稿 Pの姿勢を演算する原稿姿勢演算処理を行う（S1907)。この処理によって原稿 Pの姿勢パラメータとして、原稿 Pの画像入力装置 1に対する位置 Lや角度 Θ、湾曲 φ (X)が演算される。

[0206] 次に、その演算結果に基づき、後述する平面変換処理を行い（S 1908)、たとえ、原稿 Pが湾曲して、たとしても湾曲して、な、状態に平面化された平面化画像を生成する。

[0207] 次に、平面変化処理 (S 1908)によって得られた平面化画像を外部メモリ 27に格納し（S1909)、平面化画像をモニタ LCD10に表示する（S1910)。

[0208] そして、モード切替スィッチ 9に変化が無いか否かを判断し（S1911)、その結果、変化が無ければ（S1911 :Yes)、再び、 S702からの処理を繰り返す。変化があれば (S1911 :No)、当該処理を終了する。

[0209] 図 20 (a)から図 20 (c)は、原稿姿勢演算処理（図 19の S1907)を説明するための図である。尚、本等の原稿の仮定条件として、原稿 Pの湾曲は y方向に一様であるとする。この原稿姿勢演算処理では、まず、図 20 (a)に示すように、 3次元座標格納部 37hに格納されているコード境界に関する座標データから 3次元空間位置において 2列に並ぶ点を回帰曲線近似した 2本の曲線を求める。

[0210] 例えば、パターン光を投影した範囲の上下それぞれ 4分の 1の位置情報 (コード 63 とコード 64の境界と、コード 191とコード 192との境界とに関する境界）から求めることができる。

[0211] その 2本の曲線の X軸方向の位置が「0」における点を結ぶ直線を想定し、この直線が Z軸と交わる点、つまり、光軸が原稿 Pと交差する点を、原稿 Pの 3次元空間位置 (0 , 0,ひとし、この直線力 ¾—Y平面となす角を原稿 Pの X軸まわりの傾き Θとする。

[0212] 次に、図 20 (b)に示すように、原稿 Ρを、先に求めた X軸まわりの傾き Θ分だけ逆方向に回転変換し、つまり、原稿 Ρを Χ—Υ平面に対して平行にした状態を想定する。

[0213] そして、図 20 (c)に示すように、 X— Ζ平面における原稿 Ρの断面にっ、て、 Ζ軸方向の変位を Xの関数として湾曲 φ (X)で表すことができる。こうして、原稿姿勢パラメータとして、原稿 Ρの位置 Lや角度 0、湾曲 φ (X)が演算され、当該処理を終了する

[0214] 図 21は、平面変換処理（図 19の S1908)のフローチャートである。この処理は、まず、 RAM37のワーキングエリア 371に当該処理の処理領域を割り当て、当該処理に用いるカウンタ bの変数を初期値 (b = 0)に設定する（S2101)。

[0215] 次に、原稿姿勢演算プログラム 36hでの演算結果による原稿 Pの位置 Lと、傾き Θと、湾曲 φ (X)とに基づき、パターン光無画像格納部 37bに格納されたパターン光無画像の 4隅の点を、それぞれ、 Z方向に— L移動し、 X軸方向に— Θ回転し、更に φ ( X)にする湾曲の逆変換 (後述する「湾曲処理」と同等な処理）により求められる点で構成される矩形領域 (つまり、原稿 Pの文字等が書かれた面が略直交方向から観察されたような画像となる矩形領域)を設定すると共に、この矩形領域内に含まれる画素数 aを求める（S2102)。

[0216] 次に、設定された矩形領域を構成する各画素に対応するパターン光無画像上の座標を求めて、この座標周辺の画素情報から、平面化画像の各画素の画素情報を設定する。

[0217] つまり、まず、カウンタ bが画素数 aに到達したか否かを判断する（S2103)。カウンタ bが画素数 aに到達していなければ (S2103 :No)、矩形領域を構成する 1つの画素について、 Y軸を中心に湾曲 φ (X)回転移動させる湾曲計算処理を行い（S2104 )、 X軸を中心に傾き Θ回転移動させ (S2105)、 Z軸方向に距離 Lだけシフトさせる（ S2106)。

[0218] 次に、求められた 3次元空間位置を、先の 3角測量の逆関数により理想カメラで写された CCD画像上の座標 (ccdcx, ccdcy)を求め（S2107)、使用している撮像光学系 20の収差特性に従って、先のカメラキャリブレーションの逆関数により、実際のカメラで写された CCD画像上の座標（ccdx, ccdy)を求め（S2108)、この位置に対応するパターン光無画像の画素の状態を求めて、 RAM37のワーキングエリア 371に格納する（S2109)。

[0219] そして、次の画素について上述した S2103から S2109までの処理を実行すベぐカウンタ bに「1」を加算する（S2110)。

[0220] こうして、 S2104から S2110までの処理をカウンタ bが画素数 aになるまで繰り返すと（S2103 :Yes)、 S2101において、当該処理を実行するためにワーキングエリア 3 71に割り当てた処理領域を開放して（S2111)、当該処理を終了する。

[0221] 図 22 (a)は、湾曲処理（図 21の S2104)についての概略を説明するための図であり、図 22 (b)は平面変換処理（図 19の S 1908)によって平面化された原稿 Pを示している。尚、この湾曲処理についての詳細については、電子情報通信学会論文誌 DII Vol.J86-D2 No.3 p409「アイスキャナによる湾曲ドキュメント撮影」に詳細に開示されている。

[0222] 湾曲 Ζ= φ (X)は、求められたコード境界座標列（実空間）で構成される 3次元形状を、任意の Y値における XZ平面に平行な平面切断された断面形状を、最小 2乗法により多項式で近似した式で表現される。

[0223] 湾曲する曲面を平面化する場合、図 22 (a)に示すように、 Ζ= φ (χ)上の点に対応する平面化された点は、 Ζ= φ (0)から Ζ= φ (X)までの曲線の長さによって対応付けられることになる。

[0224] こうした湾曲処理を含む平面変換処理によって、例えば、図 1のように湾曲している状態の原稿 Ρを撮像した場合であっても、図 22 (b)に示すように、平面化された平面画像を取得することができ、このように平面化された画像を用いれば OCR処理の精度を高めることができる。したがって、その画像によって、原稿に記載された文字や図形等を明確に認識することができる。 [0225] 図 23 (a)及び図 23 (b)は、上述した実施形態における光源レンズ 18に関する別の例としての一群の光源レンズ 50を説明するための図であり、図 23 (a)は光源レンズ 5 0を示す側面図であり、図 23 (b)は光源レンズ 50を示す平面図である。尚、上述した実施形態における構成部品と同一な部材には、同一の符号を付し、その説明は省略する。

[0226] 上述の実施形態における光源レンズ 18は、各 LED 17に対応する凸状の非球面形状からレンズ部 18aをベース 18b上に一体的に並べて配置して構成されているのに対し、図 23 (a)及び図 23 (b)に示す例では、 LED17の各々を内包する砲弾型に形成された榭脂製レンズが各々別体に構成されてヽる。

[0227] このように、各 LED17を内包する光源レンズ 50を各々別体に構成することで、各々の LED17とそれに対応する各々の光源レンズ 50との位置が 1対 1で決められるので、相対的な位置精度を高めることができ、光の出射方向が揃うという効果がある。

[0228] これに対し、基板 16上にレンズアレイをまとめて位置合わせをすると、各々の LED 17がダイボンディングされる際の位置決め誤差やレンズアレイと基板の線膨張係数の違いから、光の出射方向がバラバラになってしまう恐れがある。

[0229] 従って、投影 LCD19の面には、 LED17からの光の入射方向が投影 LCD19の面に垂直にそろった光が照射され、投影光学系 20の絞りを均一に通過できる様になる。したがって、投影画像の照度ムラを抑えることができ、結果的に高品質な画像を投影することができる。尚、光源レンズ 50に内包されている LED17はリードおよびリフレクタカなる電極 51を介して基板 16に実装されている。

[0230] 1群の光源レンズ 50の外周面には、各光源レンズ 50を束ねて所定の方向に規制する枠状の弾性を有する固定部材 52が配置されている。この固定部材 52は、ゴム、プラスチック等の榭脂製材料で構成されて、る。

[0231] 光源レンズ 50は各 LED17に対して各々別体に構成されているので、各光源レンズ 50の凸状の先端部が形成する光軸の角度を正しく揃えて投影 LCD19と対向するように設置することが困難である。

[0232] そこで、図 23 (a)及び図 23 (b)に示す例では、この固定部材 52によって 1群の光源レンズ 50を取り囲み、各光源レンズ 50の外周面同士を接触させ、各光源レンズ 50 の光軸が投影 LCD19と正しい角度で対向するように各光源レンズ 50の位置が規制されている。このような構成によれば、各光源レンズ 50力投影 LCD19に向けて光を略垂直に照射させることができる。よって、投影 LCD19の面に垂直にそろった光が照射され、投影レンズの絞りを均一に通過できる様になるため、投影画像の照度ムラを抑えることができる。従って、一層、高品質な画像を投影することができる。

[0233] 尚、この固定部材 52は、予め所定の大きさに規定された剛性を有するものであっても良ぐ弾性力を有する材料で構成してその弾性力によって各光源レンズ 50の位置を所定の位置に規制するようにしても良、。

[0234] 図 24 (a)及び図 24 (b)は、図 23 (a)及び図 23 (b)で説明した光源レンズ 50を所定位置に規制する固定部材 52に関する別の例としての固定部材 60を説明するための図である。図 24 (a)は光源レンズ 50を固定した状態を示す斜視図であり、図 24 (b) はその部分的な断面図である。尚、上述したのと同一の部材には、同一の符号を付し、その説明は省略する。

[0235] この固定部材 60は、各光源レンズ 50の外周面に沿った断面を有する断面視円錐形状の貫通孔 60aが穿設された板状に形成されている。各光源レンズ 50は、この各貫通孔 60aに差し込まれて固定される。

[0236] この固定部材 60と基板 16との間には弾性を有する付勢プレート 61が介装されており、更に、この付勢プレート 61と各光源レンズ 50の下面との間には、電極 51を囲むように弾性を有する環状の Oリング 62が配置されて、る。

[0237] 尚、光源レンズ 50に内包される LED17は、付勢プレート 61、基板 16に穿設されたスルーホールを貫通する電極 51を介して基板 16に実装されている。

[0238] 上述した固定部材 60によれば、各光源レンズ 50を、そのレンズの外周面に沿った断面を有する各貫通孔 60aに各々貫通させて固定するので、上述した固定部材 50 よりも、一層確実に光源レンズ 50の光軸を正しい角度で投影 LCD19に向くように固定することができる。

[0239] また、組立時に、 Oリング 62の付勢力によって LED17を正しい位置に付勢して固定することができる。

[0240] また、本装置 1を運搬する場合等に生ずる可能性のある衝撃力を、 Oリング 62の弾性力によって吸収することができ、その衝撃の影響で光源レンズ 50の位置がずれてしまい、光源レンズ 50から垂直に投影 LCD19に向けて光を照射できないという不都合を防止することができる。

[0241] 上記実施形態において、図 12 (b)の S1211、 S1215の処理は、撮像手段と位置付けられる。図 10の S1006の処理は、 3次元形状検出手段と位置付けられる。

[0242] 以上実施形態に基づき本発明を説明したが、本発明は上記実施形態に何ら限定されるものでなぐ本発明の主旨を逸脱しない範囲内で種々の改良変形が可能であることは容易に推察できるものである。

[0243] 例えば、上記実施形態では、平面化画像モードとして、平面化された画像を取得、表示する処理を説明したが、周知の OCR機能を搭載させ、平面化された平面画像をこの OCR機能によって読み取らせるように構成しても良い。この場合には、 OCR機能によって湾曲した状態の原稿を読み取る場合に比べて高精度に原稿に記載された文章を読み取ることができる。

[0244] また、上記実施形態における図 15の S1501においては、明暗の変化を持つ輝度画像の全部を抽出し、その全部について暫定的な CCDY値を求める場合について説明したが、抽出する輝度画像としては、全部である必要はなぐ 1枚以上であれば、その枚数に限定されることはない。抽出する枚数を減らすことで境界座標を高速に求めることができる。

[0245] また、上記実施形態における図 15の S1507では、 fCCDY[i]を加重平均し、図 1 6の S1607では efCCDY[j]を近似多項式として、各値を平均化する場合について説明したが、各値を平均化する方法としては、これらに限定されるものではない。例えば、各値の単純平均値を採る方法、各値の中央値を採用する方法、各値の近似式を算出し、その近似式における検出位置を境界座標とする方法、統計的な演算により求める方法等であっても良い。

[0246] また、例えば、上記実施形態における平面化画像モードにおける 3次元形状検出処理においては、原稿 Pの 3次元形状を検出するために、複数種類の明暗を交互に並べてなる縞状のパターン光を投影する場合について説明したが、 3次元形状を検出するための光は、力かるパターン光に限定されるものではない。 [0247] 例えば、図 25に示すように、湾曲原稿の 3次元形状の検出を簡便に行う場合には、画像投影部 13から 2本の帯状のスリット光 70, 71を投影するようにしても良い。この場合には、 8枚のパターン光を投影する場合にくらべ、僅か 2枚の撮像画像カゝら高速に 3次元形状の検出をすることができる。

[0248] 本発明の一つの実施形態において、複数の半導体発光素子は、半導体発光素子列と交わる第 2の方向において第 2ピッチで少なくとも 2列以上並列に並べて配置されており、第 2ピッチは、第 1ピッチと略同一に設定されていても良い。

[0249] このような構成によれば、半導体発光素子列は、第 1ピッチ（半導体発光素子列中で第 1の方向に一直線上に並べられる発光素子の配置のピッチ）と略同一の第 2ピッチで少なくとも 2列以上並列に並べて配置されているので、並列に並ぶ方向における半導体発光素子間における照度の低下をも抑制することができる。よって、隣接する半導体素子間における照度の低下を、交互に交わる 2方向つまりこれらを含む平面内において全面的に抑制することができる。

[0250] 本発明の一つの実施形態において、半導体発光素子列は複数列からなり、互いに隣り合う 2列の半導体発光素子列の各々の半導体発光素子は、千鳥状に配置されていても良い。

[0251] このような構成によれば、 1の半導体発光素子とその周りの半導体発光素子との間における照度の低下をも抑制することができる。

[0252] 本発明の一つの実施形態において、複数の半導体発光素子は、 1の前記半導体発光素子列と、その 1の半導体発光素子列の延びる方向に前記第 1ピッチの略半分の距離だけずらした他の半導体発光素子列とを交互に、第 1ピッチの略 3Z2倍のピッチで並列に並べて配置されて!、ても良!、。

[0253] このような構成によれば、 1の半導体発光素子とその周りの半導体発光素子との間における照度の低下をも抑制することができる。

[0254] 本発明の一つの実施形態において、 1の前記半導体発光素子と、その 1の半導体発光素子の周辺の半導体発光素子との間隔は、半導体発光素子の 1つから出射された光によって空間変調素子において形成される照度分布の半値全幅以下となるように配設されていても良い。 [0255] このような構成によれば、 1の半導体発光素子と、その周りの半導体発光素子との間の照度の低下を抑制することができる。

[0256] 本発明の一つの実施形態において、投影装置は、半導体発光素子と空間変調素子との間に配置され、半導体発光素子力出射される光を高指向性の放射光として集光して、空間変調素子にその集光した光を出射する集光光学系を備えていても良い。

[0257] このような構成によれば、半導体発光素子から出射される光を効率良く空間変調素子に照射することができる。よって、省電力で駆動させることができ、節電化、ランニングコストの減少化を図ることができる。

[0258] 本発明の一つの実施形態において、集光光学系は、複数の半導体発光素子の各々と対応する複数のレンズ面を一体に形成されて、ても良、。

[0259] このような構成によれば、部品の点数を削減することができ、結果的に装置の製造コストを低減することができる。

[0260] 本発明の一つの実施形態において、集光光学系は、複数の半導体発光素子の各々を内包する砲弾型に形成されたレンズの各々を、別体にして構成されていても良い。

[0261] このような構成によれば、半導体発光素子力出射される光の集光性を向上させることができる。また、各半導体発光素子と対応するレンズの位置決め精度を高めることがでさる。

[0262] 本発明の一つの実施形態において、投影装置は、集光光学系を構成するレンズの各々を密着させるために、その複数のレンズを取り囲む枠状の固定部材を備えてヽても良い。

[0263] このような構成によれば、各レンズの光軸が平行に揃って空間変調素子側に向くように各レンズの姿勢を規制することができる。よって、高い効率で光を空間変調素子および投影手段に導くことができる。

[0264] 本発明の一つの実施形態において、投影装置は、集光光学系を構成するレンズの各々を所定位置に配置させるために、各レンズの所定位置と対応する位置に穿設された固定孔を有する板状の固定部材を備えて、ても良、。 [0265] このような構成によれば、個々のレンズ毎にレンズの向きを規制することができる。即ち、各レンズの光軸が平行に揃って空間変調素子側に向くように各レンズの姿勢を規制することができる。よって、高い効率で光を空間変調素子および投影手段に導くことができる。

[0266] 本発明の一つの実施形態において、固定孔の断面形状は、集光光学系を構成する各レンズの外周面の少なくとも一部に沿って形成されていても良い。

[0267] このような構成によれば、固定孔の内面と各レンズの外周面とを密着させて、各レンズの向きを規制することができる。即ち、各レンズの光軸が平行に揃って空間変調素子側に向くように各レンズの姿勢を規制することができる。よって、高い効率で光を空間変調素子および撮像手段に導くことができる。

[0268] 本発明の一つの実施形態において、投影装置は、集光光学系の外周面と接触する弾性体を備えて、ても良、。

[0269] このような構成によれば、組立時や運搬時における衝撃等を弾性体によって吸収することができる。また、半導体発光素子を正しい位置に配設されるように付勢することができる。よって、組立時や運搬時の衝撃の影響で集光光学系の位置が正規の位置からズレて、空間変調手段に対して垂直な方向に光が出射されない為に、投影光学系へ高い効率でカップリングできなくなるという不具合が生ずるのを防止することができる。

[0270] 本発明の一つの実施形態において、複数の半導体発光素子の各々は、同一色を発光するよう構成されて、ても良ヽ。

[0271] このような構成によれば、投影手段において複数色の発光色を発光させる場合に生ずる色収差の補正を考慮する必要はなぐ色収差を補正するために複雑な色消しレンズを採用する必要がない。よって、簡単な面構成および安価な材料の投影手段を提供することができる。

[0272] 本発明の一つの実施形態において、複数の半導体発光素子は発光ダイオードであり、その各々力発光される発光色は、アンバー色であっても良い。

[0273] このような構成によれば、他の色を発光させる場合に比べて、電気を光に変換する効率 (電気光変換効率)を高めることができる。よって、省電力で駆動でき、節電化、長寿命化を図ることができる。

[0274] 本発明の一つの実施形態にお!、て、投影手段は、榭脂製のレンズを含んでで構成されていても良い。

[0275] このような構成によれば、半導体発光素子からの光を、全てガラス力もなる投影手段で構成した場合と比較して、軽量で、安価な光学系を構成することができる。

[0276] 本発明の一つの実施形態において、投影手段は、テレセントリックレンズで構成されていても良い。

[0277] このような構成によれば、その瞳の位置は無限にあり、空間変調素子を略垂直に透過した光のみをカップリングして投影することができる。よって、空間変調素子を照度ムラなく投影することができる。

[0278] 本発明の一つの実施形態において、投影装置は、投影方向に配置される被写体に対して、投影手段から出力される画像信号光としてのパターン光が投影されている状態を撮像する撮像手段と、その撮像手段によって撮像された撮像画像に基づき、被写体の 3次元形状を検出する 3次元形状検出手段とを備えていても良い。この場合、空間変調素子は、板状のディスプレイによって構成され、そのディスプレイを構成する複数の画素は、千鳥状に配置されていても良い。

[0279] このような構成によれば、投影装置としての機能のみならず、被写体の 3次元形状をち検出することができる。

[0280] また、空間変調素子であるディスプレイを構成する複数の画素は、千鳥状に配置されているので、例えば、被写体の 3次元形状を検出すベぐ被写体に向けて明暗を交互に並べてなる縞状のパターン光を投光する場合に、その縞方向を投影 LCD19 の短手方向に一致させることで、明暗の境界を 1Z2ピッチで制御することができる。よって、高精度に 3次元の形状を検出することができる。

[0281] 本発明の一つの実施形態において、撮像手段の幅広面と前記ディスプレイの幅広面とは略同一の方向に向!、て配置されて!、ても良!、。

[0282] このような構成によれば、ディスプレイカゝら投影面に投影されている画像を撮像手段に結像させる場合に、その投影画像の全容を効率良ぐそして高解像度で撮像手段〖こ結像させることができる。 [0283] 本発明の一つの実施形態において、ディスプレイを構成する複数の画素は、そのディスプレイの長手方向に沿って一直線状に並べられた 1の画素列と、その 1の画素列とはディスプレイの長手方向に所定間隔ずれた他の画素列とを交互に並列に並べて配置されていても良い。撮像手段は、そのディスプレイとは所定間隔を開けて、その長手方向側に配置されていても良い。

[0284] このような構成によれば、例えば、三角測量の原理を利用して被写体の 3次元形状を検出する場合には、投影手段から被写体へ投影するパターン光の軌跡の傾きをデイスプレイの画素の 1Z2ピッチで制御することができる。よって、高精度に 3次元の形状を検出することができる。

Claims

請求の範囲

[1] 光を出射する複数の半導体発光素子と、その半導体発光素子により出射された光に対して空間変調を施して画像信号光を出力する空間変調素子と、その空間変調素子カゝら出力される画像信号光を投影面に向けて投影する投影手段とを備えた投影装置であって、

前記複数の半導体発光素子は、その複数の半導体発光素子を支持する基板上に少なくとも 2つ以上の半導体素子を第 1の方向において第 1ピッチで一直線状に並べてなる半導体発光素子列を、少なくとも 1列以上並列に並べて配置されており、前記第 1ピッチは、半導体発光素子の 1つから出射された光によって前記空間変調素子におヽて形成される照度分布の半値全幅以下となるように配設されてヽることを特徴とする投影装置。

[2] 前記複数の半導体発光素子は、前記半導体発光素子列と交わる第 2の方向において第 2ピッチで少なくとも 2列以上並列に並べて配置されており、

前記第 2ピッチは、前記第 1ピッチと略同一に設定されていることを特徴とする請求項 1に記載の投影装置。

[3] 前記半導体発光素子列は複数列力なり、互いに隣り合う 2列の半導体発光素子列の各々の半導体発光素子は、千鳥状に配置されていることを特徴とする請求項 1 に記載の投影装置。

[4] 前記複数の半導体発光素子は、 1の前記半導体発光素子列と、その 1の半導体発光素子列の延びる方向に前記第 1ピッチの略半分の距離だけずらした他の半導体発光素子列とを交互に、前記第 1ピッチの略 3Z2倍のピッチで並列に並べて配置されて、ることを特徴とする請求項 1に記載の投影装置。

[5] 前記半導体発光素子と前記空間変調素子との間に配置され、前記半導体発光素子から出射される光を集光して、前記空間変調素子にその集光した光を高指向性の放射光として出射する集光光学系を備えていることを特徴する請求項 1に記載の投影装置。

[6] 投影方向に配置される被写体に対して、前記投影手段から出力される画像信号光としてのパターン光が投影されている状態を撮像する撮像手段と、その撮像手段によって撮像された撮像画像に基づき、前記被写体の 3次元形状を検出する 3次元形状検出手段とを備え、

前記空間変調素子は、板状のディスプレイによって構成され、そのディスプレイを構成する複数の画素は、千鳥状に配置されて、ることを特徴とする請求項 1に記載の投影装置。

[7] 請求項 1に記載の投影装置と、その投影装置に備えられた前記投影手段から出力される画像信号光が投影される投影方向に配置される被写体に対して、前記投影手段カゝら画像信号光としてのパターン光が投影されている状態を撮像する撮像手段と、その撮像手段によって撮像された撮像画像に基づき、前記被写体の 3次元形状を検出する 3次元形状検出手段とを備えていることを特徴とする 3次元形状検出装置。

[8] 光を出射する複数の半導体発光素子と、その半導体発光素子により出射された光に対して空間変調を施して画像信号光を出力する空間変調素子と、その空間変調素子カゝら出力される画像信号光を投影面に向けて投影する投影手段とを備えた投影装置であって、

前記複数の半導体発光素子は、その複数の半導体発光素子を支持する基板上に千鳥状に配置されて!ヽることを特徴とする投影装置。

[9] 1の前記半導体発光素子と、その 1の半導体発光素子の周辺の半導体発光素子との間隔は、前記半導体発光素子の 1つから出射された光によって空間変調素子にお

V、て形成される照度分布の半値全幅以下となるように配設されて、ることを特徴とする請求項 8に記載の投影装置。

[10] 前記半導体発光素子と前記空間変調素子との間に配置され、前記半導体発光素子から出射される光を集光して、前記空間変調素子にその集光した光を出射する集光光学系を備えていることを特徴する請求項 8に記載の投影装置。

[11] 前記集光光学系は、前記複数の半導体発光素子の各々と対応する複数のレンズ面を一体に形成されていることを特徴とする請求項 10に記載の投影装置。

[12] 前記集光光学系は、前記複数の半導体発光素子の各々を内包する砲弾型に形成されたレンズの各々を、別体にして構成されていることを特徴とする請求項 10に記載の投影装置。

[13] 前記集光光学系を構成するレンズの各々を密着させるために、その複数のレンズを取り囲む枠状の固定部材を備えていることを特徴とする請求項 12に記載の投影装置。

[14] 前記集光光学系を構成するレンズの各々を所定位置に配置させるために、各レンズの所定位置と対応する位置に穿設された固定孔を有する板状の固定部材を備えていることを特徴とする請求項 12に記載の投影装置。

[15] 前記固定孔の断面形状は、前記集光光学系を構成する各レンズの外周面の少なくとも一部に沿って形成されていることを特徴とする請求項 14に記載の投影装置。

[16] 前記集光光学系の外周面と接触する弾性体を備えていることを特徴とする請求項 1

0に記載の投影装置。

[17] 前記複数の半導体発光素子の各々は、同一色を発光することを特徴とする請求項 8に記載の投影装置。

[18] 前記半導体発光素子は発光ダイオードであり、その各々力発光される発光色は、アンバー色であることを特徴とする請求項 17に記載の投影装置。

[19] 前記投影手段は、榭脂製のレンズを含んで構成されて!ヽることを特徴とする請求項 10に記載の投影装置。

[20] 前記投影手段は、テレセントリックレンズで構成されていることを特徴とする請求項 8 に記載の投影装置。

[21] 投影方向に配置される被写体に対して、前記投影手段力出力される画像信号光としてのパターン光が投影されている状態を撮像する撮像手段と、

その撮像手段によって撮像された撮像画像に基づき、前記被写体の 3次元形状を検出する 3次元形状検出手段とを備え、

前記空間変調素子は、板状のディスプレイによって構成され、そのディスプレイを構成する複数の画素は、千鳥状に配置されていることを特徴とする請求項 8に記載の投影装置。

[22] 前記撮像手段の幅広面と前記ディスプレイの幅広面とは略同一の方向に向いて配置されて!ヽることを特徴とする請求項 21に記載の投影装置。

[23] 前記ディスプレイを構成する複数の画素は、そのディスプレイの長手方向に沿って一直線状に並べられた 1の画素列と、その 1の画素列とはディスプレイの長手方向に所定間隔ずれた他の画素列とを交互に並列に並べて配置されており、

前記撮像手段は、そのディスプレイとは所定間隔を開けて、その長手方向側に配置されて!ヽることを特徴とする請求項 21に記載の投影装置。

[24] 請求項 8に記載の投影装置と、その投影装置に備えられた前記投影手段から出力される画像信号光が投影される投影方向に配置される被写体に対して、前記投影手段カゝら画像信号光としてのパターン光が投影されている状態を撮像する撮像手段と、その撮像手段によって撮像された撮像画像に基づき、前記被写体の 3次元形状を検出する 3次元形状検出手段とを備えていることを特徴とする 3次元形状検出装置。

[25] 前記空間変調素子は、板状のディスプレイによって構成されると共にそのディスプレイを構成する複数の画素は千鳥状に配置され、前記撮像手段の幅広面と前記ディスプレイの幅広面とは略同一な方向に向、て配置されて、ることを特徴とする請求項 24に記載の 3次元形状検出装置。

[26] 前記ディスプレイを構成する複数の画素は、そのディスプレイの長手方向に沿って一直線状に並べられた 1の画素列と、その 1の画素列とはディスプレイの長手方向に所定間隔ずれた他の画素列とを交互に並列に並べて配置されており、

前記撮像手段は、そのディスプレイとは所定間隔を開けて、その長手方向側に配置されていることを特徴とする請求項 24に記載の 3次元形状検出装置。