JP5992116B2 - 画像生成装置 - Google Patents

Description

本発明は、撮像空間に存在する物体までの距離情報を撮像画像に対応付けて取得することができる、画像生成装置に関する。

従来の車両周辺監視装置として、投光器から空間パターン光を照射し、パターン光を照射した観測領域の画像をカメラで撮影し、撮影画像におけるパターン光の照射方向とパターン光の撮像方向と、投光器とカメラの相対位置関係とに基づいて、観測領域に存在する物体までの距離を計測するものが知られている（例えば、特許文献１参照）。

特開２００８−０６７３６２号公報（第２頁、請求項１）

従来の監視装置においては、照射されるパターン光が視認されることにより観測領域に存在する物体を肉眼で認識しづらくなる問題を避けるため、パターン光としては近赤外線など不可視な波長帯の光を用いることが一般的である。
この時カメラでパターン光を撮影するためには、パターン光の波長にも感度をもつカメラを用いることが必要となる。可視光以外の波長にも感度を持つカメラで撮影を行うと、パターン光を投写しない場合の撮影においても、環境光に含まれる可視光以外の成分の影響を受け、撮影画像の色再現性が低下し、被写体を正しく識別できなくなるという問題がある。

この発明は上述のような問題を解決するためになされたもので、距離情報付き画像の生成時に撮影画像の画像信号から、環境光に含まれる可視光以外の成分の影響を除去し、色再現性の高い画像を得ることを目的とする。

上記の課題を解決するため、本発明の画像生成装置は、
撮像空間に近赤外波長のパターン光を所定数のフレーム期間おきに投写する投光器と、
環境光により照射されるとともに、前記パターン光を所定数のフレーム期間おきに投写される前記撮像空間内の被写体を撮像して、それぞれ撮像画像のＲ成分、Ｇ成分、及びＢ成分を表すＲ信号、Ｇ信号、及びＢ信号を含む撮像信号を出力する撮像部と、
前記投光器に対して前記パターン光の投写強度の指示を与える制御部と、
前記撮像部による撮像で得られた撮像信号のうち、前記パターン光の投写時に得られた撮像信号と前記パターン光の非投写時に得られた撮像信号の差分を求めることで、パターン光画像を生成するとともに、前記パターン光の非投写時に得られた撮像信号から環境光画像を生成する画像差分取得部と、
前記環境光の種別を判定する環境光種別判定部と、
前記環境光種別判定部により判定された前記環境光の種別から、前記環境光に含まれる近赤外波長の光の構成比を示す構成比情報を生成し、生成した前記構成比情報に基づいて、前記環境光画像において、前記環境光に含まれる前記近赤外波長の光による成分を推定し、前記近赤外波長の光による成分を、前記環境光画像から減算することで可視光画像を生成する可視光画像生成部を備え、
前記環境光種別判定部は、前記撮像画像、前記環境光画像、又は前記可視光画像におけるＲ、Ｇ、Ｂ成分の比率から前記環境光の種別を判定する
ことを特徴とする。

本発明によれば、距離情報付き画像の生成時に撮影画像の画像信号から可視光以外の波長での環境光成分を除去し、色再現性の高い画像を得ることができる。

本発明の実施の形態１の画像生成装置を示すブロック構成図である。 図１の撮像部２０の構成例を示す概略図である。 図１の投光器１２及び撮像部２０の配置を立体的に示す図である。 実施の形態１における投光器と撮像部の配置を示す図である。 図１の投光器１２の構成例を示す概略図である。 （ａ）〜（ｐ）は、画像処理部４０の各部に現れるデータに含まれる成分を示す図である。 図１の画像差分取得部４２の構成例を示すブロック図である。 投写パターンの一部を拡大して示す図である。 図９は投写パターンで使用する識別コードの例を示す図である。 投写パターン内での識別コードの配置の例を示す図である。 図１の距離情報生成部４３の構成例を示すブロック図である。 （ａ）〜（ｃ）は、画像処理部４０の各部に現れるデータに含まれる成分を示す図である。 図１の可視光画像生成部４６の構成例を示すブロック図である。 （ａ）〜（ｃ）は、図１の増感処理部４７で加算される画素の配置を示す図である。 （ａ）及び（ｂ）は、図１の表示処理部の出力画像の例を示す。 本発明の実施の形態２の画像生成装置を示すブロック構成図である。 図１６の可視光画像生成部４６ｂの構成例を示すブロック図である。

実施の形態１．
図１は本発明の実施の形態１における画像生成装置の構成を示す。図示の画像生成装置は、パターン光生成部１０と、撮像部２０と、制御部３０と、画像処理部４０とを有する。
パターン光生成部１０は、駆動部１１と投光器１２を含む。
撮像部２０は、図２に示されるように、レンズ２２と、撮像素子２４とを備える。

図３は、投光器１２及び撮像部２０とともに、撮像空間（撮像対象空間）ＪＳを立体的に表す。図３では、撮像空間ＪＳに直方体の被写体ＯＪ１と球体の被写体ＯＪ２があるものとしている。

本発明の画像生成装置は、図３に示すように、投光器１２により被写体ＯＪ１、ＯＪ２に向けて近赤外波長のパターン光の投写を行い、撮像部２０による撮像によって得た情報に基づいて、撮像された被写体ＯＪ１、ＯＪ２の各部までの距離を求め、画像情報と、画像の各部についての距離情報を得る。

投光器１２により投写されるパターン光は、投写パターンを生じさせるものである。図３に示す例では、投写パターンは、マトリックス状に、即ち横方向（行方向）及び縦方向（列方向）に整列した光スポットを形成するものである。

図４は、投光器１２及び撮像部２０と、撮像空間内の被写体ＯＪ１、ＯＪ２上の任意の点に形成された一つの光スポットＳＰとを上方から見た図である。投光器１２と撮像部２０は、図示の例では、水平方向に距離Ｌｐｃだけ離して配置されている。投光器１２と撮像部２０とを結ぶ直線を基線ＢＬと言い、距離Ｌｐｃを基線長と言う。

投光器１２から投写した光により撮像空間ＪＳ中の被写体ＯＪ１、ＯＪ２の一つに光スポットＳＰが形成され、この光スポットＳＰからの光を撮像部２０で受けたとする。その場合、投光器１２からの光スポットＳＰへの投写角φと、光スポットＳＰから撮像部２０への入射角θと、基線長Ｌｐｃが分かれば、三角測量の原理に基づき、基線ＢＬから被写体ＯＪ１、ＯＪ２上の光スポットＳＰまでの距離Ｄｚを計算により求めることができる。

投写角φは、図４に示すように、基線ＢＬと光スポットＳＰを含む平面内において、基線ＢＬに垂直な線と、投光器１２と光スポットＳＰを結ぶ線の成す角である。
入射角θは、図４に示すように、基線ＢＬと光スポットＳＰを含む平面内において、基線ＢＬに垂直な線と、撮像部２０と光スポットＳＰを結ぶ線の成す角である。

撮像部２０における入射角θは、撮像素子２４の撮像面のどの位置に光スポットＳＰの像が形成されたか、及び撮像素子２４の軸線の方向、並びに画角に基づいて求めることができる。
投光器１２からの投写角φは、投光器１２の構成によって予め定まっており、従って既知である。

投光器１２からそれぞれ異なる投写角で多数の光スポットを投写して、これらの光スポットを撮像部２０で撮像する場合には、それぞれの投写角が既知であれば、撮像面上の光スポットの画像上の位置の相互関係に基づいて、各光スポットの投写角を推定することができる。

投光器１２は、図５に示すように、レーザー光源１３、コリメートレンズ１４、アパーチャ１５、及び回折格子１６を備える。
駆動部１１（図１）は、制御部３０により制御されて、レーザー光源１３を発光させ、レーザー光源１３から出射されたレーザー光はコリメートレンズ１４で平行光にされ、アパーチャ１５で予め定められたビーム径にされる。
アパーチャ１５から出た光は、回折格子１６に入射する。回折格子１６は、予め定められた投写パターンを生成するためのパターン光を撮像空間ＪＳに投写する。

撮像部２０のレンズ２２（図２）は、被写体像を撮像素子２４の撮像面上に合焦させる。
撮像素子２４は入射像を光電変換した撮像信号を出力する。撮像素子２４は例えばＲ、Ｇ、Ｂの画素がベイヤ型に配列されたものであり、撮像信号としては、Ｒ、Ｇ、Ｂの信号が出力される。撮像素子２４の各画素は光電変換素子と光電変換素子の入射側に設けられた色フィルタとにより構成される。

撮像部２０は、撮像空間ＪＳの被写体ＯＪ１、ＯＪ２の撮像を行う。この撮像は、予め定められたフレーム周波数（フレームレート）、例えば３０ｆｐｓで行われ、撮像により、複数の連続したフレームの画像が得られ、フレーム周期毎に１フレームの画像を表す、Ｒ、Ｇ、Ｂの色成分の信号Ｒ０、Ｇ０、Ｂ０が出力される。

撮像空間の被写体は、パターン光の投写を受けるほか、環境光により照射されている。
被写体ＯＪ１、ＯＪ２にパターン光が投写されているときは、被写体ＯＪ１、ＯＪ２で反射した環境光による成分（環境光成分乃至環境光画像）に、被写体ＯＪ１、ＯＪ２で反射したパターン光による成分（パターン光成分乃至パターン光画像）が重畳された画像（を表す信号）が、撮像部２０から出力される。
被写体ＯＪ１、ＯＪ２にパターン光が投写されていないときは、被写体ＯＪ１、ＯＪ２で反射した環境光による成分（環境光成分乃至環境光画像）のみから成る画像（を表す信号）が、撮像部２０から出力される。

画像処理部４０（図１）は、Ａ／Ｄ変換器４１と、画像差分取得部４２と、距離情報生成部４３と、環境光種別判定部４４と、可視光画像生成部４６と、増感処理部４７と、映像信号処理部４８と、表示処理部４９とを備えている。

Ａ／Ｄ変換器４１は、撮像部２０の出力を、例えば各々８ビット（２５６階調）のデジタル信号Ｒ０、Ｇ０、Ｂ０に変換する。

制御部３０は、パターン光生成部１０、撮像部２０及び画像処理部４０の制御を行う。
具体的には、制御部３０は、撮像部２０の撮像素子２４の撮像モード、フレーム周波数、露光時間、絞り、アナログゲインなどを制御する。露光時間、絞り、アナログゲインの制御に当たっては、撮像された画像の明るさが一定となるように調整を行う。
制御部３０はまた、Ａ／Ｄ変換器４１に対して動作のタイミングを制御するための信号を供給する。

制御部３０はまた、パターン光生成部１０によるパターン光の投写強度の制御を行う。
投写強度の制御に当たっては、パターン光投写時の信号の値とパターン光非投写時の信号の値との差分が一定となるように調整を行う。

制御部３０はまた、パターン光生成部１０の動作と撮像部２０の動作を同期化させるための制御を行う。すなわち、制御部３０は撮像部２０に対し、
予め定められたフレーム周波数で撮像を繰り返すように制御を行うとともに、パターン光生成部１０に対し、１フレーム期間おきにパターン光の投写と非投写を交互に繰り返すように制御を行う。具体的には、制御部３０は、レーザー光源１３が１フレーム期間おきに発光状態、非発光状態になるように駆動部１１を制御する。

制御部３０は、さらに、パターン光生成部１０が投写状態にあるか（レーザー光源１３が発光状態にあるか）、非投写状態にあるか（レーザー光源１３が非発光状態にあるか）を示す信号Ｓｎｆを画像差分取得部４２に供給する。

制御部３０はまた、環境光画像におけるＲ、Ｇ、Ｂ成分の比率を示す情報Ｐｒｐを生成する。そのため、例えば画面全体又はそれぞれ画面の一部を示す領域毎に画像差分取得部４２から出力されるＲ、Ｇ、Ｂの信号Ｒ１、Ｇ１、Ｂ１の積算値の比率を求める。制御部３０は、Ｒ、Ｇ、Ｂ成分の比率を示す情報Ｐｒｐを映像信号処理部４８に供給する。映像信号処理部４８では、上記の比率を示す情報Ｐｒｐを白バランス調整のために用いる。
本実施の形態では上記の比率を示す情報Ｐｒｐを、環境光種別判定部４４にも供給し、環境光種別判定部４４ではこの情報を用いて環境光の種別の判定を行う。

制御部３０はさらに、投光器１２によって投写されるパターン光に含まれる光スポットの各々の、投写パターン内の位置の関係を示す情報Ｓｄｐ、投写パターン上の位置と投写角の対応関係を示す情報Ｓｐａ、及び撮像部２０の軸線方向及び画角を表す情報Ｓｚｖ、並びに基線長Ｌｐｃを表す情報を保持しており、距離情報生成部４３に供給する。

投光器１２が１フレーム期間おきにパターン光の投写を断続的に行うので、撮像部２０では、パターン光が投写されているときの画像（投写時画像）とパターン光が投写されていないときの画像（非投写時画像）、即ち環境光のみによる画像（環境光画像）が１フレーム期間おきに交互に得られる。

Ａ／Ｄ変換器４１から出力される色成分の信号Ｒ０、Ｇ０、Ｂ０は、図６（ａ）、（ｂ）、（ｄ）、（ｅ）、（ｇ）、（ｈ）に示すように、本来のそれぞれの色の成分Ｒｒ、Ｇｇ、Ｂｂを含むほか、それぞれの画素の色フィルタが近赤外領域にも透過性を有するため、近赤外光による成分（近赤外成分）ＩＲｒ、ＩＲｇ、ＩＲｂをも含む。ここで、「本来のそれぞれの色の成分」Ｒｒ、Ｇｇ、Ｂｂは、色フィルタが近赤外光（近赤外波長の光）に対して透過性を有しない場合、及び／又は光電変換素子が近赤外光に対して感度を有しない場合に、撮像部２０から出力される成分である。

投光器１２が投写状態（オン）のフレームに得られた信号Ｒ０、Ｇ０、Ｂ０の、近赤外成分ＩＲｒ、ＩＲｇ、ＩＲｂには、図６（ａ）、（ｄ）、（ｇ）に示すように、パターン光による成分ＩＲｒｐ、ＩＲｇｐ、ＩＲｂｐと、環境光による成分ＩＲｒｅ、ＩＲｇｅ、ＩＲｂｅとが含まれ、投光器１２が非投写状態（オフ）のフレームに得られた信号Ｒ０、Ｇ０、Ｂ０の、近赤外成分ＩＲｒ、ＩＲｇ、ＩＲｂには、図６（ｂ）、（ｅ）、（ｈ）に示すように、パターン光による成分ＩＲｒｐ、ＩＲｇｐ、ＩＲｂｐが含まれず、環境光による成分ＩＲｒｅ、ＩＲｇｅ、ＩＲｂｅのみが含まれる。

相前後するフレーム間での画像の変化（動き）を無視すれば、相前後するフレーム間で、信号Ｒ０、Ｇ０、Ｂ０の差を求める（パターン光による成分を含む信号からパターン光による成分を含まない信号を減算する）ことで、図６（ｍ）、（ｎ）、（ｏ）に示すパターン光成分ＩＲｒｐ、ＩＲｇｐ、ＩＲｂｐを表す信号、或いは該信号で表される画像（パターン光画像）を得ることができる。
また、パターン光による成分を含まないフレームの信号のみを選択して出力することで、図６（ｂ）、（ｅ）、（ｈ）に示される環境光成分Ｒ１、Ｇ１、Ｂ１を表す信号、或いは該信号で表される画像（環境光画像乃至非投写時画像）を生成することができる。

画像差分取得部４２の役割は、上記のように、パターン光による成分のみからなる画像（パターン光画像）（図６（ｍ）、（ｎ）、（ｏ））と、パターン光による成分を含まないフレームの画像（環境光画像）Ｒ１、Ｇ１、Ｂ１（図６（ｂ）、（ｅ）、（ｈ））とを生成することである。

信号Ｒ１、Ｇ１、Ｂ１にも、図６（ｂ）、（ｅ）、（ｈ）に示すように、環境光による近赤外成分ＩＲｒｅ、ＩＲｇｅ、ＩＲｂｅが含まれている。可視光画像生成部４６の役割は、信号Ｒ１、Ｇ１、Ｂ１から、近赤外成分ＩＲｒｅ、ＩＲｇｅ、ＩＲｂｅを除去し、図６（ｃ）、（ｆ）、（ｉ）に示すように、本来のそれぞれの色成分Ｒｒ、Ｇｇ、Ｂｂのみから成る信号Ｒ２、Ｇ２、Ｂ２を生成することである。

なお、図６（ｊ）には、図６（ａ）、（ｄ）、（ｇ）の信号Ｒ０、Ｇ０、Ｂ０を合成することで得られる輝度信号Ｙ０が示されている。この輝度信号Ｙ０には、本来の輝度成分Ｙｙと、近赤外成分ＩＲｙとが含まれる。近赤外成分ＩＲｙには、パターン光による成分ＩＲｙｐと、環境光による成分ＩＲｙｅとが含まれる。
図６（ｋ）には、図６（ｂ）、（ｅ）、（ｈ）の信号Ｒ１、Ｇ１、Ｂ１を合成することで得られる輝度信号Ｙ１が示されている。この輝度信号Ｙ１には、本来の輝度成分Ｙｙと、環境光による近赤外成分ＩＲｙｅとが含まれる。
図６（ｌ）には、図６（ｃ）、（ｆ）、（ｉ）の信号Ｒ２、Ｇ２、Ｂ２を合成することで得られる輝度信号Ｙ２が示されている。この輝度信号Ｙ２には、本来の輝度成分Ｙｙのみが含まれる。
図６（ｐ）には、図６（ｍ）、（ｎ）、（ｏ）の信号ＩＲｒｐ、ＩＲｇｐ、ＩＲｂｐを合成することで得られる信号ＩＲｙｐが示されている。この信号ＩＲｙｐは、撮像されたパターン光の強度Ｓｒを表す。

以下、各部の処理を詳細に説明する。
画像差分取得部４２は、Ａ／Ｄ変換器４１から出力される信号Ｒ０、Ｇ０、Ｂ０を受け、パターン光が投写されているときの画像とパターン光が投写されていないときの画像とに基づいて、パターン光による画像（パターン光画像）と、パターン光成分を除いた画像（環境光画像）とを生成する。例えば、パターン光が投写されていないフレーム期間に得られた画像を環境光画像として出力し、相前後する２つのフレーム期間のうち、パターン光が投写されているフレーム期間における撮像（露光）で得られた画像からパターン光が投写されていないフレーム期間における撮像（露光）で得られた画像を差し引くことで得られた画像をパターン光画像として出力する。具体的には、パターン光が投写されているフレーム期間に得られたＲ、Ｇ、Ｂ成分の信号からパターン光が投写されていないフレーム期間に得られたＲ、Ｇ、Ｂ成分の信号を差し引き、これらを組み合わせることで単一のパターン光成分を表す信号を生成する。

図７は画像差分取得部４２の構成例を示す。
フレーム遅延部４２１は、Ａ／Ｄ変換器４１から入力端子４２０を介して供給される撮像信号Ｄ４１（Ｒ０、Ｇ０、Ｂ０）を、１フレーム期間遅延させてフレーム遅延撮像信号Ｄ４２１を出力する。

差分演算部４２２は、撮像信号Ｄ４１とフレーム遅延撮像信号Ｄ４２１の差分（パターン光が投写されているフレームの撮像信号から、パターン光が投写されていないフレームの撮像を減算することで得られる差分）を求め、差分信号Ｄ４２２を生成する。

スイッチ４２３は、投光器１２がパターン光を投写していないフレームについての撮像信号Ｄ４１が入力端子４２０に供給されるタイミングで閉じて、該信号を、環境光成分Ｄ４２３（Ｒ１、Ｇ１、Ｂ１）として出力端子４２７から可視光画像生成部４６に出力する。

上記のフレーム遅延部４２１、差分演算部４２２、スイッチ４２３による処理は、Ｒ、Ｇ、Ｂの色成分毎に別個に行われる。即ち、入力端子４２０にＲ信号Ｒ０が入力されているときは、Ｒ信号Ｒ０の、パターン光成分ＩＲｒｐと環境光成分（Ｒｒ＋ＩＲｒｅ）への分離が行われ、入力端子４２０にＧ信号Ｇ０が入力されているときは、Ｇ信号Ｇ０の、パターン光成分ＩＲｒｐと環境光成分（Ｇｇ＋ＩＲｇｅ）への分離が行われ、入力端子４２０にＢ信号Ｂ０が入力されているときは、Ｂ信号Ｂ０の、パターン光成分ＩＲｂｐと環境光成分（Ｂｂ＋ＩＲｂｅ）への分離が行われる。

画像差分取得部４２に入力されるＲ、Ｇ、Ｂ信号Ｒ０、Ｇ０、Ｂ０は、ベイヤ配列の画素で得られた信号であるので、すべての画素についてすべての色成分を有するわけではなく、各画素についてはＲ、Ｇ、Ｂのうちの一つの成分のみが存在する。スイッチ４２３から出力される環境光成分も同様である。差分演算部４２２から出力されるパターン光成分についても同様に、それぞれＲ、Ｇ、Ｂのいずれか一つの画素で得られた成分（色信号Ｒ０、Ｇ０、Ｂ０のいずれか一つに含まれていた成分）のみが存在する。

補間部４２４は、差分演算部４２２から出力される、Ｒ、Ｇ、Ｂのパターン光成分ＩＲｒｐ、ＩＲｇｐ、ＩＲｂｐを受けて、各画素について欠落している成分（各画素の色信号と異なる色信号に含まれていたと推定される近赤外成分）ＩＲｒｐ、ＩＲｇｐ、ＩＲｂｐを補間する。

合成部４２５は、補間部４２４から出力された各画素についての３つの成分ＩＲｒｐ、ＩＲｇｐ、ＩＲｂｐを合成する。
この合成は、Ｒ、Ｇ、Ｂ信号から輝度信号を生成する場合と同様に、例えば、下記の演算で行われる。
ＩＲｙｐ＝ａ１×ＩＲｒｐ＋ａ２×ＩＲｇｐ＋ａ３×ＩＲｂｐ （１）
式（１）において、
ａ１、ａ２、ａ３は、
ａ１＋ａ２＋ａ３＝１
となるように予め定められた係数である。係数ａ１、ａ２、ａ３は、撮像部２０のＲ、Ｇ、Ｂの色フィルタの近赤外成分に対する分光透過特性、Ｒ、Ｇ、Ｂの光電変換素子の近赤外成分に対する分光感度特性により定められる。また、簡単化のため、例えば、
ａ１＝ａ２＝ａ３＝１／３
としても良い。

合成部４２５による合成の結果（各画素についての近赤外成分）ＩＲｙｐは、パターン光成分Ｓｒとして出力端子４２８を介して距離情報生成部４３に供給される。

距離情報生成部４３は、画像差分取得部４２から出力されるパターン光成分と、制御部３０から別途供給される投写パターンについての情報に基づいて、撮像部２０から、パターン光画像の各部に対応する被写体の各部までの距離を表す情報を生成する。距離情報生成部４３における距離情報生成のため、投写パターンとして、光スポットのほかに識別コードを含むものが用いられる。そこで、まず、投写パターンについて説明する。

上記のように、投光器１２により投写される投写パターン（投写像）は、図３に示すようにマトリックス状に配列された光スポットを含むものであるが、それに付随して各光スポットの近傍に識別コードとして役割を持つドット群を備えている。

図８は、投写パターンの一部を拡大して示すものである。以下では、説明を簡単にするため、投写パターンが、投光器１２の光軸に対して垂直な平面上に投写された場合を想定して説明する。
最小のマスはドット位置乃至セルと呼ばれるものであり、投写パターンにおいて、オン（光が照射された状態）又はオフ（光が照射されない状態）を制御可能な最小単位である。例えば、投写範囲内に縦方向４８０行、横方向６５０列のセルが形成される。光が照射された状態のセルによりドットが構成される。

各光スポットＭＫは、縦方向２行、横方向２列の、オン状態のセルから成る領域を占めるように形成される。
２行２列の領域の周囲の上下各１行、左右各１列はオフ状態のセル（光が照射されないセル）からなる領域であり、この領域と２行２列の領域を含む４行４列の領域をスポット領域ＭＡと言う。

４行４列のスポット領域ＭＡの下側に隣接する１行のセル（スポット領域ＭＡに対して下側で隣接し、互いに整列した４つのドット位置の群）は、識別コードの第１の部分ＤＣａを構成する領域であり、スポット領域ＭＡの右側に隣接する１列のセル（スポット領域ＭＡに対して右側で隣接し、互いに整列した４つのドット位置の群）は、識別コードの第２の部分ＤＣｂを構成する領域である。第１の部分ＤＣａの４つのセルはそれぞれ符号ｃ１〜ｃ４で示され、第２の部分ＤＣｂの４つのセルはそれぞれ符号ｃ５〜ｃ８で示される。
第１の部分ＤＣａ及び第２の部分ＤＣｂの各セルはオン状態（照射された状態）又はオフ状態（照射されない状態）のいずれかを取ることが可能であり、このオン、オフの組み合わせにより、８ビットの識別コードＤＣが構成される。各光スポットＭＫに付随した識別コードＤＣは、当該光スポットＭＫの識別のために用いられる。

第１の部分ＤＣａの右側に隣接するセル、即ち第２の部分ＤＣｂの下側に隣接するセルｃｂｒは、オフ状態のものである。
投写パターンの全体は、上記の４行４列のスポット領域ＭＡに、識別コードＤＣ及びセルｃｂｒを加えた、５行５列のセルからなる領域ＭＢの繰り返しで構成される。

光スポットＭＫは、投写パターンの各部の位置を特定するために用いられ、２行２列のドットから成るので、撮像部２０において比較的大面積で、従って、比較的高輝度の部分として見える。
各光スポットＭＫに付随した識別コードＤＣは、当該光スポットＭＫが投写パターンに含まれる多数の光スポットのうちのどれであるかの判定に用いられるものである。

図９は投写パターンで使用する識別コードの例を示したものである。図示の例では、Ｎｏ．０からＮｏ．５５までの５６個の互いに異なる「値」、即ち異なるオン、オフの組み合わせの識別コードが用いられる。各番号（Ｎｏ．）の識別コードのｃ１からｃ８までのセルの値（オン又はオフ）が「１」、「０」で示されている。

図１０は投写パターン内での識別コードの配置の例（各識別コードを含む５行５列のセルから成る領域の配置の例）を示す。図１０中の各マスが５行５列のセルから成る領域ＭＢに相当する。各マス内の数字は、図９の識別コードの番号（Ｎｏ．）を示す。
図１０に示す例では、垂直方向には同じ識別コードが並べられ、水平方向には、左から右へ、識別コードがＮｏ．０からＮｏ．５５まで順に並べられ、Ｎｏ．５５の次（右側）には、再びＮｏ．０が配置され、以下同様の配置の繰り返し（周期的な配置）となっている。

図８及び図９の識別コードを、図１０のように配列すると、オン状態及びオフ状態のセルの配列（オン状態のセルの配列及びオフ状態のセルの配列）が、投写パターンの中心（投写パターンの垂直方向の中点に位置し、Ｎｏ．２８の識別コードを含む領域ＭＢ内の光スポットＭＫの中心）を中心として、点対称となる。
また、水平方向において隣接する光スポットに付随する識別コード間では、オン状態／オフ状態の変更箇所（オン状態からオフ状態へ切り替わる箇所又はオフ状態からオン状態へ切り替わる箇所）が必ず一箇所のみとなっている。
８個のセルｃ１〜ｃ８のオンオフの組合せは２５６通りあるが、そのすべてを利用するのではなく、上記の条件を満たすようにするため、２５６通りの組合せのうち、５６通りの組合せのみが識別コードとして用いられている。

投光器１２の光軸に対して垂直でない平面にパターン光が投写された場合に形成される投写パターンは、矩形以外の四辺形となり、光スポットの行、列も互いに平行ではなくなり、光スポット間の距離も一様ではなくなる。曲面上にパターン光が投写された場合に形成される投写パターンにおいては、光スポットの行、列も直線状のものではなくなる。パターン光が投写される面に凹凸、段差などがあると、それぞれの光スポットの投写角の大小関係（例えば小さいものから並べた場合の順序）と、それぞれの光スポットの入射角の大小関係（例えば小さいものから並べた場合の順序）が一致しなくなり、「入れ替わり」が発生することがある。

各光スポットが投光器１２から投写されたときの投写角を知るには、マトリックスの何列目の光スポットであるかを識別する必要がある。８ビットの識別コードは、それ自体で何列目を特定できるだけの情報量を含まないが、例えば、光スポット間で入れ替わりがあっても、各光スポットの本来の位置（順序）からのずれが、識別コードの「値」の変化の周期（図１０に示す例では、５行５列のセルから成る領域ＭＢの、５６個分）の範囲内であれば、ずれが無い場合の位置（本来の位置）を特定することが可能であり、本来の位置を特定することで、当該識別コードが付加された光スポットが何列目のものであるかの識別を行うことができる。

なお、上記の「入れ替わり」は、投光器１２と撮像部２０が水平方向の異なる位置に配置されていることによって生じるものであり、投光器１２と撮像部２０は上下方向においては同じ位置に配置されているので、上下方向については、上記のような入れ替わりが発生することはなく、従って、撮像画像中の順序を検出することで、投写パターン中の上下方向の位置（順序）を判断することができる。従って、上下方向の順序を識別するためのコードは不要である。

なお、投光器１２と撮像部２０が上下方向においても異なる位置に配置される可能性を考慮して、上下方向の順序を識別することも可能なように識別コードを定めても良い。

図１１は距離情報生成部４３の構成例を示す。
図１１に示される距離情報生成部４３は、２値化部４３１と、スポット領域抽出部４３２と、識別コード読取部４３３と、記憶部４３４と、投写角推定部４３６と、入射角算出部４３７と、距離算出部４３８とを有する。

２値化部４３１は、画像差分取得部４２から出力されるパターン光成分を２値化して、２値のパターン光画像を出力する。

スポット領域抽出部４３２は、パターン光画像から各光スポットを中心とするスポット領域ＭＡ（図８の４行４列の領域）を抽出する。
スポット領域ＭＡの抽出のためには、一定の間隔で配置され、中心部に位置する２行２列の４つのドット（オン状態のセルによって構成される）と、その周囲（上下各１行、左右各１列）に位置するオフ状態のセルから成る４行４列のセルの群を探索する。また、中心部の２行２列の４つドットの群は、投写パターンにおいては、規則的に等間隔に配置されたものであるので、撮像で得られた画像においても同様の配置であることが条件となる。但し、被写体の表面の曲がり、凹凸、段差などにより、撮像画像においては、完全に等間隔になるとは限らないため、類似度に基づくパターンマッチング等を行って、スポット領域ＭＡの抽出を行う。

識別コード読取部４３３は、抽出されたスポット領域ＭＡに隣接する識別コード領域から識別コードＤＣを読み取る。

投写角推定部４３６は、識別コード読取部４３３から識別コードの読み取り結果を受け、さらに制御部３０から、図９の表の内容を示すデータ（各識別コードと投写パターン内の位置の関係を示す情報）Ｓｄｐと、投写パターン上の位置と投写角の対応関係を示す情報Ｓｐａを得て、これらに基づいて各光スポットの投写角φを推定する。なお、上記の情報、即ち図９の表の内容を示すデータＳｄｐと、投写パターン上の位置と投写角の対応関係を示す情報Ｓｐａが制御部３０から与えられたら、投写角推定部４３６内のメモリ（図示しない）に保持しておくこととしても良い。

識別コード読取部４３３での読み取り結果に基づいて、投写角推定部４３６は投写角の推定を行う。

投写角の推定においては、読み取られた識別コードＤＣの値が、図９の表中の識別コードＮｏ．０〜Ｎｏ．５５のいずれに一致するかを判定し（即ち、パターン内のどの位置の光スポットに付されたものであるかを判定し）、この判定結果、及び該光スポットが上下方向のどの位置のものであるかの判定結果に基づいて、当該光スポットが投写パターンの水平方向及び上下方法のどの位置のものであるかを特定する。
光スポットの、投写パターン上の位置が特定できたら、特定された位置と投写角との関係を示す情報Ｓｐａ（制御部３０から与えられる）に基づいて投写角φを求める。

入射角算出部４３７は、スポット領域抽出部４３２の出力に基づいて、撮像面内のどの位置に光スポットが撮影されているか、ならびに撮像部の軸線方向及び画角に基づいて、当該光スポットについての入射角θを算出する。軸線方向及び画角を表す情報Ｓｚｖは、制御部３０から供給される。

距離算出部４３８は、投写角推定部４３６で推定された投写角φと、入射角算出部４３７で算出された入射角θと、制御部３０から供給される基線長Ｌｐｃに基づいて基線ＢＬから光スポットが投写されている被写体の表面までの距離を計算する。

まず、図４の基線ＢＬから光スポットが投写されている被写体表面（スポットＳＰが形成された点）、即ち図４でスポットＳＰの位置までの距離Ｄｚは、
Ｄｚ＝Ｌｐｃ／（ｔａｎφ−ｔａｎθ） （２）
の関係から求めることができる。式（２）は、図４において、
Ｄｚ・ｔａｎφ−Ｄｚ・ｔａｎθ＝Ｌｐｃ （３）
の関係があることから得られる。

次に、撮像部２０から光スポットが形成された被写体表面（スポットＳＰ）までの距離Ｄｒを、式（３）で得られる基線ＢＬまでの距離Ｄｚと、入射角θから、
Ｄｒ＝Ｄｚ／ｃｏｓθ （４）
により求める。
距離情報生成部４３で求めた距離情報Ｄｒは、表示処理部４９に供給される。

環境光種別判定部４４は、制御部３０から出力される、Ｒ、Ｇ、Ｂ成分の比率を示す情報Ｐｒｐから、環境光の種別を判定する。環境光は、太陽光などの自然光と人工の照明光に分類され、人工光はさらに光源の種類によって分類される。環境光種別判定部４４は、例えば、Ｒ、Ｇ、Ｂ成分の比率Ｐｒｐを予め定められた１又は２以上の判定基準値と比較して、比較の結果に基づいて環境光の種別を判定する。
環境光種別判定部４４での種別の判定結果Ｌｔｐは、可視光画像生成部４６に伝えられる。

可視光画像生成部４６は、画像差分取得部４２からの画素値Ｒ１、Ｇ１、Ｂ１と、環境光種別判定部４４からの種別の判定結果Ｌｔｐとに基づき、画素値Ｒ１、Ｇ１、Ｂ１から近赤外成分ＩＲｒｅ、ＩＲｇｅ、ＩＲｂｅを除いた画素値、即ち可視領域内のＲ、Ｇ、Ｂ成分の値（画素値）Ｒ２、Ｇ２、Ｂ２を算出する。

以下、可視光画像生成部４６の動作の概略を、図１２（ａ）〜（ｃ）を参照して説明する。図１２（ａ）、（ｂ）、（ｃ）は、それぞれ図６（ｅ）、（ｋ）、（ｐ）と同様の図であるが、被写体の反射率が１００％の場合のそれぞれの成分の値を点線で示す。以下の説明では、反射率Ｍが１００％であるときのそれぞれの値Ｇ１（１００）、Ｇｇ（１００）、ＩＲｇｅ（１００）、Ｙ１（１００）、Ｙｙ（１００）、ＩＲｙｐ（１００）のように、「（１００）」を付す。これに対して反射率Ｍを特に限定しない場合の値Ｇ１（Ｍ）、Ｇｇ（Ｍ）、ＩＲｇｅ（Ｍ）、Ｙ１（Ｍ）、Ｙｙ（Ｍ）、ＩＲｙｐ（Ｍ）のように「（Ｍ）」を付すことで違いを明確にすることもあるが、「（Ｍ）」を省くこともある。

可視光画像生成部４６は、環境光種別判定部４４からの種別を示す情報Ｌｔｐから、近赤外光に対する反射率と、可視光（ここでは特にＧ成分）に対する反射率が同じ値Ｍｏであると仮定した場合の環境光画像（Ｒ１、Ｇ１、Ｂ１）のうち、近赤外成分が占める割合乃至構成比Ｅｙの推定を行う。

この構成比Ｅｙとして、本実施の形態では、環境光画像のＧ信号の値Ｇ１（Ｍｏ）に含まれる近赤外成分ＩＲｇｅ（Ｍｏ）の、輝度値Ｙ１（Ｍｏ）（＝ＩＲｙｅ（Ｍｏ）＋Ｙｙ（Ｍｏ））に対する比を推定する。
この反射率Ｍｏはどのような値であっても同じ結果となるが、以下では説明を簡単にするため、反射率Ｍｏが１００％である場合を想定して説明する。上記の反射率Ｍoが１００％である場合、上記の構成比Ｅｒは、下記の式で与えられる。
Ｅｒ
＝ＩＲｇｅ（１００）／Ｙ１（１００）
＝ＩＲｇｅ（１００）／｛ＩＲｙｅ（１００）＋Ｙｙ（１００）｝

可視光画像生成部４６は、上記の構成比Ｅｙと輝度値Ｙ１（Ｍ）とを乗算することで、画素値Ｇ１（Ｍ１）に含まれる、近赤外成分ＩＲｇｅ（Ｍ）を求め、この近赤外成分ＩＲｇｅ（Ｍ）を画素値Ｇ１（Ｍ）から減算することで、画素値Ｇ２（Ｍ）（＝Ｇｇ（Ｍ））を求める。
画素値Ｒ２（Ｍ）（＝Ｒｒ（Ｍ））、Ｂ２（Ｍ）（＝Ｂｂ（Ｍ））の算出には、上記の構成比Ｅｙの代わりに、Ｒ、Ｇ、Ｂ成分相互間における、近赤外成分が占める割合の違いを考慮したパラメータα、βを、上記の構成比Ｅｙに乗じた値（α×Ｅｙ、β×Ｅｙ）を用いる。

図１３は、図１の可視光画像生成部４６の構成例を示す。
図示の可視光画像生成部４６は、構成比情報生成部４６１と、輝度値算出部４６３と、パラメータ生成部４６４と、可視光成分算出部４６６とを有する。

構成比情報生成部４６１は、環境光種別判定部４４による種別の判定結果Ｌｔｐから、環境光画像の画素値に含まれる、近赤外成分の構成比Ｅｒを示す情報（構成比情報）を生成する。

このような処理のため、構成比情報生成部４６１は、環境光の種別毎に、環境光に含まれる近赤外成分の構成比を示す情報を保持する構成比メモリ４６２を有する。構成比メモリ４６２は例えばＬＵＴテーブルを含み、環境の種別を示す情報がアドレスとして入力されると、近赤外光の構成比を示す情報が読み出される構成となっている。
「環境光に含まれる近赤外成分の構成比」は、撮像部２０の色フィルタの分光透過特性及び光電変換素子の分光感度特性に依存するものであり、環境光による撮像部２０の出力値のうちの、近赤外成分の構成比を意味する。例えば、被写体の反射率が可視光に対しても近赤外光に対しても同じ値Ｍｏであると仮定した場合に、環境光画像のＧ成分の画素値Ｇ１（Ｍｏ）に含まれる近赤外成分ＩＲｇｅ（Ｍｏ）の、輝度値Ｙ１（Ｍｏ）（＝Ｙｙ（Ｍｏ）＋ＩＲｙｅ（Ｍｏ））に対する比（ＩＲｇｅ（Ｍｏ）／Ｙ１（Ｍｏ））が上記構成比Ｅｙとして構成比メモリ４６２に保持されている。上記の反射率Ｍｏが１００％である場合について図１２（ａ）〜（ｃ）を参照して説明すると、上記の構成比Ｅｙは、図１２（ａ）に示される、環境光画像のＧ成分の画素値Ｇ１（１００）に含まれる近赤外成分ＩＲｇｅ（１００）の、図１２（ｂ）に示される輝度値Ｙ１（１００）（＝Ｙｙ（１００）＋ＩＲｙｅ（１００））に対する比（ＩＲｇｅ（１００）／Ｙ１（１００））である。

上記のように、環境光種別判定部４４は、制御情報に含まれるＲ、Ｇ、Ｂ成分の比率（画面全体に亘る比率）を示す情報Ｐｒｐを受け、これに基づいて環境光の種別Ｌｔｐを判別し、構成比情報生成部４６１は、構成比メモリ４６２を参照して、種別Ｌｔｐに対応する（種別に関係付けて記憶されている）上記の構成比Ｅｙを示す情報を読み出して出力する。
上記の構成比Ｅｙを示す情報は、例えば、画面全体に対して一度だけ求められ、画面内のすべての画素乃至領域に対して共通の値として用いられる。
なお、画面全体に対して一度だけではなく、それぞれ画面の一部をなす領域毎にＲ、Ｇ、Ｂ成分の比率を示す情報Ｐｒｐが得られる場合には、これに基づいて領域毎に構成比Ｅｙを求めることとしても良い。

輝度値算出部４６３は、撮像部２０から出力される画素値Ｒ１、Ｇ１、Ｂ１に基づいて当該画素についての輝度値Ｙ１（Ｍ）を算出する。
輝度値の算出は、例えば下記の式で行うことができる。
Ｙ１（Ｍ）＝ａｒ×Ｒ１（Ｍ）＋ａｇ×Ｇ１（Ｍ）＋ａｂ×Ｂ１（Ｍ）
（５）
ａｒ、ａｇ、ａｂは、
ａｒ＋ａｇ＋ａｂ＝１となるように予め定められた係数であり、例えば
ａｒ＝０．３
ａｇ＝０．５９、
ａｂ＝０．１１
である。

環境光種別判定部４４での種別の判定結果Ｌｔｐは、パラメータ生成部４６４にも伝えられる。
パラメータ生成部４６４は、環境光毎にパラメータα、βを保持するパラメータメモリ４６５を有する。パラメータ生成部４６４は、環境光種別判定部４４での種別の判定結果Ｌｔｐに応じて、種別に対応したパラメータα、βの値をパラメータメモリ４６５から読み出して出力する。
パラメータαは、被写体が該当する種別の環境光で照射され、該被写体の反射率がある値Ｍｏ、例えば１００％である場合に、環境光画像のＲ成分の画素値Ｒ１（１００）に含まれる近赤外成分の値ＩＲｒｅ（１００）の、Ｇ成分の画素値Ｇ１（１００）に含まれる近赤外成分の値ＩＲｇｅ（１００）に対する比（ＩＲｒｅ（１００）／ＩＲｇｅ（１００））を表し、
パラメータβは、被写体が該当する種別の環境光で照射され、該被写体の反射率がある値Ｍｏ、例えば１００％である場合に、環境光画像のＢ成分の画素値Ｂ１（１００）に含まれる近赤外成分の値ＩＲｂｅ（１００）の、Ｇ成分の画素値Ｇ１（１００）に含まれる近赤外成分の値ＩＲｇｅ（１００）に対する比（ＩＲｂｅ（１００）／ＩＲｇｅ（１００））を表すものである。
α、βの値は、撮像部におけるカラーフィルタの特性、光電変換素子の特性に依存し、予め実験により求められる。

可視光成分算出部４６６は、輝度値算出部４６３からの輝度値Ｙ１と、構成比情報生成部４６１からの構成比Ｅｙとを乗算することで、環境光画像のＧ信号に含まれる近赤外成分（ＩＲｇｅ＝Ｙ１×Ｅｙ）を求め、
この値（ＩＲｇｅ＝Ｙ１×Ｅｙ）にパラメータαを乗算することで、環境光画像のＲ信号に含まれる近赤外成分（ＩＲｒｅ＝Ｙ１×Ｅｙ×α）を求め、
この値（ＩＲｇｅ＝Ｙ１×Ｅｙ）にパラメータβを乗算することで、環境光画像のＢ信号に含まれる近赤外成分（ＩＲｂｅ＝Ｙ１×Ｅｙ×β）を求める。
可視光成分算出部４６６は、このようにして求めた環境光画像のＲ信号、Ｇ信号、Ｂ信号に含まれる近赤外成分ＩＲｒｅ、ＩＲｇｅ、ＩＲｂｅを、環境光画像のＲ信号、Ｇ信号、Ｂ信号から減算することで、可視光成分（近赤外成分を除去した値）Ｒ２、Ｇ２、Ｂ２を計算する。
以上の計算は下記の式で表される。
Ｒ２＝Ｒ１−Ｙ１×Ｅｙ×α
Ｇ２＝Ｇ１−Ｙ１×Ｅｙ
Ｂ２＝Ｂ１−Ｙ１×Ｅｙ×β
（６）

増感処理部４７は、可視光画像生成部４６で生成された可視光画像に対して増倍乃至増感処理を施し、増感された可視光画像を出力する。この増感処理は、可視光画像生成部４６から出力される画素値Ｒ２、Ｇ２、Ｂ２に対して、周辺の画素の画素値を重み付け加算することで行われる。
可視光画像生成部４６から出力される画素値Ｒ２、Ｇ２、Ｂ２も、すべての画素についてすべての色成分を有するわけではなく、各画素はベイヤ配列中の位置に応じていずれか一つの色成分の値を有する。増感処理部４７は、各画素（注目画素）について、その周辺の同じ色の画素（同じ色成分を有する画素）の画素値を加算することで、増感（増倍）された画素値を有する信号Ｒ３、Ｇ３、Ｂ３を出力する。

図１４（ａ）〜（ｃ）は、注目画素に対して加算される画素を示す。図１４（ａ）〜（ｃ）において、最小のマスはそれぞれ画素を表す。
注目画素が図１４（ａ）に示されるようにＲ画素ＲＲ３４である場合には、周辺の画素として、２行上で２列左の画素ＲＲ１２、２行上で同じ列の画素ＲＲ３２、２行上で２列右の画素ＲＲ５２、同じ行で２列左の画素ＲＲ１４、同じ行で２列右の画素ＲＲ５４、２行下で２列左の画素ＲＲ１６、２行下で同じ列の画素ＲＲ３６、及び２行下で２列右の画素ＲＲ５６の、８つの画素が加算される。

従って、加算結果ＮＲＲ３４は下の式で表される。
ＮＲＲ３４＝ＲＲ１２＋ＲＲ３２＋ＲＲ５２
＋ＲＲ１４＋ＲＲ３４＋ＲＲ５４
＋ＲＲ１６＋ＲＲ３６＋ＲＲ５６
（７）
このような画素加算の結果得られる値ＮＲＲ３４が増倍されたＲ成分値Ｒ３として出力される。
以上注目画素がＲＲ３４である場合について説明したが、他の位置のＲ画素についても、同様の配置の周辺画素を加算する。

注目画素が図１４（ｂ）に示されるように、Ｇ画素ＧＢ３３である場合には、周辺の画素として、２行上で同じ列の画素ＧＢ３１、１行上で１列左の画素ＧＲ２２、１行上で１列右の画素ＧＲ４２、同じ行で２列左の画素ＧＢ１３、同じ行で２列右の画素ＧＢ５３、１行下で１列左の画素ＧＲ２４、１行下で１列右の画素ＧＲ４４、及び２行下で同じ列の画素ＧＢ３５の、８つの画素が加算される。

従って、加算結果ＮＧＢ３３は下の式で表される。
ＮＧＢ３３＝ＧＢ３１＋ＧＲ２２＋ＧＲ４２
＋ＧＢ１３＋ＧＢ３３＋ＧＢ５３
＋ＧＲ２４＋ＧＲ４４＋ＧＢ３５
（８）
このような画素加算の結果得られる値ＮＧＢ３３が増倍されたＧ成分値Ｇ３として出力される。
以上注目画素がＧＢ３３である場合について説明したが、他の位置のＧ画素についても、同様の配置の周辺の画素を加算する。

注目画素が、図１４（ｃ）に示されるように、Ｂ画素ＢＢ４３である場合には、周辺の画素として、２行上で２列左の画素ＢＢ２１、２行上で同じ列の画素ＢＢ４１、２行上で２列右の画素ＢＢ６１、同じ行で２列左の画素ＢＢ２３、同じ行で２列右の画素ＢＢ６３、２行下で２列左の画素ＢＢ２５、２行下で同じ列の画素ＢＢ４５、及び２行下で２列右の画素ＢＢ６５の、８つの画素が加算される。

従って、加算結果ＮＢＢ４３は下の式で表される。
ＮＢＢ４３＝ＢＢ２１＋ＢＢ４１＋ＢＢ６１
＋ＢＢ２３＋ＢＢ４３＋ＢＢ６３
＋ＢＢ２５＋ＢＢ４５＋ＢＢ６５
（９）
このような画素加算の結果得られる値ＮＢＢ４３が増倍されたＢ成分値Ｂ３として出力される。
以上注目画素がＢＢ４３である場合について説明したが、他の位置のＢ画素についても、同様の配置の周辺画素を加算する。

以上のような加算処理は、注目画素に対して、同一フレーム内の周辺の画素を混合する処理であり、周辺の画素は、一般に注目画素と同程度の画素値を持つので、信号成分を増倍する効果を有する。
例えば各注目画素に対して上記のように周辺の８個の画素の画素値を加算する場合（仮に周囲の画素が注目画素と同じ画素値を有するとすれば）、加算結果は、注目画素の画素値の９倍となる。
但し、周辺の画素を加算（混合）する結果、解像度（静止解像度）は低下する。

この解像度の低下を防ぐ目的で、画素値の加算時に均等に周辺画素を加算するのではなく、周辺画素値に応じて加算の重みを変更してもよい。例えば、注目画素に対する相関の強い画素の画素値に対する重みをより大きくして加重加算することとしても良い。例えば、注目画素と周辺画素の画素値を比較し、注目画素に対して画素値の差分が予め定めた一定値以下となる画素のみ加算の重みを上げ、それ以外の画素は加算の重みを下げることとしても良い。このような処理により、注目画素の近傍で被写体のエッジによる画素値の急激な変動があるような場合でも、周辺画素の加算による解像度の低下を抑えることが可能である。

なおまた、注目画素に対して、同一フレーム内の周辺の画素を加算する代わりに、異なるフレーム、即ち注目画素を含むフレームの前後のフレーム内の、注目画素と同一の位置の画素を加算しても良い。
ここで、前後のフレームとは直前の１フレーム及び直後の１フレームに限らず、直前の予め定められた数のフレーム、及び直後の予め定められた数のフレームであっても良い。
異なるフレームの同一位置の画素を加算することとすれば、静止解像度の低下を避けながら、信号成分を増強することができ、画像の動きが少ない場合に特に有効である。
但し、動きの激しい映像の場合に動きぼけが多くなる。

なおまた、注目画素に対して、同一フレーム内の周辺の画素及び異なるフレームの同一位置の画素の双方を加算しても良く、さらに、異なるフレームの同一位置の画素の周辺の画素を加算しても良い。
そのようにすれば信号成分の増倍率を一層大きくすることができる。

映像信号処理部４８は、増感処理部４７から出力される、増感された可視光画像に対し、色補間処理（各画素位置において欠落している色成分の補間）、階調補正処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、信号振幅調整処理、色補正処理などを加えて、これらの処理の結果得られる画像を補正後の可視光画像Ｒ４、Ｇ４、Ｂ４として出力する。

表示処理部４９は、映像信号処理部４８から出力される、補正された可視光画像に距離情報生成部４３で生成された距離情報を関連付けて表示させるための処理をする。
図１５（ａ）及び（ｂ）は、表示処理部４９の出力画像の例を示す。図１５（ａ）は、可視光画像（非投写時画像）を表し、図１５（ｂ）は、距離情報付き画像を表す。
距離情報付き画像としては、距離に輝度又は色を割り当てたものが表示される。例えば、可視光画像を輝度で表現し、距離を色で表現した画像が表示される。あるいは、撮像空間に存在する物体を認識して、当該物体の距離を表す文字情報を可視光画像に重畳表示した画像を出力する。

また、例えば、２つの表示画面を用いて、一方に図１５（ａ）の可視光画像を表示し、他方に図１５（ｂ）に示す距離情報付き画像を表示しても良く、一つの表示画面で、図１５（ａ）に示す可視光画像と、図１５（ｂ）に示す距離情報付き画像を交互に表示しても良く、ユーザによる操作により選択された方を表示するようにしても良い。この場合、距離情報付き画像は、可視光画像と同じ画角、画素数で、同期して表示するのが望ましい。

距離情報が関連付けられた画像（を示す信号）は、表示装置（図示しない）などへ出力される。

実施の形態２．
図１６は、本発明の実施の形態２における画像生成装置の構成を示す。図示の画像生成装置は、概して図１に示される構成と同じであるが、以下の点で異なる。即ち、図１の可視光画像生成部４６の代わりに可視光画像生成部４６ｂが設けられている。

実施の形態１では、可視光画像生成部４６で、環境光画像のＧ成分の値に含まれる近赤外成分の輝度値に対する構成比Ｅｙを求め、予め記憶しているパラメータα、βと、構成比Ｅｙとに基づいて可視光成分のみを有する画素値Ｒ２、Ｇ２、Ｂ２を算出しているが、実施の形態２では、環境光画像のＲ信号の値に含まれる、近赤外成分ＩＲｒｅの構成比（第１の構成比）Ｅｒを用いて画素値Ｒ２を算出し、環境光画像のＧ信号の値に含まれる、近赤外成分ＩＲｇｅの構成比（第２の構成比）Ｅｇを用いて画素値Ｇ２を算出し、環境光画像のＢ信号の値に含まれる、近赤外成分ＩＲｂｅの構成比（３の構成比）Ｅｂを用いて画素値Ｂ２を算出する。

図１７は、実施の形態２で用いられる可視光画像生成部４６ｂを示す。
図１７の可視光画像生成部４６ｂは、構成比情報生成部４６１ｂと、反射率算出部４６７と、強度比率算出部４６８と、可視光成分算出部４６６ｂとを有する。

構成比情報生成部４６１ｂは構成比メモリ４６２ｂを備える。構成比メモリ４６２ｂは、環境光画像のＲ、Ｇ、Ｂ成分の画素値Ｒ１、Ｇ１、Ｂ１に含まれる、近赤外成分ＩＲｒｅ、ＩＲｇｅ、ＩＲｂｅの構成比Ｅｒ、Ｅｇ、Ｅｂを示す情報（構成比情報）を、環境光の種別毎に、記憶している。
構成比Ｅｒ、Ｅｇ、Ｅｂはそれぞれ下記の式で表される。
Ｅｒ＝ＩＲｒｅ（Ｍｏ）／Ｒ１（Ｍｏ）
Ｅｇ＝ＩＲｇｅ（Ｍｏ）／Ｇ１（Ｍｏ）
Ｅｂ＝ＩＲｂｅ（Ｍｏ）／Ｂ１（Ｍｏ）
上記の式でＭｏは被写体の反射率を表し、実施の形態１で述べたのと同様、Ｍｏ＝１００％の場合には、上記の式は以下のように書き直すことができる。
Ｅｒ＝ＩＲｒｅ（１００）／Ｒ１（１００）
Ｅｇ＝ＩＲｇｅ（１００）／Ｇ１（１００）
Ｅｂ＝ＩＲｂｅ（１００）／Ｂ１（１００）
構成比情報生成部４６１ｂは、環境光種別判定部４４で判定された種別Ｌｔｐに応じた構成比Ｅｒ、Ｅｇ、Ｅｂを示す情報を構成比メモリ４６２ｂから読み出して出力する。

反射率算出部４６７は、画像差分取得部４２から出力されるパターン光成分の値（パターン光のうち、被写体で反射され、撮像部２０に入射した光の強さを表す）Ｓｒと、制御部３０から供給されるパターン光投写強度Ｓｔ（を示す情報）と、距離情報生成部４３で算出される被写体の距離情報Ｄｒとに基づき、画像上の領域毎に被写体の近赤外成分の反射率Ｍを求め、該反射率を示す情報（反射率情報）Ｍを出力する。

この反射率は例えば以下のようにして求められる。
上記のように、制御部３０は、投光器１２の投光強度の制御を行うが、そのために投光強度を示す情報を生成している。この制御のための投光強度Ｓｔを示す情報が可視光画像生成部４６ｂに供給される。

パターン光の投写強度Ｓｔと、距離情報Ｄｒとから、仮にパターン光に対する被写体の反射率が１００％であると仮定した場合に、撮像部２０に達する反射光の強度を推定することができる。撮像部２０に達する反射光の強度の推定は、被写体から撮像部２０までの距離Ｄｒに基づいて行われる。
即ち、被写体の反射率が１００％のときに、被写体で反射して撮像部に到達し受光される光の強度（或いはそれに対応する撮像信号の値）Ｓｒ０は下記の式で与えられる。
Ｓｒ０＝Ｓｔ×（ｋａ／Ｄｒ^２） （１０）
式（１０）でｋａは撮像部２０におけるレンズ２２の開口率及び撮像素子２４の感度によって決まる定数である。

なお、上記のように、投写パターンをレーザー光源１３と回折格子１６の組合せを用いて投写する場合、パターンを構成するドットは、コリメートレンズ１４によって平行化されたレーザー光一点で形成されるため、被写体の距離によらずドット自体の大きさは変わらない。従って、投光器１２から被写体までの伝播に関しては、減衰はないと仮定することができる。なおまた、空気中の粒子による散乱のための減衰があるが、式（１０）で求められる減衰に比べると無視し得る。

一方、実際に撮像部２０に到達した光の強さをＳｒとする。すると、反射率Ｍは、
Ｍ＝Ｓｒ／Ｓｒ０ （１１）
で与えられる。

実際の反射光の強さＳｒは、パターン光投写時と非投写時の撮影画像の輝度の差分から求められる。即ち、画像差分取得部４２から出力されるパターン光成分の大きさ、即ち図１２（ｃ）のＩＲｙｐ（Ｍ）が、反射光の強さＳｒを表す。一方、Ｓｒ０は、図１２（ｃ）のＩＲｙｐ（１００）に相当する。
反射光の強さは、各フレームにおいて、スポット毎に求められるので、上記の反射率Ｍは各スポットに対応する画像の領域毎に求められる。

なお、画像を複数の領域に分割し、各領域に含まれるスポットについての反射率の平均値（単純平均値又は加重平均値）Ｍａを当該領域内のすべてのスポットについての反射率Ｍとして用いても良い。
また、領域毎に反射率を求める代わりに画素毎に反射率を求めることとしても良い。例えば、各画素について、当該画素を中心とする領域に含まれるスポットについての反射率の平均値（単純平均値又は加重平均値）Ｍｐを当該画素についての反射率Ｍとして用いても良い。

強度比率算出部４６８は、構成比Ｅｒ、Ｅｇ、Ｅｂに反射率Ｍを乗算することでＲ、Ｇ、Ｂのそれぞれに対して強度比率Ｐｓｒ、Ｐｓｇ、Ｐｓｂを算出して出力する。この強度比率Ｐｓｒ、Ｐｓｇ、Ｐｓｂは、画像の各領域におけるＲ、Ｇ、Ｂの画素値（撮像部２０から出力される画素値）に含まれる近赤外成分の比率（ＩＲｒｅ（Ｍ）／Ｒ１（１００）、ＩＲｇｅ（Ｍ）／Ｇ１（１００）、ＩＲｂｅ（Ｍ）／Ｂ１（１００））を表す。

可視光成分算出部４６６ｂは、強度比率Ｐｓｒ、Ｐｓｇ、Ｐｓｂに環境光画像の画素値Ｒ１、Ｇ１、Ｂ１を乗算することで、環境光のＲ信号、Ｇ信号、及びＢ信号に含まれる近赤外成分ＩＲｒｅ（＝Ｒ１×Ｐｓｒ）、ＩＲｇｅ（＝Ｇ１×Ｐｓｇ）、ＩＲｂｅ（＝Ｂ１×Ｐｓｂ）を求め、該近赤外成分を、環境光画像の画素値Ｒ１、Ｇ１、Ｂ１から減算することで、可視光成分のみを有する画素値（近赤外成分を除去した値）Ｒ２、Ｇ２、Ｂ２を算出する。

可視光成分算出部４６６ｂにおける画素値Ｒ２、Ｇ２、Ｂ２を算出するための演算は下記の式で表される。
Ｒ２＝Ｒ１−Ｒ１×Ｐｓｒ
Ｇ２＝Ｇ１−Ｇ１×Ｐｓｇ
Ｂ２＝Ｂ１−Ｂ１×Ｐｓｂ
（１２）

以上のようにして得られた可視光画像の画素値Ｒ２、Ｇ２、Ｂ２は増感処理部４７に供給される。上記以外の点で、実施の形態２は実施の形態１と同じである。

上記の実施の形態１及び２では、画像差分取得部４２から出力される信号Ｒ１、Ｇ１、Ｂ１に基づいてＲ、Ｇ、Ｂ成分の比率Ｐｒｐを求めているが、本発明はこれに限定されず、上記の比率Ｐｒｐは、可視光画像生成部４６から出力される信号Ｒ２、Ｇ２、Ｂ２に基づいて求めても良く、増感処理部４７から出力される信号Ｒ３、Ｇ３、Ｂ３に基づいて求めても良く、映像信号処理部４８から出力される信号Ｒ４、Ｇ４、Ｂ４に基づいて求めて良く、さらにＡ／Ｄ変換器４１から出力される信号Ｒ０、Ｇ０、Ｂ０に基づいて求めても良い。

上記実施の形態１及び２では、投光器１２の光源としてレーザーを用いているが、代わりにＬＥＤなど他の光源を使用しても、回折格子の入射光の特性を満足すれば、同様に動作し同様の効果が得られる。

上記実施の形態１及び２では、投光器１２として、レーザー光源１３で回折格子１６に形成されたパターンを投写する構成について説明したが、レーザー光を高速に２次元走査して（１フレーム期間内に視野全体を走査して）パターン投写する構成としても、同様に動作し同様の効果が得られる。

上記の実施の形態１及び２では、投光器１２が１フレーム期間おきにパターン光の投写を行うが、本発明はこれに限定されず、パターン光の投写を２フレーム期間以上の期間おきに行うこととしても良く、要するに所定数のフレーム期間おきに行うこととすれば良い。
投光器１２が２フレーム期間以上の期間おきにパターン光の投写を行う場合、各投写時画像に対して複数の非投写時画像が得られる。この場合、画像差分取得部４２は、例えば、各投写時画像と、当該投写時画像が得られたフレーム期間の直前又は直後のフレーム期間に得られた非投写時画像との差分から、パターン光画像を生成することとしても良い。また画像に動きがない場合には、各投写時画像と、当該投写時画像が得られたフレーム期間の前後の複数のフレーム期間に得られた非投写時画像の平均との差分から、パターン光画像を生成することとしても良い。

以上のように、本発明によれば、撮像空間に存在する物体までの距離情報を撮像画像に対応付けて取得することが可能な画像生成装置が得られる。本発明の画像生成装置は、例えば、侵入者の画像と距離を同時に取得できることから、監視用途における侵入監視に適用できる。本発明の画像生成装置はまた、例えば、車両の前方や後方の障害物検知に基づく運転支援、例えば駐車支援にも適用できる。

また、パターン光投写強度、被写体までの距離、撮影画像のＲ、Ｇ、Ｂ成分の比率の情報に基づき、被写体の近赤外光反射率、および環境光に含まれる近赤外光の構成比を推定し、画素値の補正を行うことにより、近赤外光にも感度をもつ撮像部を使用した場合でも近赤外成分を除去し、色再現性の高い画像を得ることができる。

また、画素値補正後の画像に対して周辺画素との画素加算による信号の増感を行うことにより、画素値の補正による画像の輝度の低下を防ぐことが可能である。この場合、注目画素に対して相関の強い画素値により大きな重みを付けて加算することで、解像度の低下を抑えることができる。

以上本発明の画像生成装置を説明したが、上記の画像生成装置で実施される画像生成方法もまた本発明の一部を成す。また、画像生成装置の各部、又は画像生成方法を構成するステップの一部をソフトウエアにより、即ち、プログラムされたコンピュータにより実現することが可能である。

１０ パターン光生成部、 １１ 駆動部、 １２ 投光器、 ２０ 撮像部、 ２４ 撮像素子、 ３０ 制御部、 ４０ 画像処理部、 ４１ Ａ／Ｄ変換器、 ４２ 画像差分取得部、 ４３ 距離情報生成部、 ４４ 環境光種別判定部、 ４６、４６ｂ 可視光画像生成部、 ４７ 増感処理部、 ４８ 映像信号処理部、 ４９ 表示処理部、 ４２１ フレーム遅延部、 ４２２ 差分演算部、 ４２４ 補間部、 ４２５ 合成部、 ４３１ ２値化部、 ４３２ スポット領域抽出部、 ４３３ 識別コード読取部、 ４３６ 投写角推定部、 ４３７ 入射角算出部、 ４３８ 距離算出部、 ４６１、４６１ｂ 構成比情報生成部、 ４６２、４６２ｂ 構成比メモリ、 ４６３ 輝度値算出部、 ４６４ パラメータ生成部、 ４６５ パラメータメモリ、 ４６６、 ４６６ｂ 可視光成分算出部、 ４６７ 反射率算出部、 ４６８ 強度比率算出部。

Claims (7)

1. 撮像空間に近赤外波長のパターン光を所定数のフレーム期間おきに投写する投光器と、
   環境光により照射されるとともに、前記パターン光を所定数のフレーム期間おきに投写される前記撮像空間内の被写体を撮像して、それぞれ撮像画像のＲ成分、Ｇ成分、及びＢ成分を表すＲ信号、Ｇ信号、及びＢ信号を含む撮像信号を出力する撮像部と、
   前記投光器に対して前記パターン光の投写強度の指示を与える制御部と、
   前記撮像部による撮像で得られた撮像信号のうち、前記パターン光の投写時に得られた撮像信号と前記パターン光の非投写時に得られた撮像信号の差分を求めることで、パターン光画像を生成するとともに、前記パターン光の非投写時に得られた撮像信号から環境光画像を生成する画像差分取得部と、
   前記環境光の種別を判定する環境光種別判定部と、
   前記環境光種別判定部により判定された前記環境光の種別から、前記環境光に含まれる近赤外波長の光の構成比を示す構成比情報を生成し、生成した前記構成比情報に基づいて、前記環境光画像において、前記環境光に含まれる前記近赤外波長の光による成分を推定し、前記近赤外波長の光による成分を、前記環境光画像から減算することで可視光画像を生成する可視光画像生成部を備え、
   前記環境光種別判定部は、前記撮像画像、前記環境光画像、又は前記可視光画像におけるＲ、Ｇ、Ｂ成分の比率から前記環境光の種別を判定する
   ことを特徴とする画像生成装置。
2. 前記構成比が、前記環境光画像のＧ信号の値に含まれる近赤外波長の光による成分の前記環境光画像の輝度値に対する比であり、
   前記可視光画像生成部は、前記構成比と、前記環境光画像の輝度値との積を、前記環境光画像のＧ信号の値から減算することで、前記可視光画像のＧ信号の値を求める
   ことを特徴とする請求項１に記載の画像生成装置。
3. 前記可視光画像生成部は、
   前記環境光種別判定部で判定された環境光の種別に応じて、
   前記環境光画像のＲ信号の値に含まれる近赤外波長の光による成分の値の、前記環境光画像のＧ信号の値に含まれる前記近赤外波長の光による成分の値に対する比を表す第１のパラメータと、
   前記環境光画像のＢ信号の値に含まれる近赤外波長の光による成分の値の、前記環境光画像のＧ信号の値に含まれる前記近赤外波長の光による成分の値に対する比を表す第２のパラメータとを生成し、
   前記構成比と、前記第１のパラメータと、前記環境光画像の輝度値との積を、前記環境光画像のＲ信号の値から減算することで、前記可視光画像のＲ信号の値を求め、
   前記構成比と、前記第２のパラメータと、前記環境光画像の輝度値との積を、前記環境光画像のＢ信号の値から減算することで、前記可視光画像のＢ信号の値を求める
   ことを特徴とする請求項２に記載の画像生成装置。
4. 前記画像差分取得部で生成された前記パターン光画像に基づいて、前記撮像部から前記被写体までの距離を表す距離情報を生成する距離情報生成部をさらに有し、
   前記構成比情報が、
   前記環境光画像のＲ信号の値に含まれる、近赤外波長の光による成分の比である第１の構成比と、
   前記環境光画像のＧ信号の値に含まれる、近赤外波長の光による成分の比である第２の構成比と、
   前記環境光画像のＢ信号の値に含まれる、近赤外波長の光による成分の比である第３の構成比を示すものであり、
   前記可視光画像生成部は、
   前記環境光種別判定部により判定された環境光の種別と、前記投光器による前記パターン光の投写強度と、前記画像差分取得部で生成された前記パターン光画像の信号の値と、前記距離情報生成部で生成された前記距離情報とから、前記被写体の反射率を推定し、
   推定した前記反射率と、前記第１の構成比と、前記環境光画像のＲ信号の値を乗算することで、前記環境光画像のＲ信号に含まれる近赤外波長の光による成分を算出し、
   推定した前記反射率と、前記第２の構成比と、前記環境光画像のＧ信号の値を乗算することで、前記環境光画像のＧ信号に含まれる近赤外波長の光による成分を算出し、
   推定した前記反射率と、前記第３の構成比と、前記環境光画像のＢ信号の値を乗算することで、前記環境光画像のＢ信号に含まれる近赤外波長の光による成分を算出する
   ことを特徴とする請求項１に記載の画像生成装置。
5. 前記可視光画像生成部は、前記投写強度と、前記被写体までの距離の２乗の逆数との積に対する、前記パターン光画像の信号の値の比に予め定められた係数を掛けた値を前記反射率として求めることを特徴とする請求項４に記載の画像生成装置。
6. 前記距離情報生成部は、前記パターン光画像内の光スポットの配列と、予め記憶されている、前記パターン光による投写パターン内における各光スポットの位置と投写角との関係から、撮像された投写パターン内の各光スポットの投写角を特定し、特定された投写角に基づいて、光スポットが投写されている前記被写体までの距離を求めることを特徴とする請求項４又は５に記載の画像生成装置。
7. 前記可視光画像生成部で生成された前記可視光画像の各画素の信号の値に対し、周辺の画素の信号の値を重み付け加算することで、前記各画素の信号の値を増倍する増感処理部をさらに備えることを特徴とする請求項１から６のいずれか一項に記載の画像生成装置。

Images