JP4224449B2 - 画像抽出装置 - Google Patents

Description

本発明は、複数の撮像手段により撮像した画像同士を比較して同一の対象物の画像を抽出する画像抽出装置に関する。

例えば、車両に２台の撮像手段を搭載し、これらの撮像手段を用いて同一の対象物を撮像し、撮像された対象物の画像間の視差を利用して車両から対象物までの距離を計測し、あるいは、車両に対する対象物の実空間位置を計測し、ドライバに前方の障害物の有無等を報知するようにした車両周辺監視装置が開発されている（特許文献１参照）。

この場合、２台の撮像手段によって撮像された２つの画像から同一の対象物を抽出するため、例えば、一方の画像において特定した対象物領域の画像データと、他方の画像の画像データとの絶対値誤差の総和値（ＳＡＤ：Sum of Absolute Difference）を求め、この総和値が最小となる領域を他方の画像における対象物領域とする相関演算が利用されている。

特開２００３−２１６９３７号公報

ところで、ＣＣＤカメラ等により構成される各撮像手段は、光学的特性や各画素の光電変換特性等にばらつきがあったり、光電変換された映像信号にノイズが含まれる場合があり、必ずしも映像特性が一致しているとは限らない。この場合、２台の撮像手段の特性が一致していない状態で前記の相関演算を行うと、例えば、対象物の背景を誤認識し、異なる対象物を同一物と判断してしまうおそれがある。

本発明は、前記の不具合に鑑みなされたものであり、複数の撮像手段間に特性のばらつきがある場合であっても、同一の対象物を確実に抽出することのできる画像抽出装置を提供することを目的とする。

本発明の画像抽出装置は、基準撮像手段により撮像した基準画像に含まれ、背景画像よりも高輝度である特定の対象物の画像の輝度信号が、探索撮像手段により撮像した探索画像に含まれる前記特定の対象物の画像の輝度信号よりも大きくなるように調整し、その状態において、基準画像に対して設定した特定の対象物領域の画像と探索画像との相関演算を行い、相関演算の結果が最小となる画像を、特定の対象物に係る画像として探索画像から抽出する。この場合、基準画像又は探索画像の背景を誤検出することなく、基準画像の特定の対象物に対応する画像を探索画像から確実に抽出することができる。

また、本発明の画像抽出装置は、複数の撮像手段により撮像された画像から、背景画像よりも高輝度である特定の対象物の画像の輝度信号が最も大きな画像を選択し、選択した画像に対して設定した特定の対象物領域の画像と他の撮像手段の画像との相関演算を行い、相関演算の結果が最小となる画像を特定の対象物に係る画像として確実に抽出することができる。

本発明の画像抽出装置では、複数の撮像手段間に特性のばらつきがある場合であっても、同一の対象物を確実に抽出することができる。

以下、本発明に係る画像抽出装置について好適な実施形態を挙げ、添付の図面を参照しながら説明する。

図１に示すように、本実施形態に係るナイトビジョンシステム（車両用周辺監視装置）１０は、車両１２に搭載されたシステムであって、主要な制御部であるＥＣＵ（Electric Control Unit）１４と、左右一対の赤外線カメラ（撮像手段）１６Ｒ、１６Ｌと、検出結果画像を表示するためのＨＵＤ(Head Up Display)１８と、警報音等を発するスピーカ２０と、走行速度を検出する速度センサ２２と、走行時のヨーレートを検出するヨーレートセンサ２４と、日射センサ２６と、ヘッドライトスイッチ２８と、システムを起動又は停止させるメインスイッチ３０と、外部コンピュータシステムとの接続部３２とを有する。ナイトビジョンシステム１０を構成するこれらの機器間の接続には、他のシステムと兼用の車内通信網を用いてもよい。

赤外線カメラ１６Ｒ及び１６Ｌは、バンパ下部における横長グリル孔の右端部及び左端部に並行配置され、左右対称位置でそれぞれ前方を指向し、カメラ間距離（以下、基線長ともいう。）Ｂの間隔で設けられている。赤外線カメラ１６Ｒ及び１６Ｌは遠赤外線を検出することにより高温部ほど高輝度となる赤外線画像を撮像して、それぞれＥＣＵ１４に供給する。

ＨＵＤ１８はインスツルメントパネル上部のドライバ正面位置において前方視界を妨げないように設けられている。ＨＵＤ１８はシステムオフ状態ではインスツルメントパネル内に格納されており、日射センサ２６の情報から夜であると判断し、且つ、ヘッドライトスイッチ２８の情報からヘッドライト（又はフォグライト）が点灯していると判断される状態でメインスイッチ３０をオンにするとポップアップする。ＨＵＤ１８の映像表示部は凹面ミラーで構成され、インスツルメントパネル内部からの映像を反射・投影する。ナイトビジョンシステム１０はメインスイッチ３０の操作に拘わらず、オートライト機能に連動して自動起動させてもよい。ＨＵＤ１８の表示輝度は適当なスイッチ操作によって調整可能としてもよい。

ＥＣＵ１４は、赤外線カメラ１６Ｒ、１６Ｌから得られた２つの赤外線画像に基づいて、両画像の視差から熱源対象物を検出してＨＵＤ１８上で白いシルエットとして映し出す。さらに、熱源対象物の中から歩行者を特定すると、注意喚起のためにスピーカ２０から音を発すると同時に、ＨＵＤ１８上に映し出された歩行者を目立つ色の枠で囲んで強調表示する。この注意喚起機能は、所定の速度域において歩行者の位置に到達するまでの時間を予測し、充分な回避操作が行えるタイミングで注意喚起を行う。

赤外線カメラ１６Ｒ、１６Ｌは、遠方の熱源対象物の位置、距離及び形状を正確に判定するため、製作所における製造時、あるいは、定期点検時等において、後述する調整処理であるエイミングが行われる。

図２に示すように、ＥＣＵ１４は、赤外線カメラ１６Ｒ、１６Ｌにより撮像された赤外線画像をＡ／Ｄ変換してグレースケール画像を生成する画像入力部４０と、閾値に基づいてグレースケール画像から二値化画像を生成する二値化処理部４２と、グレースケール画像及び二値化画像を記憶する画像記憶部４４と、エイミングを行った処理結果であるカメラパラメータをカメラパラメータ記憶部４６に記憶するエイミングモード実行部４８と、速度センサ２２等のセンサ及びカメラパラメータ記憶部４６を参照しながら通常の画像処理を行うとともにＨＵＤ１８及びスピーカ２０を制御する通常モード実行部５０と、接続部３２を介して外部のコンピュータシステムからの指示に基づき、エイミングモードか通常モードのいずれか一方を選択するモード選択部５２とを有する。

エイミングモード実行部４８は、車両１２を製造する製作所内において外部コンピュータシステムとしてエイミングターゲット制御装置１００（図４参照）を用いてエイミングを行う製作所モード部７０と、サービスエイミング調整装置１２０（図５参照）を用いてサービス工場等でエイミングを行うサービスモード部７２とを有し、これらの外部コンピュータシステムからの指示に基づいて製作所モード部７０又はサービスモード部７２のいずれか一方が選択実行される。

また、エイミングモード実行部４８は、エイミングの開始時に外部コンピュータシステムから所定のパラメータを入力するパラメータ入力部７４と、エイミングに必要な初期設定を行う初期設定部７６と、画像記憶部４４に記憶された左右のグレースケール画像に対してテンプレートマッチングを行うテンプレートマッチング部７８と、赤外線カメラ１６Ｒ、１６Ｌにより撮像して得られた画像信号の輝度を調整するための輝度調整ＬＵＴを設定する輝度調整ＬＵＴ設定部８０と、赤外線カメラ１６Ｒ、１６Ｌの焦点距離、画素ピッチ等の固体差に起因して発生する映像歪みを補正する左右カメラ映像歪補正部８２と、赤外線カメラ１６Ｒ、１６Ｌの取付角（パン角、ピッチ角）を算出する左右カメラ取付角算出部８４と、画像から演算範囲を切り出すための基準となる切り出し座標を算出する左右カメラ映像切出座標算出部８６と、赤外線カメラ１６Ｒ、１６Ｌの光軸が平行に設定されていないことに起因する対象物画像の視差に含まれる誤差である視差オフセット値を算出する視差オフセット値算出部８８とを有する。

初期設定部７６は、対象物までの距離に応じて用意された６つのテンプレートＴＰ１、ＴＰ２、ＴＰ３、ＴＰ４、ＴＰ５、ＴＰ６（代表的にテンプレートＴＰとも示す。）から１つを選択するテンプレート設定部９４を有する。また、ＥＣＵ１４は、対象物の位置を求めるための透視変換モデルを数式として記憶するモデル記憶部９６を有し、エイミングモード実行部４８及び通常モード実行部５０は該透視変換モデルを用いて被撮像体の位置を算出する。なお、モデル記憶部９６には、対象物が近距離にある場合の近距離用モデルと遠距離にある場合の遠距離用モデルとが記憶されている。

図３は、通常モード実行部５０における画像抽出機能の要部構成ブロック図である。この場合、通常モード実行部５０は、赤外線カメラ１６Ｒ（基準撮像手段）により撮像されて画像記憶部４４に記憶された二値画像ＤＲから対象物の領域を切り出して設定する対象物領域設定部１４０（対象物領域設定手段）と、赤外線カメラ１６Ｒにより撮像された画像（グレースケール画像ＹＲ（ＩＮ））の輝度信号が赤外線カメラ１６Ｌ（探索撮像手段）により撮像された画像（グレースケール画像ＹＬ）の輝度信号よりも所定量大きくなるように、カメラパラメータ記憶部４６に設定された輝度調整ＬＵＴを用いて赤外線カメラ１６Ｒにより撮像された画像（グレースケール画像ＹＲ（ＩＮ））の輝度信号を調整する輝度信号調整部１４２（輝度信号調整手段）と、赤外線カメラ１６Ｒにより撮像され輝度調整された画像（グレースケール画像ＹＲ（ＯＵＴ））の対象物領域をテンプレートとして、赤外線カメラ１６Ｌにより撮像された画像（グレースケール画像ＹＬ）から対応する画像を相関演算を用いて抽出するテンプレートマッチング部１４４（画像比較手段、画像抽出手段）とを備える。

ＥＣＵ１４は、主たる制御部としてのＣＰＵ（Central Processing Unit）と、記憶部としてのＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等を有しており、上記の各機能部は、ＣＰＵがプログラムを読み込み、記憶部等と協動しながらソフトウェア処理を実行することにより実現される。

図４に示すように、エイミングターゲット制御装置１００は、車両１２の位置決め装置１０２と、車両１２が位置決めされた状態で赤外線カメラ１６Ｒ、１６Ｌの前方の所定位置に設けられたゲート１０４と、前記接続部３２を介してＥＣＵ１４と通信を行うとともにゲート１０４を制御する主制御装置１０６とを有する。ゲート１０４は、車幅よりやや広い間隔で設けられた２本の支柱１０８と、左右端を支柱１０８に支持された横長のエイミングターゲット板１１０とを有し、該エイミングターゲット板１１０は、主制御装置１０６の作用下に支柱１０８に沿って昇降可能である。エイミングターゲット板１１０には、熱源である８つのエイミングターゲット１１２ａ〜１１２ｈ（代表的にエイミングターゲット１１２とも示す。）が左から順に水平に配列されている。

左側のエイミングターゲット１１２ａ〜１１２ｄは比較的小さい間隔Ｗで並んでおり左ターゲット群１１４を形成する。同様に、右側のエイミングターゲット１１２ｅ〜１１２ｈは間隔Ｗで並んでおり右ターゲット群１１６を形成する。左ターゲット群１１４の右端であるエイミングターゲット１１２ｄと右ターゲット群１１６の左端であるエイミングターゲット１１２ｅの間隔は基線長Ｂ（Ｗ＜Ｂ）に等しく、エイミングターゲット１１２ｄ及び１１２ｅは、赤外線カメラ１６Ｒ及び１６Ｌの正面位置に配置される。

図５に示すように、サービスエイミング調整装置１２０は、車両１２の位置マーク１２２と、該位置マーク１２２に基づいて車両１２が位置決めされた状態で赤外線カメラ１６Ｒ、１６Ｌの前方所定距離の位置に設けられたヘッドライトテスタ１２４と、前記接続部３２を介してＥＣＵ１４と通信を行う主制御装置１２６とを有する。ヘッドライトテスタ１２４は、レール１２８に沿って車幅方向と並行に移動可能であるとともに、昇降台１３０が昇降可能な構成となっている。昇降台１３０には、ターゲット板１３２が設けられ、該ターゲット板１３２には間隔Ｗ（Ｗ＜Ｂ）で水平に並んだ３つの熱源であるエイミングターゲット１３４ａ〜１３４ｃ（代表的にエイミングターゲット１３４とも示す。）が設けられている。エイミングターゲット１３４は、前記エイミングターゲット１１２と同じもの、あるいは、略同じものを用いることができる。

次に、このように構成されるエイミングターゲット制御装置１００又はサービスエイミング調整装置１２０を用いたナイトビジョンシステム１０のエイミングについて説明する。

エイミングには、製作所内でエイミングターゲット制御装置１００を用いる製作所エイミングモードと、サービスエイミング調整装置１２０を用いるサービスエイミングモードとがある。

製作所エイミングモードでは、位置決め装置１０２により車両１２の位置決めを行うとともに、主制御装置１０６を車両１２の接続部３２に接続しておく。主制御装置１０６は、ＥＣＵ１４に対して、エイミングターゲット制御装置１００を用いた製作所エイミングを実行するように指示を送出する。また、エイミングターゲット１１２ａ〜１１２ｈは、車両１２の種類に応じて赤外線カメラ１６Ｒ及び１６Ｌと同じ高さとなるように調整されている。

サービスエイミングモードでは、位置マーク１２２に各車輪を合わせて車両１２を位置決めし、主制御装置１２６を車両１２の接続部３２に接続しておく。主制御装置１２６は、ＥＣＵ１４に対して、サービスエイミング調整装置１２０を用いたサービスエイミングを実行するように指示を送出する。エイミングターゲット１３４ａ〜１３４ｃは、規定高さとなるように調整されている。

図６〜図１０に示す処理は、ＥＣＵ１４において主にエイミングモード実行部４８で実行される処理である。

先ず、図６のステップＳ１において、赤外線カメラ１６Ｒ、１６Ｌからステレオ赤外線画像を入力し、画像入力部４０においてＡ／Ｄ変換してグレースケール画像を得る（ステップＳ２）。このグレースケール画像は、画像記憶部４４に記憶される。また、グレースケール画像は、二値化処理部４２で二値化されて画像記憶部４４に記憶される。

ステップＳ３において、モード選択部５２は、主制御装置１０６又は１２６からの指示に従い、エイミングモード又は通常モードのいずれを実行するのかを判断する。通常モードを実行する場合にはステップＳ５へ移り、エイミングモードを実行する場合にはステップＳ４へ移る。

ステップＳ５の通常モードでは、通常モード実行部５０の作用下に、カメラパラメータ記憶部４６に記憶されたカメラパラメータを参照し、後述するようにＨＵＤ１８及びスピーカ２０を制御して対象物の探索及び必要に応じた注意喚起を行う通常のモードを実行し、この後、ステップＳ１へ戻る。

ステップＳ４においては、モード選択部５２がエイミングターゲット制御装置１００又はサービスエイミング調整装置１２０のいずれの装置を用いるのかを判断し、エイミングターゲット制御装置１００を用いると判断した場合には、ステップＳ６へ移り、製作所モード部７０の作用下に製作所エイミングモードを実行する。また、サービスエイミング調整装置１２０を用いると判断した場合には、ステップＳ３０（図８参照）へ移り、サービスモード部７２の作用下にサービスエイミングモードを実行する。以下、製作所エイミングモード及びサービスエイミングモードを順に説明する。

製作所エイミングモードでは、先ず、ステップＳ６において、赤外線カメラ１６Ｒ、１６Ｌからエイミングターゲット板１１０までの距離を設定する。

ステップＳ７において、テンプレート設定部９４の作用下に、エイミングターゲット１１２に対応した１つの基準テンプレートをテンプレートＴＰ１〜ＴＰ６から選択する。

ステップＳ８においては、近距離に配設されたエイミングターゲット１１２までの距離に対応した透視変換モデルを用いてエイミングターゲット１１２の位置を算出するため、この透視変換モデルに適応した赤外線カメラ１６Ｒ、１６Ｌの結像距離（焦点距離）を設定する。

ステップＳ９において、前記ステップＳ７で選択したテンプレートＴＰに基づいてテンプレートマッチング処理を行う。すなわち、赤外線カメラ１６Ｒ、１６Ｌにより撮像されたエイミングターゲット１１２のグレースケール画像と、テンプレートＴＰとの相関演算を行い、相関演算の結果が最小となるグレースケール画像の座標を算出して記憶する（ステップＳ１０）。

ステップＳ１１では、取得したグレースケール画像が所定枚数Ｎに達したか否かを確認し、Ｎ枚に達した場合には、ステップＳ１２へ移り、Ｎ枚未満である場合には、ステップＳ１へ戻り、グレースケール画像の取得を継続してターゲット座標の算出記憶処理を繰り返す。

ステップＳ１２において、算出されたＮ組のターゲット座標の平均値を算出する処理を行い、ターゲット座標が正常に算出された場合にはステップＳ１４へ移り、算出されなかった場合にはステップＳ３へ戻るという分岐処理（ステップＳ１３）を行う。

ステップＳ１４において、輝度調整ＬＵＴの設定処理を行う。この処理では、相関演算によるテンプレートマッチングを確実に実行できるよう、例えば、赤外線カメラ１６Ｒ及び１６Ｌにより検出されたエイミングターゲット１１２の輝度信号同士のレベルを比較し、各輝度レベルにおいて、相関演算の基準とする赤外線カメラ１６Ｒからの輝度信号が赤外線カメラ１６Ｌからの輝度信号よりも常に大きくなるように調整する輝度調整ＬＵＴを設定する。該輝度調整ＬＵＴ設定処理が正常に実行された場合にはステップＳ１６へ移る（ステップＳ１５）。

ステップＳ１６において、赤外線カメラ１６Ｒ、１６Ｌの焦点距離、画素ピッチ等の個体差に起因して発生する映像歪みを補正する映像歪補正値の算出処理を行う。映像歪補正値が正常に算出された場合にはステップＳ１８へ移る（ステップＳ１７）。

ステップＳ１８において、左右カメラ取り付け角であるパン角及びピッチ角の算出処理を行い、左右カメラ取り付け角が正常に算出された場合にはステップＳ２０へ移る（ステップＳ１９）。

ステップＳ２０において、赤外線カメラ１６Ｒ、１６Ｌにより撮像された各画像から画像処理に用いられる範囲を切り出す基準とする切り出し座標の算出処理を行い、切り出し座標が正常に算出された場合にはステップＳ２２へ移る（ステップＳ２１）。

ステップＳ２２において、赤外線カメラ１６Ｒ、１６Ｌの光軸が平行に設定されていないことに起因する対象物画像の視差に含まれる誤差である視差オフセット値の算出処理を行う。視差オフセットが正常に算出された場合にはステップＳ２４へ移る（ステップＳ２３）。

ステップＳ２４において、ステップＳ１４、Ｓ１６、Ｓ１８、Ｓ２０及びＳ２２での処理で求められた輝度調整ＬＵＴ、映像歪補正値、パン角及びピッチ角、切り出し座標、視差オフセット値をカメラパラメータ記憶部４６に記憶し、これらのカメラパラメータが正しく記憶された場合には製作所エイミングの処理を終了する。このとき、ＥＣＵ１４は主制御装置１０６に対して製作所エイミングが終了した旨の信号を送出する。この後に通常モードを実行する場合には所定の再起動処理を行えばよい。なお、ステップＳ１７、Ｓ１９、Ｓ２１、Ｓ２３及びＳ２５における各分岐処理において判定結果が否定的であった場合には、ステップＳ１３の分岐処理における否定的な結果時と同様にステップＳ３へ戻ることになる。

次に、サービスエイミングモードの処理について説明する。サービスエイミングモードにおいては、前記の製作所エイミングと同様にステップＳ１〜Ｓ３の処理（図６参照）が実行され、次のステップＳ４からステップＳ３０へ分岐処理が行われ、サービスモード部７２の作用下に図８〜図１０に示す処理が実行される。

図８のステップＳ３０において、赤外線カメラ１６Ｒ、１６Ｌからターゲット板１３２までの距離を設定する。この場合、ターゲット板１３２までの距離は、サービスエイミングを行う作業所に設置されたエイミングターゲット１３４の位置によって決定される。この距離は、主制御装置１２６から入力され、ＥＣＵ１４に供給される。

ステップＳ３１において、赤外線カメラ１６Ｒ、１６Ｌの高さＨ（図１参照）を確認して入力する。

ステップＳ３２において、テンプレート設定部９４の作用下に、ステップＳ３０で設定したエイミングターゲット１３４までの距離に対応したテンプレートＴＰ１〜ＴＰ６のうちの１つを選択する。

ステップＳ３３においては、ステップＳ８と同様に、エイミングターゲット１３４までの距離に対応した透視変換モデルに適応した結像距離が設定される。

ステップＳ３４において、ターゲット板１３２の位置確認が行われる。つまり、サービスエイミングモードでは、ターゲット板１３２を中心位置ＰＣ、左位置ＰＬ及び右位置ＰＲ（図５参照）の順に配置してエイミングを行うため、ステップＳ３４が最初に実行されたときには、主制御装置１２６に対してターゲット板１３２を中心位置ＰＣに設定するように確認指示の信号を送出する。この信号を受けた主制御装置１２６では、モニタ画面上に「ターゲットを中心位置ＰＣに配置して、『Ｙ』キーを押してください。」等のメッセージを表示する。調整員はこのメッセージに応じてヘッドライトテスタ１２４を手動又は所定の駆動装置によってレール１２８に沿って移動させ、ターゲット板１３２を中心位置ＰＣに配置する。

ステップＳ３５においては、その時点のターゲット板１３２の位置に応じて分岐処理が行われる。つまり、ターゲット板１３２が中心位置ＰＣに配置されているとき（初回〜３０回目）にはステップＳ３６へ移り、左位置ＰＬに配置されているとき（３１回目〜６０回目）にはステップＳ４１へ移り、右位置ＰＲに配置されているとき（６１回目以降）にはステップＳ４６へ移る。

ステップＳ３６においては、ステップＳ９と同様に、テンプレートマッチング処理を行う。

ステップＳ３７においては、ステップＳ１０と同様に、エイミングターゲット１３４のターゲット座標を算出して記憶する。

ステップＳ３８においては、ステップＳ１１と同様に、取得したグレースケール画像の枚数を確認し、３０枚以上である場合にはステップＳ３９へ移り、３０枚未満である場合にはステップＳ１へ戻る。なお、２回目以降は、ステップＳ３〜Ｓ８及びＳ３０〜Ｓ３５の処理をスキップする。

ステップＳ３９においては、中心位置ＰＣについて、ステップＳ１２と同様に、ターゲット座標の平均値算出処理を行い、ターゲット座標が正常に算出された場合にはステップＳ１へ移り、算出されなかった場合にはステップＳ３へ戻るという分岐処理（ステップＳ４０）を行う。

同様にして、ターゲット板１３２を左位置ＰＬに配置し、図９に示すステップＳ４１〜Ｓ４５が実行される。

また、ターゲット板１３２を右位置ＰＲに配置し、図１０に示すステップＳ４６〜Ｓ５０が実行される。

最後のステップＳ５０において、ターゲット座標が正常に算出されたと判断されたときには、ステップＳ１４（図７参照）へ移り、それ以降は製作所エイミングモードと同様の処理が行われ、各カメラパラメータがカメラパラメータ記憶部４６に記憶される。

以上のようにして、エイミングモードにより各カメラパラメータが設定された後、このカメラパラメータを用いて通常モードでの処理が行われる。

そこで、通常モードでの対象物の探索処理及び必要に応じた注意喚起処理につき、図１１に示すフローチャートに従って説明する。

赤外線カメラ１６Ｒにより車両１２の前方を基準画像として撮像するとともに、赤外線カメラ１６Ｌにより車両１２の前方を探索画像として撮像し、各画像をグレースケール画像ＹＲ（ＩＮ）及びＹＬとして画像記憶部４４に記憶させるとともに、二値化処理部４２によりグレースケール画像ＹＲ（ＩＮ）を二値化処理し、二値化画像ＤＲとして画像記憶部４４に記憶させる（ステップＳ１０１、１０２）。

通常モード実行部５０の対象物領域設定部１４０（図３）は、赤外線カメラ１６Ｒにより撮像した基準画像１４６の二値化画像ＤＲを用いて、対象物１４８を含む対象物領域１５０、例えば、「１」となる二値化画像ＤＲがｘ方向（水平方向）及びｙ方向（鉛直方向）に連続する四角形の範囲を対象物領域１５０に設定する（ステップＳ１０３、図１２参照）。次いで、基準画像１４６の対象物１４８に対応する探索画像１５２の対象物１５４を、グレースケール画像同士の相関演算によって探索し、探索された対象物１４８、１５４間の画像上での視差を算出して車両１２から対象物までの距離を求める（ステップＳ１０４）。

この場合、相関演算に先立ち、輝度信号調整部１４２において、カメラパラメータである輝度調整ＬＵＴを用いて、赤外線カメラ１６Ｒにより取得した対象物領域１５０の基準画像１４６（グレースケール画像ＹＲ（ＩＮ））の輝度信号が、赤外線カメラ１６Ｌにより取得した探索画像１５２（グレースケール画像ＹＬ）の対象物領域１５６の輝度信号より大きくなるように調整される。次いで、テンプレートマッチング部１４４において、調整された基準画像１４６（グレースケール画像ＹＲ（ＯＵＴ））と、探索画像１５２（グレースケール画像ＹＬ）との相関演算が行われ、探索画像１５２から対象物１５４が探索される。

また、基準画像１４６及び探索画像１５２における対象物１４８及び１５４の座標は、カメラパラメータである映像歪み係数によって補正され、探索された対象物１４８及び１５４間の視差が、相対パン角に起因するカメラパラメータである視差オフセット値により高精度に補正され、車両から実際の対象物までの距離も高精度に算出される。

次いで、基準画像１４６における対象物１４８の二次元座標をステップＳ１８で算出した赤外線カメラ１６Ｒ、１６Ｌの絶対パン角、絶対ピッチ角により補正し、ステップＳ１０４で算出した距離を含む対象物１４８の実空間における三次元座標である相対位置を算出する（ステップＳ１０５）。

ステップＳ１０５における対象物１４８の実空間三次元座標は、微小時間間隔で繰り返し算出され、対象物１４８の移動ベクトルが算出される（ステップＳ１０６）。この移動ベクトルを用いて、対象物１４８から道路構造物や車両を除外する処理を行い（ステップＳ１０７）、残余の対象物１４８の形状から歩行者の有無を判定する（ステップＳ１０８）。

ステップＳ１０８において、歩行者有りとの判定がなされた場合、赤外線カメラ１６Ｒにより撮像された基準画像をＨＵＤ１８に表示させるとともに、歩行者の画像を強調枠で囲み（ステップＳ１０９）、且つ、スピーカ２０を鳴動させてドライバに注意喚起を行う（ステップＳ１１０）。

次に、基準画像１４６の輝度信号が探索画像１５２の輝度信号よりも大きくなるように輝度調整ＬＵＴを設定する理由について説明する。

図１２において、基準画像１４６の座標（ｘ，ｙ）における輝度信号をＹＲ（ｘ，ｙ）、探索画像１５２の座標（ｘ，ｙ）における輝度信号をＹＬ（ｘ，ｙ）、対象物領域１５０のｘ方向及びｙ方向の画素数をＭ、Ｎ、対象物領域１５０に対する対象物領域１５６のｘ方向及びｙ方向に対するずれ量をｐ、ｑとして、テンプレートマッチング部１４４では、相関関数ＳＡＤ（ｐ，ｑ）が、

として算出される。そして、この相関関数ＳＡＤ（ｐ，ｑ）が最小となる対象物領域１５６が探索画像１５２から抽出される。

この場合、赤外線カメラ１６Ｒと１６Ｌとの感度特性の差異やノイズ等の影響により、相関関数ＳＡＤ（ｐ，ｑ）が最小となる場合であっても、対象物１４８、１５４の回りの背景画像を対象物として誤検出してしまうおそれがある。

そこで、赤外線カメラ１６Ｒにより撮像された対象物１４８の輝度信号をａ１、対象物１４８の背景の輝度信号をｂ１とし、赤外線カメラ１６Ｌにより撮像された対象物１５４の輝度信号をａ２、対象物１５４の背景の輝度信号をｂ２とし、対象物１４８、１５４がマッチングする場合の相関関数ＳＡＤ（ｐ，ｑ）の評価値ＭＡＤ１と、対象物１４８、１５４がマッチングしない場合の相関関数ＳＡＤ（ｐ，ｑ）の評価値ＭＡＤ２とを導入する。

ＭＡＤ１＝｜ａ１−ａ２｜＋｜ｂ１−ｂ２｜ …（２）
ＭＡＤ２＝｜ａ１−ｂ２｜＋｜ｂ１−ｂ２｜ …（３）
そして、
ＭＡＤ２−ＭＡＤ１＝｜ａ１−ｂ２｜−｜ａ１−ａ２｜＞０ …（４）
の関係が常時成立する条件を設定することにより、背景画像を誤検出することなく対象物１５４を探索することができる。

この場合、ａ１＞ｂ１、ａ２＞ｂ２であり、ａ１＞ａ２であれば、
ＭＡＤ２−ＭＡＤ１＝ａ２−ｂ２＞０ …（５）
となって（４）式が常に成立する（図１２参照）。

また、ａ２＞ａ１且つａ１＞ｂ２であれば、
ＭＡＤ２−ＭＡＤ１＝２・ａ１−（ａ２＋ｂ２）＞０ …（６）
となる場合にのみ（４）式が成立する（図１３参照）。

さらに、ａ２＞ａ１且つｂ２＞ａ１であれば、
ＭＡＤ２−ＭＡＤ１＝ｂ２−ａ２＞０ …（７）
となる場合に（４）式が成立するが、ｂ２＞ａ２となることはない（図１４参照）。

従って、背景画像を誤検出することなく相関演算によって対象物１５４を常に探索できるためには、赤外線カメラ１６Ｒから得られる画像の輝度信号が赤外線カメラ１６Ｌから得られる画像の輝度信号よりも常に大きくなるように設定すればよいことになる。

そこで、エイミングモード実行部４８の輝度調整ＬＵＴ設定部８０では、例えば、赤外線カメラ１６Ｒによりエイミングターゲット１１２ａ〜１１２ｈ又は１３４ａ〜１３４ｃを撮像して得られる輝度信号ＹＲ（ＩＮ）が、赤外線カメラ１６Ｌによりエイミングターゲット１１２ａ〜１１２ｈ又は１３４ａ〜１３４ｃを撮像して得られる輝度信号ＹＬよりも常に大きくなるように、輝度信号をレベルに応じて調整する輝度調整ＬＵＴを設定し、カメラパラメータ記憶部４６に記憶させる（図１５参照）。

輝度信号調整部１４２は、画像記憶部４４から読み出した輝度調整前の赤外線カメラ１６Ｒからの輝度信号ＹＲ（ＩＮ）をカメラパラメータである輝度調整ＬＵＴにより調整し、輝度信号ＹＲ（ＯＵＴ）としてテンプレートマッチング部１４４に出力する。テンプレートマッチング部１４４では、調整後の赤外線カメラ１６Ｒからの輝度信号ＹＲ（ＯＵＴ）と、赤外線カメラ１６Ｌからの輝度信号ＹＬとを用いて相関演算を行い、対象物１５４を探索する。この場合、（４）式の関係が常時成立しているため、背景画像を誤検出することなく、対象物１５４が確実に探索されることになる。

なお、輝度調整ＬＵＴは、段階的な輝度を有するグレースケールを赤外線カメラ１６Ｒ、１６Ｌによりエイミングターゲットとして読み取り、得られた輝度信号ＹＲ（ＩＮ）が各輝度レベルにおいて輝度信号ＹＬよりも大きくなるように設定することができる。また、単一の輝度からなるエイミングターゲットを赤外線カメラ１６Ｒ、１６Ｌにより読み取り、ＹＲ（ＩＮ）＞ＹＬとすることのできる単一の補正値を設定し、この補正値を用いて輝度信号ＹＲ（ＩＮ）を調整するようにしてもよい。

また、赤外線カメラ１６Ｒを予め基準撮像手段に固定しておき、赤外線カメラ１６Ｒによって撮像された画像を基準画像として輝度調整ＬＵＴを設定するのではなく、赤外線カメラ１６Ｒ、１６Ｌのうち、得られる輝度信号が大きい方を基準撮像手段として選択し、選択された基準撮像手段からの画像を基準画像として相関演算を行うようにしてもよい。この場合、画像の輝度を調整することなく、対象物１５４を確実に抽出することができる。

なお、本発明は、上述した実施形態に限定されるものではなく、本発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。

本発明の画像抽出装置が適用されるナイトビジョンシステムの構成図である。 図１に示すナイトビジョンシステムを構成するＥＣＵの機能構成ブロック図である。 図２に示すＥＣＵにおける通常モード実行部の要部構成ブロック図である。 製作所に設置されるエイミングターゲット制御装置の構成図である。 サービス工場等に設置されるサービスエイミング調整装置の構成図である。 エイミング処理のフローチャートである。 エイミング処理のフローチャートである。 エイミング処理のフローチャートである。 エイミング処理のフローチャートである。 エイミング処理のフローチャートである。 通常モードでの対象物探索処理のフローチャートである。 通常モードにおける対象物抽出処理と、抽出に際して設定された輝度調整ＬＵＴの説明図である。 輝度調整ＬＵＴを設定するための説明図である。 輝度調整ＬＵＴを設定するための説明図である。 輝度調整ＬＵＴの説明図である。

符号の説明

１０…ナイトビジョンシステム １２…車両
１４…ＥＣＵ １６Ｒ、１６Ｌ…赤外線カメラ
１８…ＨＵＤ ２０…スピーカ
４６…カメラパラメータ記憶部 ４８…エイミングモード実行部
５０…通常モード実行部 ５２…モード選択部
７０…製作所モード部 ７２…サービスモード部
７４…パラメータ入力部 ７６…初期設定部
７８…テンプレートマッチング部 ８０…輝度調整ＬＵＴ設定部
８２…左右カメラ映像歪補正部 ８４…左右カメラ取付角算出部
８６…左右カメラ映像切出座標算出部 ８８…視差オフセット値算出部
１００…エイミングターゲット制御装置 １２０…サービスエイミング調整装置

Claims (4)

1. 複数の撮像手段により撮像した画像同士を比較して同一の対象物の画像を抽出する画像抽出装置において、
   複数の前記撮像手段の１つを基準撮像手段とし、前記基準撮像手段を除く他の前記撮像手段を探索撮像手段とし、前記基準撮像手段により撮像した基準画像に含まれ、背景画像よりも高輝度である特定の対象物の画像の輝度信号が、前記探索撮像手段により撮像した探索画像に含まれる前記特定の対象物の画像の輝度信号よりも大きくなるよう、前記基準撮像手段又は前記探索撮像手段を調整する輝度信号調整手段と、
   前記基準画像に対して、前記特定の対象物を含む対象物領域を設定する対象物領域設定手段と、
   前記基準画像に設定した前記対象物領域の画像と前記探索画像との相関演算を行い、前記相関演算の結果が最小となる画像を、前記特定の対象物に係る画像として前記探索画像から抽出する画像抽出手段と、
   を備えることを特徴とする画像抽出装置。
2. 複数の撮像手段により撮像した画像同士を比較して同一の対象物の画像を抽出する画像抽出装置において、
   前記複数の撮像手段により撮像された画像の１つを基準画像として選択する画像選択手段と、
   前記画像選択手段により選択された前記基準画像に対して、特定の対象物を含む対象物領域を設定する対象物領域設定手段と、
   前記基準画像に設定した前記対象物領域の画像と前記基準画像を除く他の画像との相関演算を行い、前記相関演算の結果が最小となる画像を、前記特定の対象物に係る画像として前記他の画像から抽出する画像抽出手段と、
   を備え、前記画像選択手段は、前記複数の撮像手段により撮像された複数の画像のうち、背景画像よりも高輝度である特定の対象物の画像の輝度信号が最も大きな画像を選択することを特徴とする画像抽出装置。
3. 請求項１記載の装置において、
   前記輝度信号調整手段は、前記基準撮像手段又は前記探索撮像手段により撮像した画像の輝度信号を前記輝度信号のレベルに応じて調整する調整テーブルを備えることを特徴とする画像抽出装置。
4. 請求項１〜３の何れか１項に記載の装置において、
   前記複数の撮像手段は、車両に搭載されることを特徴とする画像抽出装置。

Images