JP2004170315A - 距離指標検出装置 - Google Patents

Abstract

【課題】カメラ画像から目標を検出するときに、背景から適切に目標のエッジを抽出することを目的とする。
【解決手段】距離指標検出装置は、レンズ２１、イメージセンサ２２、撮像画像からエッジ画像を生成するエッジ検出部１１、レンズ２１の光軸を光軸に直角方向に移動させる駆動装置２３、複数のエッジ画像を加算蓄積処理する画像蓄積処理部１２、画像記憶部１３、制御部１６、演算部１４を備える。レンズ２１の光軸を移動しながら撮像した画像の複数のエッジ画像の蓄積エッジ画像と、１枚の代表エッジ画像の各画素の濃度比を演算部１４で演算して、距離に対応した濃度比の距離指標データマップを得る。検出処理部１５で代表エッジ画像のパターン処理による目標の対の垂直エッジを抽出するときに、距離指標データマップがほぼ同一距離と示すエッジ部を目標の輪郭の対の垂直エッジ部として抽出する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、目標物の輪郭の距離指標検出装置に関する。
【０００２】
【従来の技術】
【特許文献１】特開２０００−１１３２０１号公報（第４−７頁、図１）
近年、車載したカメラで撮影した画像から走行中の自車両周辺の車両を検出して位置関係を運転者に提示し、車間距離により警報するシステムが開発されている。
撮影した画像から車両を検出する方法としては、前方車両の後部をビデオカメラで撮影して画像データを生成し、この画像データに基づき画像中の水平エッジ線分および垂直エッジ線分を抽出する方法が知られている。
【０００３】
この方法では、抽出された垂直エッジ線分のうち、相互の水平距離および垂直長さがそれぞれ車幅および車高にかかわる基準条件を満たす垂直エッジ線分の対を抽出する。
次に、垂直エッジ線分の対ごとに、水平エッジ線分の中から水平方向で上記垂直エッジ線分の対の間に存在するものを選別し、その数、位置、長さに基づき垂直エッジ線分対が車両の両側端部を表す線分である可能性に係わる評価値を算出する。この評価値を基準値と比較して垂直エッジ線分の対が車両の両側端部を表す線分であるか否かを判定する。
このようにして、車両の端部を識別して車両の存否を検出できる（特許文献１参照）。
【０００４】
【発明が解決しようとする課題】
上記公知技術では、車両画像のエッジを用いるので背景に類似の特徴を持つ構造物がある場合や、背景の構造物相互や検出目標車両と背景の重なりで車両の後部輪郭のエッジと類似の特徴が生じる場合、背景を車両全体またはその一部として誤検出してしまう可能性がある。
【０００５】
本発明は、上記の問題点を解決するために、背景に検出目標の輪郭のエッジと類似の特徴を持つ構造物がある場合でも、検出目標の輪郭のエッジ検出において誤検出を防止できる距離指標検出装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
このため、本発明は、光学系を有する撮像手段と、前記光学系の光軸を光軸に直角方向に移動させる光軸駆動手段と、前記撮像手段の撮像画像のエッジを抽出するエッジ抽出手段と、前記エッジ抽出手段に接続し、複数のエッジ画像を加算蓄積処理し蓄積エッジ画像を生成する画像蓄積処理手段と、前記エッジ抽出手段からの１枚のエッジ画像を代表エッジ画像として記憶する画像記憶手段と、前記画像蓄積処理手段と前記画像記憶手段に接続し、前記代表エッジ画像と前記蓄積エッジ画像の各画素の濃度比を算出する演算手段とを備え、前記濃度比を距離指標とするものとした。
【０００７】
【発明の効果】
本発明により、代表エッジ画像と蓄積エッジ画像の各画素の濃度比を算出し、距離に応じた指標としているので、撮像画像のエッジ画像から検出目標のエッジを抽出する際に、同一の濃度比を有したつまり同一距離にあるエッジ部分を抽出するので、目標物の対のエッジの検出が容易にできる。
その結果、背景に検出目標の輪郭のエッジと類似の特徴を持つ構造物がある場合でも、検出目標の輪郭のエッジ検出において誤検出を防止できる
【０００８】
【発明の実施の形態】
以下本発明の実施の形態を説明する。
図１は本発明の距離指標検出装置を適用した車両検出装置のブロック構成図である。
車両検出装置は画像処理装置１とカメラ部２から構成される。
カメラ部２は、レンズ２１、イメージセンサ２２、シャッター２４とレンズ２１を水平方向に駆動する駆動装置２３からなる。
図２に示すように被写体２０の被写体画像２６はレンズ２１によりイメージセンサ２２の撮像面２５に結像する。レンズ２１は、駆動装置２３によって光軸に直角に矢印ａのように水平方向に駆動される。駆動装置２３は例えば電磁アクチュエータで構成する。
イメージセンサ２２はＣＣＤに代表されるような光学映像を電気信号に変換するデバイスである。撮像面２５の前には、シャター２４が設けられ、イメージセンサ２２の露光を制御部１６からの信号で制御する。シャッター２４は例えば液晶シャッターである。
【０００９】
画像処理装置１は、カメラ部２からの画像信号を画像処理して目標物の輪郭のエッジを検出する。図１に示すようにまず、イメージセンサ２２の画像信号はエッジ検出部１１に入力される。エッジ検出部１１はイメージセンサ２２の撮像画像のエッジ画像をつくりそれを画像蓄積処理部１２と画像記憶部１３へ出力する。以後、画像記憶部１３に記憶されたエッジ画像を代表エッジ画像と呼称する。画像蓄積処理部１２は、エッジ画像を一定枚数加算蓄積処理し、蓄積エッジ画像を生成する。
【００１０】
画像蓄積処理部１２および画像記憶部１３からそれぞれ蓄積エッジ画像と代表エッジ画像が演算部１４へ入力される。
演算部１４は、代表エッジ画像と蓄積エッジ画像の各画素の濃度比を計算し、それを検出処理部１５へ出力する。また、画像記憶部１３は代表エッジ画像を検出処理部１５へ出力する。
検出処理部１５は、代表エッジ画像をパターン処理し、濃度比のデータを利用して同一距離に対応するエッジを抽出する。
【００１１】
制御部１６は駆動装置２３、シャッター２４、イメージセンサ２２、エッジ検出部１１、画像蓄積処理部１２、画像記憶部１３、演算部１４および検出処理部１５に接続し制御する。
制御部１６は、レンズ２１を駆動装置２３を介して駆動する駆動信号、イメージセンサ２２が撮像画像を取得しエッジ検出部１１がエッジ画像を生成するタイミングを制御する露光制御信号ＳＣ１と、画像蓄積処理部１２に加算蓄積処理をさせる画像蓄積制御信号ＳＣ２と、画像記憶部１３に代表エッジ画像を記憶させる画像記憶制御信号ＳＣ３と、演算部１４と検出処理部１５の演算タイミングを制御する演算制御信号ＳＣ４を出力する。
画像処理装置１は、全体がマイクロコンピュータとして構成される。
【００１２】
本実施の形態の作用を以下に説明する。
制御部１６は駆動装置２３に正弦波を入力する。入力された制御信号に応じて駆動装置２３が動作し、レンズ２１を光軸方向に直角の水平方向に往復移動させる。
図２に示すように、被写体２０の像はレンズ２１を通してシャッター２４で露光制御され、レンズ２１の光軸の水平移動に伴い、被写体は水平方向に平行にずれて撮像面２５に被写体画像２６、２６’として結像する。
【００１３】
このとき被写体２０とレンズ２１の距離をＬ１、レンズ２１とイメージセンサ２２の撮像面２５との距離をＬ２としレンズ２１の光軸の水平方向移動量をｄ１とすると、撮像面２５上での被写体画像２６の移動量ｄ２は以下のように表せる。
ｄ２＝（１＋Ｌ２／Ｌ１）×ｄ１ ・・・（１）
式（１）が示すように、被写体画像２６の撮像面２５上での移動量ｄ２は被写体２０とレンズ２１の距離Ｌ１が小さいほど大きい。
【００１４】
イメージセンサ２２では、制御部１６から送出される露光制御信号に同期して、シャッター２４で露光制御を行い、露光毎に撮像画像をエッジ検出部１１に送出する。
エッジ検出部１１では、撮像画像が入力されると、画像の垂直方向のエッジを検出し、エッジ画像を生成する。このエッジ検出には例えばソーベルフィルタリングの手法を用いて行う。ここで生成されるエッジ画像の濃度（強度）は着目する画素の周囲の画素との濃淡関係により正負の値をとる。
イメージセンサ２２から出力された通常の撮像画像を図５に、エッジ検出部１１により処理されたエッジ画像を図６に模式的に示す。図６では図５に比較して撮像画像の輪郭のうち垂直部分が強調され水平部分は弱められたものになっている。
【００１５】
エッジ画像は画像蓄積処理部１２と画像記憶部１３へ出力される。
画像蓄積処理部１２では、レンズ２１の移動によって被写体画像が左右の一方の最大移動位置から他方の最大移動位置までの１方向に移動する間の撮像画像から作成された複数のエッジ画像を加算蓄積処理する。
【００１６】
画像蓄積処理部１２でエッジ画像を加算蓄積処理する方法を図３、図４に示す。
図３は画像蓄積処理部１２のより詳細な構成を示し、画像蓄積処理部１２は、画像メモリ４１、加算器４２、セレクタ４３、符号比較器４４、およびセレクタ制御器４５から構成される。
信号Ｓ１はエッジ検出部１１から出力されるエッジ画像の画素濃度を、信号Ｓ２は画像メモリ４１に蓄積記憶された蓄積エッジ画像の画素濃度を、信号Ｓ３は加算器４２で前述の信号Ｓ１とＳ２を加算演算した結果を示す。
【００１７】
図４にレンズの水平方向の駆動に対応させて画像処理装置１で撮像画像を処理する制御信号を、縦軸を信号レベルの“Ｈｉｇｈ”（“Ｈ”）、“Ｌｏｗ”（“Ｌ”）、横軸を時間ｔとして示す。
図４に示す▲１▼〜▲５▼は制御のタイミングを示す。
レンズ２１は駆動信号によって、中央位置から左右（±）に時間軸に対して周期Ｔ１秒の正弦波で変位する。
これに対応して撮像面２５上で被写体画像２６が左右に移動する振幅の一方の最大値から他方の最大値の間、つまり左方向または右方向の一方向に移動している期間に対して数回、ここでは５回露光制御信号ＳＣ１が周期Ｔ２秒で▲１▼〜▲５▼のタイミングで立ち上がり“Ｈ”レベルとなり、“Ｈ”レベルの期間シャッター２４が開いて露光し、イメージセンサ２２は５枚の撮像画像を得る。
【００１８】
まず、▲１▼のタイミングで、露光制御信号ＳＣ１は“Ｈ”レベルとなり、イメージセンサ２２はその画像信号をエッジ検出部１１に出力する。
エッジ検出部１１は入力された撮像画像を処理しエッジ画像を生成する。
【００１９】
また、▲１▼から▲２▼の期間、画像蓄積制御信号ＳＣ２は、“Ｌ”レベルである。
“Ｌ”レベルの画像蓄積制御信号ＳＣ２はセレクタ制御器４５に入力され、信号ＳＣ２が“Ｌ”レベルの期間に、セレクタ制御器４５はセレクタ４３に対し入力される画素濃度の信号Ｓ１、画素濃度の信号Ｓ２、画素濃度の信号Ｓ３のうち信号Ｓ１を選択して、画像メモリ４１に出力するように制御する。
つまり、▲１▼のタイミングで取得された撮像画像のエッジ画像は画像メモリ４１に画像蓄積処理部１２の加算蓄積処理の初期画像として記憶される。
【００２０】
図４において、画像蓄積制御信号ＳＣ２は、▲２▼のタイミングで“Ｈ”レベルに変化し、そのまま次の繰り返しの▲１▼のタイミングまで“Ｈ”レベルで維持される。
▲２▼のタイミングで露光制御信号ＳＣ１が“Ｈ”レベルとなり、２枚目の撮像画像を取得して、エッジ検出部１１で２枚目のエッジ画像が生成される。
画像蓄積制御信号ＳＣ２の“Ｈ”レベルがセレクタ制御器４５に入力されると、符号比較器４４からセレクタ制御器４５に入力される、符号が一致しているか否かの信号に応じて、セレクタ４３に入力される画素濃度の信号Ｓ１、Ｓ２、Ｓ３のうち、信号Ｓ２かＳ３のいずれかを選択して画像メモリ４１に出力させる。すなわち、符号比較器４４に入力される同一位置の画素の濃度信号Ｓ１とＳ２を比較し、同符号の場合は加算器４２で信号Ｓ１とＳ２とを加算した結果の画素濃度信号Ｓ３が選択され、異符号の場合は信号Ｓ２が選択され画像メモリ４１に記憶される。
この加算蓄積処理は、全画素に対して行われる。
【００２１】
図７は、レンズ２１から所定の距離にある棒状の被写体をエッジ検出部１１で画像処理した後のエッジ画像の垂直方向のエッジ近傍で、横方向に画素濃度をプロットした例を示す。縦軸はエッジ画像の画素の濃度（エッジ強度）を、横軸Ｘは画素の横方向の位置を示す。
上述のエッジ画像の加算蓄積処理において、符号比較器４４で比較される各画素が同符号の場合のみ加算器４２の信号Ｓ３を画像メモリ４１に書き込み蓄積するのは、細い棒状の被写体では図７に示すように被写体の輪郭の近傍に異符号のエッジの画素濃度が生じるので、画像の移動によりそのエッジが重なる可能性が高く、異符号の画素濃度を加算するとエッジの画素濃度を打ち消す結果になるのを防ぐためである。
【００２２】
上記画像蓄積制御信号ＳＣ２が“Ｈ”レベルの期間の画像蓄積処理部１２での処理は、露光制御信号ＳＣ１が“Ｈ”レベルとなる▲３▼、▲４▼、▲５▼のタイミングに対して同様に繰り返される。
つまり、エッジ画像の加算蓄積処理は図４のレンズ駆動と比較してわかるように、レンズが周期Ｔ１の半周期で同一方向に移動中に周期Ｔ２で偶数回行う。
【００２３】
エッジ画像の各画素の横方向の濃度分布が図７に示すような場合に、この画像を水平方向に右に移動させながら加算蓄積処理すると図８の太い破線で示すような蓄積エッジ画像の濃度分布となる。ここで、Ｘ方向に画像を移動させたときの移動範囲の中間点でピーク値Ｖａをとる。
加算蓄積処理でエッジ濃度が異符号の場合は、画像メモリ４１に蓄積された画素濃度の信号Ｓ２を選択するので、つまり加算しないので、図８のプラス側の加算される画素濃度はマイナス側の画素濃度が存在する位置から右側では参考的に点線で示してある。
【００２４】
図７に示したのと同様のエッジ強度の輪郭を持つ被写体２０が、レンズ２１に対して図７の場合より近距離にある場合は、同じレンズの水平方向の移動量に対する被写体画像の移動量が大きいので、図９に示すようによりエッジ部の幅の広い蓄積エッジ画像となる。その結果ピーク値Ｖａ’は図８のＶａより低くなる。このように画像蓄積処理部１２の蓄積エッジ画像は、被写体画像の移動量が小さいほど、すなわち被写体２０とレンズ２１の距離が長いほどピーク値Ｖａが大きくなる。
【００２５】
制御部１６は、図４における▲３▼から▲４▼の期間、画像記憶部１３に送る画像記憶制御信号ＳＣ３を“Ｈ”レベルにし、エッジ検出部１１から出力される▲３▼のタイミングの露光によるエッジ画像つまり被写体画像の一方向への移動中に取得する奇数枚の画像のうち中央に位置する時点のエッジ画像を代表エッジ画像として画像記憶部１３に記憶させる。
【００２６】
制御部１６は、画像蓄積処理部１２が▲５▼のタイミングのエッジ画像を加算蓄積処理して画像メモリ４１に記憶した後、次の周期の露光が開始される▲１▼のタイミングまでの期間、演算部１４と検出処理部１５に送出する演算制御信号ＳＣ４を“Ｈ”レベルとする。
演算部１４は演算制御信号ＳＣ４の“Ｈ”レベルを受けて、最終の蓄積エッジ画像を画像メモリ４１から読み出し、また代表エッジ画像を画像記憶部１３から読み出し、両画像の画素ごとの濃度比（代表エッジ画像の濃度／最終の蓄積エッジ画像の濃度）を算出し検出処理部１５に出力する。
【００２７】
ただし、蓄積エッジ画像の画素の濃度値がゼロの場合は演算を行わずその比をゼロとする。また、画像記憶部１３の代表エッジ画像の画素濃度がゼロの場合は、演算結果はゼロとなる。したがって、エッジが存在しない部分の画素濃度比はゼロとなる。
図８および図９で説明したように被写体がレンズ２１から遠いほど、代表エッジ画像のエッジ部の画素濃度ピーク値に対応した位置の最終の蓄積エッジ画像の画素濃度ピーク値は高いので、演算部１４で算出された濃度比は、遠距離にある被写体のエッジ位置に対してはより小さな値となる。
このように演算部１４で算出されたエッジ部の各画素の濃度比は距離指標となる。この画素ごとの濃度比を以後距離指標データマップと称する。
【００２８】
演算部１４から距離指標データマップが、画像記憶部１３から代表エッジ画像が検出処理部１５に出力される。
検出処理部１５はこれらを一時記憶して、目標物の検出処理を行う。
第１ステップとして、代表エッジ画像に対して、パターン処理して垂直エッジ線を抽出して、車両の輪郭の中の対の垂直エッジの候補とする。
第２ステップでは、この対の垂直エッジの候補に対して、当該のエッジ部の画素位置に対応する距離指標データマップの濃度比を読み出し、両方の垂直エッジ部の画素位置が示す濃度比がほぼ同じ値のとき、その対の垂直エッジが自車両から等距離にある他車両の後部輪郭の垂直エッジと判断して抽出する。
【００２９】
本実施の形態では、それぞれ制御部１６に制御されるレンズ２１、イメージセンサ２２、シャッター２４が本発明の撮像手段を、駆動装置２３が光軸駆動手段を、エッジ検出部１１がエッジ抽出手段を、画像蓄積処理部１２が画像蓄積処理手段を、画像記憶部１３が画像記憶手段を、演算部１４が演算手段を構成し、特にレンズ２１が光学系を構成する。
【００３０】
以上のように本実施の形態によれば、撮像面へ被写体画像を結像させるためのレンズの光軸を水平方向に移動させ、画像移動中に複数のエッジ画像を取得して加算蓄積処理した蓄積エッジ画像をつくり、代表エッジ画像との各画素の濃度比を取ることによって、エッジ部の画素の濃度比が被写体の距離に対応することを利用して、同一距離に対応する対の垂直エッジを容易に検出できる。
その結果、パターン処理だけでは背景の構造物や背景と対象との重なりで生じる類似のエッジのパターンを同距離にある対の垂直エッジと誤検出するのを防止できる。
つまり、ビデオカメラによる撮像画像から前方の車両の後部輪郭の対の垂直エッジを容易に抽出できるので、車両検出に利用できる。
【００３１】
また、代表エッジ画像は撮像画像の左右の最大振幅の中央位置で選び、最終の蓄積エッジ画像と比較しているので、代表エッジ画像のエッジ部の画素濃度のピーク値と最終の蓄積エッジ画像のエッジ部の画素濃度のピーク部を比較することになり濃度比が効果的な距離指標となる。
さらに、画像蓄積処理部１２におけるエッジ画像の加算蓄積処理において、エッジ画像のエッジ部でプラス側の画素濃度とマイナス側の画素濃度が隣接して現れる場合に、同一符号の時画像濃度を加算し、異符号のときは加算しないのでエッジの打消しを防止でき、本来抽出強調したいエッジ濃度を強調できる。
【００３２】
エッジ検出部１１は、垂直方向のエッジ部を強調して抽出し、被写体画像が横方向に移動する間に複数のエッジ画像を取得して加算蓄積処理するので、被写体画像が移動する範囲で垂直のエッジ部が横方向へ広がった形となり、エッジ部の濃度の強調が加算蓄積処理過程で効果的に得られる。
【００３３】
以上の実施の形態では、エッジ検出部１１は垂直のエッジを強調するようなエッジの抽出をし、レンズ２１は水平方向に駆動するとしたが、エッジ検出部１１は水平のエッジを強調するようなエッジの抽出をし、レンズは垂直方向に駆動することとしてもよい。
【００３４】
さらに実施の形態では、レンズを駆動して光軸を移動させることによって撮像面上の被写体画像を移動させたが、マイクロレンズを例えば横に複数並べて配置し、マイクロレンズの前面または背面に液晶シャッターを配置し、個々のマイクロレンズ毎に光を透過または非透過の制御をできる構成とし、制御部１６からの露光制御信号によって、液晶シャッターの透過位置を切り替えて光軸移動を制御する構成としてもよい。
このような構成とすることにより、動的機構のない信頼性の高い構造で光軸移動が実現できる。
【図面の簡単な説明】
【図１】本発明の実施の形態の構成を示す図である。
【図２】カメラ部の光軸移動を説明する図である。
【図３】画像処理装置の加算蓄積処理方法を説明する図である。
【図４】画像処理装置の画像処理のタイミング制御を説明する図である。
【図５】カメラ部で取得した撮像画像を示す図である。
【図６】エッジ検出部で生成したエッジ画像を示す図である。
【図７】エッジ画像におけるエッジ部近傍の横方向の画素濃度変化を示す図である。
【図８】被写体が遠い場合の蓄積エッジ画像のエッジ部近傍の横方向の画素濃度変化を示す図である。
【図９】被写体が近い場合の蓄積エッジ画像のエッジ部近傍の横方向の画素濃度変化を示す図である。
【符号の説明】
１ 画像処理装置
２ カメラ部
１１ エッジ検出部
１２ 画像蓄積処理部
１３ 画像記憶部
１４ 演算部
１５ 検出処理部
１６ 制御部
２０ 被写体
２１ レンズ
２２ イメージセンサ
２３ 駆動装置
２４ シャッター
２５ 撮像面
２６、２６’ 被写体画像
４１ 画像メモリ
４２ 加算器
４３ セレクタ
４４ 符号比較器
４５ セレクタ制御器

Claims (4)

1. 光学系を有する撮像手段と、
   前記光学系の光軸を光軸に直角方向に移動させる光軸駆動手段と、
   前記撮像手段の撮像画像のエッジを抽出するエッジ抽出手段と、
   前記エッジ抽出手段に接続し、複数のエッジ画像を加算蓄積処理し蓄積エッジ画像を生成する画像蓄積処理手段と、
   前記エッジ抽出手段からの１枚のエッジ画像を代表エッジ画像として記憶する画像記憶手段と、
   前記画像蓄積処理手段と前記画像記憶手段に接続し、前記代表エッジ画像と前記蓄積エッジ画像の各画素の濃度比を算出して、濃度比を距離指標として出力する演算手段とを有することを特徴とする距離指標検出装置。
2. 前記光軸駆動手段は光軸の移動を光学系の周期的振動により行い、かつ画像蓄積処理手段は前記周期的振動の最大振幅間で前記エッジ画像の加算蓄積処理を行い、
   前記画像記憶手段は、前記周期的振動の振幅の中央位置での撮像画像のエッジ画像を記憶することを特徴とする請求項１に記載の距離指標検出装置。
3. 前記画像蓄積処理手段は、新たに加算するエッジ画像の画素の濃度が、加算される画素の濃度と同符号の場合のみ加算蓄積し、異符号の場合は加算しないことを特徴とする請求項１または２に記載の距離指標検出装置。
4. 前記光軸駆動手段は、前記エッジ抽出手段が撮像画像からエッジを強調して抽出するエッジの方向に対して、直角方向に光軸を移動することを特徴とする請求項１から３のいずれか１に記載の距離指標検出装置。

Images