JP2018146495A - 物体検出装置、物体検出方法、物体検出プログラム、撮像装置、及び、機器制御システム - Google Patents

Abstract

【課題】物体検出処理の精度向上を図る。【解決手段】特徴点検出部が、所定の画角の広角レンズの中央部に相当する第１の撮像領域で撮像された第１の撮像画像領域、又は、広角レンズの周辺部に相当する第２の撮像領域で撮像された第２の撮像画像領域から、物体の検出を行うための所定の特徴点を検出する。物体検出部は、特徴点検出部により、第１の撮像画像領域から所定量以上の特徴点が検出された場合、第１の撮像画像領域から検出される特徴点に基づいて、第１の撮像画像領域内の物体を検出し、第１の撮像画像領域から検出された特徴点が所定量未満であった場合、第２の撮像画像領域から検出される特徴点に基づいて、撮像画像内の物体を検出する。【選択図】図１１

Description

本発明は、物体検出装置、物体検出方法、物体検出プログラム、撮像装置、及び、機器制御システムに関する。

今日において、例えば人間が運転して移動させる自動車、及び、遠隔操作又は自動操縦により飛行可能な無人航空機等の移動体は、カメラ装置、ライダー（LIDAR：Light Detection And Ranging）装置、又は、ミリ波レーダ装置等のセンサ装置により、周囲の物体との間の距離を測距し、物体検出による衝突回避又は誤制御の抑制等を行っている。

なかでも、カメラ装置を用いた物体検出技術は、物体の形状までも検出可能であるため、急速に普及しており、より撮像範囲を広げるために魚眼レンズ等の広角レンズを用いた物体検出技術も提案されている。

特許文献１（特開２００９−１９８４４５号公報）には、対象物の位置及び速度等の運動情報を精度良く検出することを目的とした対象物検出装置が開示されている。この対象物検出装置は、ステレオカメラの配置及び対象物の位置や高さに応じて設定する処理領域を、取得した画像に対して複数設定する。また、設定された処理領域毎に平面投影ステレオ法の原理を用いた手法を適用し、歩行者や自転車等の対象物を検出する。また、処理領域毎の対象物検出結果を統合し、画像全体の対象物を検出する。そして、検出された対象物を時系列に追跡し、位置及び速度等の運動情報を検出する。

このような対象物検出装置の場合、撮像画像を分割した分割領域毎に物体検出を行い、処理領域毎の結果を結合して画像全体の対象物を検出する。これにより、照明又は天候の変化の影響がある場合にもロバストに対象物を検出することができ、対象物の位置及び速度等の運動情報を精度良く検出することができる。

しかし、物体検出に広角レンズを用いる場合、撮像領域が広がることは良いが、広角レンズは、レンズ中央部とレンズ周辺部とでレンズ特性が大きく異なる。このため、物体検出に広角レンズを用いた場合、レンズ周辺部での誤差が大きくなり、物体の誤検出が発生することが懸念される。

また、例えば模様又は形状等の特徴が少ない（テクスチャが少ない）壁等の物体を近距離から撮像した場合を考える。この場合、撮像画像は、全体的に特徴の無い、単なる白色の撮像画像となる。しかも、この白色の撮像画像には、壁の境界は写っていない。このため、単なる白色の撮像画像に基づいて物体検出を行うこととなり、正確な物体検出を行うことは大変困難となる。また、特許文献１の対象物検出装置において、上述の全体が白色の撮像画像を分割して物体検出を行っても、各分割領域は、単なる白色の撮像画像となるため、やはり、正確な物体検出を行うことは大変困難となる。

本発明は、上述の課題に鑑みてなされたものであり、より高精度な物体検出を可能とする物体検出装置、物体検出方法、物体検出プログラム、撮像装置、及び、機器制御システムの提供を目的とする。

上述した課題を解決し、目的を達成するために、本発明は、所定の画角の広角レンズの中央部に相当する第１の撮像領域で撮像された第１の撮像画像領域、又は、広角レンズの周辺部に相当する第２の撮像領域で撮像された第２の撮像画像領域から、物体の検出を行うための所定の特徴点を検出する特徴点検出部と、特徴点検出部により、第１の撮像画像領域から所定量以上の特徴点が検出された場合、第１の撮像画像領域から検出される特徴点に基づいて、第１の撮像画像領域内の物体を検出し、第１の撮像画像領域から検出された特徴点が所定量未満であった場合、第２の撮像画像領域から検出される特徴点に基づいて、撮像画像内の物体を検出する物体検出部とを有する。

本発明によれば、より高精度な物体検出を可能とすることができるという効果を奏する。

図１は、自動車にステレオカメラ装置を設けた第１の実施の形態の機器制御システムを説明するための図である。 図２は、第１の実施の形態の機器制御システムに設けられているステレオカメラ装置の斜視図である。 図３は、ステレオカメラ装置の左右の撮像部の撮像範囲を示す図である。 図４は、広角レンズが用いられているステレオカメラ装置のレンズ中央部及びレンズ周辺部の撮像範囲の一例を示す図である。 図５は、ステレオカメラ装置のハードウェア構成を示すブロック図である。 図６は、ステレオカメラ装置のソフトウェア構成を示す機能ブロック図である。 図７は、ステレオカメラ装置の物体検出部の機能ブロック図である。 図８は、ステレオカメラ装置の撮像領域の設定の仕方を説明するための図である。 図９は、ステレオカメラ装置の撮像領域の他の設定の仕方を説明するための図である。 図１０は、第１の実施の形態における物体検出部の物体検出処理の流れを示すフローチャートである。 図１１は、物体検出部における広角レンズの周辺部の視差画像を用いて行う物体検出処理を説明するための図である。 図１２は、障害物の左右のエッジと、広角レンズの中央部に相当する第１の視差画像の撮像範囲の左右のエッジとの関係を説明するための図である。 図１３は、第２の実施の形態における物体検出部の物体検出処理の流れを示すフローチャートである。 図１４は、物体のテクスチャとなっている繰り返しパターンの一例を示す図である。 図１５は、第３の実施の形態における物体検出部の物体検出処理の流れを示すフローチャートである。

（第１の実施の形態の機器制御システムの構成）
以下、第１の実施の形態の機器制御システムの説明をする。あくまでも一例ではあるが、第１の実施の形態の機器制御システムは、図１に示すように自動車の周囲の物体を検出して、ブレーキ制御、アクセル制御、ハンドル制御等の運転補助を行うシステムとなっている。これも一例であるが、第１の実施の形態の機器制御システムは、物体との間の距離情報を生成するために、ステレオカメラ装置１で撮像された視差画像を用いるようになっている。ステレオカメラ装置１は、図１に示すように、例えば自動車の前方（他の方向でもよい）を撮像するように、自動車のフロントガラス近辺に設けられている。機器制御システムは、このステレオカメラ装置１及び図６に示す制御装置４４を有している。

（ステレオカメラ装置の構成）
図２は、ステレオカメラ装置１の外観を示す図である。この図２に示すように、ステレオカメラ装置１は、筐体部２と、右目用の撮像光学系である基準画像撮像部３及び左目用の撮像光学系である比較画像撮像部４を有している。筐体部２は、例えばアルミニウム部材で形成された直方体形状を有している。

各撮像部３、４は、筐体部２内に設けられており、例えば画角が１８０度又は２００度等の広角レンズを有している。各撮像部３、４は、図３に示すように基準画像撮像部３の光軸ａ及び比較画像撮像部４の光軸ｂが、それぞれ平行となるように設けられている。図３に点線で示す半円状の領域は、基準画像撮像部３の撮像領域３ＦＯＶ、及び、比較画像撮像部４の撮像領域４ＦＯＶを示している。撮像領域３ＦＯＶ及び比較画像撮像部４の撮像領域４ＦＯＶの重複領域が、基準画像撮像部３の基準画像及び比較画像撮像部４の比較画像に基づく視差により、物体との間の距離が測距可能な測距可能領域となっている。なお、図３における撮像領域３ＦＯＶ及び撮像領域４ＦＯＶは、＋Ｘ方向の大きさ、＋Ｙ方向の大きさに制限があるように描かれているが、これは説明のためであり、実際には大きさは制限されない。

（物体検出に用いられる撮像領域）
図４は、基準画像撮像部３及び比較画像撮像部４で撮像される各撮像画像の一例である。上述のように、各撮像部３、４には、例えば画角が１８０度又は２００度等の広角レンズが設けられている。第１の実施の形態の機器制御システムは、第１の条件下において、広角レンズの中央部に相当する第１の撮像領域３１で撮像された第１の撮像画像領域を物体検出処理に用いる。また、第１の実施の形態の機器制御システムは、第２の条件下においては、広角レンズの周辺部に相当する第２の撮像領域３２で撮像された第２の撮像画像領域を物体検出処理に用いる。詳しくは、後述する。

（ステレオカメラ装置のハードウェア構成）
図５は、ステレオカメラ装置１のハードウェア構成を示すブロック図である。図５において、基準画像撮像部３の撮像レンズ１１を透過した被写体光は、ＣＭＯＳセンサ１２に結像され、比較画像撮像部の撮像レンズ１６を通過した被写体光は、ＣＭＯＳセンサ１７に結像される。ＣＭＯＳセンサ１２，１７は、撮像面に結像された光学像を電気信号に変換し、アナログ信号である画像信号を出力する。なお、ＣＭＯＳセンサ１２，１７の代わりにＣＣＤ（Charge Coupled Device）イメージセンサ等の、他の撮像部を用いてもよい。

ＣＭＯＳセンサ１２，１７から出力された画像データは、それぞれＣＤＳ（Correlated Double Sampling：相関２重サンプリング）回路１３，１８によりノイズ成分が除去され、Ａ／Ｄ変換器１４，１９によりデジタルデータである画像データに変換される。

なお、ＣＭＯＳセンサ１２，１７、ＣＤＳ回路１３，１８及びＡ／Ｄ変換器１４，１９は、タイミング信号発生器２１からの所定周波数のタイミング信号により、動作タイミングが制御されている。

ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２３は、画像処理の際に画像データを一時的に記憶する。画像処理が施された画像データは、メモリカード２４に記録される。画像データは、所定の画像圧縮処理等を施してメモリカード２４に記録してもよい。

タイミング信号発生器２１及びメモリカード２４は、ＣＰＵ（Central Processing Unit）２２により制御されている。ＲＯＭ（Read Only Memory）２７には、ＣＰＵ２２により実行される、後述する物体検出プログラム等が記憶されている。ＲＡＭ（Random Access Memory）２６は、ＣＰＵ２２が各種の処理過程で利用するワークエリア、及び各種データ格納エリア等となる読み出し書き込み自在のメモリである。

一例ではあるが、操作部２５は、いわゆるタッチパネルとなっている。自動車の運転者は、指等で操作部２５を接触操作して、所望の動作を指定する。外部インタフェース（外部Ｉ／Ｆ）は、ステレオカメラ装置１と、後述する自動車の運転補助となるブレーキ制御又はハンドル制御等を行う制御装置とを相互に接続するインタフェースとなっている。これら各部は、バスライン２９を介して相互に接続されている。

（ステレオカメラ装置のソフトウェア構成）
次に、図６に、ステレオカメラ装置１のソフトウェア構成を示す。ステレオカメラ装置１のＲＯＭ２７には、画像処理プログラム、視差画像生成プログラム、及び、物体検出プログラム等の各種プログラムが記憶されている。ＣＰＵ２２は、画像処理プログラムを実行することで、画像処理部４１として機能し、ＲＧＢ→ＹＣｒＣｂ変換処理、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理、ガンマ補正処理、及び、平行化処理等の各種画像処理を行う。

また、ＣＰＵ２２は、視差生成プログラムを実行することで視差画像生成部４２として機能し、基準画像撮像部３からの基準画像及び比較画像撮像部４からの比較画像を用い、例えばステレオマッチング法等に基づいて視差画像を生成する。そして、ＣＰＵ２２は、視差画像生成部４２として機能することで、生成した視差画像に写る物体までの距離を求める。視差は、画素毎又は画素ブロック毎に算出される。そして、視差画像の画素又は画素ブロック毎に視差情報が対応づけられる。画素ブロックは、１以上の画素で構成されるブロックである。これにより、視差画像は、視差画像に写る物体（対象物）の３次元空間上での３次元位置（３次元座標）を表すことができる。これにより、撮像方向の物体検出を行うことが可能となる。

ＣＰＵ２２は、物体検出プログラムを実行することで、物体検出部４３として機能し、撮像方向の物体検出処理を行い、検出結果となる物体検出情報を、外部Ｉ／Ｆ２８を介して制御装置（車両ＥＣＵ：Engine Control Unit）４４に供給する。制御装置４４は、物体検出情報に基づいて、自動車のブレーキ制御又はハンドル制御等の運転補助制御を行う。

（物体検出部の機能）
図７に、ＣＰＵ２２が、物体検出プログラムを実行することで機能する物体検出部４３の詳細な機能ブロック図を示す。この図７に示すように、物体検出部４３は、特徴点抽出部５１（特徴点検出部の一例）、テクスチャ判定処理部５２、切り替え制御部５３、エッジペア判定部５４及び物体判定処理部５５（物体検出部の一例）を有している。

なお、この例では、特徴点抽出部５１〜物体判定処理部５５は、ソフトウェアで実現することとして説明を進めるが、特徴点抽出部５１〜物体判定処理部５５のうち、一部又は全部をＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。

また、物体検出プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）などのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ブルーレイディスク（登録商標）、半導体メモリなどのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、物体検出プログラムは、インターネット等のネットワーク経由でインストールするかたちで提供してもよい。また、物体検出プログラムは、機器内のＲＯＭ等に予め組み込んで提供してもよい。

（各撮像領域の設定の仕方）
このような物体検出部４３は、上述のように、第１の条件下において、広角レンズ中央部に相当する第１の撮像領域３１で撮像された第１の撮像画像領域を物体検出処理に用い、第２の条件下においては、広角レンズ周辺部に相当する第２の撮像領域３２で撮像された第２の撮像画像領域を用いて物体検出処理を行う。

一例ではあるが、第１の撮像領域３１は、図８に示すように、基準画像撮像部３及び比較画像撮像部４の広角レンズから障害物までの距離を、図８（ａ）に示すように「Ｄ」ｍ（メートル）、障害物の幅を「Ｗ」ｍとし、図８（ｂ）に示すように障害物の高さを「Ｈ」ｍとして、以下の数１式及び数２式の演算で算出した水平画角「θＨ」及び垂直画角「θＶ」に基づいて設定されている。

θＨ＝ａｔａｎ（Ｗ／（２×Ｄ））×２・・・（数１式）

θＶ＝ａｔａｎ（Ｈ／（２×Ｄ））×２・・・（数２式）

そして、広角レンズにおける、各数式の演算結果に基づいて決定された第１の撮像領域３１よりも外側を、図４中、斜線の領域で示すように第２の撮像領域３２としている。

（各撮像領域の他の設定の仕方）
各撮像領域３１，３２は、以下のように設定してもよい。すなわち、図９に示すように広角レンズから等距離に映る物体を測距する。図９に描かれている半円は、広角レンズから等距離の位置を示している。この場合、広角レンズの周辺に近づくほど、撮像画像に歪みを生ずる。視差画像生成部４２は、比較画像撮像部４で撮像された比較画像、及び、基準画像撮像部３で撮像された基準画像をマッチング処理（ステレオ視差マッチング処理）することで視差を検出する。しかし、等距離となる各位置に対する各撮像部３，４からの角度により、視差の検出結果に誤差が発生する。この誤差に基づいて、第１の撮像領域３１を設定する。すなわち、以下の数３式の条件を満足する位置に基づいて、第１の撮像領域を設定する。

広角レンズの中央部の測距誤差×閾値＜角度θのときの測距誤差・・・（数３式）

この場合も、第１の撮像領域３１よりも外側を、図４中、斜線の領域で示すように第２の撮像領域３２として設定することは、上述と同様である。

（物体検出動作）
第１の実施の形態の機器制御システムでは、第１の視差画像の「テクスチャ量（特徴点の数）」が所定量以上のときに、広角レンズの中央部に相当する第１の撮像領域３１で撮像された第１の視差画像を用いて物体検出処理を行う。また、第１の視差画像の「テクスチャ量（特徴点の数）」が所定量未満のときに、広角レンズの周辺部に相当する第２の撮像領域３２で撮像された第２の視差画像を用いて物体検出処理を行う。

図１０は、ＣＰＵ２２が物体検出プログラムに基づいて実行する物体検出部４３の物体検出動作の流れを示すフローチャートである。このフローチャートにおいて、ステップＳ１では、図７に示す特徴点抽出部５１が、視差画像（又は輝度画像でもよい）の第１の撮像領域３１から、テクスチャ判定に用いる特徴点を抽出する。そして、ステップＳ２において、テクスチャ判定処理部５２が、テクスチャの有無を判定する。

具体的には、特徴点抽出部５１は、例えばソーベルエッジ検出法、キャニーエッジ検出法又はハリス（Ｈａｒｒｉｓ）法等の特徴点検出手法を用いて、第１の視差画像又は輝度画像からオブジェクトの輪郭部分（エッジ部分）、コーナー部分検出処理）を行う。テクスチャ判定処理部５２は、ステップＳ３において、検出されたエッジ量が所定量未満であった場合に（ステップＳ３：Ｙｅｓ）、「テクスチャ無し（特徴点無し）」と判定する。

一例ではあるが、テクスチャ判定処理部５２は、以下の１〜３のいずれかの条件を満たす場合に、第１の視差画像に対して「テクスチャ無し」と判定する。

１．第１の視差画像領域の面積×閾値＞得られたエッジのピクセル数

この第１の条件を用いる場合、テクスチャ判定処理部５２は、第１の視差画像から検出されたエッジのピクセル数が、第１の視差画像領域の面積に所定の閾値を乗算処理した値に満たない場合に、第１の視差画像には、「テクスチャ無し」と判定する。

２．第１の視差画像領域の面積×閾値＞得られた特徴点の数

この第２の条件を用いる場合、テクスチャ判定処理部５２は、第１の視差画像から検出されたエッジ等の特徴点の数が、第１の視差画像領域の面積に所定の閾値を乗算処理した値に満たない場合に、第１の視差画像には、「テクスチャ無し」と判定する。

３．第１の視差画像領域の面積×閾値＞得られた視差点の数

この第３の条件を用いる場合、テクスチャ判定処理部５２は、第１の視差画像から検出された視差点の数が、第１の視差画像領域の面積に所定の閾値を乗算処理した値に満たない場合に、第１の視差画像には、「テクスチャ無し」と判定する。

第１の視差画像が、模様又は特徴的な凹凸等が無い壁を撮像した画像である場合、第１の視差画像からは、エッジ又は特徴的な凹凸等が、ほとんど検出されない。このような場合、エッジ量が所定量未満となり、ステップＳ３において、テクスチャ判定処理部５２が、「第１の視差画像には、テクスチャが写っていない（テクスチャ無し）」と判定する。これにより、ステップＳ４に処理が移行する。

なお、第１の視差画像に所定量以上のエッジが存在する場合（ステップＳ３：Ｎｏ）、図１０のフローチャートの処理が終了となり、物体判定処理部５５が、第１の撮像領域３１の第１の視差画像に基づいて、通常の物体検出処理を行う。

次に、第１の視差画像に「テクスチャ無し」と判定されることでステップＳ４に処理が進むと、切り替え制御部５３が、広角レンズの周辺部で撮像した第２の撮像領域３２に対応する第２の視差画像（又は輝度画像でもよい）で特徴点抽出処理（エッジ等の検出）を行うように、特徴点抽出部５１を制御する。具体的には、特徴点抽出部５１は、２次元的な画像である第２の視差画像の縦方向をＸ軸方向、横方向をＹ軸方向とし、このＹ軸方向に沿ったエッジを検出する。これにより、自動車の進行方向に対して垂直方向（３次元的に直交する方向）に位置し、かつ、Ｙ軸方向に平行なエッジが検出される。

すなわち、例えば図１１（ａ）に示すように上方向に天井が位置しており、下方向に路面が位置している状態において、広角レンズの中央部に相当する第１の撮像領域でテクスチャの少ない壁を撮像したとする。この場合、特徴点抽出部５１は、図１１（ｂ）に示すようにテクスチャの無い壁の上下方向（撮像方向に対する上下方向）に、それぞれＹ軸方向に沿った、壁と天井との境目に相当するエッジと、壁と路面との境目に相当するエッジとを検出する（ペアとなるエッジ（ペアとなる特徴点）を検出する）。

さらに説明すると、特徴点抽出部５１は、切り替え制御部５３により指定されるまでの間は、第１の撮像領域３１に対応する第１の視差画像に基づいてエッジ検出を行う。これに対して、切り替え制御部５３により指定されると、特徴点抽出部５１は、第２の撮像領域３２に対応する第２の視差画像に基づいてエッジ検出を行う。

なお、特徴点抽出部５１により、第２の撮像領域３２からペアとなるエッジが検出されなかった場合、切り替え制御部５３は、再度、第１の撮像領域３１の第１の視差画像でエッジ検出を行うように特徴点抽出部５１を制御する（エッジ検出を行う視差画像を第２の視差画像から第１の視差画像に戻す）。

このようにしてペアとなるエッジが検出されると、エッジペア判定部５４は、ステップＳ５において、検出された一対のエッジが、同一の物体の境界であるか否かを判定する（エッジペア判定処理）。

一例ではあるが、エッジペア判定部５４は、
１．検出した直線同士の距離が閾値以内であれば、２つの直線は、それぞれ同一の物体の境界線であると判別し、
２．２つの直線の長さの差が一定閾値以下であれば、２つの直線は、それぞれ同一の物体の境界線であると判別し、又は、
３．２つの直線の角度差が一定角度以下であれば、２つの直線は、それぞれ同一の物体の境界線であると判別する。

なお、エッジペア判定部５４は、１〜３の各判定条件のうち、いずれか一つを用いてエッジペア判定処理を行ってもよいし、１〜３の各判定条件のうち、２つ以上の判定条件を組み合わせてエッジペア判定処理を行ってもよい。

次に、ステップＳ６では、物体判定処理部５５が、エッジペア判定部５４の判定結果に基づいて、第２の視差画像の上方向及び下方向でペアとなるエッジペアが検出されたか否かを判別する。エッジペアが検出された場合、物体判定処理部５５は、ステップＳ７において、ペアとなる各エッジの間は、同一の物体として判定して、図１０のフローチャートの処理を終了する。

なお、ステップＳ６において、エッジペア判定部５４の判定結果に基づいて、第２の視差画像の上方向及び下方向でペアとなるエッジペアが検出されないと判別した場合、物体判定処理部５５は、そのまま図１０のフローチャートの処理を終了する。

（第１の実施の形態の効果）
広角レンズの中央部で撮像された第１の視差画像において、例えば図１１（ｂ）に示すように、テクスチャの少ない壁しか写っていない場合であっても、広角レンズの周辺部で撮像された第２の視差画像においては、地面から天井の範囲の物体が写り込む。このため、第２の視差画像に基づいて、物体の検出を行うことができる。例えば、図１１（ａ）に示すように、ステレオカメラ装置１の画角で撮像領域を設定した場合、レンズの中央部で撮像される第１の視差画像だけでは、テクスチャの少ない壁しか写らないため、物体の検出が困難となる。

しかし、広角レンズの周辺部で撮像された第２の視差画像には、路面と壁の境界、及び、天井と壁の境界が写る。このため、広角レンズの周辺部で撮像された第２の視差画像を用いることで、テクスチャが少ない壁等の物体であっても、精度よく検出することができる。

（第１の実施の形態の変形例）
上述の第１の実施の形態の例では、上下方向のエッジペアを検出することとしたが、図８（ｂ）に示すように第２の視差画像の左右方向（上下方向に対して２次元的に直交する方向）となる、第２の視差画像の縦方向に平行なＸ軸方向のエッジペアを検出してもよい。または、上下方向のエッジペア判定処理と、左右方向のエッジペア判定処理を併用してもよい。さらに、上下方向及び左右方向以外でも、例えば斜め上方向及び斜め下方向のエッジペアを検出する等、エッジペアを検出する方向は、自由に設定可能である。

（第２の実施の形態）
次に、第２の実施の形態の機器制御システムの説明をする。視差画像に基づいて物体を検出する場合において、前フレームで検出した物体を、後続のフレームで、再度、検出できた場合、各フレームで検出された物体は、同一の物体と判定して追従することができる。

しかし、このように連続で検出していた物体との間の距離が徐々に短くなると、あるフレームを境にして、物体の検出が困難となる。すなわち、図１２（ａ）に示す障害物に対して、外側に広がって図示されている枠は、上述のレンズ中央部で撮像された第１の視差画像の撮像範囲である。図１２（ａ）に示す例の場合、障害物の左右のエッジが、第１の視差画像の撮像範囲内となっているため、障害物を検出できる。

障害物との間の距離が短くなることで、図１２（ｂ）に示すように、障害物の左右のエッジが、第１の視差画像の撮像範囲の左右の位置に重なるフレームから、障害物の左右のエッジが検出困難となる。また、障害物の左右のエッジが、第１の視差画像の撮像範囲の左右の位置から外側に位置するようになると、障害物の左右のエッジが、さらに検出困難となる。このような場合に、上述の広角レンズの周辺部の視差画像を含む第２の視差画像を用いて物体の検出を行う例が、以下に説明する第２の実施の形態の機器制御システムである。

なお、上述の第１の実施の形態と以下に説明する第２の実施の形態とでは、この点のみが異なる。このため、以下、両者の差異のみ説明し、重複説明は省略する。

図１３のフローチャートに、第２の実施の形態の機器制御システムにおける物体検出動作の流れを示す。このフローチャートに示すように、第２の実施の形態においては、ステップＳ１１〜ステップＳ１３で、連続して検出していた物体が未検出となった際に、第１の視差画像の撮像範囲を超えたことで、未検出となったか否かを判別する。そして、連続して検出していた物体が、第１の視差画像の撮像範囲を超えたことで未検出となったと判別した際に、ステップＳ４〜ステップＳ７において、第２の視差画像を用いた上述の物体検出処理を行う。なお、ステップＳ４〜ステップＳ７の動作は、図１０のフローチャートのステップＳ４〜ステップＳ７の動作と同じ動作である。このため、以下、ステップＳ１１〜ステップＳ１３の動作を説明する。ステップＳ４〜ステップＳ７の動作は、上述の第１の実施の形態の説明を参照されたい。

ステップＳ１１では、図７に示す物体判定処理部５５が、前フレームの視差画像から検出された物体と、現在フレームの視差画像から検出した物体とを比較することで、過去に連続して検出していた物体と同じ物体が未検出となったか否かを判別する。過去に連続して検出していた物体と同じ物体が、現在フレームでも検出できている場合は（ステップＳ１１：Ｙｅｓ）、そのまま図１３のフローチャートの処理を終了する。

これに対して、過去に連続して検出していた物体と同じ物体が、現在フレームでは検出できない場合（ステップＳ１１：Ｎｏ）、ステップＳ１２に処理が進む。ステップＳ１２では、物体判定処理部５５が、以下のいずれかの条件に基づいて、過去に連続して検出していた物体が、広角レンズの中央部に相当する第１の視差画像の撮像範囲を超えたことで未検出となったか否かを判別する。

具体的には、物体判定処理部５５は、
１．過去、所定フレーム数以上（閾値フレーム数以上）同一物体として検出されているか否か、
２．過去から現在にかけて距離が近づいているか否か、又は、
３．最後に検出されたときの物体までの距離が所定の距離以下（閾値距離以下）か否か、
の各条件のうち、いずれか一つ又は複数の条件を用いて、ステップＳ１１の判別処理を行う。

過去に連続して検出していた物体が、第１の視差画像の撮像範囲を超えていないにも関わらず未検出になったということは、過去に連続して検出していた物体が、例えば右折又は左折等により、フレームアウトしたことを意味している。このため、過去に連続して検出していた物体が、第１の視差画像の撮像範囲を超えていないにも関わらず未検出となった場合（ステップＳ１３：Ｎｏ）、図１３のフローチャートの処理が終了となる。

これに対して、過去に連続して検出していた物体が、第１の視差画像の撮像範囲を超えたことで未検出となったと判別して場合（ステップＳ１３：Ｙｅｓ）、ステップＳ４〜ステップＳ５に処理が進み、上述のように、広角レンズの周辺部に相当する第２の視差画像の範囲で、過去に連続して検出していた物体の検出を行う。

これにより、第１の視差画像の撮像範囲で連続して検出していた物体を、広角レンズ周辺部に相当する第２の視差画像を用い、継続して（追従して）検出することができる他、上述の第１の実施の形態と同様の効果を得ることができる。

（第３の実施の形態）
次に、第３の実施の形態の機器制御システムの説明をする。図１４は、直方体の煉瓦が積み上げられて形成された壁を示している。この場合、壁の表面に長方形の繰り返しパターンが現れる。このような繰り返しパターンの撮像画像に基づいて視差演算を行うと、基準画像と比較画像との間で、複数の位置でマッチングが発生し、真の距離とは異なる視差値が算出され（視差計算エラー）、正確な物体検出に支障を来すおそれがある。

このため、第３の実施の形態の機器制御システムは、広角レンズの中央部で撮像した撮像画像に相当する第１の視差画像から繰り返しパターンが検出された場合、第２の視差画像を用いて物体検出を行う。なお、上述の各実施の形態と以下に説明する第３の実施の形態とでは、この点のみが異なる。このため、以下、両者の差異のみ説明し、重複説明は省略する。

図１５のフローチャートに、第３の実施の形態の機器制御システムにおける物体検出動作の流れを示す。このフローチャートに示すように、第３の実施の形態においては、ステップＳ２１〜ステップＳ２３で、第１の視差画像に繰り返しパターンが存在するか否かを判別する。そして、第１の視差画像に繰り返しパターンが存在する場合、ステップＳ４〜ステップＳ７において、広角レンズの周囲の部分の撮像画像に相当する第２の視差画像も含めて物体検出処理を行う。なお、ステップＳ４〜ステップＳ７の動作は、図１０のフローチャートのステップＳ４〜ステップＳ７の動作と同じ動作である。このため、以下、ステップＳ２１〜ステップＳ２３の動作を説明する。ステップＳ４〜ステップＳ７の動作は、上述の第１の実施の形態の説明を参照されたい。

ステップＳ２１では、図７に示す特徴点抽出部５１が、広角レンズの中央部の撮像画像に相当する第１の視差画像（又は輝度画像でもよい）から、「繰り返しパターン判定処理」に用いる特徴点を抽出し、ステップＳ２２に進む。ステップＳ２２では、テクスチャ判定処理部５２が、第１の視差画像に繰り返しパターンが存在するか否かを判定する「繰り返しパターン判定処理」を行う。

具体的には、テクスチャ判定処理部５２は、第１の視差画像からサンプル点を選択し、周辺の視差情報を用いて非類似度（又は類似度）を計算する動作を、第１の視差画像の左方向又は右方向に沿って行う。繰り返しパターンが存在する場合、非類似度として、複数の極小値が検出される。極小値が所定個数以上算出されということは、選択したサンプル点の周辺が、繰り返しパターンの一部であることを示している。このため、テクスチャ判定処理部５２は、サンプル点を複数個所選択し、サンプル点毎に非類似度の極小値の個数を検出し、検出された極小値の個数に基づいて、第１の視差画像に繰り返しパターンが存在するか否かを判定する。

さらに具体的には、テクスチャ判定処理部５２は、
１．全選択点の数×閾値＜繰り返しパターンと判定されたサンプル点の数
２．第１の視差画像の面積×閾値＜繰り返しパターンと判定された視差点の数
３．第１の視差画像で算出された視差点の数×閾値＜繰り返しパターンと判定された視差点の数、
のいずれかの条件又は複数の条件を満たす場合に、第１の視差画像に繰り返しパターンが存在すると判定する。

なお、参考文献（特開２０１６−１６６８５０号公報）に、視差計算時において、ピクセル毎にマッチングコスト（相違度）の値を用いて繰り返しパターンを判定する手法が開示されている。この手法を用いてもよい。

また、第１の視差画像の所定値以上（例えば、８割以上）に視差計算エラーが発生した場合に、第１の視差画像に繰り返しパターンが存在すると判定してもよいし、又は、視差計算のコスト曲線が所定の変化率を示した場合に、第１の視差画像に繰り返しパターンが存在すると判定してもよい。

また、検出したエッジペアの視差値を算出して、第１の視差画像で得られた視差値のうち、エッジペアの視差値に近い視差値を検出することで、正しい視差値を推定してもよい。

テクスチャ判定処理部５２は、このような条件に基づいて、第１の視差画像から図１４に示すような繰り返しパターンを検出する。第１の視差画像から繰り返しパターンが検出された場合、ステップＳ４〜ステップＳ７において、図１４に示すように、エッジペア判定部５４が第２の視差画像からエッジペアを検出し、検出されたエッジペアに基づいて、物体判定処理部５５が物体検出処理を行う。

このような第３の実施の形態の機器制御システムは、繰り返しパターンがあり、第１の視差画像を用いた視差値の算出処理が困難となる場合に、例えば壁又は天井等の繰り返しパターンが存在する可能性が低い領域を撮像した第２の視差画像を用いて物体検出処理（又は、第１の視差画像領域の視差値の推定）を行う。これにより、繰り返しパターンに影響されることなく精度よく物体の検出処理を行うことができる他、上述の各実施の形態と同様の効果を得ることができる。

（第３の実施の形態の変形例）
第１の視差画像にガラス面が写っている場合に、第２の視差画像を用いて物体検出を行ってもよい。すなわち、第１の視差画像にガラス面が存在する場合、ガラスを介して反対側に位置する風景と、ガラスに反射した手前側の風景との両方が写り込み、背景の距離と写り込んだ物体の位置までの距離とが混在して算出される。

この場合、一面同一距離のガラスでない物体が写っている場合と比べて、第１の視差画像の視差値の分散が大きくなる。このため、テクスチャ判定処理部５２は、以下の条件に示すように、第１の視差画像における分散した視差の値が閾値よりも大きな値である場合に、第１の視差画像にガラス面が写っていると判定する。

第１の視差画像における分散した視差の値＞閾値

この判定により、物体判定処理部５５は、第１の視差画像を用いた物体検出処理から第２の視差画像を用いた物体検出処理に切り替える。これにより、第１の視差画像にガラス面が写っている場合も、精度の良い物体検出処理を可能とすることができる他、上述の各実施の形態と同様の効果を得ることができる。

上述の各実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な各実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。例えば、距離の値（距離値）と視差値は等価に扱える。上述の実施の形態の説明では、距離画像の一例として視差画像を用いて説明しているが、これに限られない。例えば、ステレオカメラを用いて生成した視差画像に対して、ミリ波レーダやレーザレーダ等の検出装置を用いて生成した距離情報を統合して、距離画像を生成してもよい。また、ステレオカメラと、ミリ波レーダやレーザレーダ等の検出装置を併用し、上述したステレオカメラによる物体の検出結果と組み合わせることにより、検出の精度をさらに高める構成としてもよい。

また、ステレオカメラの一方のレンズを広角レンズ、他方のレンズを広角レンズよりも該一方のレンズよりも画角の小さいレンズにし、共通する画角で撮像した領域を第１の撮像画像領域、広角レンズの共通しない画角で撮像した領域を第２の撮像画像領域としてもよい。このとき、例えば第２の撮像画像領域の所定の２箇所のＲＧＢ値又は輝度値を比較し、２箇所の値の差分が所定値以下、かつ、その２箇所に挟まれた第１の撮像画像領域に物体が検出されない場合、第１の撮像画像領域に物体が存在すると推定する構成としてもよい。

このような各実施の形態及び各実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ ステレオカメラ装置
２ 筐体部
３ 基準画像撮像部
４ 比較画像撮像部
２２ ＣＰＵ
３１ 第１の撮像領域
３２ 第２の撮像領域
４１ 画像処理部
４２ 視差画像生成部
４３ 物体検出部
４４ 制御装置
５１ 特徴点抽出部
５２ テクスチャ判定処理部
５３ 切り替え制御部
５４ エッジペア判定部
５５ 物体判定処理部

特開２００９−１９８４４５号公報

Claims (9)

1. 所定の画角の広角レンズの中央部に相当する第１の撮像領域で撮像された第１の撮像画像領域、又は、前記広角レンズの周辺部に相当する第２の撮像領域で撮像された第２の撮像画像領域を含む撮像画像から、物体の検出を行うための所定の特徴点を検出する特徴点検出部と、
   前記特徴点検出部により、前記第１の撮像画像領域から所定量以上の特徴点が検出された場合、前記第１の撮像画像領域から検出される前記特徴点に基づいて、前記第１の撮像画像領域内の物体を検出し、前記第１の撮像画像領域から検出された前記特徴点が所定量未満であった場合、前記第２の撮像画像領域から検出される前記特徴点に基づいて、前記撮像画像内の物体を検出する物体検出部と
   を有する物体検出装置。
2. 前記物体検出部は、前記第２の撮像画像領域から前記特徴点を検出する場合、撮像方向の上下方向にそれぞれ位置するペアとなる特徴点、及び、前記上下方向に対して２次元的に直交する方向である左右方向にそれぞれ位置するペアとなる特徴点のうち、少なくとも一方の前記ペアとなる特徴点を検出すること
   を特徴とする請求項１に記載の物体検出装置。
3. 前記物体検出部は、前記第１の撮像画像領域において、連続して検出していた同一の物体が未検出となった際に、前記第２の撮像画像領域から前記同一の物体を検出すること
   を特徴とする請求項１又は請求項２に記載の物体検出装置。
4. 前記物体検出部は、前記第１の撮像画像領域において、同一のテクスチャが繰り返し現れている場合、前記第２の撮像画像領域に基づいて前記物体の検出を行うこと
   を特徴とする請求項１から請求項３のうち、いずれか一項に記載の物体検出装置。
5. 前記物体検出部は、前記第１の撮像画像領域において、ガラス面が現れている場合、前記第２の撮像画像領域に基づいて前記物体の検出を行うこと
   を特徴とする請求項１から請求項４のうち、いずれか一項に記載の物体検出装置。
6. 特徴点検出部が、所定の画角の広角レンズの中央部に相当する第１の撮像領域で撮像された第１の撮像画像領域、又は、前記広角レンズの周辺部に相当する第２の撮像領域で撮像された第２の撮像画像領域から、物体の検出を行うための所定の特徴点を検出する特徴点検出ステップと、
   物体検出部が、前記特徴点検出部により、前記第１の撮像画像領域から所定量以上の特徴点が検出された場合、前記第１の撮像画像領域から検出される前記特徴点に基づいて、前記第１の撮像画像領域内の物体を検出し、前記第１の撮像画像領域から検出された前記特徴点が所定量未満であった場合、前記第２の撮像画像領域から検出される前記特徴点に基づいて、前記撮像画像内の物体を検出する物体検出ステップと
   を有する物体検出方法。
7. コンピュータを、
   所定の画角の広角レンズの中央部に相当する第１の撮像領域で撮像された第１の撮像画像領域、又は、前記広角レンズの周辺部に相当する第２の撮像領域で撮像された第２の撮像画像領域から、物体の検出を行うための所定の特徴点を検出する特徴点検出部と、
   前記特徴点検出部により、前記第１の撮像画像領域から所定量以上の特徴点が検出された場合、前記第１の撮像画像領域から検出される前記特徴点に基づいて、前記第１の撮像画像領域内の物体を検出し、前記第１の撮像画像領域から検出された前記特徴点が所定量未満であった場合、前記第２の撮像画像領域から検出される前記特徴点に基づいて、前記撮像画像内の物体を検出する物体検出部として機能させること
   を特徴とする物体検出プログラム。
8. 異なる２点から所定の撮像領域を撮像して撮像画像を出力する撮像部と、
   前記撮像部の撮像画像を用いて視差画像を生成する視差画像生成部と、
   前記視差画像を用いて物体検出を行う物体検出部と、を備え、
   前記物体検出部は、前記視差画像を第１視差画像領域と第２視差画像領域に分割し、該第１視差画像領域を用いた物体検出結果が所定の条件を満たす場合に、該第１視差画像領域および第２視差画像領域を用いて物体検出を行うこと
   を特徴とする撮像装置。
9. 撮像装置で生成された視差画像内の物体を検出し、制御装置が、前記物体の検出結果に基づいて、機器の所定の動作を制御する機器制御システムであって、
   前記撮像装置は、
   異なる２点から所定の撮像領域を撮像して撮像画像を出力する撮像部と、
   前記撮像部の撮像画像を用いて視差画像を生成する視差画像生成部と、
   前記視差画像生成部により生成された、所定の画角の広角レンズの中央部に相当する第１の撮像領域に対応する第１の視差画像、又は、前記広角レンズの周辺部に相当する第２の撮像領域に対応する第２の視差画像から、物体の検出を行うための所定の特徴点を検出する特徴点検出部と、
   前記特徴点検出部により、前記第１の撮像画像領域から所定量以上の特徴点が検出された場合、前記第１の視差画像から検出される前記特徴点に基づいて、前記第１の視差画像内の物体を検出し、前記第１の視差画像から検出された前記特徴点が所定量未満であった場合、前記第２の視差画像から検出される前記特徴点に基づいて、前記第２の視差画像内の物体を検出する物体検出部と、を有すること
   を特徴とする機器制御システム。

Images