JP7293100B2 - カメラシステム - Google Patents

Description

本発明はカメラシステムに関する。

カメラによって撮像された画像等に基づき、画像中で移動する物体を検知するための様々な技術が公知である。このような技術の例は、特許文献１および２に記載される。特許文献１に記載された技術では、「背景差分法と顕著性算出法を使い分ける要因として画像内の距離に注目し、画像内に撮像された近距離の物体を検出するためには背景差分法を用い、また、画素値の変化が少なく背景差分法では検出されにくい遠距離の物体を検出するためには顕著性算出法を用いている。なお、画像内に物体が撮像され得ない（歩行者が出現し得ない）画像の消失点より上の領域については、物体検出を行う領域からあらかじめ除外する。」と記載されている。

また、特許文献２には、「視差画像より推定される距離情報（距離マップ）を参照し、テンプレート画像および探索画像を最適なサイズに設定することで、正しい被写体領域を決定する確率を向上している。決定された１つの被写体領域の情報が被写体追跡部１６１の出力となる。」ことが記載されている。

特開２００７－６４８９４号公報 特開２０１９－７９４４０号公報

C. Yang, H. Hongo, and S. Tanimoto, "A New Approach for In-Vehicle Camera Obstacle Detection by Ground Movement Compensation", 2008 11th International IEEE Conference on Intelligent Transportation Systems, 2008.

車載のカメラシステムの場合、従来の技術では、視差が出ない領域で、且遠方の領域の物体検知をするために、テンプレートマッチング処理や顕著性算出法を用いて検知しようとすると、テンプレートや顕著性を抽出すべき大きさを特定することができず、処理負荷が大きいという課題があった。

たとえば、特許文献１の技術では、遠方の領域や消失点より下の領域に絞って顕著性算出法を用いるとしているが、車両の上下動によりカメラの光軸が上下に動くことを考慮すると領域の絞り込みが不十分で処理負荷が高くなる。

また、特許文献２の技術では、視差の出ていない領域のテンプレートサイズを決定する方法がなく、全領域で視差を出せないと検知が難しい。

本発明は、上記のような課題に鑑みてなされたものであり、カメラの光軸が上下に変化しても、物体を適切に検知できる画像処理システムおよびカメラシステムを提供することを目的とする。

本発明に係るカメラシステムの一例は、
距離取得領域について距離を取得する距離取得部と、
前記距離取得領域と少なくとも一部が重複する画像取得領域について画像を取得するカメラと、
前記画像について、テンプレートを用いてテンプレートマッチング処理を行うことにより対象物を検知する、テンプレートマッチング検知部と、
前記距離取得部で算出された距離に基づき、路面の位置を推定する路面推定部と、
前記路面の位置に基づき、前記画像における探索線を算出する、探索線算出部と
を備え、
前記探索線は、前記画像中の路面において距離が所定の値となる位置に沿った線であり、
前記テンプレートマッチング処理は、前記探索線に沿って行われる、
ことを特徴とする。

本発明に係る画像処理システムおよびカメラシステムによれば、カメラの向きが上下に変化する車載システムにおいても、低処理負荷で、特定の物体を検知することができる。

本発明の実施例１に係るカメラシステムの構成の例を示すブロック図。 実施例１に係る画像処理システムの視野画角の具体例を示す図。 図２のステレオカメラで撮像される画像の具体例を示す図。 図１の単眼遠方検知部による探索処理の例を示す図。 実施例１に係る探索枠の寸法を求める方法を示す図。 実施例２に係るカメラシステムの構成の例を示すブロック図 実施例２に係る撮像部の画角の例を示す図。 実施例３に係るカメラシステムの構成の例を示すブロック図 実施例３に係る測距センサ部および撮像部の画角の例を示す図。 実施例３に係る測距センサ部および撮像部の画角の例を示す図。

以下、この発明の実施例を添付図面に基づいて説明する。
［実施例１］
本発明の実施例１に係る画像処理システムは、画像（たとえばカメラで撮像されたシャッタ画像）中において、対象となる物体検知を行うものであり、たとえば移動体や立体物、特定の物体を検知することができる。この「移動体」とは、背景に対して動いているものを指す。ただし、「背景」とは、画像中で変化しない画素からなる領域に限らない。例えば前方センシングを行う車載カメラの場合には、路面が背景の例であり、路面に対して移動を行う歩行者や車両が移動体の例である。また例えば固定された監視カメラであれば、カメラ画像内で動く人物や動物、動かされる物、等が移動体の例である。

「立体物」は、たとえば、路面に対して高さのある物体を意味し、車両や歩行者、二輪車、電柱などをいう。「特定の物体」は、たとえば、意図的に検知したい特定の物体を意味し、たとえば、車両や歩行者、二輪車などをいう。前記特定の物体は、テンプレートやパターンや機械学習の辞書などを予め用意して、該テンプレートやパターンや機械学習の辞書との類似度が高いか否かに基づいて検知することができる。

図１は、本実施例に係るカメラシステムの構成の例を示すブロック図である。カメラシステムは、複数の撮像部１０１と、ステレオマッチング部１０２と、路面推定部１０３と、サイズ算出部１０４と、探索線算出部１０５と、テンプレート探索方法決定部１０６と、単眼遠方検知部１０７と、単眼俯瞰差分検知部１０８とを備える。

撮像部１０１は撮像センサを含み、たとえば公知のカメラとして構成される。撮像センサにはレンズが取り付けられ、装置の外界を撮像する。撮像センサは、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を備える撮像センサであり、光を電気信号に変換するものである。

撮像部１０１の撮像センサで電気信号に変換された情報は、さらに撮像部１０１内で、画像を表す画像データに変換される。画像データは画素の輝度値を含む。輝度値は、たとえばデジタル値として表現することができ、色毎の輝度値や、モノクロの輝度値として表される。色毎の輝度値としては、たとえばＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）またはＲＣ（Ｒｅｄ Ｃｌｅａｒ）が利用可能である。

撮像部１０１は、画像データを、ステレオマッチング部１０２と単眼遠方検知部１０７と単眼俯瞰差分検知部１０８とに送信する。

撮像部１０１は、撮像センサの露光条件を変更する機能を備える。たとえば、撮像センサにグローバルシャッタまたはローリングシャッタ等の電子シャッタが備わっており、露光時間を任意の時間に設定して撮影することができる。受光素子として、受光すると電荷が蓄積されるフォトダイオードを用いる場合には、露光時間は、フォトダイオードの蓄積電荷をリセットしてから、輝度値に係る情報を読み出すために電荷を取り出すまでの時間を指す。

露光時間を長くすると電荷が多く蓄積されるので、読み出される輝度値が高くなる。一方で露光時間を短くすると蓄えられる電荷が少なくなるので、読み出される輝度が低くなる。そのため、露光時間に相関して、撮像センサから得られる画像の明るさが変化する。

撮像部１０１では、フォトダイオードから取り出される電荷量を電圧に変換し、Ａ／Ｄ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ）変換を行ってデジタル値を取得する。撮像部１０１はＡ／Ｄ変換に用いる増幅器を備えており、露光条件の一部として増幅器のゲインが変更できるように構成される場合がある。その場合には、増幅器のゲイン設定に応じて読み出される輝度値が変化する。ゲインを高くすれば輝度値は高く、ゲインを低くすれば輝度値は低くなる。

ここで、一般的に、露光条件（上記の例では露光時間およびゲイン）の変化により輝度値が低くなると、暗い対象物の輝度値が０になったり、コントラスト比が低い対象物の輝度値が一様になったりし、輪郭や濃淡等が判別できなくなる場合がある。この問題は輝度値をデジタル値として表現する場合に顕著であるが、アナログ値として表現する場合にも同質の問題が発生し得る。同様に、露光条件の変化により輝度値が高くなると、明るい対象物の輝度値が最大値となり、対象物の輪郭や対象物の濃淡が判別できなくなる場合がある。従って、撮影する対象物の明るさに応じて露光条件を設定すると好適である。

撮像部１０１は、時系列的に繰り返し電子シャッタを切り、シャッタ毎の画像データを取得することにより動画を撮影することができる。単位時間あたりの電子シャッタを切り画像データを出力する回数をフレームレートと呼び、１秒あたりのフレームレートをＦＰＳ（Ｆｒａｍｅ Ｐｅｒ Ｓｅｃｏｎｄ）の単位で表す。

ステレオマッチング部１０２は、複数の撮像部１０１から画像データを含むデータを受信し、これを処理することにより、画像データ間の視差を演算する。視差は、基準となる撮像部１０１からの画像データに対する、該基準となる撮像部１０１以外の撮像部１０１からの画像データの、視差である。前記視差とは、複数の撮像部の位置の違いから生じる、同一物体の写る画像座標の差を示す。視差は、近距離のものは大きく、遠距離のものは小さくなり、視差から距離を算出することが可能である。

撮像部１０１は、たとえば２つ備わり、それぞれの撮像部の視野は、一部重なり、一部重ならない。図２に、図１の画像処理システムの視野画角の具体例を示す。２つの撮像部１０１を車の前方向きに取り付ける例である。本実施例のカメラシステムは、車両２０１に取り付けられる。

カメラシステムは、２つの撮像部１０１を備えるステレオカメラ２０２を備える。右視野を撮像する撮像部１０１を、図２ではとくに撮像部２０３として示す。左視野を撮像する撮像部１０１を、図２ではとくに撮像部２０４として示す。撮像部２０３および２０４は、車両２０１の前方中央視野において、重なった視野を持つ。

撮像部２０３は、視野２０５を有する。撮像部２０４は、視野２０６を有する。撮像部２０３は、車両２０１の右側に、撮像部２０４の視野２０６よりも外側となる右視野を持つ。撮像部２０４は、車両２０１の左側に、撮像部２０４の視野２０５より外側となる左視野を持つ。

図３に、図２のステレオカメラ２０２で撮像される画像の具体例を示す。図３（ａ）は撮像部２０３によって取得される画像３０１を示し、図３（ｂ）は撮像部２０４によって取得される画像３０２を示し、図３（ｃ）はこれら２つの画像の合成画像３０３を示す。

画像３０１は右向きの撮像部２０３の画像であり、前方の中央近傍および右側が撮像されている。画像３０２は左向きの撮像部２０４の画像であり、前方の中央近傍および左側が撮像されている。

合成画像３０３は、撮像部２０３と撮像部２０４とがそれぞれ撮像した画像を合成した、左右撮像部合成画像である。合成画像３０３は、領域３０４と、領域３０５と、領域３０６とを含む。領域３０４は、画像３０２の内、画像３０１には写っていない視野領域に該当する部分であり、左単眼視視野である。領域３０５は、画像３０１の内、画像３０２には写っていない視野領域に該当する部分であり、右単眼視視野である。

領域３０４および３０５は、一つのカメラで撮像された単眼領域である。領域３０６は、画像３０１および３０２の両方に写っている部分であり、ステレオ視視野（距離取得領域）である。このように、撮像部２０３および２０４は、ステレオ視視野（距離取得領域）と少なくとも一部が重複する領域（画像取得領域）について、画像を取得する。

ステレオマッチング部１０２は、画像データの歪みを補正してもよい。たとえば、中心射影モデルや透視投影モデルを用い、同一の高さで同一の奥行距離の物体が、画像中で水平に並ぶ様に、画像データの歪を補正する。前記補正された左右双方の画像に対して（たとえば２つの撮像部１０１それぞれの画像に対して）ステレオマッチング処理を行う際は、１つの撮像部１０１の画像データ(基準画像データ)を基準として、これともう一方の撮像部１０１の画像データ（比較画像データ）とを比較することにより、視差を求める。

このように、本実施例では、ステレオマッチング部１０２が距離取得部として機能し、ステレオ視視野について、視野中に現れる対象物（たとえば路面）の距離を取得する。とくに、本実施例では、ステレオマッチング部１０２は複数のカメラ（撮像部２０３および２０４）を備え、ステレオマッチングを行うことにより距離を算出する。このような構成により、高価な測距手段が不要となり、コストを低減できる。

なお、本明細書において、「距離」の定義および測定方法は当業者が適切に決定可能である。たとえば、「路面の距離」とは、路面と、カメラシステムに対して特定される基準点との間の距離をいう。また、距離の起点（たとえば特定の基準点）は、撮像部２０３と撮像部２０４との中点であってもよく、車両２０１の特定部位（たとえば車両の前端中央）であってもよく、他の装置（測距装置等）の位置であってもよい。また、距離の測定は、たとえば算出された視差に基づいて公知の方法により実施することができる。

本実施例では、領域３０４および３０５において特定の物体を検知する。或いは、本実施例では、領域３０４、３０５および３０６において特定の物体を検知する。

尚、前記では中心射影モデルや透視投影モデルを用いたが、投影モデルはこれに限らない。たとえば画角が広い場合は、画像データのサイズを抑制するために、たとえば円筒や球面に射影してもよい。マッチング処理は、たとえば投影面上に同一距離の物体が並ぶ探索線に沿って行われる。

視差を求める際は、前記基準画像データと、前記比較画像データの消失点の垂直座標を合わせて、前記基準画像データの各座標に対して、前記比較画像データの同一垂直座標のどの水平座標が同一物体を映しているのかを、たとえばＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）やＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）といった手法で検査する。

尚、前記ではＳＳＤやＳＡＤとしたが、そのほかの手法でもよい。たとえばコーナー特徴点抽出を行い、同一特徴点かを検査する、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）や、ＢＲＩＥＦ（Ｂｉｎａｒｙ Ｒｏｂｕｓｔ Ｉｎｄｅｐｅｎｄｅｎｔ Ｅｌｅｍｅｎｔａｒｙ Ｆｅａｔｕｒｅｓ）などの手法を組み合わせて、同一物体のマッチング処理を行ってもよい。

路面推定部１０３は、ステレオマッチング部１０２で算出された距離に基づき、路面の位置を推定する。路面の位置の推定では、たとえばステレオマッチング部１０２から受け取った視差データをもとに、路面に対応する特定の視差を有する部分、点または領域が路面であると推定する。

路面推定部１０３は、予め撮像部１０１の路面からの高さや撮像部１０１の取り付け角度などの情報を有してもよく、路面の写る前記画像データ上の座標と距離との関係を求めて、その関係に適合する視差を生じる点が路面を表す点であると特定してもよい。

本実施例の路面推定部１０３では、視差を用いるとしたが、視差を用いない構成も可能である。たとえば測距結果を用いてもよく、例えばＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）またはミリ波レーダで測距した結果を、カメラ画像の座標とマッピングしたものを用いてもよい。

ＬｉＤＡＲを用いる場合は、カメラとＬｉＤＡＲとの設置位置および向きの関係に基づき幾何変換してマッピングを行うことができる。路面推定を行う処理は、前記幾何変換の後に行われてもよく、前記幾何変換の前に行われてもよい。探索線算出部１０５による探索線の決定処理で用いることができるタイミングで路面を特定しておき、且前記幾何変換を施せば、テンプレートマッチング処理などで探索することが可能である。

サイズ算出部１０４は、テンプレートマッチング処理などの実行時に画像を切り出す枠（単眼遠方検知部１０７が用いる）の大きさを算出する。サイズ算出部１０４では、同一奥行距離の探索線において、該奥行距離に応じてサイズを算出する。すなわち、サイズ算出部１０４は、テンプレートサイズ決定部として機能する。

探索線算出部１０５は、同一の奥行距離を有する路面を表す点に基づいて、単眼遠方検知部１０７がテンプレートマッチング処理において用いる探索線を算出する。探索線は、画像またはその領域において、同一奥行距離となる位置に沿って延びる線である。本実施例では、画像中の路面において、カメラシステムを起点とした距離が所定の値（所定の許容度を考慮した範囲内の値である場合を含む）となる位置に沿った線である。

テンプレート探索方法決定部１０６は、路面の位置と、サイズ算出部１０４が決定した枠の大きさとに基づき、テンプレートマッチング処理（単眼遠方検知部１０７で実行される）の探索方法を決定する。

このようにテンプレートサイズが決定されることにより、テンプレートマッチング処理の精度が向上し、または処理負荷が低減される。

単眼遠方検知部１０７は、撮像部２０３および２０４が取得した画像について、テンプレートを用いてテンプレートマッチング処理を行うことにより、対象物（たとえば特定の物体）を検知するテンプレートマッチング検知部である。

単眼遠方検知部１０７は、テンプレートマッチング処理により、検知したい特定の物体の特徴に当てはまるものがないかを探す。テンプレートマッチング処理は、パターンマッチング処理を含んでもよく、機械学習の辞書によるマッチング処理を含んでもよい。機械学習の辞書は、たとえばＨａａｒ Ｌｉｋｅ特徴量を用いて、Ａｄａｂｏｏｓｔにて、前記特定の物体の様々なバリエーションを学習させることにより生成することができる。この際に、単眼遠方検知部１０７は、テンプレート探索方法決定部１０６が決定した大きさの枠を用い、画像データからテンプレートマッチング処理の対象領域を切り出す。このようにして単眼遠方検知部１０７は該特定の物体を検出する。たとえば、対象領域の画像が前記特定の物体の画像と類似しているか否かを判定し、これによって、その対象領域に該特定の物体が写っているか否かを判定する。

前記特定の物体の探索処理では、画像上の特定の領域を切り出し、該切り出した領域の画像と、テンプレートやパターンや機械学習の辞書で表現されたモデル（またはモデル画像）とに基づき、これらの類似度を検査する。この前記切り出しでは、前記モデルを、特定の画像の大きさや角度に応じ、たとえば正規化処理等により、適切な大きさおよび角度（たとえば実際の画像に近い大きさおよび角度）に揃えると好適である。ただし、車両や歩行者や二輪車は、路面に対して大きく傾いてカメラに写ることは少ないので、角度は合っていると考えることもでき、その場合には角度を揃える処理は省略可能である。

モデルを前記適切な大きさに合わせるには、前記モデルの実際の大きさと、写っている特定の物体と撮像部１０１との距離と、撮像部の焦点距離および画素ピッチとが分かっていればよい。

たとえば路面において、カメラシステムからの距離が同一となる位置が水平に並んでいる場合を考える。車両、歩行者、二輪車等は、路面に接して立っているので、これらがカメラシステムから等距離にあれば、これらの下端は水平に揃う（すなわちＹ座標が一致する）と考えられる。また、この場合には、カメラシステムからこれらの特定の物体までの距離は、その下端に位置する路面までの距離と等しいと考えられる（なお、ここでは、鉛直線上における上下位置の差による距離の差は無視できるものと考えているが、そうでない場合には適宜変換または補正が可能である）。

前記では路面において同一の距離となる位置が水平に並んでいると想定した。このような場合には、探索線は水平の直線となる。しかしながら、路面が斜めである場合、撮像部１０１が傾いているような場合、画像の周辺に歪みが発生する場合、等では、同一の距離となる位置が、水平ではなく斜めに並んだり、曲線上に並んだりする場合もある。

このような場合には、路面において同一の距離となる位置を結ぶ線（探索線）を、１以上のパラメータを有するモデル関数で表される線として定義しておき、最小二乗法などでパラメータを特定して、数式またはテーブル等に基づき、具体的に探索線を決定してもよい。

このようにして、視差が得られない領域（たとえば領域３０４および３０５）についても路面の推定および探索線の決定が可能である。単眼遠方検知部１０７は、決定された探索線に沿って、テンプレートマッチングなどで特定の物体を探索する。たとえば、探索線を下端として枠を設定し、枠内の領域を切り抜き、該特定の物体が写っていないかを確認する。

図４に、単眼遠方検知部１０７による探索処理の例を示す。合成画像４００は、左右の撮像部１０１の画像を合成したものであり、図３の合成画像３０３に対応する。合成画像４００には路面部４０１が現れている。同一距離点４０２は、視差が互いに等しい点を表し、すなわち距離が等しい点を表す。

探索線算出部１０５は、画像における探索線４０３を、同一距離点４０２に基づいて特定する。探索線４０３の算出は、たとえば、路面の位置（または距離）に基づいて行うことができる。探索線４０３は、たとえば画像中の路面において距離が所定の値（所定の許容度を考慮した範囲内の値である場合を含む）となる位置に沿った線である。

枠４０４は、単眼遠方検知部１０７のテンプレートマッチング処理により特定の物体と比較するために、切り抜く画像領域の枠である。特定の物体４０５が、探索線４０３と整合する位置に現れている。

本実施例では、路面上に探索線４０３を作成し、探索線４０３上に特定の大きさの枠４０４を配置し、枠４０４の下端が探索線４０３に一致した状態で枠４０４を左右に移動させる。このように、単眼遠方検知部１０７によるテンプレートマッチング処理は、探索線４０３に沿って行われる。単眼遠方検知部１０７は、枠４０４を左右に移動させながら、異なる位置において枠４０４から切り抜いた画像についてテンプレートマッチング処理を行い、特定の物体と類似しているか否かを判定する。

本実施例では、テンプレートマッチング処理は、単眼領域（たとえば図３の領域３０４および３０５）において行われ、ステレオ視視野（たとえば図３の領域３０６）では行われない。このようにすると、テンプレートマッチング処理の回数を減らし、処理負荷を低減することができる。ただし、変形例として、ステレオ視視野の全体または一部においてテンプレートマッチング処理を行ってもよい。

いずれかの位置において、切り抜いた画像が特定の物体と類似している場合は、その位置に特定の物体が写っていると検知する。検知された特定の物体までの距離は、探索線４０３までの距離と等しいものと判断される。

ここで、撮像部１０１の向きが上下に変化する場合を考える。撮像部１０１の向きが上下に変化すると、路面が画像中で上下するので、所定距離にある路面の画像中での上下位置が一定せず、想定される上下動の範囲内でテンプレートマッチングを行う必要がある。

このため、従来技術では、ある大きさの枠を、上下左右に２次元的に広がる範囲内の各位置に移動させてテンプレートマッチング処理を行う必要があり、処理負荷が高くなる。

これに対し、本発明の実施例１に係る画像処理システムおよびカメラシステムによれば、路面が画像中で上下しても、路面に合わせた探索線４０３を設定するので、枠の移動範囲は左右方向（または探索線４０３に沿った１次元範囲）のみに限定され、処理負荷が低くなる。このように、カメラの向きが上下に変化する車載システムにおいても、低処理負荷で、特定の物体を検知することができる。

探索線４０３は複数生成してもよい。たとえば、異なる距離についてそれぞれ個別の探索線４０３を生成してもよく、単眼遠方検知部１０７は、各探索線４０３についてテンプレートマッチング処理を行ってもよい。このようにすると、様々な距離において、テンプレートマッチング処理により特定の物体を探索することができる。特定の物体を検知したい距離範囲が予め定まっている場合は、該距離範囲内において複数の探索線を作り、探索を行う。そうすることで、距離範囲外の不要な探索を抑制して、処理時間を短くすることができる。

複数の探索線４０３を設定する場合において、隣接する探索線４０３間の間隔は任意に設計可能である。たとえば、各探索線４０３は、画像上で一定の画素間隔をおいて設定されてもよいし、路面上で一定の距離間隔をおいて設定されてもよい。

ここで、ある程度の距離ずれがあってもテンプレートマッチング処理が可能である場合には、テンプレートマッチング処理の頑強度に応じて探索線４０３間の間隔を決定することができる。たとえば、テンプレートマッチング処理が頑強であり、探索線４０３の距離と特定の物体との距離とが大きく相違していても特定の物体を検出することができる場合には、隣接する探索線４０３間の間隔を大きく設計することができる。このようにすることで、探索線４０３の数を低減し、処理時間を短くすることができる。

一本の探索線４０３上において、テンプレートマッチング処理を行う位置の間隔（たとえば左右方向の間隔）も、同様に設計可能である。たとえば、テンプレートマッチング処理が頑強であり、枠４０４と特定の物体とが大きく隔たっていても特定の物体を検出することができる場合には、テンプレートマッチング処理の間隔を大きく設計することができる。このようにすることで、テンプレートマッチング処理の回数を低減し、処理時間を短くすることができる。

図５に枠４０４の寸法を求める方法について示す。図５は、特定の物体５０１と、撮像部１０１のレンズ５０２と、撮像部１０１の撮像センサ５０３（撮像素子）と、路面５０４とを、光軸と直交する水平方向から見た概念的な位置関係を示す。

撮像部１０１の焦点距離５０５をｆとする。特定の物体５０１と撮像部１０１（より厳密にはレンズ５０２）との奥行距離５０６（距離）をＺとする。画像中の高さ５０７（撮像センサ５０３上に写る特定の物体５０１の高さ）が求めるべき値である。特定の物体５０１の高さ５０８をｈとする。

数式５０９は、これらのパラメータの関係を示す。数式５０９から、画像における枠４０４の高さを求めることができる。前記においては、高さについて示したが、同様に幅についても求めることができる。その場合には、高さｈを幅に置き換え、画像中の高さ５０７を画像中の幅に置き換える。

単眼俯瞰差分検知部１０８は、撮像部１０１から画像データを含むデータを受信し、これを処理することにより画像中の物体を検知する。物体の検知は俯瞰差分方式で行われ、これによって対象物（たとえば移動体）を検知することが可能である。

俯瞰差分方式は、画像の一部（第１領域）について、異なる時刻の俯瞰画像を比較する方式である。俯瞰差分方式では、俯瞰画像の背景差分を取得してもよいし、俯瞰画像の時間差分を取得してもよい。

このような場合には、単眼遠方検知部１０７は、画像の一部（第２領域）においてテンプレートマッチング処理を行ってもよい。この第２領域は、第１領域とは異なる領域であってもよく、とくに、第１領域と重ならない領域であってもよい。このようにすると、単眼遠方検知部１０７によるテンプレートマッチング処理を一部省略することができ、処理負荷が低減される。

なお、単眼俯瞰差分検知部１０８は省略してもよい。

［実施例２］
本発明の実施例２について説明する。実施例２は実施例１と基本的には同じであるが、以下の点において異なる。実施例２では、車両の四面に撮像部を設置し、全周囲の検知を行える様にする。そのため撮像部の水平画角は広くとる。

図６は、実施例２に係るカメラシステムの構成の例を示すブロック図である。実施例２に係るカメラシステムは、１８０度を超える水平画角を撮像可能な撮像部６０１を備える。また、カメラシステムはステレオマッチング部６０２を備え、ステレオマッチング部６０２は、複数の撮像部６０１から画像を受け取り、複数の撮像部が重なる領域においてステレオマッチング処理を行う。これによって路面の距離が推定され、テンプレートマッチング処理が可能となる。

図７は、実施例２のカメラシステムが車両に取り付けられた際の、撮像部６０１の画角の例を示す図である。第１撮像部６０１は水平画角７０１を有する。第２撮像部６０１は水平画角７０２を有する。第３撮像部６０１は水平画角７０３を有する。第４撮像部６０１は水平画角７０４を有する。

水平画角７０１の左端の領域は、水平画角７０２の前端の領域と重なる。水平画角７０１の右端の領域は、水平画角７０３の前端の領域と重なる。水平画角７０４の左端の領域は、水平画角７０２の後端の領域と重なる。水平画角７０４の右端の領域は、水平画角７０３の後端の領域と重なる。

複数の画角が重なる領域において、実施例２のカメラシステムは、ステレオマッチング処理を行い、ステレオマッチングを行った領域において路面推定を行い、結果に基づいて同一距離に対応する視差を有する点を結んだ探索線を作成し、テンプレートマッチング処理を行う。

［実施例３］
本発明の実施例３について説明する。実施例３は実施例１と基本的には同じであるが、以下の点において異なる。実施例３では、測距センサ部を設け、測距センサ部の距離情報に基づいて路面推定を行い、探索線を決定してテンプレートマッチング処理を行う。

図８は、実施例３に係るカメラシステムの構成の例を示すブロック図である。カメラシステムは測距センサ部８０１を備え、測距センサ部８０１は周囲の三次元の距離情報を取得することができる。測距センサ部８０１は、例えばＬｉＤａｒ（Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）である。本実施例では、測距センサ部８０１が距離の測定を行う。

カメラシステムはデータ統合部８０２を備え、データ統合部８０２は、測距センサ部８０１から三次元距離情報を受信し、撮像部１０１からカメラ画像を受信して、該カメラ画像に対して座標変換された距離情報を重畳する。この重畳の処理では、三次元距離情報を、撮像部１０１の三次元位置を視点としたカメラ画像座標に変換して重畳する。これによって路面の距離が推定され、テンプレートマッチング処理が可能となる。

図９に、実施例３のカメラシステムを車両に取り付けた際の、測距センサ部８０１および撮像部１０１の画角の例を示す。測距センサ部８０１は画角９０１（距離取得領域）を有する。測距センサ部８０１は、例えば車両のフロントバンパに取り付けられる。撮像部１０１は画角９０２を有する。撮像部１０１は、例えば車両のフロントガラスに取り付けられる。

実施例３のカメラシステムは、テンプレートマッチング処理を、測距センサ部８０１の画角９０１の外部において行う。すなわち、撮像部１０１の画角９０２のうち、測距センサ部８０１の画角９０１と重なっていない部分のみについてテンプレートマッチング処理を行う。このようにするとテンプレートマッチング処理を行う範囲が限定され、処理負荷が低減される。

また、実施例３の変形例として、カメラシステムは、図１０に示すような視野角の測距センサ部８０１を用いてもよい。撮像部１０１は画角１００１を有する。測距センサ部８０１は画角１００２（距離取得領域）を有する。

測距センサ部８０１の画角１００２は全周囲３６０度に及ぶ。このため、物体の検知は測距センサ部８０１のみで全て行える。しかしながら、物体の種別を識別するためには距離情報だけでは不十分な場合がある。

本変形例のカメラシステムは、物体の種別（たとえば、その物体が特定の物体であるか否か）を識別するために、テンプレートマッチング処理を、測距センサ部８０１は画角１００２内において行う。たとえば、測距センサ部８０１の画角１００２を利用した全周囲画角の路面推定結果に基づき、撮像部１０１の画角１００１内で探索線を決定し、探索線に沿ってテンプレートマッチング処理を行う。そうすることで、物体の種別の識別を効率的に行うことができる。

なお、本発明は上記した実施例および変形例に限定されるものではなく、これら以外にも様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、本発明は必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０１，２０３，２０４，６０１…撮像部
１０２…ステレオマッチング部（距離取得部）
１０３…路面推定部
１０４…サイズ算出部（テンプレートサイズ決定部）
１０５…探索線算出部
１０６…テンプレート探索方法決定部
１０７…単眼遠方検知部
１０８…単眼俯瞰差分検知部
２０１…車両
２０２…ステレオカメラ
３０１，３０２…画像
３０３，４００…合成画像
４０１…路面部
４０２…同一距離点
４０３…探索線
４０４…枠
４０５，５０１…物体
５０２…レンズ
５０３…撮像センサ
５０４…路面
５０５…焦点距離
５０６…奥行距離
５０７，５０８…高さ
６０１…撮像部
６０２…ステレオマッチング部（距離取得部）
８０１…測距センサ部
８０２…データ統合部

Claims (7)

1. カメラシステムであって、
   前記カメラシステムは、
   距離取得領域について距離を取得する距離取得部と、
   前記距離取得領域と少なくとも一部が重複する画像取得領域について画像を取得するカメラと、
   前記画像について、テンプレートを用いてテンプレートマッチング処理を行うことにより対象物を検知する、テンプレートマッチング検知部と、
   前記距離取得部で算出された距離に基づき、路面の位置を推定する路面推定部と、
   前記路面の位置に基づき、前記画像における探索線を算出する、探索線算出部と
   を備え、
   前記探索線は、前記画像中の路面において距離が所定の値となる位置に沿った線であり、
   前記テンプレートマッチング処理は、一つのカメラで撮像された単眼領域において、前記探索線に沿って行われる、
   ことを特徴とするカメラシステム。
2. 請求項１に記載のカメラシステムであって、前記距離取得部は複数のカメラを備え、ステレオマッチングを行うことにより距離を算出することを特徴とする、カメラシステム。
3. 請求項２に記載のカメラシステムであって、
   前記画像のうち第１領域について、異なる時刻の俯瞰画像を比較する俯瞰差分方式により対象物を検知する、俯瞰差分検知部をさらに備え、
   前記テンプレートマッチング検知部は、前記画像のうち、前記第１領域とは異なる第２領域において前記テンプレートマッチング処理を行う、
   ことを特徴とするカメラシステム。
4. 請求項１に記載のカメラシステムであって、前記路面の位置に基づき前記テンプレートのサイズを決定する、テンプレートサイズ決定部をさらに備えることを特徴とする、カメラシステム。
5. 請求項１に記載のカメラシステムであって、前記距離取得部は、距離を測定する測距センサ部を備えることを特徴とする、カメラシステム。
6. 請求項５に記載のカメラシステムであって、前記テンプレートマッチング処理を、前記距離取得領域の外部において行うことを特徴とする、カメラシステム。
7. 請求項５に記載のカメラシステムであって、物体の種別を識別するために、前記テンプレートマッチング処理を、前記距離取得領域内において行うことを特徴とするカメラシステム。

Images