JP6590538B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関する。

従来、車両の周囲に存在する所定の対象物を検出した場合に、警告マークを表示部に表示することで、検出した対象物を運転者に提示する装置が知られている。かかる装置では、表示した警告マークを対象物に徐々に近づくように移動させている（例えば、特許文献１参照）。

特開２０１０−１６０６０６号公報

しかしながら、従来の装置では、警告マークを表示部に表示してから対象物近辺に移動させていた。そのため、運転者が当該対象物を認識するまでに時間がかかる可能性があり、運転者が対象物を認識しやすいとは言えなかった。

本発明は、上記に鑑みてなされたものであって、運転者に対して報知対象物をより容易に認識できるように報知することができる画像処理装置および画像処理方法を提供することを目的とする。

上記課題を解決し、目的を達成するために、本発明の画像処理装置は、検出部と、決定部と、画像処理部とを備える。検出部は、移動体に搭載された撮像装置から入力される撮像画像から報知対象物を検出する。決定部は、前記撮像画像を複数に分割した分割領域のうち前記報知対象物が含まれる対象領域を決定する。画像処理部は、前記報知対象物を報知する報知画像を、前記撮像画像の前記対象領域に対応する位置に重畳して表示部に表示させる。

本発明によれば、運転者に対して報知対象物をより容易に認識できるように報知することができる画像処理装置および画像処理方法を提供することができる。

図１は、実施形態に係る画像処理方法を示す説明図である。 図２は、実施形態に係る周辺監視システムの構成例を示す図である。 図３は、実施形態に係る撮像装置の配置例を示す図である。 図４は、実施形態に係る複数の分割領域を説明する図である。 図５は、実施形態に係る決定部による対象領域の決定について説明する図である。 図６は、実施形態に係る複数の分割領域の一例を示す図である。 図７は、実施形態に係る複数の分割領域の一例を示す図である。 図８は、実施形態に係る報知画像選択テーブルを説明する図である。 図９は、実施形態に係る報知画像選択テーブルの一例を示す図である。 図１０は、実施形態に係る報知画像選択テーブルの一例を示す図である。 図１１は、実施形態に係る報知対象物までの距離と点滅速度との関係を示す図である。 図１２は、実施形態に係る報知対象物までの距離と点滅速度との関係を示す図である。 図１３は、実施形態に係る画像処理部が生成する合成画像の一例を示す図である。 図１４は、実施形態に係る画像処理部が生成する合成画像の一例を示す図である。 図１５は、実施形態に係る画像処理装置が行う画像表示処理を示すフローチャートである。 図１６は、実施形態に係る画像処理装置の変形例を説明する図である。

以下、添付図面を参照して、本願の開示する画像処理装置および画像処理方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

＜１．画像処理方法＞
図１は、本発明の実施形態に係る画像処理方法を示す説明図である。かかる画像処理方法は、例えば移動体に搭載される画像処理装置１０（図示せず）によって実行される。

なお、以下では移動体が車両Ｃ（図示せず）である場合を例にとって説明するが、移動体は自動車に限られない。移動体は、たとえば電車や船舶、航空機などの、利用者が乗車、搭乗または操縦等するものであってもよい。

本実施形態に係る画像処理方法では、まず、車両Ｃに搭載された撮像装置（図示せず）から入力される撮像画像Ｐ１から報知対象物を検出する。図１の例では、画像処理装置１０は、撮像画像Ｐ１から報知対象物として歩行者Ｈを検出する。

以下、報知対象物の例として歩行者Ｈを検出した場合について説明するが、報知対象物は歩行者Ｈに限られない。報知対象物として、例えば走行中の車両、自転車、バイクといった移動物体や、停止車両、電柱や木などの静止物体などがあげられる。

画像処理装置１０は、例えば所定間隔をあけて連続して撮像された複数の撮像画像Ｐ１の時間変化に基づいて報知対象物を検出する。

画像処理装置１０は、撮像画像Ｐ１を複数に分割した分割領域のうち、歩行者Ｈが含まれる対象領域Ｒ４を決定する。具体的には、画像処理装置１０は、例えば撮像画像Ｐ１を複数の領域に分割した分割領域に関する情報を記憶しており、撮像画像Ｐ１における歩行者Ｈの位置が複数の分割領域に含まれるか否か判定することで、歩行者Ｈが含まれる対象領域を決定する。

なお、図１の画像Ｐ２は、撮像画像Ｐ１の分割例を示す画像である。図１の例では、撮像画像Ｐ１を９個の分割領域に分割している。すなわち、図１の画像Ｐ２では、長方形状の分割領域を３行３列のマトリクス状に配置している例を示している。

画像処理装置１０は、歩行者Ｈを報知する報知画像を撮像画像Ｐ１の対象領域Ｒ４に対応する位置に重畳して合成画像Ｐ３を生成する。画像処理装置１０は、生成した合成画像Ｐ３を表示部（図示せず）に表示させる。図１の例では、画像処理装置１０は、歩行者Ｈを報知する報知画像として注意マークＭ１を表示する。

なお、撮像画像Ｐ１の対象領域Ｒ４に対応する位置は、撮像画像Ｐ１の対象領域Ｒ４内の予め決められた位置である。したがって、歩行者Ｈが移動したとしても、歩行者Ｈが対象領域Ｒ４に含まれている場合は、報知画像である注意マークＭ１は撮像画像Ｐ１の同じ位置に表示される。

また、図１では、画像処理装置１０は、注意マークＭ１に加え、歩行者Ｈを囲う枠線Ｍ２を表示する。歩行者Ｈが移動した場合は、歩行者Ｈの移動に応じて枠線Ｍ２も移動する。このように、注意マークＭ１で歩行者Ｈが存在する大まかな領域を報知しつつ、枠線Ｍ２で歩行者Ｈそのものを報知することで、運転者に対して報知対象物をより容易に認識できるように報知することができる。

さらに、図１では、画像処理装置１０は、報知画像に加え、車両Ｃの予測された進行方向を示す予測線Ｌ１、車両Ｃの車幅Ｗ２の延長線を示す車幅線Ｌ２および車両Ｃからの距離Ｄ１、Ｄ２を示す固定線Ｌ２１、Ｌ２２を重畳して合成画像Ｐ３を生成する。このように、合成画像Ｐ３に、報知対象物以外の情報を報知する画像を重畳することができる。

以上のように、画像処理装置１０は、撮像画像Ｐ１を複数に分割した分割領域のうち歩行者Ｈが含まれる対象領域を決定し、当該対象領域に対応する位置に報知画像を表示する。これにより、画像処理装置１０は、運転者に対して報知対象物をより容易に認識できるように報知することができる。より具体的には、報知画像を報知対象物に付随させて表示させるのではなく、報知対象物は含まれる領域に付随させて表示させることで、運転者が画面上のどの領域に報知対象物が存在するかを直感的に認識できるように報知することができる。以下、画像処理装置１０を含む周辺監視システム１についてさらに説明する。

＜２．周辺監視システム１＞
図２は、本発明の実施形態に係る周辺監視システム１の構成例を示す図である。図２に示すように、周辺監視システム１は、画像処理装置１０と、撮像装置２０と、ナビゲーション装置３０と、シフトセンサ４０と、ステアリングセンサ５０とを備える。

＜２．１．撮像装置２０＞
図３は、撮像装置２０の配置例を示す図である。撮像装置２０は、図３に示すように、車両Ｃの後方に配置され、車両Ｃの後方を撮像方向として撮像を行う。図３に示す領域Ｒは、撮像装置２０の撮像範囲を示す領域である。

撮像装置２０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、かかる撮像素子によって撮像した車両Ｃ後方の画像（以下、撮像画像と記載する）を画像処理装置１０に出力する。

また、撮像装置２０のレンズとして魚眼レンズなどの広角レンズを採用することで、撮像装置２０の画角を１８０度以上としてもよい。これにより車両Ｃの後方を広く撮影することが可能となる。

なお、ここでは、撮像装置２０を後方に配置する例について説明したが、これに限られない。例えば撮像装置２０が車両Ｃの前方に配置される前方撮像部と、車両Ｃの後方に配置される後方撮像部と、車両Ｃの右方に配置される右方撮像部と、車両Ｃの左方に配置される左方撮像部とを備え、車両Ｃの前方、後方、右方および左方をそれぞれ撮像方向として撮像を行うようにしてもよい。これにより、車両Ｃ全周囲を撮影することが可能となる。

＜２．２．ナビゲーション装置３０＞
図２のナビゲーション装置３０は、表示部３１と、音声出力部３２と、入力操作部３３と、制御部３４とを備える。ナビゲーション装置３０は、車両Ｃの運転者が運転する際のナビゲーション機能やオーディオ機能などを有する。

表示部３１は、ＬＣＤ（Liquid Crystal Display）を備え、制御部３４の指示に従って例えばナビ画像やテレビジョン放送信号に基づく画像を表示する。また、表示部３１は、画像処理装置１０から入力された撮像画像Ｐ１、合成画像Ｐ３を表示する。

音声出力部３２は、スピーカを備え、制御部３４の指示に従って例えばナビゲーション機能の音声案内や、テレビジョン放送信号に基づく音声を出力する。また、入力操作部３３は、操作者からのナビゲーション装置３０に対する入力操作を受け付ける。なお、表示部３１が例えばタッチパネル式ディスプレイである場合、表示部３１が入力操作部３３の機能を備えるようにしてもよい。

制御部３４は、ナビゲーション装置３０が備える各部を制御する。制御部３４は、例えば入力操作部３３が受け付けた入力操作に基づいて、表示部３１に所定の画像を表示させたり、音声出力部３２に音声データを出力させたりする。

＜２．３．シフトセンサ４０およびステアリングセンサ５０＞
周辺監視システム１は、シフトセンサ４０やステアリングセンサ５０など、車両Ｃの状態を検出する各種センサを備える。

シフトセンサ４０は、シフトレバー（図示せず）のポジションを検出する。シフトレバーのポジションとしては、車両Ｃが完全に停車している「パーキング」や車両Ｃが後退している「リア」等が挙げられる。シフトセンサ４０は、検出したシフトレバーのポジションを画像処理装置１０に出力する。

ステアリングセンサ５０は、車両Ｃのハンドルの舵角を検出する。あるいは、車両Ｃの車輪の舵角を検出するようにしてもよい。ステアリングセンサ５０は、検出した舵角を画像処理装置１０に出力する。

＜２．４．画像処理装置１０＞
画像処理装置１０は、進行予測部１１、検出部１２、決定部１３、画像処理部１４および記憶部１５を備える。

＜２．４．１．進行予測部１１＞
進行予測部１１は、ステアリングセンサ５０から入力される車輪の舵角に基づき、車両Ｃの進行方向を予測する。例えば、進行予測部１１は、車輪の舵角を維持した状態で車両Ｃが移動した場合の軌跡線を、進行方向を示す予測線Ｌ１として算出する。進行方向予測部１１は、算出した予測線Ｌ１を決定部１３および画像処理部１４に出力する。

なお、進行予測部１１による進行方向の予測は、車輪の舵角に基づく方法に限られない。例えば、進行予測部１１が撮像装置２０による撮像画像Ｐ１に基づいて進行方向を予測するようにしてもよい。撮像画像Ｐ１に基づいた進行方向の予測方法としては、例えば時間的に連続する複数の撮像画像Ｐ１からオプティカルフローを用いて進行方向を予測する方法がある。

＜２．４．２．検出部１２＞
検出部１２は、所定間隔をあけて連続して撮像された複数の撮像画像Ｐ１の時間変化に基づいて報知対象物を検出する。検出部１２は、検出した報知対象物を決定部１３および画像処理部１４に出力する。

検出部１２による報知対象物の検出方法としては、例えば上述したオプティカルフローを用いた方法がある。具体的には、まず、検出部１２は、時刻ｔ１に撮像された撮像画像から特徴点Ｆ１を検出する。画像から特徴点を検出する方法としては、例えばエッジとエッジの交点であるコーナーを検出する方法や、ＫＬＴ法などがある。

続いて、検出部１２は、時刻ｔ１の次の時刻ｔ２に撮像された撮像画像から特徴点Ｆ２を検出する。検出部１２は、時刻ｔ１における特徴点Ｆ１の位置および時刻ｔ２における特徴点Ｆ２を結んだ移動ベクトル（オプティカルフロー）を算出し、算出したオプティカルフローに基づいて報知対象物を検出する。

なお、検出部１２が検出する特徴点Ｆ１、Ｆ２の個数は１個に限られない。進行予測部１１が、複数の特徴点Ｆ１、Ｆ２を検出するようにしてもよい。また、検出部１２による報知対象物の検出方法は、オプティカルフローを用いる方法に限られない。例えば、撮像画像とパターン画像とを照合するパターンマッチング法を用いて報知対象物を検出するようにしてもよい。

＜２．４．３．決定部１３＞
決定部１３は、例えばシフトセンサ４０から入力される検出結果に基づいて車両Ｃが後退している場合に、撮像画像Ｐ１を複数に分割した分割領域Ｒ１〜Ｒ９のうち、報知対象物が含まれる対象領域を決定する。ここでは、検出部１２が報知対象物として歩行者Ｈを検出した場合について説明する。

まず、図４を用いて複数の分割領域Ｒ１〜Ｒ９について説明する。図４は、複数の分割領域Ｒ１〜Ｒ９を説明する図である。

図４に示すように、画像Ｐ２は、縦方向に伸びる２本の直線ＬＨ１、ＬＨ２および横方向に伸びる２本の直線ＬＷ１、ＬＷ２によって区切られている。そのため、図４に示す画像Ｐ２には９個の分割領域Ｒ１〜Ｒ９が含まれている。

ここで２本の直線ＬＨ１、ＬＨ２の間の距離Ｗ１は、例えば車幅Ｗ２、すなわち車幅線Ｌ２の２本の直線の間の距離のうち最も長い距離と同じ長さＷ２（図１参照）であるとする。また、横方向に伸びる直線ＬＷ１は、車両Ｃから第１の距離Ｄ１離れた位置を示す線であり、固定線Ｌ２１を左右に延長した線である（図１参照）。横方向に伸びる直線ＬＷ２は、車両Ｃから第２の距離Ｄ２離れた位置を示す線であり、固定線Ｌ２２を左右に延長した線である（図１参照）。

決定部１３は、４つの直線で区切られた９個の分割領域Ｒ１〜Ｒ９のうち、歩行者Ｈが含まれる分割領域を対象領域に決定する。例えば歩行者Ｈが複数の分割領域にまたがって存在する場合、決定部１３は、各分割領域における歩行者Ｈの面積に応じて対象領域を決定する。例えば、決定部１３は、歩行者Ｈを示す画像に含まれる画素数を分割領域Ｒ１〜Ｒ９ごとにカウントしていき、画素数が最も多い分割領域を対象領域に決定する。

このように、決定部１３は、分割領域Ｒ１〜Ｒ９のうち歩行者Ｈが含まれる割合が最も多い分割領域を対象領域に決定する。ここで、分割領域Ｒ１〜Ｒ９のうち歩行者Ｈが含まれる割合が同じ分割領域が存在する場合、すなわち各分割領域における歩行者Ｈの面積が等しい場合、決定部１３は、車両Ｃの進行方向に応じて対象領域を決定する。かかる点について図５を用いて説明する。

図５は、決定部１３による対象領域の決定について説明する図である。図５に示すように、撮像画像Ｐ１の歩行者Ｈの位置によっては、歩行者Ｈが複数の分割領域（図５では分割領域Ｒ５、Ｒ６）にまたがって存在する場合がある。

上述したように、歩行者Ｈが複数の分割領域の１つに偏って存在している場合は、決定部１３は、歩行者Ｈが偏って存在する分割領域を対象領域に決定する。一方、図５に示すように複数の分割領域に含まれる歩行者Ｈの割合が同じ場合、決定部１３は、進行予測部１１が予測した進行方向に応じて対象領域を決定する。

決定部１３は、車両Ｃの進行方向が直進である場合、歩行者Ｈが存在する複数の分割領域Ｒ５、Ｒ６のうち、撮像画像Ｐ１すなわち画像Ｐ２の中央側に近い分割領域Ｒ５を対象領域に決定する。

ここで、画像Ｐ２の中央側に最も近い分割領域とは、例えば複数の分割領域のうち、分割領域の中心画素と画像Ｐ２の中心画素との距離が最も短い分割領域を指すものとする。したがって、例えば歩行者Ｈが複数の分割領域Ｒ５、Ｒ８に同じ割合でまたがっている場合、決定部１３は、分割領域Ｒ５を対象領域に決定する。

撮像画像Ｐ１の周辺領域に比べ中央領域は運転者にとって注目しやすい領域である。したがって複数の分割領域Ｒ１〜Ｒ９のうち画像Ｐ２の中央側に近い分割領域を対象領域とすることで、運転者に対して報知画像をより容易に認識できるように報知することができる。

次に、決定部１３は、車両Ｃの進行方向が旋回である場合、歩行者Ｈが存在する複数の分割領域Ｒ５、Ｒ６のうち、進行方向側の分割領域を対象領域に決定する。例えば車両Ｃの進行方向が右である場合、決定部１３は、複数の分割領域Ｒ５、Ｒ６のうち右側の分割領域Ｒ６を対象領域に決定する。

なお、例えば歩行者Ｈが複数の分割領域Ｒ５、Ｒ８といった縦方向に並ぶ領域に同じ割合でまたがっている場合は、例えば上述したように画像Ｐ２の中央側に近い分割領域Ｒ５を対象領域に決定するようにしてもよい。

ここで、決定部１３が車両Ｃの進行方向に応じて対象領域を決定する場合について説明したが、かかる場合について車両Ｃは必ずしも移動している必要はない。車両Ｃが停止している場合においても、例えば進行予測部１１が車輪の舵角に応じて車両Ｃの進行方向を予測するようにし、進行予測部１１が予測した進行方向に応じて、決定部１３が対象領域を決定するようにしてもよい。

なお、車両Ｃの進行方向が直進である場合とは、進行予測部１１が予測した予測線Ｌ１が直線である場合に限られない。例えば、車両Ｃの予測線Ｌ１の曲率半径が所定の閾値以上である場合に、車両Ｃの進行方向が直進であるとし、所定の閾値未満である場合に旋回であるとしてもよい。

また、図５では、分割領域Ｒ５、Ｒ６に含まれる歩行者Ｈの割合が同じ、すなわち分割領域Ｒ５、Ｒ６における歩行者Ｈの面積が等しい場合に、決定部１３が車両Ｃの進行方向に応じて対象領域を決定するとしたが、これに限られない。例えば分割領域Ｒ５、Ｒ６における歩行者Ｈの面積の差が所定の閾値Ｓｔｈ以下である場合に、決定部１３が車両Ｃの進行方向に応じて対象領域を決定してもよい。

なお、複数の分割領域Ｒ１〜Ｒ９は、図４に示す例に限られない。例えば、図６に示すように、複数の分割領域Ｒ１〜Ｒ９のうち横方向における中央部に位置する分割領域Ｒ２、Ｒ５、Ｒ８をさらに複数のサブ領域Ｒ２＿Ｌ、Ｒ２＿Ｒ、Ｒ５＿Ｌ、Ｒ５＿Ｒ、Ｒ８＿Ｌ、Ｒ８＿Ｒに分割してもよい。なお、図６は、複数の分割領域の一例を示す図である。

この場合、決定部１３は、撮像画像Ｐ１すなわち画像Ｐ２の左右に位置する分割領域Ｒ１、Ｒ３、Ｒ４、Ｒ６、Ｒ７、Ｒ９、および、撮像画像Ｐ１の略中央に位置する複数のサブ領域Ｒ２＿Ｌ、Ｒ２＿Ｒ、Ｒ５＿Ｌ、Ｒ５＿Ｒ、Ｒ８＿Ｌ、Ｒ８＿Ｒの中から歩行者Ｈが含まれる対象領域を決定する。

なお、図６では、分割領域Ｒ２、Ｒ５、Ｒ８をそれぞれ２つのサブ領域に分割する例について示したが、分割数は２つ以上であってもよい。また、他の分割領域Ｒ１、Ｒ３、Ｒ４、Ｒ６、Ｒ７、Ｒ９を複数のサブ領域に分割してもよい。複数の分割領域の個数は９個に限られず、９個より多くても少なくてもよい。

また、分割領域の他の例について図７を用いて説明する。図７は、複数の分割領域の一例を示す図である。図７では、撮像画像Ｐ１すなわち画像Ｐ２を車幅線Ｌ２および固定線Ｌ２１、Ｌ２２に沿って９個の分割領域Ｒ２１〜Ｒ２９に分割した例を示している。

このように、画像Ｐ２を分割する縦方向の２本の直線ＬＨ１、ＬＨ２および横方向の２本の直線ＬＷ１、ＬＷ２は、それぞれ平行である必要はなく、例えば図示しないが、互いに交差していてもよい。

図７では、撮像画像Ｐ１すなわち画像Ｐ２を車幅線Ｌ２および固定線Ｌ２１、Ｌ２２に沿って複数の分割領域Ｒ２１〜Ｒ２９に分割したが、これに限られない。例えば予測線Ｌ１および固定線Ｌ２１、Ｌ２２に沿って分割してもよい。このように、画像Ｐ２を曲線によって分割するようにしてもよい。

複数の分割領域の個数や形状は、例えば報知対象物の大きさや報知画像の大きさ等に応じて任意の個数や形状とすることができる。

＜２．４．４．画像処理部１４＞
図２の画像処理部１４は、歩行者Ｈを報知する報知画像を撮像画像Ｐ１の対象領域（例えば図１の例では分割領域Ｒ４）に対応する位置に重畳する。画像処理部１４は、例えば歩行者Ｈを報知する報知画像として注意マークＭ１を撮像画像Ｐ１に重畳する。さらに画像処理部１４は、歩行者Ｈを囲う枠線Ｍ２を撮像画像Ｐ１に重畳する。

さらに、画像処理部１４は、車両Ｃの予測された進行方向を示す予測線Ｌ１、車両Ｃの車幅Ｗ２の延長線を示す車幅線Ｌ２および車両Ｃからの距離Ｄ１、Ｄ２を示す固定線Ｌ２１、Ｌ２２を重畳して合成画像Ｐ３を生成する。画像処理部１４は、生成した合成画像Ｐ３を表示部３１に表示させる。例えば、画像処理部１４は、車両Ｃが後退している場合に、合成画像Ｐ３を生成し、表示部３１に出力する。

ここで、画像処理部１４は、歩行者Ｈを報知する報知画像を報知画像選択テーブルに従って選択し、選択した報知画像を撮像画像に重畳する。かかる報知画像選択テーブルについて図８を用いて説明する。

＜２．４．４．１．報知画像選択テーブル＞
図８は、本実施形態に係る報知画像選択テーブルを説明する図である。図８に示す報知画像選択テーブルは、各分割領域Ｒ１〜Ｒ９と、表示する報知画像の種類（表示画像）、表示場所および表示方法とをそれぞれ対応付けて記憶している。なお、図８に示す報知画像選択テーブルの「領域Ｎｏ．」は、例えば図５に示す分割領域Ｒ１〜Ｒ９の符号と対応している。

図８に示すように、分割領域Ｒ１〜Ｒ３は、表示画像が「表示なし」となっている。この場合、画像処理部１４は、報知画像を撮像画像Ｐ１に重畳しない。なお、分割領域Ｒ１〜Ｒ３は、車両Ｃから第２の距離Ｄ２以上離れた領域である。

このように、図８の例では、画像処理部１４は、車両Ｃから第２の距離Ｄ２以上離れた位置に存在する報知対象物に関しては、危険度が低く報知優先度が低いとして、報知画像を用いた報知を行わない。ただし、例えば報知対象物を枠線Ｍ２で囲うなどして、報知対象物自体の報知は行うようにしてもよい。

また、図８の報知画像選択テーブルにおいて、分割領域Ｒ４〜Ｒ９は、表示画像が「注意マーク」、表示場所のうち領域（以下、表示領域とも称する）が対応する分割領域Ｒ４〜Ｒ９、表示場所のうち位置、すなわち表示領域内の表示位置（以下、表示位置とも称する）が「中央」となっている。分割領域Ｒ４〜Ｒ６の表示方法は「点滅」、分割領域Ｒ７〜Ｒ９の表示方法は「点灯」である。

このように、車両Ｃと第２の距離Ｄ２との間に存在する報知対象物に関しては、画像処理部１４は、決定部１３が決定した対象領域内の表示位置に注意マークＭ１を表示する。ここで、注意マークＭ１は、例えば三角形の黄色の枠線内に感嘆符を表示したマークであるとする。このとき、画像処理部１４は、第１の距離Ｄ１と第２の距離Ｄ２の間に存在する報知対象物に関して、注意マークＭ１を点滅表示させ、車両Ｃと第１の距離Ｄ１との間に存在する報知対象物に関して、注意マークＭ１を点灯表示させる。

これにより、車両Ｃとの距離に応じて報知対象物を運転者に報知することができ、運転者が、報知対象物に加えて報知対象物と車両Ｃとの距離をより容易に認識できるようになる。

報知画像選択テーブルは、図８に示す例に限られない。例えば画像処理部１４が、図９および図１０に示す報知画像選択テーブルにしたがって報知画像を撮像画像Ｐ１に重畳させるようにしてもよい。図９および図１０は、本実施形態に係る報知画像選択テーブルの一例を示す図である。

図９に示す報知画像選択テーブルは、図８の報知画像選択テーブルの各項目に加え、「点滅速度」、「表示サイズ」の項目を備えている。また、分割領域Ｒ１〜Ｒ６の表示画像を「注意マーク」とし、分割領域Ｒ７〜Ｒ９の表示画像を「警告マーク」としている。ここで警告マークは、例えば三角形の赤色の枠線内に感嘆符を表示したマークである。

また、図９に示す報知画像選択テーブルでは、表示画像の表示位置を各領域の「左側」、「中央」、「右側」と横方向における各分割領域Ｒ１〜Ｒ９の位置に応じて変更している。このように、撮像画像Ｐ１における各分割領域Ｒ１〜Ｒ９の位置に応じて、表示画像の表示位置を変更するようにしてもよい。

さらに、表示方法を各分割領域Ｒ１〜Ｒ９のいずれにおいても「点滅」とし、点滅速度を、車両Ｃからの距離に応じて変更している。具体的には、分割領域Ｒ１〜Ｒ６では点滅速度を「遅い」とし、分割領域Ｒ７〜Ｒ９では「速い」としている。表示サイズは、分割領域Ｒ１〜Ｒ３で「小」、分割領域Ｒ４〜Ｒ６で「中」、分割領域Ｒ７〜Ｒ９で「大」とする。

次に、図１０に示す報知画像選択テーブルでは、分割領域Ｒ４〜Ｒ９の表示位置を、対象領域に隣接する分割領域の所定位置としている。具体的には、表示部３１において各分割領域Ｒ４〜Ｒ９の上に位置する分割領域Ｒ１〜Ｒ６を、分割領域Ｒ４〜Ｒ９の表示領域としている。

このように、報知画像は必ずしも対象領域内に表示する必要はない。上述したように、例えば隣接する分割領域内に表示することで、歩行者Ｈの表示を妨げることなく報知画像を表示部３１に表示することができる。

上述した例では、点滅速度や表示サイズを変更する場合について説明したが、これに限られない。例えば分割領域Ｒ１〜Ｒ３といった報知対象物までの距離が遠い領域に報知対象物が存在する場合は青色で、分割領域Ｒ４〜Ｒ６といった報知対象物までの距離が中程度の領域に報知対象物が存在する場合は黄色で、分割領域Ｒ７〜Ｒ９といった報知対象物までの距離が近い領域に報知対象物が存在する場合は赤色で、報知画像を表示するようにしてもよい。このように、報知対象物までの距離に応じて報知画像の表示色を変更するようにしてもよい。

このように、分割領域Ｒ１〜Ｒ９ごとに報知画像の表示形式を項目にわけて決定しておけばよく、かかる項目の数や内容は図８〜図１０に示す報知画像選択テーブルに示す例に限られない。また、例えば運転者が各項目内容を変更できるようにしてもよい。

なお、図９に示す例では、分割領域ごとに点滅速度を設定するようにしているが、これに限られない。例えば図１１に示すように、報知対象物と車両Ｃとの距離に応じて点滅速度を変更するようにしてもよい。

図１１は、報知対象物までの距離と点滅速度との関係を示す図である。図１１の縦軸は、車両Ｃから報知対象物までの距離を示しており、横軸は、報知画像の点滅速度を示している。

図１１に示すように、車両Ｃから報知対象物までの距離が長い場合は点滅速度を遅くし、近づくほど点滅速度が速くなるようにする。上述したように、本実施形態では各分割領域Ｒ１〜Ｒ９の所定位置に報知画像を表示するようにしている。したがって、報知対象物が移動して対象領域が変更した場合に、報知対象物を知らせる報知画像の位置を変更するようにしている。

そこで、図１１に示す例では、報知対象物が移動しても対象領域が変更にならない場合であっても報知対象物と車両Ｃとの距離に応じて報知画像の点滅速度を変更するようにしている。これにより、報知対象物が車両Ｃに接近していることを運転者に通知することができる。

なお、図１１に示す例では、報知画像の点滅速度が距離に応じて連続して変化する場合について例示しているが、これに限られない。例えば、図１２に示すように、階段状に点滅速度が速くなるようにしてもよい。なお、図１２は、報知対象物までの距離と点滅速度との関係を示す図である。

画像処理部１４は、決定部１３から対象領域の通知を受けると、例えば図８に示す報知画像選択テーブルに基づき、当該報知画像の表示内容を決定する。例えば、対象領域が分割領域Ｒ４である場合、画像処理部１４は、「注意マーク」を分割領域Ｒ４の中央に点滅させて表示させる。

なお、ここでは、画像処理部１４が報知画像として注意マークまたは警告マークを分割領域内に表示させる場合について説明したが、表示させる報知画像はこれに限られない。例えば図１３および図１４に示すように、撮像画像Ｐ１の上部に報知画像を表示させるようにしてもよい。

図１３および図１４は、画像処理部１４が生成する合成画像Ｐ３１の一例を示す図である。図１３に示す合成画像Ｐ３１では、報知画像として注意マークＭ１を表示させるとともに、略長方形の画像Ｍ３を表示させる。

画像Ｍ３は、長さが合成画像Ｐ３１の横幅と同じであり、所定の幅を有する帯状の画像である。以下、画像Ｍ３を報知バーＭ３とも称する。

例えば日光など、強い光が表示部３１に照射されている場合に、光の反射によっては運転者が表示部３１に表示される合成画像Ｐ３１を視認しにくくなる場合がある。このように、運転者が合成画像Ｐ３１を視認しにくい場合であっても、画像処理部１４が注意マークＭ１より大きな報知バーＭ３を重畳して合成画像Ｐ３１を生成することで、運転者に報知対象物を報知することができる。

また、表示部３１の上部は光の影響を受けにくいため、報知バーＭ３を表示部３１の上部に表示されるように重畳することで、運転者が報知バーＭ３をより容易に認識することができるようになる。

なお、車両Ｃから報知対象物までの距離に応じて、例えば報知バーＭ３の表示色を変更することで、報知対象物までの距離を運転者に報知するようにしてもよい。また、報知バーＭ３に例えば文字情報（図示せず）を重畳することで、かかる文字情報によっても運転者に対して報知対象物を報知するようにしてもよい。

あるいは、図１４に示すように、下側ほど報知バーＭ３の透過率を高くすることで、グラデーション表示させるようにしてもよい。これにより、運転者が報知バーＭ３の背面に表示される画像をより視認しやすくすることができる。

なお、ここでは、撮像装置２０が車両Ｃの後方の画像を撮像する場合について述べたが、例えば車両Ｃの全周囲を撮像する場合、画像処理部１４が全周囲を撮像した撮像画像に基づき仮想視点画像を生成するようにしてもよい。

この場合、例えば撮像装置２０からは車両Ｃの前方、後方、右方および左方をそれぞれ撮像方向とする複数の撮像画像が入力される。画像処理部１４は、かかる複数の撮像画像に対して座標変換処理を行い、仮想視点から見た画像である仮想視点画像を生成する。画像処理部１４は、座標変換処理として、例えば撮像画像を所定の投影面に投影（マッピング）し、所定の投影面に投影された撮像画像Ｐ１のうち仮想視点から見て所定の視野角に含まれる領域の画像を仮想視点画像とする。

画像処理部１４は、例えば複数の撮像画像に含まれるデータの位置と、所定の投影面の位置との対応関係を示すテーブルを記憶しており、かかるテーブルを用いて、複数の撮像画像に含まれるデータを所定の投影面の対応する位置に投影する。

かかる所定の投影面は、例えば、略半球状（例えば、お椀形状）をしており、その中心領域（例えば、お椀の底部分）は車両Ｃの位置であり、車両Ｃの位置の外側（例えば、略半球状の外周領域）は、車両Ｃの周辺の領域に相当する。なお、所定の投影面は、例えば、曲面でなく平面であってもよい。

画像処理部１４は、生成した仮想視点画像に報知画像等を重畳して合成画像Ｐ３を生成してナビゲーション装置３０の表示部３１に表示させる。

また、ここでは、画像処理部１４が、車両Ｃが後退している場合に合成画像Ｐ３を表示部３１に表示させるとしたが、これに限られない。例えば車両Ｃが前進している場合にも合成画像Ｐ３を表示部３１に表示させるようにしてもよい。この場合、画像処理部１４は、撮像装置２０が撮像した車両Ｃの前方の撮像画像に報知画像等を重畳させて表示させる。

例えば幅が狭い道路を車両Ｃが通過する場合や、車両Ｃが他車両とすれ違う場合に、合成画像Ｐ３を表示部３１に表示させることで、運転者に対して安全に走行できる進行方向を提示することができる。

＜２．４．５．記憶部１５＞
記憶部１５は、例えば図８に示す報知画像選択テーブルを記憶する。また、記憶部１５は、複数の分割領域Ｒ１〜Ｒ９に関する情報を記憶する。このように、記憶部１５は、画像処理装置１０の各部による処理に用いられる種々の情報を記憶する。また、記憶部１５は、各部の処理結果を記憶する。かかる記憶部１５は、例えばＲＡＭ（Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置で構成される。

＜３．画像表示処理＞
続いて、画像処理装置１０が行う画像表示処理について説明する。図１５は、画像処理装置１０が行う画像表示処理を示すフローチャートである。画像処理装置１０は、例えば車両Ｃのシフトレバーのポジションが「リア」に変更になったことを契機として画像表示処理を開始する。

画像処理装置１０は、撮像装置２０から撮像画像Ｐ１を取得する（ステップＳ１０１）。画像処理装置１０は、取得した撮像画像Ｐ１に報知対象物が存在するか否かを判定する（ステップＳ１０２）。報知対象物が存在しない場合（ステップＳ１０２；Ｎｏ）、画像処理装置１０は、画像表示処理を終了する。

一方、報知対象物が存在する場合（ステップＳ１０２；Ｙｅｓ）、画像処理装置１０は、報知対象物が存在する分割領域を対象領域として決定する（ステップＳ１０３）。画像処理装置１０は、撮像画像Ｐ１のステップＳ１０３で決定した対象領域に対応する位置に報知画像を重畳することで、報知画像を表示部３１に表示させる（ステップＳ１０４）。

なお、ここでは、例えば車両Ｃのシフトレバーのポジションが「リア」に変更になったことを契機として画像表示処理を開始するとしたが、これに限られない。例えばシフトレバーのポジションが「ドライブ」に変更になった場合、すなわち車両Ｃが直進している場合に、画像表示処理を開始するようにしてもよい。あるいは、運転者の操作によって画像表示処理を開始するようにしてもよい。

以上のように、撮像画像Ｐ１を複数に分割した分割領域のうち歩行者Ｈが含まれる対象領域を決定し、当該対象領域に対応する位置に報知画像を表示する。これにより、画像処理装置１０は、運転者に対して報知対象物をより容易に認識できるように報知することができる。

また、分割領域ごとに報知画像を表示することで報知対象物の位置を運転者に対して報知することができる。また、画像処理装置１０が、例えば点滅速度や表示サイズなど車両Ｃから報知対象物までの距離に応じて報知画像の表示を変更することで、運転者に対して車両Ｃから報知対象物までの距離を報知することができる。

＜４．変形例＞
図１６は、本実施形態に係る画像処理装置１０の変形例を説明する図である。図１に示す画像処理装置１０は、報知画像を表示部３１に表示させることで、報知対象物を運転者に報知する。

本変形例では、報知画像に加え、音声を用いて報知対象物を報知する。それ以外の構成要素および動作は実施形態にかかる画像処理装置１０と同じであるため説明を省略する。

具体的には、画像処理装置１０は音声処理部１６をさらに備える。音声処理部１６は、決定部１３が決定した対象領域に対応する音（以下、報知音と称する）を生成し、例えばナビゲーション装置３０の音声出力部３２に出力する。

音声処理部１６は、音データに対して周波数変換や振幅増幅など種々の信号処理を施して報知音を生成する。かかる報知音は、例えばアラーム音や警告音といった機械音でもよく、あるいは合成音声など文字情報を読み上げる音声であってもよい。音データは、例えば記憶部１５に記憶される。

音声処理部１６は、例えば複数の分割領域Ｒ１〜Ｒ９ごとに種類の異なる音データから報知音を生成する。かかる場合、例えば分割領域Ｒ１〜Ｒ３では第１音データ、分割領域Ｒ４〜Ｒ６では第２音データおよび分割領域Ｒ７〜Ｒ９では第３音データというように、車両Ｃと各分割領域Ｒ１〜Ｒ９までの距離に応じて異なる音データとするようにしてもよい。

あるいは、報知音の高さ、すなわち周波数または報知音の音量を分割領域Ｒ１〜Ｒ９に応じて異ならせてもよい。この場合、例えば図１１および図１２に示す点滅速度のように、分割領域Ｒ１〜Ｒ９によらず、車両Ｃから報知対象物までの距離に応じて連続して、あるいは階段状に変化するようにしてもよい。

このとき、車両Ｃから報知対象物までの距離が近いほど、報知音が高くなるよう報知音の周波数を高くする。あるいは、車両Ｃから報知対象物までの距離が近いほど、報知音の音量を大きくする。これにより、車両Ｃから報知対象物までの距離が近く、危険度が高いほど、危険度をより強調して報知対象物を運転者に報知することができる。

以上のように、画像処理装置１０が報知画像および報知音を用いて報知対象物を運転者に報知することで、例えば運転者が表示部３１を視認していないときでも報知対象物を運転者に報知することができる。

このとき、例えば、報知音を対象領域に応じて変更することで、例えば運転者が表示部３１を視認していないときでも、報知対象物が含まれる分割領域Ｒ１〜Ｒ９、すなわち報知対象物の位置を運転者に報知することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 周辺監視システム
１０ 画像処理装置
１１ 進行予測部
１２ 検出部
１３ 決定部
１４ 画像処理部
１５ 記憶部
１６ 音声処理部
２０ 撮像装置
３０ ナビゲーション装置
３１ 表示部
３２ 音声出力部
３３ 入力操作部
３４ 制御部
４０ シフトセンサ
５０ ステアリングセンサ

Claims (7)

1. 移動体に搭載された撮像装置から入力される撮像画像から報知対象物を検出する検出部と、
   前記撮像画像を複数に分割した分割領域のうち前記報知対象物が含まれる対象領域を決定する決定部と、
   前記報知対象物を報知する報知画像を、前記撮像画像の前記対象領域に対応する位置に重畳して表示部に表示させる画像処理部と
   を備え、
   前記決定部は、
   前記報知対象物が複数の前記分割領域にまたがって存在する場合において、複数の前記分割領域における前記報知対象物の面積の差が所定の閾値以下である場合、前記移動体の進行方向に応じて前記対象領域を決定すること
   を特徴とする画像処理装置。
2. 前記決定部は、
   前記移動体が直進している場合、前記報知対象物が存在する複数の前記分割領域のうち、前記撮像画像の中央側に近い領域を前記対象領域に決定すること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記決定部は、
   前記移動体が旋回している場合、前記報知対象物が存在する複数の前記分割領域のうち、前記移動体の進行方向側の領域を前記対象領域に決定すること
   を特徴とする請求項１または２に記載の画像処理装置。
4. 前記決定部は、
   前記撮像画像の左右に位置する前記分割領域、および、前記撮像画像の略中央に位置する前記分割領域をさらに複数に分割したサブ領域の中から前記報知対象物が含まれる前記対象領域を決定すること
   を特徴とする請求項１、２または３に記載の画像処理装置。
5. 前記画像処理部は、
   前記報知画像を前記対象領域に隣接する前記分割領域の所定位置に重畳して前記表示部に表示させること
   を特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記画像処理部は、
   前記移動体から前記報知対象物までの距離に応じて前記報知画像の表示を変更すること
   を特徴とする請求項１〜５のいずれか一項に記載の画像処理装置。
7. 移動体に搭載された撮像装置から入力される撮像画像から報知対象物を検出する工程と、
   前記撮像画像を複数に分割した分割領域のうち前記報知対象物が含まれる対象領域を決定する工程と、
   前記報知対象物を報知する報知画像を、前記撮像画像の前記対象領域に対応する位置に重畳して表示部に表示させる工程と
   を含み、
   前記決定する工程は、
   前記報知対象物が複数の前記分割領域にまたがって存在する場合において、複数の前記分割領域における前記報知対象物の面積の差が所定の閾値以下である場合、前記移動体の進行方向に応じて前記対象領域を決定すること
   を特徴とする画像処理方法。

Images