JP5803646B2 - 車両周辺監視装置 - Google Patents

Description

本発明は、車両の周辺領域を撮影する車載カメラによって取得された撮影画像をモニタ表示画像に変換して、車載モニタに表示する車両周辺監視装置に関する。

上記のような車両周辺監視装置の従来技術として、ＣＣＤ素子またはＣＭＯＳ素子を用いた小型カメラである撮像部、映像信号デコーダ、映像変換処理部、映像記憶部、マッピングテーブル記憶部、映像信号エンコーダ、表示部を備えた装置が特許文献１に記載されている。映像変換処理部、映像記憶部、マッピングテーブル記憶部が視点変換処理部を構成している。マッピングテーブル記憶部には、映像変換処理部において視点変換処理を行うための視点変換前後の画素の座標の対応関係が定義されたマッピングデータが格納されたマッピングテーブルがあらかじめ記憶されている。映像変換処理部は、撮像部によって取得された車両周囲の映像（撮影画像）を映像記憶部に一時的に記憶させ、マッピングテーブル記憶部を参照し、マッピングテーブルに応じた画素の画素値を映像記憶部から順次読み出して画素の座標変換を行い、視点変換映像、例えば俯瞰映像（俯瞰画像）をモニタ表示画像として生成する。異なる位置の仮想カメラからの視点変換映像を生成するには、マッピングテーブルはそれぞれの仮想カメラ位置に対応したものが必要となる。従って、対応する複数のマッピングテーブルがあらかじめ算出され、マッピングテーブル記憶部に記憶させておき、視点が異なる視点変換映像をモニタ表示画像として用いられる場合には、その視点変換処理で用いるマッピングテーブルがマッピングテーブル記憶部から選択され、用いられる。

特開２００８‐２４４５１６号公報（段落番号〔００２２−００３７〕、図１）

上述した従来の装置では、モニタ表示画像として用いられる視点変換映像毎に、マッピングテーブルを記憶させておく必要があるので、マッピングテーブル記憶部のメモリ容量が大きくなる。また、予めマッピングデータを演算してマッピングテーブルを作成しておいても、カメラの内部変数や外部変数が変化すると、当該マッピングテーブルは使用できなくなるとう不都合が生じる。
このような問題を避けるために、モニタ表示画像の種類が変更される毎に、当該モニタ表示画像を生成するためのマッピングテーブルを作成する構成を採用した場合、新たなマッピングテーブルの作成の間、それまでのモニタ表示画像を静止画として表示するのは監視装置としては不都合である。また、マッピングテーブルを作成しておく間、何もモニタ表示しないでおくと故障と見間違う恐れがある。
上記実情に鑑み、本発明の目的は、利用するごとにマッピングテーブルを作成する構成を採用しながらも、第１のモニタ表示画像から第２のモニタ表示画像への変更時に違和感が少ない車両周辺監視装置を提供することである。

本発明の特徴は、車両の周辺領域を撮影する車載カメラユニットによって取得された撮影画像を車載モニタに表示するためのモニタ表示画像に変換する際の前記撮影画像の画素と前記モニタ表示画像の画素との対応関係を表すマッピングデータが画素単位で書き込まれるマッピングテーブルと、第１のモニタ表示画像から第２のモニタ表示画像への変更時に、前記第１のモニタ表示画像のためのマッピングデータに対して所定の画素間隔をあけながら前記第２のモニタ表示画像のためのマッピングデータで書き換える書き換え処理を前記マッピングテーブルに対して実行するマッピングテーブル設定部と、前記マッピングテーブルを用いて前記モニタ表示画像を生成する表示画像生成部と、前記書き換え処理の実行中に前記表示画像生成部によって生成された前記第１のモニタ表示画像と第２のモニタ表示画像とが混在した混在モニタ表示画像をモニタに表示する表示制御部とを備えている点にある。

この構成によると、第１のモニタ表示画像から第２のモニタ表示画像への変更時にも順次書き換えられていくマッピングテーブルを用いてモニタ表示画像を生成し、そのモニタ表示画像がモニタに表示される。書き換え処理の間は、マッピングテーブルのマッピングデータが第１のモニタ表示画像の生成用のものと第２のモニタ表示画像の生成用のものとが混ざっていることから、生成されるモニタ表示画像には第１のモニタ表示画像と第２のモニタ表示画像とが混在することになる。しかしながら、この書き換え処理は、第１のモニタ表示画像から第２のモニタ表示画像への移行時に行われるものであることから、この第１のモニタ表示画像と第２のモニタ表示画像とが混在するモニタ表示画像はその遷移画像として違和感が少ない。むしろ、第１のモニタ表示画像から第２のモニタ表示画像への変更時の画像遷移時に両方の周囲の様子を監視できることは利点となる。

マッピングデータの書き換えパターンとして、１画素ないしは数画素おきに書き換えていく方法を採用してもよいが、前記マッピングテーブル設定部は、前記マッピンングテーブルの水平方向または垂直方向で、１以上の画素列飛びで前記第２のモニタ表示画像の１以上の画素列を用いて前記書き換え処理を実行するように構成すると好都合である。このような書き変え処理には、例えば、２列の画素列飛ばしで第２のモニタ表示画像の１列の画素列を上書きしていくような書き換えや、２列の画素列飛ばしで第２のモニタ表示画像の２列の画素列を上書きしていくような書き換えなどのような書き換えパターンが含まれる。このような列飛ばしの書き換えにより、第１のモニタ表示画像から第２のモニタ表示画像への遷移過程が視覚的にも認識し易く、違和感の少ないビュー変更が実現する。

前方ビュー画像からサイドビュー画像への変更、前方ビュー画像から後方ビュー画像への変更、あるいはある方向のビュー画像から俯瞰画像への変更は、車両周辺監視において重要である。このため、本発明の好適な実施形態では、前記車載カメラユニットは複数のカメラからなり、前記モニタ表示画像として異なるビュー画像が取り扱われ、前記マッピングデータには変換元となる撮影画像の指定データが含まれている。複数のカメラを搭載することで、車両の前方領域、後方領域、左右領域の撮影画像をモニタ表示画像の元画像として利用することができ、モニタ表示画像の種類が多くなる。これにより、車両の運転状況に応じて最適なビュー画像をモニタ表示することができる。また、マッピングデータには変換元となる撮影画像の指定データを含めることで、目標としてモニタ表示画像に副数種の撮影画像の画素が含まれるとしても、単一のマッピングテーブルで所望のモニタ表示画像を生成することができる。特に、フロントカメラ、バックカメラ、左・右サイドカメラからの撮影画像を元画像とする俯瞰画像をモニタ表示画像とする場合でも単一のマッピングテーブルで済ませることができるので利点が大きい。

できるだけ広範囲をカバーする撮影画像が望まれるので、使用するカメラには広角レンズが装着される。このため、撮影画像には大きな撮影歪みが生じる。またそのような撮影画像を用いて俯瞰画像を生成する場合にはその撮影歪が倍加される。この撮影歪みの補正を簡単に行うため、本発明の好適な実施形態では、前記マッピングテーブルによる画像変換時に前記撮影画像における撮影歪みが補正される。このためには、撮影ひずみの補正を考慮してマッピングテーブルが作成されるとよい。

本発明で採用されているマッピングデータ書き換えの基本原理を図解する模式図である。 フロントカメラ、バックカメラ、左・右サイドカメラからの撮影画像を元画像とする俯瞰画像をモニタ表示画像として生成する際のマッピングテーブルの働きを図解する模式図である。 本発明による車両周辺監視装置を搭載した車両の運転電子系の一部を示す機能ブロック図である。 車両周辺監視装置を構成する画像処理モジュールの機能ブロック図である。 ビュー変更に伴うマッピングテーブルの書き換え過程を図解した模式図である。

本発明の具体的な実施形態を説明する前に、その基本原理を図１と図２の模式図を用いて説明する。図１では、ビューＡの画面表示からビューＢの画面表示への変更が例示されており、ビューＡはフロントカメラの撮影画像（例えば前方撮影画像）に基づくモニタ表示画像（第１モニタ表示画像と）であり、ビューＢはバックカメラの撮影画像（例えば後方撮影画像）に基づくモニタ表示画像（第１モニタ表示画像）であるとする。前方撮影画像を第１モニタ表示画像に画像変換するためのマッピングテーブルには、第１モニタ表示画像の各画素が前方撮影画像のどの画素を利用するかを規定したマッピングデータが設定される。ここでは説明を簡単にするために、マッピングテーブルのサイズを３×３としているので、そのマッピングデータは、Ｍ（Ａ）＝（ａ11、・・・ａ33）で示されている。同様に、後方撮影画像を第２モニタ表示画像に画像変換するためのマッピングテーブルには、第２モニタ表示画像の各画素が後方撮影画像のどの画素を利用するかを規定したマッピングデータ：Ｍ（Ｂ）＝（ｂ11、・・・ｂ33）が設定される。このマッピングデータは、カメラの内部・外部条件、撮影画像とモニタ表示画像との視点のずれ、撮影画像における種々の画像歪みの補正などのパラメータに基づいて、必要の度に演算され、マッピングテーブルに設定される。これにより、マッピングテーブルに関して要求されるメモリ容量は小さなものとなる。

ビューＡの画面表示からビューＢの画面表示への変更時には、このマッピングテーブルに設定されたＭ（Ａ）をＭ（Ｂ）に書き換えられる。その際、マッピングテーブルの各要素（つまりモニタ表示画像の各画素に対応するマッピングテーブルの各画素）におけるマッピングデータの書き換えは画素間隔をあけながら行われる。さらにその書き換え処理中においても、書き換え途中のマッピングテーブルを用いてモニタ表示画像が生成され、そのモニタ表示画像がモニタ表示される。

つまり、図１から理解できるように、最初にビューＡが表示されている段階（図１の（ａ））では、マッピングテーブルに設定されている全てのマッピングデータは、変換元画像は前方撮影画像であり、変換されモニタに表示される画像は、前方撮影画像に対して変形やトリミング等を施した画像である。次に、ビューＡの画面表示からビューＢの画面表示への変更段階（図１の（ｂ））では、マッピングテーブルに設定されているマッピングデータの一部は前方撮影画像を変換元画像とするもので、他の一部は後方撮影画像を変換元画像とするものとなる。従って、この段階で生成されるモニタ表示画像にはビューＡとビューＢ、つまり前方撮影画像と後方撮影画像が混在することになる。マッピングテーブルがビューＢの画面表示用に完全に書き換えられた段階（図１の（ｃ））では、マッピングテーブルに設定されている全てのマッピングデータは、変換元画像は後方撮影画像となっており、変換されモニタに表示される画像は、前方撮影画像に対して変形やトリミング等を施した画像となる。これにより、ビューＡの画面表示から、ビューＡとビューＢの画面が混在する中間表示を経て、ビューＢの画面表示に切り替えられるので、違和感の少ないビュー変更が実現する。

このマッピングテーブルによる画像変換には、複数のカメラからの撮影画像を変換元画像として用いて、上方視点からの全周囲俯瞰画像を生成することも含まれている。その際には、各マッピングデータには変換元となる撮影画像を指定する指定データが含まれている。図２には、フロントカメラ、バックカメラ、左・右サイドカメラからの撮影画像を元画像とする俯瞰画像、及びフロントカメラからの撮影画像を元画像とする前方ビュー画像を組み合わせモニタ表示画像として生成する際の変換原理が模式的に図解されている。モニタ表示画像の各画素に対応するマッピングテーブルの各要素には、変換元の撮影画像を選択指定するデータ、ＣＨ1〜ＣＨ4、当該撮影画像の処理対象画素を特定する座標値が含まれている。所望のモニタ表示画像を生成するためのマッピングデータを演算して、マッピングテーブルに書き込むことにより、所望のモニタ表示画像がモニタに表示される。

以下、本発明の具体的な実施形態を図面に基づいて説明する。図３は、本発明による車両周辺監視装置を搭載した車両の運転電子系の一部を示す機能ブロック図である。
この車両周辺監視装置を搭載した車両には、４つの車載カメラ１、つまり、フロントカメラ１ａ、バックカメラ１ｄ、左サイドカメラ１ｂ、右サイドカメラ１ｃが装備されている。これらの車載カメラ１からの撮影画像から、前方ビュー画像、後方ビュー画像、サイドビュー画像、俯瞰画像、さらにはそれらを組み合わせたマルチビュー画像が作成される。以下の説明において、適宜、これらの車載カメラ１ａ、１ｂ、１ｃ、１ｄを単にカメラ１と総称する場合がある。車両周辺監視制御が動作する際には、カメラ１による撮影画像ないしは当該撮影画像を用いて生成される俯瞰画像がモニタ表示される。カメラ１は車両周辺を時系列に撮影して得られて撮影画像をデジタル変換してリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズまたは魚眼レンズを備えている。

運転電子系の処理モジュール２３には、運転操作や車両走行の状態を検出する車両状態検出センサ群と接続されており、車両状態検出センサ群からの信号入力をそのまま、あるいは評価して出力する。車両状態検出センサ群には、図示していないが、ステアリング操作方向（操舵方向）と操作量（操舵量）とを計測するステアリングセンサ、シフトレバーのシフト位置を判別するシフト位置センサ、アクセルペダルの操作量を計測するアクセルセンサ、ブレーキペダルの操作量を検出するブレーキセンサ、自車の走行距離を検出する距離センサなどが含まれる。

図３に示すように、車両周辺監視装置の中核をなす運転支援画像処理ユニット２０には、ハードウエア又はソフトウエアあるいはその両方の形態で構築される種々の機能部が含まれるが、本発明に特に関係する機能部としては、画像処理モジュール５０、操作入力処理部６０、通信インターフェース７０、表示制御部７１、音声処理モジュール７２などが備えられている。操作入力処理部６０は、タッチパネル２１Ｔやその他のスイッチ類を通じて運転者によって入力された操作指令に基づいて、運転支援画像処理ユニット２０内に構築された各機能部に制御指令を与える。通信インターフェース７０は車載ＬＡＮのための入出力インターフェースとして用いられており、処理モジュール２３、タッチパネル２１Ｔ、パワーステアリングユニットＰＳ、変速機構Ｔ、ブレーキ装置ＢＫなどの制御ユニットとデータ伝送可能に接続されている。その他、視覚情報の出力デバイスとしてモニタ２１、音声情報の出力デバイスとしてスピーカ２２も搭載されている。画像処理モジュール５０で生成されたモニタ表示画像は表示制御部７１でビデオ信号に変換されてモニタ２１に送られる。音声処理モジュール７２で生成された音声ガイドや緊急時の警告音などはスピーカ２２で鳴らされる。

図４に、運転支援画像処理ユニット２０の画像処理モジュール５０の機能ブロック図が示されている。画像処理モジュール５０は、自車周辺を撮影するカメラ１によって取得された撮影画像から各種のモニタ表示画像を生成する機能を有している。

画像処理モジュール５０は、撮影画像メモリ５１、前処理部５２、テンプレート画像出力部５３、表示画像生成部５４、マッピングテーブル設定部５５、マッピングテーブル５６、表示画像決定部５７、画像合成部５８、フレームメモリ５９を含んでいる。カメラ１によって取得された撮影画像は撮影画像メモリ５１に展開され、前処理部５２はカメラ１によって個々に取得された撮影画像間の輝度バランスやカラーバランス等を調整する。

テンプレート画像出力部５３は、生成されたモニタ表示画像をモニタ２１に表示する際の表示レイアウトに合わせた画像フレームとしてテンプレート画像を出力する。例えば、周辺俯瞰画像をモニタ表示画像として生成する際には、俯瞰画像における自車の位置を明示するために自車の俯瞰画像などのテンプレート画像に含まれる。自車の俯瞰画像は、写真でもよいし、イラストなどでもよい。また、テンプレート画像は、前方ビュー画面や後方ビュー画面など各種ビュー画面におけるマスクとしても利用される。

表示画像生成部５４は、マッピングテーブル５６を用いて、モニタ２１に表示するための所定のモニタ表示画像を撮影画像メモリ５１に展開された撮影画像を変換元画像として生成する。

マッピングテーブル設定部５５は、表示画像生成部５４によって生成されるモニタ表示画像のためのマッピングデータを演算し、マッピングテーブル５６に設定する。このマッピングデータは、撮影画像をモニタ表示画像に変換する際に当該撮影画像の画素とモニタ表示画像の画素との対応関係を表すデータが含まれている。つまり、モニタ表示画像の画素位置に相当する位置アドレスに、処理対象となる撮影画像の識別子や当該撮影画像から取り出される対応画素の座標位置が含まれている。特に本発明との関係で重要な点は、図１を用いて説明した基本原理に基づいて、第１のモニタ表示画像から第２のモニタ表示画像への変更時に、第１のモニタ表示画像のためのマッピングデータに対して所定の画素間隔をあけながら第２のモニタ表示画像のためのマッピングデータで書き換える書き換え処理をマッピングテーブル５６に対して実行することである。

マッピングテーブル５６は、モニタ２１に表示される全てのモニタ表示画像に対応するサイズを有するメモリであり、マッピングテーブル設定部５５によって書き込み、書き換えられ、表示画像生成部５４によって読み出されるマッピングデータを記憶している。
表示画像決定部５７は、操作入力処理部６０を介して送られてくるマニュアル制御指令や図示されていない車両運転制御ユニットから送られてくる制御指令に基づいて、モニタ２１に表示する車両周辺監視画面を決定し、それに用いられるテンプレート画像の出力やモニタ表示画像の生成をテンプレート画像出力部５３や表示画像生成部５４に要求する。

画像合成部５８は、テンプレート画像出力部５３から出力されたテンプレート画像、つまり画像枠に表示画像生成部５４によって生成されたモニタ表示画像等をはめ込む合成処理を行い、最終的なモニタ表示画像を生成して、フレームメモリ５９に転送する。フレームメモリ５９に転送されたモニタ表示画像は、表示制御部７１によって、モニタ２１に表示される。

モニタ２１に表示される車両周辺監視画面に対するビュー変更指示により、つまり第１のモニタ表示画像から第２のモニタ表示画像への移行が行われるが、本発明では、この移行時に、第１のモニタ表示画像と第２のモニタ表示画像とが混在した混在モニタ表示画像がモニタ２１に表示される。このことを、図５の模式図を用いて以下に説明する。図５の例では、前方ビューから後方ビューへの変更、つまり、フロントカメラ１ａによる撮影画像に基づくモニタ表示画像からバックカメラ１ｄによる撮影画像に基づくモニタ表示画像への移行が模式的に示されている。

最初の段階では、マッピングテーブル５６の各要素（画素）は、前方ビュー用モニタ表示画像を生成するマッピングデータ（図では○で示されている）で設定されている（図５（ａ））。マッピングテーブル５６の書き換えが開始されると、ここでは、１から数列飛ばし、の順序で、後方ビュー用モニタ表示画像を生成するマッピングデータ（図では×で示されている）を用いて書き変えられていく（図５（ｂ））。このマッピングテーブル５６の書き換えの間にも、モニタ表示画像が生成され、モニタ画面では、フロントカメラ１ａによる撮影画像にバックカメラ１ｄによる撮影画像がうっすらと映し出されるような画像となる。さらに、マッピングテーブル５６の書き換えが進行すると（図５（ｃ））、そのフロントカメラ１ａによる撮影画像の画素数よりバックカメラ１ｄによる撮影画像の画素数の方が多くなり、バックカメラ１ｄによる撮影画像にフロントカメラ１ａによる撮影画像がうっすらと映し出されるような画像となる。最後には、マッピングテーブル５６の全要素（画素）が、後方ビュー用モニタ表示画像を生成するマッピングデータとなり、後方ビューへの移行が完了する（図５（ｄ））。

〔別実施の形態〕
（１）上述した実施形態の説明では、マッピングテーブル５６の書き換え順序は、１から数個単位の画素とばしの画素単位での書き換えや１から数列飛ばしの列ないしは行単位での書き換えが取り上げられていたが、これ以外、例えば、中方から左右方向ないしは上下方向に書き変えていく方法や、ランダムに書き変えていく方法などを取り入れても良い。
（２）上述した実施形態では、特に画像処理モジュール５０に構築されているテンプレート画像出力部５３、表示画像生成部５４、画像合成部５８などは、説明を分かり易くするためにそれらが果たす機能がブロック化されているが、このブロック化の形態は任意に変更することができる。例えば、テンプレート画像出力部５と表示画像生成部５４と一体化してもよい、テンプレート画像もマッピングテーブルを用いて生成するようにしてもよい。

本発明は、撮影画像に基づくモニタ表示画像を用いて車両周辺の監視を行う全ての技術に利用することができる。

１：カメラ
２１：モニタ
５０：画像処理モジュール
５３：テンプレート画像出力部
５４：表示画像生成部
５５：マッピングテーブル設定部
５６：マッピングテーブル
５７：表示画像決定部
５８：画像合成部
５９：フレームメモリ
７１： 表示制御部
６０：操作入力処理部

Claims (4)

1. 車両の周辺領域を撮影する車載カメラユニットによって取得された撮影画像を車載モニタに表示するためのモニタ表示画像に変換する際の前記撮影画像の画素と前記モニタ表示画像の画素との対応関係を表すマッピングデータが画素単位で書き込まれるマッピングテーブルと、
   第１のモニタ表示画像から第２のモニタ表示画像への変更時に、前記第１のモニタ表示画像のためのマッピングデータに対して所定の画素間隔をあけながら前記第２のモニタ表示画像のためのマッピングデータで書き換える書き換え処理を前記マッピングテーブルに対して実行するマッピングテーブル設定部と、
   前記マッピングテーブルを用いて前記モニタ表示画像を生成する表示画像生成部と、
   前記書き換え処理の実行中に前記表示画像生成部によって生成された前記第１のモニタ表示画像と第２のモニタ表示画像とが混在した混在モニタ表示画像をモニタに表示する表示制御部と、
   を備えた車両周辺監視装置。
2. 前記マッピングテーブル設定部は、前記マッピンングテーブルの水平方向または垂直方向で、１以上の画素列飛びで前記第２のモニタ表示画像の１以上の画素列を用いて前記書き換え処理を実行する請求項１に記載の車両周辺監視装置。
3. 前記車載カメラユニットは複数のカメラからなり、前記モニタ表示画像として異なるビュー画像が取り扱われ、前記マッピングデータには変換元となる撮影画像の指定データが含まれている請求項１または２に記載の車両周辺監視装置。
4. 前記マッピングテーブルによる画像変換時に前記撮影画像における撮影歪みが補正される請求項１から３のいずれかに記載の車両周辺監視装置。

Images