JP5994437B2

JP5994437B2 - 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム

Info

Publication number: JP5994437B2
Application number: JP2012150363A
Authority: JP
Inventors: 丙辰王; 博彦柳川; 真和竹市
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2012-07-04
Filing date: 2012-07-04
Publication date: 2016-09-21
Anticipated expiration: 2032-07-04
Also published as: CN104429059A; JP2014013994A; EP2846542A4; WO2014006793A1; EP2846542A1

Description

本発明は、車両周囲画像表示制御装置および車両周囲画像表示制御プログラムに関するものである。

従来、車両に取り付けられたカメラで車両の周囲を繰り返し撮影し、撮影画像を車両の上方から見下ろす視点で画像表示装置に表示させる技術が知られている。

このような技術において、自車両の周囲の過去の撮影画像を自車両の動き量に応じて移動させて表示する履歴合成技術が知られている（特許文献１参照）
例えば、カメラが車両の後方を撮影するリアカメラである場合、図１０に示すように、車両９０の後方を除く周囲の鳥瞰画像を保存するための履歴領域Ｈと、車両９０の後方の鳥瞰画像を保存するためのリアルタイム領域Ｒとをメモリ上に設ける。そして、最新の撮影画像の鳥瞰画像をメモリ上のリアルタイム領域Ｒに上書きし、履歴領域Ｈおよびリアルタイム領域Ｒの表示用画像を画像表示装置に表示させ、車両情報（ステアリング角、車速等）を利用して車両９０の動きを計算し、計算した車両９０の動きと逆の動きをするよう、履歴領域Ｈおよびリアルタイム領域Ｒにおいて画像を移動させる。

このような処理を繰り返すことで、例えば車両９０が後退するときに画像表示装置に表示される画像は、図１１Ａ〜図１１Ｄの順に車両９０の後退が進むと共に、リアルタイム領域Ｒにあった画像が履歴領域Ｈに順次移動していく。したがって、履歴領域Ｈに含まれる鳥瞰画像の範囲が順次拡大していき、車両９０の周囲の表示範囲が拡大していく。

特開２００２−３７３３２７号公報

しかし、上記のような技術では、図１２Ａ〜図１２Ｄに例示するように、車両９０が存在することが原因となって車両９０の近傍に発生した輝度変化パターン９１〜９４（例えば、車両９０の影、車両９０によって光が反射または部分的に遮られることで発生する濃淡変化）がある場合は、車両９０の移動と共にその輝度変化パターンが履歴領域Ｈに複製されて移動し続ける。したがって、画像表示装置に表示される表示用画像中において、輝度変化パターンの画像が拡大して縞模様になってしまい、車両９０の周囲が見づらい表示用画像となってしまう。

本発明は上記点に鑑み、自車両の周囲の撮影画像を自車両の動き量に応じて移動させて上からの視点で表示する履歴合成技術において、表示用画像中において車両の移動と共に自車両近傍の輝度変化パターンが拡大してしまう可能性を低減することを目的とする。

上記目的を達成するための請求項１に記載の発明は、車両の周囲を繰り返し撮影する車載カメラ（１）から撮影画像を順次取得する取得手段（１１０、１１５）と、前記取得手段が取得した撮影画像中の複数の判定領域（Ｒ２１〜Ｒ２６）内における輝度変化量を算出する輝度分析手段（１２０）と、前記輝度分析手段の算出結果に基づいて、前記複数の判定領域のうち、輝度変化量が所定の閾値以上となる領域が、前記車両に最も近い位置に対応する判定領域から前記車両の後方に連続して存在する分だけ、それら連続して存在する判定領域を履歴作成用領域から除外し、前記複数の判定領域のうち、前記車両に近い側からの順で最初に輝度変化量が前記閾値未満となった判定領域およびそれよりも前記車両から遠い位置に対応する判定領域については、前記履歴作成用領域として選ぶ履歴作成用領域決定手段（１２５）と、前記取得手段が取得した撮影画像中の、前記履歴作成用領域決定手段によって選ばれた前記履歴作成用領域内の履歴作成用画像を、車両用画像と共に、前記車両の上方から見下ろす視点で、画像表示装置（３）に表示させ、前記車両から入力された車両挙動情報に基づく前記車両の動き量に応じて、前記車両用画像に対する前記履歴作成用画像の相対的な配置を変化させる表示制御手段（１３５、１４０、１４５）と、を備えた車両周囲画像表示制御装置である。
また、請求項３に記載の発明は、車両の周囲を繰り返し撮影する車載カメラ（１）から撮影画像を順次取得する取得手段（１１０、１１５）、前記取得手段が取得した撮影画像中の複数の判定領域（Ｒ２１〜Ｒ２６）内における輝度変化量を算出する輝度分析手段（１２０）、前記輝度分析手段の算出結果に基づいて、前記複数の判定領域のうち、輝度変化量が所定の閾値以上となる領域が、前記車両に最も近い位置に対応する判定領域から前記車両の後方に連続して存在する分だけ、それら連続して存在する判定領域を履歴作成用領域から除外し、前記複数の判定領域のうち、前記車両に近い側からの順で最初に輝度変化量が前記閾値未満となった判定領域およびそれよりも前記車両から遠い位置に対応する判定領域については、前記履歴作成用領域として選ぶ履歴作成用領域決定手段（１２５）、および、前記取得手段が取得した撮影画像中の、前記履歴作成用領域決定手段によって選ばれた前記履歴作成用領域内の履歴作成用画像を、車両用画像と共に、前記車両の上方から見下ろす視点で、画像表示装置（３）に表示させ、前記車両から入力された車両挙動情報に基づく前記車両の動き量に応じて、前記車両用画像に対する前記履歴作成用画像の相対的な配置を変化させる表示制御手段（１３５、１４０、１４５）として、車両周囲画像表示制御装置（２）を機能させる車両周囲画像表示制御プログラムである。

このように、履歴作成用領域内の撮影画像を、車両用画像と共に、車両の上方から見下ろす視点で、画像表示装置に表示させ、車両の動き量に応じて、車両用画像に対する履歴作成用領域中の撮影画像の相対的な配置を変化させる車両周囲画像表示制御装置において、撮影画像中の複数の判定領域（Ｒ２１〜Ｒ２６）内における輝度変化量を算出し、輝度変化量が所定の閾値未満の判定領域を履歴作成用領域として選ぶと共に、輝度変化量が所定の閾値以上の判定領域を履歴作成用領域から除外することで、車両の移動と共に表示用画像中において自車両近傍の輝度変化パターンが拡大してしまう可能性を低減することができる。

なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。

本発明の実施形態に係る車両周囲画像表示システムの構成図である。メモリ中のリアルタイム領域Ｒに保存される画像の車両１０に対する位置関係を示す図である。メモリ中の履歴領域Ｈに保存される画像の車両１０に対する位置関係を示す図である。表示用画像Ｄの構成図である。制御装置２が実行する処理のフローチャートである。第２サブリアルタイム領域Ｒ２の平均輝度分布グラフの一例である。履歴作成用領域Ｒ２２〜Ｒ２６を第１サブ履歴領域Ｈ１中のどの領域にコピーするかを表す図である。１回目の実行機会において作成される表示用画像Ｄを示す図である。２回目の実行機会において作成される表示用画像Ｄを示す図である。３回目の実行機会において作成される表示用画像Ｄを示す図である。４回目の実行機会において作成される表示用画像Ｄを示す図である。５回目の実行機会において作成される表示用画像Ｄを示す図である。６回目の実行機会において作成される表示用画像Ｄを示す図である。１回目の実行機会において第２リアルタイム領域Ｒ２の画像が第１サブ履歴領域Ｈ１にコピーされる様子を示す図である。２回目の実行機会において第２リアルタイム領域Ｒ２の画像が第１サブ履歴領域Ｈ１にコピーされる様子を示す図である。３回目の実行機会において第２リアルタイム領域Ｒ２の画像が第１サブ履歴領域Ｈ１にコピーされる様子を示す図である。４回目の実行機会において第２リアルタイム領域Ｒ２の画像が第１サブ履歴領域Ｈ１にコピーされる様子を示す図である。５回目の実行機会において第２リアルタイム領域Ｒ２の画像が第１サブ履歴領域Ｈ１にコピーされる様子を示す図である。６回目の実行機会において第２リアルタイム領域Ｒ２の画像が第１サブ履歴領域Ｈ１にコピーされる様子を示す図である。従来のメモリ中の履歴領域Ｈとリアルタイム領域Ｒを示す図である。車両の後退と共に変化する合成鳥瞰画像を示す図である。車両の後退と共に変化する合成鳥瞰画像を示す図である。車両の後退と共に変化する合成鳥瞰画像を示す図である。車両の後退と共に変化する合成鳥瞰画像を示す図である。車両に起因する輝度変化パターンがある場合に車両の後退と共に変化する合成鳥瞰画像を示す図である。車両に起因する輝度変化パターンがある場合に車両の後退と共に変化する合成鳥瞰画像を示す図である。車両に起因する輝度変化パターンがある場合に車両の後退と共に変化する合成鳥瞰画像を示す図である。車両に起因する輝度変化パターンがある場合に車両の後退と共に変化する合成鳥瞰画像を示す図である。

以下、本発明の一実施形態について説明する。図１に示すように、本実施形態に係る車両周囲画像表示システムは、車両に搭載され、車載カメラ１、制御装置２（車両周囲画像表示制御装置の一例に相当する）、画像表示装置３を備えている。

車載カメラ１は、車両の後端付近に固定して搭載され、車両の周囲を、具体的には、車両の後方の所定範囲を繰り返し（例えば、１／３０秒周期で）撮影し、撮影の結果得た当該所定範囲の撮影画像のデータを制御装置２に逐次出力する。

制御装置２には、車載カメラ１から上記撮影画像が繰り返し入力されると共に、自車両からシフトレンジの情報、車速の情報、およびステアリング角（またはヨーレート）の情報が繰り返し入力されるようになっている。

そして制御装置２は、あらかじめ定められた処理を実行することで、鳥瞰変換部２１、画像合成部２２、車両運動計算部２３、履歴作成用領域決定部２４として機能する。

鳥瞰変換部２１は、車載カメラ１から入力された撮影画像に対して周知の鳥瞰変換を施すことで、当該撮影画像を、自車両の上方から（真下にまたは斜め下に）見下ろす視点の鳥瞰画像に、変換する。

画像合成部２２は、後述するように、最新の撮影画像の鳥瞰画像と、過去の撮影画像の鳥瞰画像を合成し、合成の結果得た合成鳥瞰画像を、表示用画像として画像表示装置３に出力する。

車両運動計算部２３は、自車両から入力されたシフトレンジの情報、車速の情報、およびステアリング角（またはヨーレート）の情報に基づいて、周知のＡｃｋｅｒｍａｎモデルに従った自車両の動き（移動量および姿勢変化量）を算出する。

履歴作成用領域決定部２４は、最新の撮影画像中のどの領域を履歴作成用領域とするかを決定する。以上のような構成の制御装置２としては、例えば周知のマイクロコンピュータを用いてもよい。

画像表示装置３は、制御装置２から入力された表示用画像を表示する装置であり、表示された表示用画像（すなわち、合成鳥瞰画像）を車内のドライバーが見ることができるような位置に配置される。

以下、このような構成の車両周囲画像表示システムの作動について説明する。制御装置２に搭載された書き込み可能なメモリ（例えばＲＡＭ）には、図２に示すようなリアルタイム領域Ｒおよび図３に示すような履歴領域Ｈが、あらかじめ確保されている。

これらリアルタイム領域Ｒおよび履歴領域Ｈ内の各アドレスは、仮想的に配置された自車両１０に対する相対位置があらかじめ割り当てられている。図２、図３では、これらリアルタイム領域Ｒおよび履歴領域Ｈの各アドレスと、所定の自車両１０との位置関係を表している。

リアルタイム領域Ｒは、後述するように、車載カメラ１によって撮影された最新の撮影画像の一部を鳥瞰変換した画像を保存するための領域であり、第１サブリアルタイム領域Ｒ１と第２サブリアルタイム領域Ｒ２に分かれている。

図２に示す通り、リアルタイム領域Ｒの各アドレスは、自車両１０のすぐ後方の実線矩形範囲内の路面のいずれかの位置に１対１に対応しており、リアルタイム領域Ｒのアドレス全体で当該実線矩形範囲全体をカバーしている。

そして、第１サブリアルタイム領域Ｒ１は、リアルタイム領域Ｒのうち遠方側の路面の矩形領域をカバーしており、第２サブリアルタイム領域Ｒ２は、リアルタイム領域Ｒのうち近傍側の路面の矩形領域をカバーしている。

履歴領域Ｈは、車載カメラ１の撮影画像のうち最新の撮影画像と最新でない撮影画像の両方が鳥瞰変換された画像を保存するための領域であり、第１サブ履歴領域Ｈ１と第２サブ履歴領域Ｈ２に分かれている。

図３に示す通り、履歴領域Ｈの各アドレスは、自車両１０のすぐ後方の実線矩形範囲内の路面のいずれかの位置に１対１に対応しており、履歴領域Ｈのアドレス全体で当該実線矩形範囲全体をカバーしている。

そして、第１サブ履歴領域Ｈ１は、履歴領域Ｈのうち、自車両１０のすぐ後方の路面の矩形領域をカバーしており、第１サブ履歴領域Ｈ１のカバー範囲の、自車両１０に対する相対位置範囲は、第２サブリアルタイム領域Ｒ２のカバー範囲と同じである。

また、図３に示す通り、第２サブ履歴領域Ｈ２は、履歴領域Ｈのうち、車載カメラ１で現在撮影できない位置の路面の矩形範囲、すなわち、自車両１０の直下の路面、自車両１０の前方および側方の路面の範囲をカバーしている。したがって、第２サブ履歴領域Ｈ２に保存される鳥瞰画像は、車載カメラ１で撮影された撮影画像のうち、最新でない過去の撮影画像が鳥瞰変換された鳥瞰画像となる。

これらリアルタイム領域Ｒおよび履歴領域Ｈに保存された画像に基づいて、図４に示す表示用画像Ｄが合成され、画像表示装置３で表示される。具体的には、第２サブ履歴領域Ｈ２中の鳥瞰画像、第１サブリアルタイム領域Ｒ１中の鳥瞰画像、および第２サブリアルタイム領域Ｒ２中の鳥瞰画像を図４のような配置で繋ぎ合わせた画像が、表示用画像Ｄとなる。

制御装置２は、このようなリアルタイム領域Ｒ、履歴領域Ｈを用いて、図５にフローチャートで示す処理を、繰り返し（具体的には、所定の制御周期毎に）実行するようになっている。制御周期としては、例えば２５０ミリ秒でもよい。制御装置２は、この図５の処理を実行することで、上記鳥瞰変換部２１、画像合成部２２、車両運動計算部２３、履歴作成用領域決定部２４として機能する。

以下、この図５の処理について説明する。まず、制御装置２が図５の処理を開始する際は、リアルタイム領域Ｒおよび履歴領域Ｈのそれぞれの領域内は、鳥瞰画像のデータが全く含まれていない空（から）の状態、換言すれば、空を示すデータのみが含まれている状態となっている。

制御装置２は、図５の処理の各実行機会において、まずステップ１０５で、入力された最新のシフトレンジ情報に基づいて、自車両のシフト位置がリバース（後退位置）であるか否か判定し、リバースでなければ、画像表示装置に表示用画像Ｄを出力することを止めると共に、リアルタイム領域Ｒおよび履歴領域Ｈのそれぞれの領域内のデータを空にクリアし、その後、今回の図５の処理を終了する。

ドライバーが、駐車場の駐車マスに自車両を駐車させようとするとき、シフトレンジをＲ（リバース）に入れたとする。すると制御装置２は、ステップ１０５で、シフト位置がリバースであると判定し、ステップ１１０に進む。

ステップ１１０では、車載カメラ１から最新の撮影画像の入力を１枚受け付けて取得する。続いてステップ１１５では、直前のステップ１１０で取得した最新の撮影画像に対して周知の鳥瞰変換を施す。この鳥瞰変換によって、撮影画像は、自車両の上方から（真下にまたは斜め下に）見下ろす視点の鳥瞰画像に、変換される。

なお、この鳥瞰変換の際には、周知の通り、撮影画像中の物体は高さゼロの位置（すなわち、平坦な路面）に存在すると仮定されている。鳥瞰変換に用いられる変換式は、あらかじめ制御装置２のメモリ（例えばＲＯＭ）に記録されている。

また、この鳥瞰画像は、撮影画像の画素配置が鳥瞰変換によって変更されたものであるから、撮影画像の一形態である。

ステップ１１５では更に、作成した鳥瞰画像から、図２のリアルタイム領域Ｒのカバー範囲となる所定の部分の鳥瞰画像を切り出し、切り出した部分中の各画素を、リアルタイム領域Ｒの各々のアドレスに割り当てられた相対位置に合致するよう、リアルタイム領域Ｒに保存する。

より具体的には、切り出した部分を自車両１０の前後方向に２分割したうちの、自車両１０からより離れた方（例えば、自車両１０から１．８ｍ以上離れた方）の所定の範囲の画像を、第１サブリアルタイム領域Ｒ１に保存し、２分割したうちの、自車両１０により近い方（例えば、自車両１０から１．８未満の方）の所定の範囲の画像を、第２サブリアルタイム領域Ｒ２に保存する。

制御装置２は、このステップ１１５の処理を実行することで、鳥瞰変換部２１として機能する。

続いてステップ１２０では、第２サブリアルタイム領域Ｒ２中に保存した鳥瞰画像を対象として、輝度分析を行う。この輝度分析は、第２サブリアルタイム領域Ｒ２中の複数の判定領域内における輝度変化量（時間的変化量ではなく空間的変化量）を算出するための処理である。

本実施形態では、輝度分析として、第２サブリアルタイム領域Ｒ２中において縦横にマトリクス状の配置で保存されている画素群を対象として、図６に例示するような平均輝度Ｌの分布３０を算出する。

図６のグラフの横軸は、図２の０の後方に進む方向）を表し、縦軸は、各Ｙ座標値（Ｙ座標軸方向に沿った自車両１０からの距離）における平均輝度Ｌ（Ｙ）を表す。ここで、あるＹ座標値における平均輝度Ｌは、そのＹ座標値の位置に配置され、図２中のＸ座標軸方向（Ｙ座標軸に直交する方向であり、自車両１０の左右方向である）に並ぶ画素群の平均輝度である。

そして、この第２サブリアルタイム領域Ｒ２のＹ座標値の範囲（０ｃｍから１８０ｃｍまで）を距離で６等分して６つの判定領域Ｒ２１〜Ｒ２６を設定する。そして、判定領域Ｒ２１〜Ｒ２６のそれぞれにおいて、上記平均輝度Ｌ（Ｙ）の当該判定領域内における変化量を算出する。

本実施形態では、この変化量として、上記平均輝度Ｌ（Ｙ）の当該判定領域内における最大値と最小値の差（輝度差）を採用する。例えば、図６の例では、判定領域Ｒ２１の輝度差はΔＨ１となり、判定領域Ｒ２２の輝度差はΔＨ２となる。なお、上記平均輝度Ｌ（Ｙ）の当該判定領域内における変化量としては、例えば、上記平均輝度Ｌ（Ｙ）の当該判定領域内における輝度の標準偏差を用いてもよい。

続いてステップ１２５では、直前のステップ１２０における算出結果（すなわち、各判定領域Ｒ２１〜Ｒ２６における平均輝度Ｌ（Ｙ）の変化量）に基づいて、履歴作成用領域を決定する。制御装置２は、このステップ１２５の処理を実行することで、履歴作成用領域決定部２４として機能する。

ステップ１２５における履歴作成用領域の決定は、以下のように行う。まず、判定領域Ｒ２１〜Ｒ２６のすべてを履歴作成用領域とする。次に、判定領域Ｒ２１〜Ｒ２６のうち最も自車両１０に近い領域Ｒ２１を判定対象とする。

そして、判定対象となっている判定領域Ｒ２１における平均輝度Ｌ（Ｙ）の変化量が、所定の閾値以上であるか否かを判定する。そして、当該閾値以上であれば、当該判定領域Ｒ２１を履歴作成用領域から除外すると共に、現在の判定対象の領域Ｒ２１の次に自車両１０に近い判定領域Ｒ２２に、判定対象を変える。

それ以降は、同様に、判定対象となっている判定領域における平均輝度Ｌ（Ｙ）の変化量が、所定の閾値以上であるか否かを判定し、当該閾値以上であれば、当該判定領域を履歴作成用領域から除外すると共に、現在の判定対象の領域の次に自車両１０に近い判定領域に判定対象を変える、という処理を、判定領域２１〜２６のすべてについて平均輝度Ｌ（Ｙ）の変化量と閾値とが比較されるまで、繰り返し、その後、ステップ１２５の処理を終了する。

ただし、判定領域２１〜２６のいずれかについて、判定対象の判定領域における平均輝度Ｌ（Ｙ）の変化量が当該閾値以上でない（閾値未満である）と判定した場合は、その時点で直ちにステップ１２５の処理を終了する。

このようなステップ１２５の処理によって、判定領域２１〜２６のうち、平均輝度Ｌ（Ｙ）の変化量が当該閾値以上となる領域が判定領域２１から自車両１０の後方に連続して存在する分だけ、それら連続して存在する判定領域を履歴作成用領域から除外する。そして、判定領域２１〜２６のうち、自車両１０に近い側からの順で最初に平均輝度Ｌ（Ｙ）の変化量が当該閾値未満となった判定領域およびそれよりも自車両１０から遠い判定領域については、履歴作成用領域に含めたままとする。

例えば、判定領域２１〜２６の平均輝度Ｌ（Ｙ）の変化量のうち、判定領域２１、２２、２６の変化量が当該閾値以上となっている場合は、判定領域２１、２２を履歴作成用領域とせず、判定領域２３〜２６を履歴作成用領域に含める。

続いてステップ１３０では、判定領域２１〜２６のうち履歴作成用領域となった領域中の鳥瞰画像を、第１サブ履歴領域Ｈ１にコピーする。

具体的には、図７に示すように、第１サブ履歴領域Ｈ１に対して、図７のＹ座標軸方向（自車両１０の前後方向に沿って自車両１０の後方に進む方向）に沿ったＹ座標値の範囲（０ｃｍから１８０ｃｍまで）を距離で６等分して６つのコピー先領域Ｈ１１〜Ｈ１６を設定する。

そして、判定領域Ｒ２１〜Ｒ２６のうち履歴作成用領域となった判定領域中の鳥瞰画像を、履歴作成用画像として選び、選んだ履歴作成用画像を、自車両１０からの距離が同じコピー先領域に上書きコピーする。図７の例では、判定領域Ｒ２１〜Ｒ２６のうち領域Ｒ２２〜Ｒ２６のみが履歴作成用領域であり、領域Ｒ２２〜Ｒ２６中の鳥瞰画像は、それぞれ、第１サブ履歴領域Ｈ１中の同じ位置をカバーするコピー先領域Ｈ１２〜Ｈ１６に、同じ相対配置でコピーされる。

続いてステップ１３５では、表示用画像Ｄを作成する。具体的には、図４に示した通り、第２サブ履歴領域Ｈ２、第１サブリアルタイム領域Ｒ１、第２サブリアルタイム領域Ｒ２を図４のように繋ぎ合わせて各領域Ｈ２、Ｒ１、Ｒ２内の画像を合成し、合成後の画像の仮想的な自車両１０の位置に、自車両１０を表す所定の自車両用画像１０を重畳させる。

なお、自車両用の画像が重畳された位置においても、第２サブ履歴領域Ｈ２内の鳥瞰画像（過去に車載カメラ１で撮影された画像）が透過表示されるようにする。

このような合成および重畳の結果得られた表示用画像Ｄは、作成される度に、制御装置２から画像表示装置３に入力され、その結果、画像表示装置３は当該表示用画像Ｄをドライバーに表示する。

ドライバーは、この表示用画像Ｄを見ることで、自車両１０を上から見下ろしたような視点で自車両１０の周囲を確認することができる。更に、実際には自車両１０に覆われて隠れている部分も、自車両１０を透過して上から見ることができる。制御装置２は、このステップ１３５の処理を実行することで、画像合成部２２として機能する。

続いてステップ１４０では、自車両１０から入力された各種車両挙動情報、すなわち、シフトレンジの情報、車速の情報、およびステアリング角（またはヨーレート）の最新の情報（過去の情報を追加で用いて）に基づいて、周知のＡｃｋｅｒｍａｎモデルに従った自車両の動き量（移動ベクトルおよび姿勢変化角度）を算出する。なお、ここでいう動き量とは、前回の撮影画像の取得タイミング（前回の図５の処理の実行機会）から今回の撮影画像の取得タイミング（今回の図５の処理の実行機会）までの期間（すなわち、直前の制御周期）における車両の動き（すなわち、撮影画像の取得間隔における動き量）を示す動き量である。制御装置２は、このステップ１４０の処理を実行することで、車両運動計算部２３として機能する。

続いてステップ１４５では、直前のステップ１４０で算出した自車両の動き量に基づいて、自車両の周囲（路面に固定されていると仮定する）が相対的に自車両に対してどのように移動するかを表す相対移動量を算出する。

具体的には、直前のステップ１４０で算出した自車両の動き量と逆の動きを算出する。例えば、自車両の移動ベクトルが（α、β）で、姿勢変化角度がθであるとき、自車両に対する周囲の相対移動量としては、移動ベクトルが（−α、−β）で、姿勢変化角度が−θであるとする。

そして、履歴領域Ｈ内で、上記のようにして算出された周囲の相対移動量に従って、当該履歴領域Ｈ内の鳥瞰画像が、次の表示タイミング（次の図５の処理の実行機会のステップ１３５の実行タイミング）における自車両の周囲の配置を反映するよう、当該履歴領域Ｈ内に保存されたすべての画素（当然に履歴作成用画像の画素も含む）を移動させる。このようにして、車両の動き量に応じて、仮想的な車両１０の位置に対する履歴作成用画像の相対的な配置が決定される。

これにより、当該相対移動量に応じて、第１サブ履歴領域Ｈ１と第２サブ履歴領域Ｈ２の境界で、第１サブ履歴領域Ｈ１から第２サブ履歴領域Ｈ２に、または、第２サブ履歴領域Ｈ２から第１サブ履歴領域Ｈ１に、鳥瞰画像の一部が移動する。本事例では、自車両が後退しているので、前者となる。したがって、車両の後退と共に、図３の処理の開始当初は空だった第２サブ履歴領域Ｈ２内で鳥瞰画像が増加する。ステップ１４５の後、図５の１回分の処理が終了する。

制御装置２は、以上のような図５の処理を制御周期毎に繰り返し実行することで、車載カメラから制御周期毎に撮影画像を順次取得し（ステップ１１０）、順次取得された撮影画像を、制御周期毎に鳥瞰画像に順次鳥瞰変換してリアルタイム領域Ｒに上書き保存し（ステップ１１５）、順次鳥瞰変換された結果の鳥瞰画像に対し、制御周期毎に輝度分析を順次行う（ステップ１２０）。各回の輝度分析では、リアルタイム領域Ｒ中の複数の判定領域Ｒ２１〜Ｒ２６内における輝度変化量を算出する。

そして制御装置２は、輝度分析の結果に基づいて、複数の判定領域Ｒ２１〜Ｒ２６のうち、輝度変化量が所定の閾値未満の判定領域を履歴作成用領域として選び、輝度変化量が所定の閾値以上の判定領域を履歴作成用領域から除外するという処理を、制御周期毎に順次行う（ステップ１２５）。

そして制御装置２は、順次選ばれた履歴作成用領域内の鳥瞰画像を、履歴作成用画像として、制御周期毎に第１サブ履歴領域Ｈ１に順次コピーし（ステップ１３０）、第２サブ履歴領域Ｈ２中の画像とリアルタイム領域Ｒ中の画像と自車とを合成した表示用画像Ｄを制御周期毎に画像表示装置３に順次表示させ（ステップ１３５）、車両から繰り返し入力された車両挙動情報に基づいて車両１０の動き量を制御周期毎に順次算出し（ステップ１４０）、算出された動き量に応じて、コピーされた履歴作成用画像の自車両１０に対する相対的な配置を変化させるよう、履歴領域Ｈ内で画像を移動させることで、当該相対的な配置を制御周期毎に順次決定する（ステップ１４５）。

以下、制御装置２が以上のような図５の処理を制御周期毎に繰り返して行う作動について、１つの事例を例に取り、図８Ａ〜図８Ｆ、図９Ａ〜図９Ｆを参照して説明する。

まず、ドライバーが駐車マス（図８Ａの駐車マスＰ２）に駐車するために、当該駐車マスＰ２の近傍で自車両１０を停止させ、シフト位置がリバースに切り替えたとする。

すると制御装置２は、シフト位置がリバースに切り替わってから１回目の図５の処理の実行機会において、ステップ１０５でシフト位置がリバースであると判定してステップ１１０に進み、ステップ１１０で車載カメラ１から最新の撮影画像を取得し、ステップ１１５で撮影画像を鳥瞰変換し、その結果の鳥瞰画像の一部を切り出してリアルタイム領域Ｒに上書き保存する。

このとき第２サブリアルタイム領域Ｒ２に記録された鳥瞰画像中において、図８Ａに示すように、車両１０のすぐ後方に輝度変化が激しい輝度変化パターン画像５０が含まれている。この輝度変化パターン画像５０は、車両１０が存在することが原因となって車両１０の近傍に発生した輝度変化（例えば、車両の影、車両によって光が反射または部分的に遮られることで発生する濃淡変化）が写った画像である。このような輝度変化パターン画像５０は、車両１０に付随して車両１０と共に移動するという性質を有している。

ステップ１１５に続くステップ１２０では、このような輝度変化パターン画像５０を含む第２サブリアルタイム領域Ｒ２に対して輝度分析を行う。本事例では、この輝度変化パターン画像５０が第２サブリアルタイム領域Ｒ２中の判定領域Ｒ２１に含まれており、その結果、判定領域Ｒ２１における平均輝度Ｌ（Ｙ）の変化量が上記閾値を超え、その一方、判定領域Ｒ２２〜Ｒ２６における平均輝度Ｌ（Ｙ）の変化量は上記閾値未満であったとする。

したがって、続くステップ１２５では、履歴作成用領域として判定領域Ｒ２１が除外され、判定領域Ｒ２２〜Ｒ２６のみが履歴作成用領域に選ばれる。するとステップ１３０では、図９Ａに示すように、判定領域Ｒ２２〜Ｒ２６中の鳥瞰画像のみが、それぞれコピー先領域Ｈ１２〜Ｈ１６に上書きコピーされる。

続くステップ１３５では、図８Ａに示すように、現在のリアルタイム領域Ｒ中の画像に、第２サブ履歴領域Ｈ２中の画像を合成し、更に仮想的な自車両１０の位置に車両用画像を透過的に重畳した画像を、表示用画像Ｄとして作成する。

なおこの時点では、第２サブ履歴領域Ｈ２は鳥瞰画像のデータが全く含まれていない空の状態となっている。したがって、表示用画像Ｄの第２サブ履歴領域Ｈ２の部分は、白、黒、青等のバックグランド色のみが表示される。

続くステップ１４０では、既に説明した通り、直前の制御周期分の期間における車両の動きを計算する。本事例では、この期間において車両１０が真っ直ぐ２４ｃｍ（判定領域の前後幅の０．８倍に相当する）後退したとする。したがって、ステップ１４５では、この車両１０の移動分に対応した量（２４ｃｍ）だけ、履歴領域Ｈ内で画像を前方に移動させる。このようにして、車両の動き量に応じて、仮想的な車両１０の位置に対する履歴作成用画像の相対的な配置が決定される。

その後、シフト位置がリバースに切り替わってから２回目の図５の処理の実行機会が訪れると、制御装置２は、ステップ１０５からステップ１１０に進み、ステップ１１０で車載カメラ１から最新の撮影画像を取得し、ステップ１１５で撮影画像を鳥瞰変換し、その結果の鳥瞰画像の一部を切り出してリアルタイム領域Ｒに上書き保存する。

このとき第２サブリアルタイム領域Ｒ２に記録された鳥瞰画像中においては、図８Ｂに示すように、車両１０のすぐ後方に輝度変化が激しい輝度変化パターン画像５１が含まれている。この輝度変化パターン画像５１は、前回の図５の処理の実行機会において第２サブリアルタイム領域Ｒ２中に現れた輝度変化パターン画像５０と同じ原因で発生する画像であるので、車両１０に対する配置は、輝度変化パターン画像５０とほぼ同じである。

ステップ１１５に続くステップ１２０では、このような輝度変化パターン画像５１を含む第２サブリアルタイム領域Ｒ２に対して輝度分析を行う。本事例では、輝度分析の結果、各判定領域Ｒ２１〜Ｒ２６における平均輝度Ｌ（Ｙ）の変化量と上記閾値との大小関係が、前回の実行機会のステップ１２０と同じであったとする。

したがって、続くステップ１２５では、履歴作成用領域として判定領域Ｒ２１が除外され、領域Ｒ２２〜Ｒ２６のみが履歴作成用領域に選ばれる。するとステップ１３０では、図９Ｂに示すように、判定領域Ｒ２２〜Ｒ２６中の鳥瞰画像のみが、それぞれコピー先領域Ｈ１２〜Ｈ１６に上書きコピーされる。

なお、今回は上書きコピー先となっていないコピー先領域Ｈ１１には、前回の図５の処理の実行機会のステップ１４５の処理により、前回の図５の処理の実行機会において第２サブリアルタイム領域Ｒ２からコピーされた鳥瞰画像が移動している。

続くステップ１３５では、図８Ｂに示すように、現在のリアルタイム領域Ｒ中の画像に、第２サブ履歴領域Ｈ２中の画像を合成し、更に車両用画像１０を透過的に重畳した画像を、表示用画像Ｄとして作成する。

なおこの時点では、前回の図５の実行機会のステップ１４５において、履歴領域Ｈ中で履歴作成用画像の位置（仮想的な車両１０の位置に対する相対的な配置）が変化している。したがって、第１サブ履歴領域Ｈ１から第２サブ履歴領域Ｈ２に画像が移動している。

しかし、移動したのは鳥瞰画像がコピーされていなかったコピー先領域Ｈ１１の画像（空の画像）であった。したがって、この時点ではまだ、第２サブ履歴領域Ｈ２は鳥瞰画像のデータが全く含まれていない空の状態となっている。

もし、前回の図５の実行機会のステップ１２５において、判定領域Ｒ２１が履歴作成用領域に含まれていたならば、ステップ１３０において判定領域Ｒ２１の鳥瞰画像（輝度変化パターン画像５０を含む）がコピー先領域Ｈ１１にコピーされ、ステップ１４５において当該鳥瞰画像（輝度変化パターン画像５０を含む）が第２履歴領域Ｈ２内に入っていたはずである。

もしそうなっていれば、今回の図５の実行機会におけるステップ１３５では、表示用画像に輝度変化パターン画像５０が含まれることになり、従来のように、実際にはそこにない輝度変化を表す画像（輝度変化パターン画像５０）が、車両１０の移動と共に移動しながら表示され続けてしまっていた。

本実施形態では、判定領域における平均輝度Ｌ（Ｙ）の変化量を閾値と比較することで、車両１０の近傍に車両１０の存在によって発生する輝度変化パターン画像５０を見つけ出し、見つけ出した輝度変化パターン画像５０を含む判定領域を履歴作成用領域から除外した。これにより、輝度変化パターン画像５０が表示用画像Ｄ内に残り続けて表示用画像Ｄの視認性を悪化させる可能性を低減することができる。

続くステップ１４０では、既に説明した通り、直前の制御周期分の期間における車両の動きを計算する。本事例では、この期間において車両１０が真っ直ぐ４５ｃｍ（判定領域の前後幅の１．５倍に相当する）後退したとする。したがって、ステップ１４５では、この車両１０の移動分に対応した量（４５ｃｍ）だけ、履歴領域Ｈ内で画像を前方に移動させる。このようにして、車両の動き量に応じて、仮想的な車両１０の位置に対する履歴作成用画像の相対的な配置が決定される。

その後、シフト位置がリバースに切り替わってから３回目の図５の処理の実行機会が訪れると、制御装置２は、ステップ１０５からステップ１１０に進み、ステップ１１０で車載カメラ１から最新の撮影画像を取得し、ステップ１１５で撮影画像を鳥瞰変換し、その結果の鳥瞰画像の一部を切り出してリアルタイム領域Ｒに上書き保存する。

このとき第２サブリアルタイム領域Ｒ２に記録された鳥瞰画像中においては、図８Ｃに示すように、車両１０のすぐ後方に輝度変化が激しい輝度変化パターン画像５２が含まれている。この輝度変化パターン画像５２は、前回の図５の処理の実行機会において第２サブリアルタイム領域Ｒ２中に現れた輝度変化パターン画像５１と同じ原因で発生する画像であるので、車両１０に対する配置は、輝度変化パターン画像５１とほぼ同じである。

ステップ１１５に続くステップ１２０では、このような輝度変化パターン画像５２を含む第２サブリアルタイム領域Ｒ２に対して輝度分析を行う。本事例では、輝度分析の結果、各判定領域Ｒ２１〜Ｒ２６における平均輝度Ｌ（Ｙ）の変化量と上記閾値との大小関係が、前回の実行機会のステップ１２０と同じであったとする。

したがって、続くステップ１２５では、履歴作成用領域として判定領域Ｒ２１が除外され、領域Ｒ２２〜Ｒ２６のみが履歴作成用領域に選ばれる。するとステップ１３０では、図９Ｃに示すように、判定領域Ｒ２２〜Ｒ２６中の鳥瞰画像のみが、それぞれコピー先領域Ｈ１２〜Ｈ１６に上書きコピーされる。

続くステップ１３５では、図８Ｃに示すように、現在のリアルタイム領域Ｒ中の画像に、第２サブ履歴領域Ｈ２中の画像を合成し、更に車両用画像１０を透過的に重畳した画像を、表示用画像Ｄとして作成する。

なおこの時点では、前回の図５の実行機会のステップ１４５において、履歴領域Ｈ中で履歴作成用画像の位置（仮想的な車両１０の位置に対する相対的な配置）が変化している。そしてそれにより、第１サブ履歴領域Ｈ１（具体的にはコピー先領域Ｈ１１、Ｈ１２）から第２サブ履歴領域Ｈ２に鳥瞰画像が移動している。

したがって、今回のステップ１３５では、前回の図５の実行機会のステップ１４５において履歴領域Ｈ中で変化した履歴作成用画像の相対配置に対応した配置で、第２サブ履歴領域Ｈ２中の履歴作成用画像が画像表示装置に表示される。

ここでも、前回の図５の実行機会のステップ１２５において、判定領域Ｒ２１が履歴作成用領域に含まれていたならば、ステップ１４５において当該鳥瞰画像（輝度変化パターン画像５１を含む）が第２履歴領域Ｈ２内に入っていたはずである。もしそうなっていれば、今回の図５の実行機会におけるステップ１３５では、表示用画像Ｄに輝度変化パターン画像５１が含まれることになっていた。

しかし、本実施形態では、輝度変化パターン画像５１を見つけ出し、見つけ出した輝度変化パターン画像５１を含む判定領域Ｒ２１を履歴作成用領域から除外した。これにより、輝度変化パターン画像５１が表示用画像Ｄ内に残り続けて表示用画像Ｄの視認性を悪化させる可能性を低減することができる。

続くステップ１４０では、既に説明した通り、直前の制御周期分の期間における車両の動きを計算する。本事例では、この期間において車両１０が真っ直ぐ３０ｃｍ（判定領域の前後幅に相当する）後退したとする。したがって、ステップ１４５では、この車両１０の移動分に対応した量（３０ｃｍ）だけ、履歴領域Ｈ内で画像を前方に移動させる。このようにして、車両の動き量に応じて、仮想的な車両１０の位置に対する履歴作成用画像の相対的な配置が決定される。

その後、シフト位置がリバースに切り替わってから４回目の図５の処理の実行機会が訪れると、制御装置２は、ステップ１０５からステップ１１０に進み、ステップ１１０で車載カメラ１から最新の撮影画像を取得し、ステップ１１５で撮影画像を鳥瞰変換し、その結果の鳥瞰画像の一部を切り出してリアルタイム領域Ｒに上書き保存する。

このとき第２サブリアルタイム領域Ｒ２に記録された鳥瞰画像中においては、図８Ｄに示すように、車両１０のすぐ後方に輝度変化が激しい輝度変化パターン画像５３が含まれている。この輝度変化パターン画像５３は、前回の図５の処理の実行機会において第２サブリアルタイム領域Ｒ２中に現れた輝度変化パターン画像５２と同じ原因で発生する画像である。

しかしながら、輝度変化パターン画像５０、５１、５２は全体が判定領域Ｒ２１内に収まっていたのに対し、変化画像５３は、判定領域Ｒ２１をはみ出し、判定領域Ｒ２１にも入っている。このように、変化画像５３が経時的に変化する原因としては、車両１０の方向転換、周囲の光源の車両１０に対する相対移動等が考えられる。

ステップ１１５に続くステップ１２０では、このような輝度変化パターン画像５３を含む第２サブリアルタイム領域Ｒ２に対して輝度分析を行う。本事例では、輝度分析の結果、各判定領域Ｒ２１、Ｒ２３〜Ｒ２６における平均輝度Ｌ（Ｙ）の変化量と上記閾値との大小関係は、前回の実行機会のステップ１２０と同じであったが、輝度変化パターン画像５３が判定領域Ｒ２２内にはみ出た結果、判定領域Ｒ２２における平均輝度Ｌ（Ｙ）の変化量が上記閾値を超えてしまったとする。

したがって、続くステップ１２５では、履歴作成用領域として判定領域Ｒ２１のみならず判定領域Ｒ２２も除外され、領域Ｒ２３〜Ｒ２６のみが履歴作成用領域に選ばれる。するとステップ１３０では、図９Ｄに示すように、判定領域Ｒ２３〜Ｒ２６中の鳥瞰画像のみが、それぞれコピー先領域Ｈ１３〜Ｈ１６に上書きコピーされる。

なお、今回は上書きコピー先となっていないコピー先領域Ｈ１１、Ｈ１２には、前回の図５の処理の実行機会のステップ１４５の処理により、前回の図５の処理の実行機会において第２サブリアルタイム領域Ｒ２からコピーされた鳥瞰画像が移動している。

続くステップ１３５では、図８Ｄに示すように、現在のリアルタイム領域Ｒ中の画像に、第２サブ履歴領域Ｈ２中の画像を合成し、更に車両用画像１０を透過的に重畳した画像を、表示用画像Ｄとして作成する。

この時点では、前回の図５の実行機会のステップ１４５において、履歴領域Ｈ中で履歴作成用画像の位置（仮想的な車両１０の位置に対する相対的な配置）が変化している。そしてそれにより、第１サブ履歴領域Ｈ１（具体的にはコピー先領域Ｈ１１）から第２サブ履歴領域Ｈ２に鳥瞰画像が更に移動している。その結果、第２サブ履歴領域Ｈ２中で鳥瞰画像を含む領域が増大している。

ここでも、前回の図５の実行機会のステップ１２５において、判定領域Ｒ２１が履歴作成用領域に含まれていたならば、ステップ１４５において当該鳥瞰画像（輝度変化パターン画像５２を含む）が第２履歴領域Ｈ２内に入っていたはずである。もしそうなっていれば、今回の図５の実行機会におけるステップ１３５では、表示用画像Ｄに輝度変化パターン画像５２が含まれることになっていた。

しかし、本実施形態では、輝度変化パターン画像５２を見つけ出し、見つけ出した輝度変化パターン画像５２を含む判定領域を履歴作成用領域から除外した。これにより、輝度変化パターン画像５２が表示用画像Ｄ内に残り続けて表示用画像Ｄの視認性を悪化させる可能性を低減することができる。

続くステップ１４０では、既に説明した通り、直前の制御周期分の期間における車両の動きを計算する。本事例では、この期間において車両１０が真っ直ぐ３６ｃｍ（判定領域の前後幅の１．２倍に相当する）後退したとする。したがって、ステップ１４５では、この車両１０の移動分に対応した量（３６ｃｍ）だけ、履歴領域Ｈ内で画像を前方に移動させる。このようにして、車両の動き量に応じて、仮想的な車両１０の位置に対する履歴作成用画像の相対的な配置が決定される。

その後、シフト位置がリバースに切り替わってから５回目の図５の処理の実行機会が訪れると、制御装置２は、ステップ１０５からステップ１１０に進み、ステップ１１０で車載カメラ１から最新の撮影画像を取得し、ステップ１１５で撮影画像を鳥瞰変換し、その結果の鳥瞰画像の一部を切り出してリアルタイム領域Ｒに上書き保存する。

このとき第２サブリアルタイム領域Ｒ２に記録された鳥瞰画像中においては、図８Ｅに示すように、車両１０のすぐ後方に輝度変化が激しい輝度変化パターン画像５４が含まれている。この輝度変化パターン画像５４は、前回の図５の処理の実行機会において第２サブリアルタイム領域Ｒ２中に現れた輝度変化パターン画像５３と同じ原因で発生する画像であり、配置も大きさも輝度変化も概ね輝度変化パターン画像５３と同じである。

ステップ１１５に続くステップ１２０では、このような輝度変化パターン画像５４を含む第２サブリアルタイム領域Ｒ２に対して輝度分析を行う。本事例では、輝度分析の結果、各判定領域Ｒ２１〜Ｒ２６における平均輝度Ｌ（Ｙ）の変化量と上記閾値との大小関係が、前回の実行機会のステップ１２０と同じであったとする。

したがって、続くステップ１２５では、履歴作成用領域として判定領域Ｒ２１、Ｒ２２が除外され、領域Ｒ２３〜Ｒ２６のみが履歴作成用領域に選ばれる。するとステップ１３０では、図９Ｅに示すように、判定領域Ｒ２３〜Ｒ２６中の鳥瞰画像のみが、それぞれコピー先領域Ｈ１３〜Ｈ１６に上書きコピーされる。

なお、今回は上書きコピー先となっていないコピー先領域Ｈ１１、Ｈ１２には、前回および前々回の図５の処理の実行機会のステップ１４５の処理により、前回および前々回の図５の処理の実行機会において第２サブリアルタイム領域Ｒ２からコピーされた鳥瞰画像が移動している。

続くステップ１３５では、図８Ｅに示すように、現在のリアルタイム領域Ｒ中の画像に、第２サブ履歴領域Ｈ２中の画像を合成し、更に車両用画像１０を透過的に重畳した画像を、表示用画像Ｄとして作成する。

この時点では、前回の図５の実行機会のステップ１４５において、履歴領域Ｈ中で履歴作成用画像の位置（仮想的な車両１０の位置に対する相対的な配置）が変化している。そしてそれにより、第１サブ履歴領域Ｈ１（具体的にはコピー先領域Ｈ１１、１２）から第２サブ履歴領域Ｈ２に鳥瞰画像が更に移動している。その結果、第２サブ履歴領域Ｈ２中で鳥瞰画像を含む領域が増大している。

ここでも、前回の図５の実行機会のステップ１２５において、判定領域Ｒ２１が履歴作成用領域に含まれていたならば、ステップ１４５において当該鳥瞰画像（輝度変化パターン画像５３を含む）が第２履歴領域Ｈ２内に入っていたはずである。もしそうなっていれば、今回の図５の実行機会におけるステップ１３５では、表示用画像Ｄに輝度変化パターン画像５３が含まれることになっていた。

更には、前々回の図５の実行機会のステップ１２５において、判定領域Ｒ２２が履歴作成用領域に含まれていたならば、ステップ１４５において当該鳥瞰画像（輝度変化パターン画像５２を含む）が第２履歴領域Ｈ２内に入っていたはずである。もしそうなっていれば、今回の図５の実行機会におけるステップ１３５では、表示用画像Ｄに輝度変化パターン画像５２が含まれることになっていた。

しかし、本実施形態では、輝度変化パターン画像５２、５３を見つけ出し、見つけ出した輝度変化パターン画像５２、５３を含む判定領域を履歴作成用領域から除外した。これにより、輝度変化パターン画像５２、５３が表示用画像Ｄ内に残り続けて表示用画像Ｄの視認性を悪化させる可能性を低減することができる。

その後、シフト位置がリバースに切り替わってから６回目の図５の処理の実行機会が訪れると、制御装置２は、ステップ１０５からステップ１１０に進み、ステップ１１０で車載カメラ１から最新の撮影画像を取得し、ステップ１１５で撮影画像を鳥瞰変換し、その結果の鳥瞰画像の一部を切り出してリアルタイム領域Ｒに上書き保存する。

このとき第２サブリアルタイム領域Ｒ２に記録された鳥瞰画像中においては、図８Ｆに示すように、車両１０のすぐ後方に輝度変化が激しい輝度変化パターン画像５５が含まれている。この輝度変化パターン画像５５は、前回の図５の処理の実行機会において第２サブリアルタイム領域Ｒ２中に現れた輝度変化パターン画像５４と同じ原因で発生する画像であり、配置も大きさも輝度変化も概ね輝度変化パターン画像５４と同じである。

したがって、続くステップ１２５では、履歴作成用領域として判定領域Ｒ２１、Ｒ２２が除外され、領域Ｒ２３〜Ｒ２６のみが履歴作成用領域に選ばれる。するとステップ１３０では、図９Ｆに示すように、判定領域Ｒ２３〜Ｒ２６中の鳥瞰画像のみが、それぞれコピー先領域Ｈ１３〜Ｈ１６に上書きコピーされる。

続くステップ１３５では、図８Ｆに示すように、現在のリアルタイム領域Ｒ中の画像に、第２サブ履歴領域Ｈ２中の画像を合成し、更に車両用画像１０を透過的に重畳した画像を、表示用画像Ｄとして作成する。

ここでも、前回の図５の実行機会のステップ１２５において、判定領域Ｒ２１が履歴作成用領域に含まれていたならば、ステップ１４５において当該鳥瞰画像（輝度変化パターン画像５４を含む）が第２履歴領域Ｈ２内に入っていたはずである。もしそうなっていれば、今回の図５の実行機会におけるステップ１３５では、表示用画像Ｄに輝度変化パターン画像５４が含まれることになっていた。

更には、前々回の図５の実行機会のステップ１２５において、判定領域Ｒ２２が履歴作成用領域に含まれていたならば、ステップ１４５において当該鳥瞰画像（輝度変化パターン画像５３を含む）が第２履歴領域Ｈ２内に入っていたはずである。もしそうなっていれば、今回の図５の実行機会におけるステップ１３５では、表示用画像Ｄに輝度変化パターン画像５３が含まれることになっていた。

しかし、本実施形態では、輝度変化パターン画像５３、５４を見つけ出し、見つけ出した輝度変化パターン画像５３、５４を含む判定領域を履歴作成用領域から除外した。これにより、輝度変化パターン画像５３、５４が表示用画像Ｄ内に残り続けて表示用画像Ｄの視認性を悪化させる可能性を低減することができる。

続くステップ１４０では、既に説明した通り、直前の制御周期分の期間における車両の動きを計算し、ステップ１４５では、この車両１０の動きに対応した量だけ、履歴領域Ｈ内で画像を前方に移動させる。このようにして、車両の動き量に応じて、仮想的な車両１０の位置に対する履歴作成用画像の相対的な配置が決定される。

その後も、シフト位置がリバースであり続ける間は、制御周期毎に図５のステップ１０５〜１４５の処理が繰り返される。

以上説明した通り、本実施形態の制御装置２は、車載カメラ１から撮影画像を順次取得して鳥瞰変換し（ステップ１１０、１１５）、鳥瞰画像中の複数の判定領域Ｒ２１〜Ｒ２６内における輝度変化量を算出し（ステップ１２０）、その算出結果に基づいて、複数の判定領域のうち、輝度変化量が所定の閾値未満の判定領域を履歴作成用領域として選び、判定領域Ｒ２１から連続して輝度変化量が所定の閾値以上となっている判定領域を履歴作成用領域から除外し（ステップ１２５）、歴作成用領域内の画像を、車両用画像と共に、車両の上方から見下ろす視点で、画像表示装置３に表示させ、車両の動き量に応じて、車両用画像に対する履歴作成用領域中の画像の相対的な配置を変化させる（ステップ１３５、１４０、１４５）。

このように、履歴作成用領域内の撮影画像を、車両用画像と共に、車両の上方から見下ろす視点で、画像表示装置に表示させ、車両の動き量に応じて、車両用画像に対する履歴作成用領域中の撮影画像の相対的な配置を変化させる車両周囲画像表示制御装置において、撮影画像中の複数の判定領域Ｒ２１〜Ｒ２６内における輝度変化量を算出し、輝度変化量が所定の閾値未満の判定領域を履歴作成用領域として選ぶと共に、輝度変化量が所定の閾値以上の判定領域を履歴作成用領域から除外することで、車両の移動と共に表示用画像中において自車両近傍の輝度変化パターンが拡大してしまう可能性を低減することができる。

また、制御装置２は、車載カメラ１から取得した撮影画像を所定のリアルタイム領域Ｒに保存し、リアルタイム領域Ｒ内に設定された複数の判定領域Ｒ２１〜Ｒ２６内の画像おける輝度変化量に基づいて選ばれた履歴作成用画像を、履歴領域値Ｈ中の第１サブ履歴領域Ｈ１に保存し、車両の前記動き量に応じて、第１サブ履歴領域Ｈ１内の履歴作成用画像を履歴領域値Ｈ中の第２サブ履歴領域Ｈ２に移動させ、第２サブ履歴領域内の画像とリアルタイム領域Ｒ内の画像とを画像表示装置３に表示させる。

したがって、従来と同様に、リアルタイム領域Ｒと履歴領域値Ｈを用いて履歴合成を行うことができるので、メモリ使用量の増大を抑えると共に、処理負荷の増大を抑えることができる。

（他の実施形態）
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。例えば、以下のような形態も許容される。

（１）上記実施形態では、第２サブリアルタイム領域Ｒ２を６等分して得た６つの判定領域Ｒ２１〜Ｒ２６を設定し、それら設定した判定領域Ｒ２１〜Ｒ２６を単位として、輝度分析および履歴作成用領域の選択を行っている。そして、これら判定領域Ｒ２１〜Ｒ２６は、互いに重なっていない。

しかし、輝度分析および履歴作成用領域の選択の単位となる複数の判定領域は、上記のようなものに限らず、隣り合う判定領域と範囲が一部重なり合うような複数の判定領域を採用してもよい。

（２）上記実施形態では、表示用画像Ｄは、第２サブ履歴領域Ｈ２中の画像と、リアルタイム領域Ｒ中の画像と、車両用画像１０とを合成した画像であったが、必ずしもこのようになっておらずともよい。

例えば、表示用画像Ｄは、第２サブ履歴領域Ｈ２中の画像と、第１サブ履歴領域Ｈ１中の画像と、第１サブリアルタイム領域Ｒ１中の画像と、車両用画像１０とを合成した画像としてもよい。つまり、車載カメラ１で撮影できる範囲も、最新の撮影画像以外の画像を用いて表示するようになっていてもよい。

また、表示用画像Ｄは、第２サブ履歴領域Ｈ２中の画像と車両用画像１０とのみを合成した画像としてもよい。

（３）また、上記実施形態では、輝度分析は鳥瞰変換後の撮影画像（すなわち、鳥瞰画像）中に対して行っているが、輝度分析および履歴作成用領域の選択は鳥瞰変換前の撮影画像に対して行うようになっていてもよい。ただし、前者の方が、判定領域が矩形となっているので、処理負荷が低い。

（４）また、上記実施形態では、各判定領域内における輝度変化量として、上記平均輝度Ｌ（Ｙ）の当該判定領域内における変化量を採用しているが、必ずしもこのようなものに限らない。

（５）また、上記実施形態では、図５の処理の各実行機会において、ステップ１１０で取得した撮影画像が鳥瞰変換された鳥瞰画像（これも撮影画像の一形態である）の輝度分析を行い、その輝度分析結果に応じて、履歴作成用領域を決定している。

しかし、必ずしもこのようになっておらずともよい。例えば、図５の処理では、シフト位置がリバースになってから最初の実行機会では、ステップ１１０〜１４５の処理を実行し、２回目以降の実行機会では、ステップ１２０、１２５の処理は行わず、ステップ１１０、１１５、１３０、１３５、１４０、１４５の処理のみを行うようになっていてもよい。この場合は、２回目以降の実行機会では、最初の実行機会においてステップ１２５で決定した履歴作成用領域を繰り返し使用する。

シフト位置がリバースになってから最初の実行機会では、ステップ１３０〜１４５の処理を実行しないようになっていてもよい。この場合、履歴作成用領域を決定する対象の撮影画像（鳥瞰画像）は、実際に履歴作成用画像として第１サブ履歴領域Ｈ１にコピーする撮影画像（鳥瞰画像）とは別の撮影画像ということになる。

（６）上記各実施形態では、車載カメラ１は、車両の後方の所定範囲を繰り返し撮影するようになっていたが、車載カメラ１は、車両の前方の所定範囲を繰り返し撮影するようになっていてもよい。その場合、上記明細書では、車両の前後を入れ替えるように読み替える。

１車載カメラ
２制御装置
３画像表示装置
Ｒリアルタイム領域
Ｈ履歴領域
Ｈ１第１サブ履歴領域
Ｈ２第２サブ履歴領域

Claims

車両の周囲を繰り返し撮影する車載カメラ（１）から撮影画像を順次取得する取得手段（１１０、１１５）と、
前記取得手段が取得した撮影画像中の複数の判定領域（Ｒ２１〜Ｒ２６）内における輝度変化量を算出する輝度分析手段（１２０）と、
前記輝度分析手段の算出結果に基づいて、前記複数の判定領域のうち、輝度変化量が所定の閾値以上となる領域が、前記車両に最も近い位置に対応する判定領域から前記車両の後方に連続して存在する分だけ、それら連続して存在する判定領域を履歴作成用領域から除外し、前記複数の判定領域のうち、前記車両に近い側からの順で最初に輝度変化量が前記閾値未満となった判定領域およびそれよりも前記車両から遠い位置に対応する判定領域については、前記履歴作成用領域として選ぶ履歴作成用領域決定手段（１２５）と、
前記取得手段が取得した撮影画像中の、前記履歴作成用領域決定手段によって選ばれた前記履歴作成用領域内の履歴作成用画像を、車両用画像と共に、前記車両の上方から見下ろす視点で、画像表示装置（３）に表示させ、前記車両から入力された車両挙動情報に基づく前記車両の動き量に応じて、前記車両用画像に対する前記履歴作成用画像の相対的な配置を変化させる表示制御手段（１３５、１４０、１４５）と、を備えた車両周囲画像表示制御装置。
前記取得手段（１１０、１１５）は、前記車載カメラから取得した撮影画像をメモリ中の所定のリアルタイム領域（Ｒ）に保存し、
前記輝度分析手段は、前記リアルタイム領域（Ｒ）内に設定された前記複数の判定領域内における輝度変化量を算出し、
前記表示制御手段は、前記履歴作成用領域内の前記履歴作成用画像を、メモリ中の履歴領域（Ｈ）のうち第１サブ履歴領域（Ｈ１）に保存し、前記車両の前記動き量に応じて、前記第１サブ履歴領域（Ｈ１）内の前記履歴作成用画像を前記履歴領域のうち第２サブ履歴領域（Ｈ２）に移動させ、前記第２サブ履歴領域内の画像を前記画像表示装置に表示させることを特徴とする請求項１に記載の車両周囲画像表示制御装置。
車両の周囲を繰り返し撮影する車載カメラ（１）から撮影画像を順次取得する取得手段（１１０、１１５）、
前記取得手段が取得した撮影画像中の複数の判定領域（Ｒ２１〜Ｒ２６）内における輝度変化量を算出する輝度分析手段（１２０）、
前記輝度分析手段の算出結果に基づいて、前記複数の判定領域のうち、輝度変化量が所定の閾値以上となる領域が、前記車両に最も近い位置に対応する判定領域から前記車両の後方に連続して存在する分だけ、それら連続して存在する判定領域を履歴作成用領域から除外し、前記複数の判定領域のうち、前記車両に近い側からの順で最初に輝度変化量が前記閾値未満となった判定領域およびそれよりも前記車両から遠い位置に対応する判定領域については、前記履歴作成用領域として選ぶ履歴作成用領域決定手段（１２５）、および、
前記取得手段が取得した撮影画像中の、前記履歴作成用領域決定手段によって選ばれた前記履歴作成用領域内の履歴作成用画像を、車両用画像と共に、前記車両の上方から見下ろす視点で、画像表示装置（３）に表示させ、前記車両から入力された車両挙動情報に基づく前記車両の動き量に応じて、前記車両用画像に対する前記履歴作成用画像の相対的な配置を変化させる表示制御手段（１３５、１４０、１４５）として、車両周囲画像表示制御装置（２）を機能させる車両周囲画像表示制御プログラム。