JP5311133B2 - 表示画像修正装置 - Google Patents

Description

本発明は、車載カメラにより撮影された撮影画像を修正して表示画像を生成する表示画像修正装置に関する。

一般的に、人間の目で対象物の存在を見つけ易い画像は「コントラストが高い画像」であると言われている。特に、最も明るい色と最も暗い色との差が大きい程、視認性が良く、例えば元々暗い場所で撮影して得られた画像のコントラストを上げる場合には、通常「明るい色をより明るくする」画像処理が行われる。しかしながら、このような暗い場所で撮影して得られた画像に対して上述のコントラストを上げる画像処理を行っていた場合に瞬間的に非常に強い光（例えば対向車のライト等）が突然にカメラに入力されると「明るい色を更に明るくする」画像処理がかえって逆効果となり、画像全体が真っ白な状態となる。このような状態は所謂「白飛び」と称される。このように、暗い場所で撮影して得られた画像のコントラストを上げることと、外来ノイズに起因する「白飛び」の発生とは、トレードオフの関係にある。

車載カメラにより車両周辺を撮影して得られた撮影映像を表示する装置において、このような暗い場所（例えば夜間）での撮影中に対向車のライト等の外光が映り込んだ場合であってもスミアやハレーションを防止し、視認性を向上させることが可能な技術がある（例えば特許文献１及び特許文献２等）。

特許文献１には、表示画像内の高輝度領域でのハレーションにより低輝度の対象物が隠れてしまうことを防止し、低輝度から高輝度まで適正な画像を表示するナイトビジョン装置に関して記載されている。当該ナイトビジョン装置は、表示すべき画像の映像信号を構成する輝度信号を入力し、高輝度と低輝度とに基づく輝度比特性を有するガンマ補正信号を出力するガンマ増幅器を備え、前記輝度比特性の表示輝度の画像を表示する。また、ガンマ増幅器はガンマ補正信号の輝度比特性を可変調整して、対象物を明瞭に表示させる機能を備えている。

特許文献２には、車両の前方の人物や近くの情景から遠くの情景までを適切に撮像して表示する赤外線式監視装置に関して記載されている。当該赤外線式監視装置は感度の異なる複数の赤外線ビデオカメラを備えて構成される。夫々の赤外線ビデオカメラから出力されるビデオ信号から適正露光でない部分のビデオ信号を検出した場合に、当該適正露光でない部分に適正露光のビデオ信号から抜き出した部分をすげ替えて表示する。

特開２００３−２５９３６３号公報 特開２００１−１６５７８号公報

しかしながら、上述の特許文献１や特許文献２に記載の技術のような予め決められた輝度の閾値レベルに応じて局所的に或いは非線形に輝度を増幅する方法では、輝度値を計算してからビデオ信号を増幅する処理速度が速くないので瞬間的な外光への入力には対応できない。このため、瞬間的な外光が入力された瞬間において「白飛び」が発生する可能性がある。

また、一般的なデジタルカメラのように、画面全体の輝度値の平均、或いはヒストグラムを見ながら、手動或いは自動でシャッター速度を可変することも考えられる。しかしながら、フレームレートが固定された動画の撮影においてはシャッター速度を可変することはできない。更に、このような技術を車両の周辺を監視する車両周辺監視装置に適用した場合には、例え暗い場所での使用であっても常にいかなる瞬間においても対象物を視認可能としなければならず、遅いフレームレートでの表示では対象物の急な接近に追従できない可能性があるため好ましくない。

本発明の目的は、上記問題に鑑み、カメラの映像信号の輝度を調整するだけでは追従できないような急な外光の映り込みによって瞬間的に画面全体が白く飛んでしまった場合においても、対象物を視認することが可能な表示画像修正装置を提供することにある。

上記目的を達成するための本発明に係る表示画像修正装置の特徴構成は、車両の周辺を撮影する車載カメラにより撮影された複数のフレーム画像からなる動画の撮影画像を記憶する画像記憶部と、前記画像記憶部に記憶された複数のフレーム画像のうち、最新のフレーム画像に発生する白飛びの強度を検出する白飛び検出部と、前記白飛び検出部により検出された白飛びの強度が予め設定された判定閾値以上である場合に、当該白飛びの発生が検出された最新のフレーム画像と当該最新のフレーム画像よりも前記画像記憶部に先に記憶された少なくとも一つのフレーム画像とを用い、それぞれのフレーム画像に重み付けを与えて重畳し、前記車両の車室内に設けられる表示装置に表示される表示画像を生成する表示画像生成部と、を備えている点にある。

このような特徴構成とすれば、カメラの輝度調整機能が追従できないような急な外光の映り込みによって瞬間的に画面全体が白く飛んでしまった場合においても、対象物を表示画像に含ませることができるので当該対象物を視認することが可能となる。また、先に記憶されたフレーム画像を用いて表示画像を生成するので、高性能な演算処理能力を有する演算処理装置を必要とすることがない。したがって、安価に表示画像修正装置を構成することが可能となる。

また、前記表示画像生成部は、前記白飛びの強度が判定閾値以上である最新のフレーム画像に前記先に記憶されたフレーム画像を重畳して前記表示画像を生成すると好適である。

このような構成とすれば、簡素な演算処理で表示画像を生成することが可能となる。したがって、演算処理能力の高くない演算処理装置で構成することができるので、安価に表示画像修正装置を構成することが可能となる。

また、前記表示画像生成部は、前記先に記憶されたフレーム画像として前記画像記憶部に記憶されている複数のフレーム画像のうち、前記白飛びの強度が判定閾値未満であるフレーム画像を用いて前記表示画像を生成すると好適である。

このように、白飛びの強度が判定閾値未満のフレーム画像を用いて表示画像を生成すると、最新のフレーム画像の白飛びの強度が強い場合であっても、当該白飛びで視認しにくい箇所を適切に視認しやすくすることができる。

また、前記表示画像の生成に用いられる前記フレーム画像に所定の重み付けを設定する重み設定部を備え、前記表示画像生成部が、前記フレーム画像に前記所定の重み付けを与えて前記表示画像を生成すると好適である。

このような構成とすれば、適宜、重み付けを変更することで、白飛びで視認しにくい箇所をより明瞭に表示画像として表示させることが可能となる。例えば、重み付けは夫々を同じ重みにしても良い。また、自車の車速に応じて変更する構成とすることも可能である。係る場合には、直近に得られたフレーム画像の重みを大きくすると好適である。或いは、白飛びの強度が強すぎる場合には古いもの程、重みを大きくすると好適である。

表示画像修正装置を備える車両の概略を示す鳥瞰図である。 表示画像修正装置の概略構成を模式的に示すブロック図である。 フレーム画像から生成する表示画像について示す図である。 表示画像修正装置を備えない車両が、駐車スペースに駐車する場合の表示画像の一例である。 表示画像修正装置を備える車両が、駐車スペースに駐車する場合の表示画像の一例である。 表示画像修正装置を備える車両が、駐車スペースに駐車する場合の表示画像の一例である。 表示画像修正装置を備える車両が、駐車スペースに駐車する場合の表示画像の一例である。 その他の実施形態に係るフレーム画像から生成する表示画像について示す図である。

以下、本発明の実施の形態について、詳細に説明する。図１は、本発明に係る表示画像修正装置５０を備える車両１００の概略を示す鳥瞰図である。車両１００には、車載カメラ１としてフロントカメラ１１、サイドカメラ１２、リアカメラ１３が備えられる。フロントカメラ１１は、車両１００の前方の情景を撮影した撮影画像を取得する。フロントカメラ１１は例えばＣＣＤカメラ等により構成される。このようなフロントカメラ１１は、図１に示されるように、車両１００のフロント部分（例えばフロントグリル等）に備えられる。フロントカメラ１１は、例えば魚眼レンズを用いて構成すると好適であり、係る場合には少なくとも図１のＡで示される領域の情景を含む撮影画像が取得される。

サイドカメラ１２は、車両１００が有するサイドミラー６０に備えられる。また、当該サイドカメラ１２は、サイドミラー６０の鉛直下方を含む車両１００の左側方の情景及び右側方の情景を撮影した撮影画像を取得する一対のサイドカメラ１２ａ、１２ｂ（左サイドカメラ１２ａ及び右サイドカメラ１２ｂ）から構成される。本実施形態では、図１に示されるように、車両１００の進行方向に対して左側方のサイドミラー６０ａに備えられるものを左サイドカメラ１２ａとし、進行方向に対して右側方のサイドミラー６０ｂに備えられるものを右サイドカメラ１２ｂとして説明する。また、特に左サイドカメラ１２ａ及び右サイドカメラ１２ｂのいずれかを限定する必要がない場合には、サイドカメラ１２として記載する。

左サイドカメラ１２ａは、左側方のサイドミラー６０ａの鉛直下方を含む車両１００の左側方の情景を撮影し、撮影画像を取得する。上述のフロントカメラ１１と同様に、サイドカメラ１２も魚眼レンズを用いて構成すると好適である。係る場合には、左サイドカメラ１２ａにより少なくとも図１のＢで示される領域の情景を撮影した撮影画像が取得される。右サイドカメラ１２ｂは、右側方のサイドミラー６０ｂの鉛直下方を含む車両１００の右側方の情景を撮影し、撮影画像を取得する。右サイドカメラ１２ｂにより少なくとも図１のＣで示される領域の情景を撮影した撮影画像が取得される。

リアカメラ１３は、車両１００の後方の情景を撮影した撮影画像を取得する。リアカメラ１３は、図１に示されるように、車両１００のリア部分（例えばリアバンパーやリア部分に備えられるモール等）に備えられる。リアカメラ１３も、例えば魚眼レンズを用いて構成すると好適であり、係る場合には少なくとも図１のＤで示される領域の情景を撮影した撮影画像が取得される。このように、各カメラで撮影される領域は、互いの境界部分において重複するように構成することが可能である。また、図示はしないが、上述の領域Ａ−Ｄは、夫々重複する領域を有さないように構成することも可能である。また、フロントカメラ１１、サイドカメラ１２、リアカメラ１３は、夫々、魚眼レンズの代わりに広角レンズを用いることも可能である。

本発明に係る表示画像修正装置５０は、このような車両１００に備えられるフロントカメラ１１、サイドカメラ１２、リアカメラ１３により取得された撮影画像を表示装置４０（図２参照）に表示する際、運転者が好適に車両１００の周囲を視認可能にする機能を備えている。図２は、本表示画像修正装置５０の概略構成を模式的に示すブロック図である。

表示画像修正装置５０は、車載カメラ１、センサデバイス２、ＥＣＵ（電子制御ユニット）３、表示装置４０を備えて構成される。車載カメラ１は、フロントカメラ１１、左サイドカメラ１２ａ、右サイドカメラ１２ｂ、リアカメラ１３を備えて構成される。センサデバイス２は、車速センサ２１を備えて構成される。ＥＣＵ３は、画像記憶部３１、画像抽出部３２、表示画像生成部３３、抽出画像決定部３４、白飛び検出部３５、重み設定部３６の各機能部を備えて構成される。このように構成される本車両周辺監視装置５０は、ＣＰＵを中核部材として車両１００の周辺を監視する種々の処理を行うための上述の機能部がハードウェア又はソフトウェア或いはその両方で構築されている。

上述のようにフロントカメラ１１、サイドカメラ１２、リアカメラ１３は、夫々の視野範囲（領域Ａ−Ｄ）に沿って撮影画像を取得する。本実施形態では、これらのカメラ１１−１３は、所定のフレームレート（例えば３０フレーム／秒）で駆動される。このため、取得される撮影画像としては、複数のフレーム画像からなる動画となる。このような動画は、後述の画像記憶部３１に伝達される。

車速センサ２１は、車両１００が有する車速を検出する。車速の検出する方法としては様々な種類があるが、車両１００が備える車輪（図示せず）の回転速度を検出することにより車速を検出することが可能である。本実施形態においては、車速センサ２１は車輪の回転速度を検出する場合の例として説明する。車速センサ２１は例えばホール素子を用いて構成することが可能である。ホール素子は電流が流れている導体に磁界を加えた場合に、導体内部の電荷が横方向に動かされるように受ける力に応じて起電力を生じるホール効果を利用して磁束を検出する素子である。

このようなホール素子を用いる場合には、車輪の回転軸の周囲に永久磁石を配設し、車輪の回転に応じて変化する磁界をホール素子により検出すると好適である。また、ホール素子から出力される検出結果は電気信号であるので、車速センサ２１は当該検出結果に基づいて車速を演算する。車速センサ２１は、例えば左前輪の回転軸及び右前輪の回転軸に夫々備えると好適である。このように左右両輪の回転軸に備えることにより、直進及び旋回の別を検出することが可能となる。即ち、左右両輪の回転速度が同じであれば直進であると判定することができ、左右両輪の回転速度が異なっていれば回転速度の遅い方に旋回をしていると判定することができる。なお、車速センサ２１は車両１００が備える前輪の回転軸及び後輪の回転軸の少なくともいずれか一方に備えていれば良い。車速センサ２１により検出され車速は、後述する重み設定部３６に伝達される。

画像記憶部３１は、車両１００の周辺を撮影する車載カメラ１により撮影された複数のフレーム画像からなる動画の撮影画像を記憶する。車載カメラ１とは、上述の各カメラ１１−１３である。また、これらのカメラ１１−１３は、上述のように複数のフレーム画像からなる動画撮影を行い、画像記憶部３１に伝達される。画像記憶部３１は、各カメラ１１−１３から伝達される撮影画像を、取得された時間情報を示すタイムスタンプとリンクして記憶（一時的に記憶）する。このように記憶された撮影画像は、必要に応じて後述する画像抽出部３２及び白飛び検出部３５により読み出されて（抽出されて）使用される。なお、画像記憶部３１に記憶された撮影画像は、前記タイムスタンプを参照し、記憶されてから所定時間が経過する毎に消去する構成とすることも可能であるし、運転者のスイッチ操作等により消去する構成とすることも可能である。或いは、記憶領域の容量を所定の固定値で設定し、所謂先入れ先出し方式で記憶と消去とを行う構成とすることも可能である。

白飛び検出部３５は、画像記憶部３１に記憶された複数のフレーム画像のうち、最新のフレーム画像に発生する白飛びの強度を検出する。上述のように、画像記憶部３１には、各カメラ１１−１３により伝達される複数のフレームからなる撮影画像がタイムスタンプとリンクして記憶されている。したがって、白飛び検出部３５は、当該タイムスタンプを参照することにより、画像記憶部３１に記憶されている複数フレームの中から最新のフレーム画像を見つけ出すことが可能となる。

白飛びとは、取得された撮影画像において、一定以上の明るさの被写体が真っ白に塗り潰されてしまう現象である。白飛びの強度とは、このような塗りつぶされる領域の白さの度合いや、当該領域がフレーム画像に占める割合により決定される。したがって、塗りつぶされる領域の白さの度合いが強く（即ち、被写体が全く見えない程度に真っ白な状態であり）フレーム画像全体にわたっている場合には白飛びの強度は最も強いとして検出される。そして、白飛びの塗りつぶされる領域の白さの度合いが弱く（即ち、被写体がある程度見える程度に白くなる状態であり）フレーム画像全体にわたっている場合や、白飛びの塗りつぶされる領域の白さの度合いが強くてもそのような領域がフレーム画像全体の微小な領域のみである場合には白飛びの強度は弱いとして検出される。このような白飛びの強度は、数値で表わすことが可能である。即ち、例えば白飛びの強度を１０段階で表わすとすると、白飛びの強度が強い場合には「１０」であり、白飛びの強度が比較的弱い場合には「１」や「２」であるというように表わすことが可能である。

このような白飛びの強度が強い場合には、運転者は撮影画像に映る被写体を視認できなくなる。本表示画像修正装置５０によれば、このような白飛びで被写体が視認できなくなることを防ぐことができる。このため、白飛び検出部３５は、最新のフレーム画像に発生する白飛びの強度を検出する。白飛び検出部３５による検出結果は、後述の抽出画像決定部３４に伝達される。

抽出画像決定部３４は、白飛び検出部３５による検出結果に基づいて画像記憶部３１から抽出するフレーム画像を決定する。この決定は、白飛び検出部３５により検出された白飛びの強度が予め設定された判定閾値以上であるか否かにより決定される。上述のように白飛びの強度は、白飛び検出部３５により数値で表わされる。抽出画像決定部３４は、そのような白飛びの強度と比較するのに設定された判定閾値を予め記憶している。白飛びの強度が判定閾値未満である場合には、抽出画像決定部３４は白飛び検出に用いられたフレーム画像、即ち、画像記憶部３１に記憶されている最新のフレーム画像のみを抽出すべき画像として決定する。

一方、白飛びの強度が判定閾値以上である場合には、白飛びの発生が検出された最新のフレーム画像と、当該白飛び検出に用いられたフレーム画像よりも画像記憶部３１に先に記憶された少なくとも一つのフレーム画像とを抽出すべき画像として決定する。白飛びの発生が検出された最新のフレーム画像とは、白飛びの検出に用いられたフレーム画像である。先に記憶された少なくとも一つのフレーム画像とは、白飛び検出に用いられたフレーム画像よりもタイムスタンプが古い画像である。本実施形態においては、白飛びが検出された場合には、抽出画像決定部３４は、先に記憶されたフレーム画像として、２枚を抽出すべき画像として決定することとする。したがって、係る場合には、最新のフレーム画像と当該最新のフレーム画像からさかのぼった２枚のフレーム画像との合計３枚のフレーム画像を抽出すべき画像として決定する。抽出画像決定部３４による決定された結果は、抽出画像決定情報として後述の画像抽出部３２及び重み設定部３６に伝達される。

画像抽出部３２は、抽出画像決定情報に基づいて画像記憶部３１からフレーム画像を抽出する。上述のように抽出画像決定情報は、抽出が像決定部３４から伝達される。抽出画像決定情報が最新のフレーム画像のみを抽出すべきことを示すものであれば、画像抽出部３２は画像記憶部３１からタイムスタンプを参照し、最新のフレーム画像のみを抽出する。一方、抽出画像決定情報が最新のフレーム画像と当該最新のフレーム画像からさかのぼった２枚のフレーム画像との合計３枚のフレーム画像を抽出すべきことを示すものであれば、画像抽出部３２は画像記憶部３１からタイムスタンプを参照し、対象となる３枚のフレーム画像を抽出する。画像抽出部３２により抽出されたフレーム画像は、後述の表示画像生成部３３に伝達される。

重み設定部３６は、表示画像の生成に用いられるフレーム画像に所定の重み付けを設定する。詳細は、後述するが上述の画像抽出部３２により画像記憶部３１から抽出されたフレーム画像は表示装置４０に表示される表示画像の生成に用いられる。したがって、表示画像の生成に用いられるフレーム画像とは、上述の画像抽出部３２により抽出されたフレーム画像が相当する。所定の重み付けとは、表示装置４０に表示画像を表示する際、優先的に表示したいフレーム画像が表示することが可能なように設定される重みである。この重みは、数段階で区切られた重み（例えば「大」、「中」、「小」等）であっても良いし、数値（例えば「５０％」等）であっても良い。本実施形態では、数値で設定する場合の例として説明する。

ここで、重み設定部３６は、上述のように抽出画像決定部３４から抽出画像決定情報が伝達され、当該抽出画像決定情報に基づいて重み付けを設定する。抽出画像決定情報が最新のフレーム画像のみを抽出すべきことを示すものであれば、重み設定部３６は、最新のフレーム画像の重みを１００％として設定する。一方、抽出画像決定情報が最新のフレーム画像と当該最新のフレーム画像からさかのぼった２枚のフレーム画像との合計３枚のフレーム画像を抽出すべきことを示すものであれば、重み設定部３６は対象となる３枚のフレーム画像の重みを夫々３０％として設定する。なお、本実施形態では３枚のフレーム画像の重みを夫々同じ数値で設定することとしているが、もちろん夫々異なる値で設定することも当然に可能である。重み設定部３６により設定された重み付けは、後述の表示画像生成部３３に伝達される。

表示画像生成部３３は、車両１００の車室内に設けられる表示装置４０に表示される表示画像を生成する。この表示画像の生成は、画像抽出部３２から伝達されるフレーム画像と、重み設定部３６から伝達される重み付けとにより行われる。画像抽出部３２から伝達される抽出画像が最新のフレーム画像のみであり、重み設定部３６から伝達される最新のフレーム画像の重みが１００％である場合には、表示画像生成部３３は当該最新のフレーム画像を表示画像として用いる。

一方、画像抽出部３２から伝達される抽出画像が最新のフレーム画像と当該最新のフレーム画像からさかのぼった２枚のフレーム画像との合計３枚のフレーム画像であり、重み設定部３６から伝達される夫々のフレーム画像の重みが３０％である場合には、表示画像生成部３３は、これら３枚のフレーム画像を表示画像として用いる。係る場合、表示画像生成部３３は、これらのフレーム画像に所定の重み付けを与えて表示画像を生成する。所定の重み付けとは、重み設定部３６から伝達される重みである。このように、表示画像生成部３３は、先に記憶されたフレーム画像として画像記憶部３１に記憶されている複数のフレーム画像を用いて表示画像を生成することとなる。

このような３枚のフレーム画像から表示画像を生成する場合には、表示画像生成部３３は、白飛びの強度が判定閾値以上である最新のフレーム画像に先に記憶されたフレーム画像を重畳して表示画像を生成する。最新のフレーム画像に先に記憶されたフレーム画像を重畳するとは、夫々のフレーム画像を重ねるということである。したがって、夫々のフレーム画像に映る被写体が移動している場合には、所謂ぶれて撮影された撮影画像のような表示画像となるが、白飛びにより被写体が全く見えなくなることを防止することが可能となる。表示画像生成部３３により生成された表示画像は表示装置４０に伝達され表示される。

次に、フレーム画像から生成する表示画像について図３を用いて説明する。図３に示されるように、時刻ｔ１において得られたフレーム画像ｒ１が画像記憶部３１に記憶されているとする。この際、白飛びの強度が弱い（判定閾値未満である）場合には、表示画像生成部３３はフレーム画像ｒ１から表示画像Ｒ１を生成する。即ち、この場合には表示画像Ｒ１はフレーム画像ｒ１と同じものとなる。なお、図３においては、理解を容易とするために白飛びの強度が判定閾値未満のフレーム画像（フレーム画像ｒ１、ｒ２）を白で示し、白飛びの強度が判定閾値以上のフレーム画像（フレーム画像ｒ３、ｒ４、ｒ５）をグレーで示している。また、フレーム画像をそのまま表示画像として用いる場合には、その表示画像（表示画像Ｒ１、Ｒ２）は白で示し、フレーム画像を重畳して表示画像を生成する場合には、その表示画像（表示画像Ｒ３、Ｒ４、Ｒ５）はグレーで示している。

そして、時刻ｔ２において得られたフレーム画像ｒ２においても白飛びの強度が弱い（判定閾値未満である）場合には、表示画像生成部３３はフレーム画像ｒ２から表示画像Ｒ２を生成する。したがって、表示画像Ｒ１の表示後、表示画像Ｒ２が表示される。

その後、時刻ｔ３において得られたフレーム画像ｒ３において、白飛びの強度が強い（判定閾値以上である）場合には、表示画像生成部３３は最新のフレーム画像ｒ３と、当該最新のフレーム画像ｒ３より先に画像記憶部３１に記憶されているフレーム画像ｒ２及びｒ１とを用いて、所定の重みを与えて表示画像Ｒ３を生成する。本実施形態では、重みは夫々３０％で設定されているので均等に設定される。このような表示画像Ｒ３は表示画像Ｒ２の表示後に表示される。

時刻ｔ４においても、時刻ｔ３と同様に、時刻ｔ４において得られたフレーム画像ｒ４において、白飛びの強度が強い（判定閾値以上である）場合には、表示画像生成部３３は最新のフレーム画像ｒ４と、当該最新のフレーム画像ｒ４より先に画像記憶部３１に記憶されているフレーム画像ｒ３及びｒ２とを用いて、所定の重みを与えて表示画像Ｒ４を生成する。本実施形態では、重みは夫々３０％で設定されているので均等に設定される。このような表示画像Ｒ４は表示画像Ｒ３の表示後に表示される。

時刻ｔ５においても同様に、時刻ｔ５において得られたフレーム画像ｒ５において、白飛びの強度が強い（判定閾値以上である）場合には、表示画像生成部３３は最新のフレーム画像ｒ５と、当該最新のフレーム画像ｒ５より先に画像記憶部３１に記憶されているフレーム画像ｒ４及びｒ３とを用いて、所定の重みを与えて表示画像Ｒ５を生成する。本実施形態では、重みは夫々３０％で設定されているので均等に設定される。このような表示画像Ｒ５は表示画像Ｒ４の表示後に表示される。このようにしてフレーム画像から表示画像が生成される。

図４は、表示画像修正装置５０を搭載していない車両１００が、暗い状況（例えば夜間）において、後退して駐車スペースに駐車させる際の状況を示す撮影画像である。車両１００を駐車させようとしている駐車スペースは、車両Ｘと車両Ｙとの間にある駐車スペースＳである。図４は、時刻ｔ１から時刻ｔ５までの間にリアカメラ１３により得られた撮影画像（フレーム画像）を示している。図４の時刻ｔ１に得られたフレーム画像に示されるように、車両１００（リアカメラ１３を備えた車両）の後方には、ライトを点灯させている他の車両Ｚが存在している。

車両１００の運転者は、当該車両１００を駐車スペースＳに駐車させるべく、ステアリングを所定の舵角で後退させる。その状態で得られた撮影画像は時刻ｔ２で得られたフレーム画像が相当する。また、他の車両Ｚも車両１００側に走行して近づいてきているが、この段階にあっては、白飛びの強度は極端に強いものではない。その後、時刻ｔ３−時刻ｔ５で得られたフレーム画像に示されるように、車両１００が駐車スペースＳに後退させられるのに合わせて、他の車両Ｚも走行して車両１００との距離が近くなり、フレーム画像に発生する白飛びの強度が次第に強くなってくる。このような白飛びの強度が強い状況においては（特に時刻ｔ３−時刻ｔ５の間においては）、車両Ｘや車両Ｙや駐車スペースＳが見えにくくなっている。このような状況の下、車両１００を後退走行させると、後退走行させる際の指標となる車両Ｘや車両Ｙや駐車スペースＳが見えにくい状態で後退走行することとなるので危険である。

本表示画像修正装置５０は、このような白飛びの強度が強い場合であっても、後退走行させる際の指標となる車両Ｘや車両Ｙや駐車スペースＳの大体の位置を把握することが可能とすることができる。図５−図７は、本発明に係る表示画像修正装置５０を搭載した車両１００が暗い状況（例えば夜間）において、駐車スペースに駐車させる際の撮影画像（フレーム画像）から表示画像を生成する形態を示す図である。

図５には、時刻ｔ１で得られたフレーム画像ｒ１、時刻ｔ２で得られたフレーム画像ｒ２、及び時刻ｔ３で得られたフレーム画像ｒ３が示されている。上述の図４と同様に、フレーム画像ｒ１及びフレーム画像ｒ２の白飛びの強度が弱い（判定閾値未満である）場合には、表示装置４０にはフレーム画像ｒ１が表示画像Ｒ１として表示され、フレーム画像ｒ２が表示画像Ｒ２として表示される。

そして、時刻ｔ３で得られたフレーム画像ｒ３の白飛びの強度が判定閾値以上である場合には、最新のフレーム画像（フレーム画像ｒ３）と、当該最新のフレーム画像よりも先に記憶された２枚のフレーム画像（フレーム画像ｒ１及びフレーム画像ｒ２）とを重畳して表示画像Ｒ３が生成される。生成された表示画像Ｒ３は、図５の右部に示されるように、手ブレして撮影した画像のようなものとなる。しかしながら、車両Ｘや車両Ｙや駐車スペースＳの大体の位置は視認できるので、車両１００が車両Ｘや車両Ｙに接触することを防止できる。なお、先のフレーム画像を用いる場合には、２枚のフレーム画像が用いられるとして説明したが、先に記憶されたフレーム画像が１枚しかない場合には、最新のフレーム画像と、先に記憶された１枚のフレーム画像とを用いて表示画像が生成することも可能である。

図６においても同様に、最新のフレーム画像（フレーム画像ｒ４）と、先に記憶された２枚のフレーム画像（フレーム画像ｒ２及びフレーム画像ｒ３）とを用いて生成された表示画像Ｒ４を示している。更に、図７においても同様に、最新のフレーム画像（フレーム画像ｒ５）と、先に記憶された２枚のフレーム画像（フレーム画像ｒ３及びフレーム画像ｒ４）とを用いて生成された表示画像Ｒ５を示している。このように表示画像を生成することにより、フレーム画像に発生する白飛びの強度が強い場合であっても、適切に後退走行の指標となる車両Ｘや車両Ｙや駐車スペースＳが視認可能となる。

〔その他の実施形態〕
上記実施形態では、表示画像生成部３３は、先に記憶されたフレーム画像として画像記憶部３１に記憶されている複数のフレーム画像を用いて表示画像を生成するとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。表示画像生成部３３は、先に記憶されたフレーム画像として画像記憶部３１に記憶されているフレーム画像を１枚だけ用いて表示画像を生成することも当然に可能である。係る場合には、最新のフレーム画像と、先に記憶されている１枚のフレーム画像との合計２枚のフレーム画像から表示画像が生成される。また、画像記憶部３１に記憶されている複数のフレーム画像は、４枚以上用いて表示画像を生成する構成とすることも当然に可能である。

上記実施形態では、重み設定部３６が設定する重みは、最新のフレーム画像と、当該最新のフレーム画像よりも先に画像記憶部３１に記憶されたフレーム画像とを、同じ重みで設定するとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。例えば、先に記憶されているフレーム画像の重みを大きく設定することも当然に可能である。このような重み付けは、白飛びの強度が強い場合に有効である。

また、最新のフレーム画像の重みを大きくすることも当然に可能である。このような重み付けは、自車（車両１００）の車速が速い場合に有効である。このような構成とする場合には、車速センサ２１から伝達される車速に応じて設定することが可能である。

また、上記実施形態では、表示画像生成部３３は、最新の表示画像と、当該最新のフレーム画像からさかのぼった２枚のフレーム画像との合計３枚のフレーム画像を抽出すべき画像として決定するとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。表示画像生成部３３が、先に記憶されたフレーム画像として画像記憶部３１に記憶されている複数のフレーム画像のうち、白飛びの強度が判定閾値未満であるフレーム画像を用いて表示画像を生成する構成することも当然に可能である。このように、最新のフレーム画像と白飛びの強度が判定閾値未満であるフレーム画像とを重畳することにより、フレーム画像に含まれる駐車スペースＳ等をより視認しやすい表示画像を生成することが可能となる。

上記実施形態では、白飛びの強度が判定閾値以上であるか否かにより生成する表示画像について図３を用いて説明した。図８に示されるように、時刻ｔ４において白飛びの強度が判定閾値以上であり、時刻ｔ５において白飛びの強度が判定閾値未満となった場合には、時刻ｔ５で得られたフレーム画像ｒ５を表示画像Ｒ５としてそのまま用いるように構成することは当然に可能である。

本発明は、車載カメラにより撮影された撮影画像を修正して表示画像を生成する表示画像修正装置に利用可能である。

１：車載カメラ
２：センサデバイス
３：ＥＣＵ（電子制御ユニット）
１１：フロントカメラ
１２ａ：左サイドカメラ
１２ｂ：右サイドカメラ
１３：リアカメラ
２１：車速センサ
３１：画像記憶部
３２：画像抽出部
３３：表示画像生成部
３４：抽出画像決定部
３５：白飛び検出部
３６：重み設定部
４０：表示装置
５０：表示画像修正装置

Claims (4)

1. 車両の周辺を撮影する車載カメラにより撮影された複数のフレーム画像からなる動画の撮影画像を記憶する画像記憶部と、
   前記画像記憶部に記憶された複数のフレーム画像のうち、最新のフレーム画像に発生する白飛びの強度を検出する白飛び検出部と、
   前記白飛び検出部により検出された白飛びの強度が予め設定された判定閾値以上である場合に、当該白飛びの発生が検出された最新のフレーム画像と当該最新のフレーム画像よりも前記画像記憶部に先に記憶された少なくとも一つのフレーム画像とを用い、それぞれのフレーム画像に重み付けを与えて重畳し、前記車両の車室内に設けられる表示装置に表示される表示画像を生成する表示画像生成部と、を備える表示画像修正装置。
2. 前記表示画像生成部は、前記先に記憶されたフレーム画像として前記画像記憶部に記憶されている複数のフレーム画像のうち、前記白飛びの強度が判定閾値未満であるフレーム画像を用いて前記表示画像を生成する請求項１に記載の表示画像修正装置。
3. 前記表示画像の生成に用いられる前記フレーム画像に所定の重み付けを設定する重み設定部を備え、
   前記表示画像生成部が、前記フレーム画像に前記所定の重み付けを与えて前記表示画像を生成する請求項１又は２に記載の表示画像修正装置。
4. 前記重み設定部は、前記車両の車速に応じて前記重み付けを設定する請求項３に記載の表示画像修正装置。