JP6330761B2 - 画像生成装置、画像生成方法、及びプログラム - Google Patents

Description

本発明は、表示部に表示する画像を生成する技術に関する。

従来、自動車に搭載される画像表示装置であって、撮像部と、画像処理部と、表示部とを備えた画像表示装置が知られている（特許文献１参照）。
撮像部は、広角レンズを介して画像を撮影するものであり、車両の周辺の予め規定された領域を撮影するように設置されている。画像処理部は、撮像部で撮影された画像の歪みを補正すると共に、表示部で表示すべき画像の領域である対象画像を特定する。表示部は、画像処理部で特定された対象画像を表示する。

特開２０１３−１１０７１２号公報

画像表示装置においては、撮像部の設置姿勢によっては、対象画像に像が形成されていない不定領域が生じる。この不定領域は、広角レンズを介して撮影された画像の歪みを補正し、その補正した画像において、ある一定の範囲・大きさを有した領域を対象画像として特定することで形成される。

この不定領域は、画像の周縁に形成される半円状の領域であるため、表示部に表示された画像を視認した利用者に違和感を与えるという課題が生じる。
この課題を解決するために、画像表示装置において、対象画像の不定領域をマスキングすることが考えられている。

しかしながら、マスキングを施す領域は、不定領域に応じて予め求める必要があり、撮像部が設置された姿勢が変更されると、その都度、マスキングを施す領域を求め直す必要があり、手間が大きいという課題があった。

そこで、本発明は、表示部に表示される画像において不定領域をマスキングしつつ、そのマスキングを施す領域を求める手間を低減することを目的とする。

上記目的を達成するためになされた本発明は、画像生成部（２０，Ｓ５８０）と、画像表示部（２０，Ｓ５９０）と、不定領域判定部（２０，Ｓ２３０，Ｓ２４０）と、マスク設定部（２０，Ｓ２５０，Ｓ３２０）とを備えた画像生成装置（２０）に関する。

画像生成部では、撮像部（１０）で撮影した撮影画像の歪みを補正する処理を実施し、表示すべき画像の最大範囲である対象画像を生成する。ここで言う撮像部は、広角レンズを介して画像を撮影する撮像部であって、車両の周辺の予め規定された領域を撮影するように当該車両に設置されている。

画像表示部は、画像生成部で生成された対象画像を、表示部の表示領域に表示させる。さらに、不定領域判定部は、撮像部の撮影中心から各画素までの距離を表す像高データ、及び撮像部が設置された姿勢に基づいて、対象画像において像が形成されない不定領域が少なくとも１つ存在するか否かを判定する。

そして、マスク設定部は、不定領域判定部で判定した結果、不定領域が少なくとも１つ存在する場合、その少なくとも１つの不定領域に外接する直線を有した矩形の領域であり、かつ、当該不定領域が存在する対象画像の端部を覆うマスク領域を設定する。

さらに、画像生成部は、対象画像に対し、マスク設定部で設定したマスク領域を規定された色で塗りつぶすマスキングを実施した画像を、新たな対象画像として生成する。
このような画像生成装置によれば、撮像部が設置された姿勢、及び像高データに基づいて不定領域の有無を判定し、その判定の結果、不定領域が存在する場合にはマスク領域を設定できる。このマスク領域の設定は、画像生成装置が自動で実施するため、撮像部の設置姿勢ごとに予め求める必要がなくなり、手間を低減できる。

つまり、画像生成装置によれば、表示部に表示される画像において不定領域をマスキングしつつ、そのマスキングを施す領域を求める手間を低減できる。
また、マスク設定部は、不定領域判定部での判定の結果、不定領域が複数存在する場合、対象画像において不定領域それぞれに内接する矩形の領域である特定画像領域を特定する画像特定部（２０，Ｓ２７０）を備えていてもよい。

この場合、マスク設定部は、画像特定部で特定した特定画像領域の外側の領域をマスク領域として設定してもよい。
このような画像生成装置によれば、不定領域が複数存在する場合に、補正画像において、不定領域を含まず、かつ、表示すべき画像の中で最大の範囲を特定画像領域とすることができる。

そして、補正画像において、特定画像領域の外側の領域をマスク領域とすることで、最適なマスク領域を設定できる。
また、本発明は、対象画像を生成する画像生成方法としてなされていてもよいし、車両に搭載されるコンピュータが実行するプログラムとしてなされていてもよい。

前者の画像生成方法によれば、画像生成装置と同様の効果を得ることができる。
後者のプログラムであれば、記録媒体から必要に応じてコンピュータにロードさせて起動することや、必要に応じて通信回線を介してコンピュータに取得させて起動することで用いることができる。そして、コンピュータに各手順を実行させることで、そのコンピュータを画像生成装置として機能させることができる。

なお、ここで言う記録媒体には、例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な電子媒体を含む。
なお、「特許請求の範囲」及び「課題を解決するための手段」の欄に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

画像表示装置の概略構成を示すブロック図である。 画像表示処理の処理手順を示すフローチャートである。 初期化処理の処理手順を示すフローチャートである。 初期化処理の概要を説明する説明図であり、（Ａ）は１つの不定領域が存在する対象画像を説明する図であり、（Ｂ）は不定領域がマスキングされた対象画像を説明する図である。 初期化処理の概要を説明する図であり、（Ａ）は複数の不定領域が存在する対象画像を説明する図であり、（Ｂ）は表示すべき特定画像領域を説明する図である。 画像生成処理の処理手順を示すフローチャートである。 表示処理の概要を説明する説明図であり、（Ａ）はマスク領域に対応する領域に人が存在する場合の処理を説明する図であり、（Ｂ）は上部マスクへの処理を説明する図である。

以下に本発明の実施形態を図面と共に説明する。
＜画像表示装置＞
図１に示す画像表示装置１は、自動車に搭載される装置であり、自車両の周辺を撮影した画像を画像処理して表示する装置である。

画像表示装置１は、撮像部１０と、記憶部１４と、画像処理部２０と、表示部３０とを備える。
撮像部１０は、複数の画素からなる矩形平面に実空間を投影した画像を生成する周知の撮像装置である。この撮像装置は、撮像素子と、光学レンズと、電源等の周辺電子回路とを備えている。

撮像素子は、いわゆるＣＣＤイメージセンサやＣＭＯＳイメージセンサである。
光学レンズは、光を収束または発散させる光学素子である。本実施形態では、光学レンズとして広角レンズを用いる。ここで言う広角レンズとは、画角が広く（例えば６０度以上）、焦点距離の短いレンズである。この広角レンズの一例として、魚眼レンズ（例えば画角が１８０度以上のレンズ）が考えられる。

この撮像部１０は、自車両の周辺を撮影領域とするように自車両に取り付けられる。この撮像部１０の姿勢データや撮像部１０の像高データは、詳しくは後述する記憶部１４に記憶される。

ここで言う姿勢データとは、車両に取り付けられる撮像部１０の姿勢を表すデータであり、撮像部１０ごとに予め求められたデータである。この姿勢データには、車両の全長方向に沿った座標であるｘ座標、車両の車幅方向に沿った座標であるｙ座標、車両の車高方向に沿った座標であるｚ座標を含む。さらに、姿勢データには、ｘ−ｙ平面における傾きを表すヨー、ｘ−ｚ平面における傾きを表すピッチ、ｙ−ｚ平面における傾きを表すロールを含む。

また、ここで言う像高データとは、撮像部１０の撮影中心から各像点に対応する各画素までの距離を表すデータであり、撮像部１０ごとに予め求められたデータである。なお、ここで言う撮像部１０の撮影中心とは、撮像部１０の結像面と広角レンズの光軸とが交わるポイントである。

記憶部１４は、書換可能な不揮発性の記憶装置である。この記憶部１４の一例として、ハードディスクドライブやフラッシュメモリ等が考えられる。
表示部３０は、画像処理部２０からの信号に基づいて画像を表示する表示装置である。この表示部３０の一例として、周知の液晶ディスプレイやプロジェクタなどが考えられる。
＜画像処理部＞
画像処理部２０は、ＲＯＭ２２，ＲＡＭ２４，ＣＰＵ２６を有した周知のマイクロコンピュータを中心に構成された画像処理装置である。ＲＯＭ２２は、電源を切断しても記憶内容を保持する必要のあるデータやプログラムを記憶する。ＲＡＭ２４は、データを一時的に格納する。ＣＰＵ２６は、ＲＯＭ２２またはＲＡＭ２４に記憶されたプログラムに従って処理を実行する。

画像処理部２０のＲＯＭ２２には、撮像部１０で撮影した撮影画像の歪みを補正する処理を実施し、表示すべき画像である対象画像を生成して表示部３０に表示する画像表示処理を実行するプログラムが格納されている。

画像処理部２０は、画像生成装置の一例である。
＜画像表示処理＞
画像表示処理は、予め規定された起動指令が入力されると、起動される。ここで言う起動指令とは、画像表示処理を起動する指令である。起動指令は、例えば、特定のスイッチがオンされることで、画像処理部２０に入力される信号であってもよい。

そして、画像表示処理が起動されると、画像処理部２０は、図２に示すように、まず、対応マップ及びマスクデータを生成する初期化処理を実行する（Ｓ１１０）。ここで言う対応マップは、撮像部１０で撮影した画像を対象画像へと変換するマップであり、撮像部１０で撮像した撮影画像における各画素が、対象画像におけるどの画素に対応するのかを示すマップである。この対応マップは、撮影画像の歪みを補正するように作成される。また、ここで言う対象画像とは、表示部３０で表示すべき画像の最大範囲である。対象画像は、後述する画像生成処理にて生成される。

なお、マスクデータとは、対象画像においてマスキングを実施する領域の位置及び大きさを表すデータである。
続いて、画像表示処理では、画像処理部２０は、初期化処理で生成された対応マップ及びマスクデータに基づいて、撮像部１０で撮影された撮影画像を対象画像へと変換して表示部３０に表示する画像生成処理を実行する（Ｓ１２０）。

さらに、画像表示処理では、画像処理部２０は、画像表示処理を終了する指令である終了指令が入力されたか否かを判定する（Ｓ１３０）。このＳ１３０での判定の結果、終了指令が入力されていなければ（Ｓ１３０：ＮＯ）、画像処理部２０は、画像表示処理をＳ１２０へと戻す。すなわち、撮像部１０で新たに撮影された画像に基づく対象画像を生成し、表示部３０に表示させる。

一方、画像処理部２０は、Ｓ１３０での判定の結果、終了指令が入力されていれば（Ｓ１３０：ＹＥＳ）、画像処理部２０は、画像表示処理を終了する。
＜初期化処理＞
次に、画像表示処理のＳ１１０で起動される初期化処理について説明する。

この初期化処理が起動されると、画像処理部２０は、図３に示すように、まず、像高データ及び姿勢データを記憶部１４から取得する（Ｓ２１０）。
続いて初期化処理では、画像処理部２０は、Ｓ２１０で取得した像高データ及び姿勢データに基づいて対応マップを作成し、記憶部１４に記憶する（Ｓ２２０）。すなわち、詳しくは後述する画像生成処理では、対応マップに基づいて、撮像部１０で撮像した撮影画像における各画素の輝度値が、対象画素において対応するそれぞれの画素の輝度値として表示部３０に表示される。

なお、広角レンズを介して撮像部１０で撮影される画像は、広角レンズの歪曲収差によって歪む。このため、対応マップは、図４（Ａ）に示すように、撮影画像の歪みを可能な限り補正しつつ、撮影画像に写り込んだ像の中で、表示部３０で表示すべき最大範囲の矩形領域を対象画像として生成するように作成される。なお、対応マップの作成方法は周知であるため、ここでの詳しい説明は省略する。

初期化処理では、画像処理部２０は、Ｓ２２０で作成した対応マップに基づく対象画像に、少なくとも１つの不定領域が存在するか否かを判定する（Ｓ２３０）。ここで言う不定領域とは、広角レンズを介して撮像部１０で撮影された撮影画像の歪みを補正し、対象画像に対応する領域を特定することで形成される可能性のある領域である。ここで言う不定領域は、図４（Ａ）に示すように、対象画像の周縁に半円状に現れる領域であり、対象画像において像が形成されない領域である。この不定領域は、表示部３０に表示される際には、一般的に黒色に塗りつぶされる。

そして、Ｓ２３０での判定の結果、対応マップに基づく対象画像に不定領域が１つも存在していなければ（Ｓ２３０：ＮＯ）、画像処理部２０は、本初期化処理を終了し、画像生成処理へと画像表示処理を移行させる。

一方、Ｓ２３０での判定の結果、対応マップに基づく対象画像に、少なくとも１つの不定領域が形成される場合（Ｓ２３０：ＹＥＳ）、画像処理部２０は、初期化処理をＳ２４０へと移行させる。そのＳ２４０では、画像処理部２０は、対応マップに基づく対象画像に複数の不定領域が形成されるか否かを判定する。

このＳ２４０での判定の結果、対応マップに基づく対象画像に複数の不定領域が形成される場合（Ｓ２４０：ＹＥＳ）、画像処理部２０は、詳しくは後述するＳ２７０へと初期化処理を移行させる。一方、Ｓ２４０での判定の結果、対応マップに基づく対象画像に形成される不定領域が単数であれば（Ｓ２４０：ＮＯ）、画像処理部２０は、初期化処理をＳ２５０へと移行させる。

そのＳ２５０では、画像処理部２０は、対応マップに基づく対象画像に形成される不定領域を覆うマスク領域を決定する。ここで言うマスク領域は、図４（Ｂ）に示すように、対応マップに基づく対象画像に形成される不定領域が存在する対象画像の端部を覆う矩形の領域である。具体的に、Ｓ２５０では、対応マップに基づく対象画像に形成される不定領域に外接する直線（即ち、接線）を求める。この接線は、不定領域が突出しない対象画像の辺と非平行な辺に直交し、かつ、不定領域に外接する直線である。

そして、Ｓ２５０では、求められた接線を辺の１つとし、対応マップに基づく対象画像に形成される不定領域を覆う矩形の領域をマスク領域として決定する。
続いて、初期化処理では、画像処理部２０は、Ｓ２５０で決定したマスク領域の位置、及び大きさを表すマスクデータを記憶部１４に記憶する（Ｓ２６０）。このＳ２６０により、画像生成処理では、対応マップに基づく対象画像においてマスク領域に対応する画素が、規定された色にて表示部３０に表示される。

その後、画像処理部２０は、本初期化処理を終了し、画像表示処理を画像生成処理へと移行させる。
ところで、Ｓ２４０での判定の結果、対応マップに基づく対象画像に複数の不定領域が形成される場合（Ｓ２４０：ＹＥＳ）に移行するＳ２７０では、画像処理部２０は、対象画像における特定画像領域を導出する。なお、対応マップに基づく対象画像に複数の不定領域が形成される場合とは、図５（Ａ）に示すように、対応マップに基づく対象画像における上部と左右のいずれかに不定領域が形成される場合であってもよいし、上部と下部の両方に不定領域が形成される場合であってもよい。すなわち、対応マップに基づく対象画像に複数の不定領域が形成される場合とは、不定領域が複数形成される場合であれば、どのような場合であってもよい。

また、特定画像領域とは、対象画像における複数の不定領域それぞれに内接する矩形の領域である。
本実施形態のＳ２７０では、画像処理部２０は、図５（Ｂ）に示すように、対象画像における複数の不定領域それぞれに内接する矩形の領域を特定画像領域として特定する。これと共に、画像処理部２０は、特定画像領域における縦方向の大きさである高さＨ´及び特定画像領域における横方向の大きさである幅Ｗ´を算出する。特定画像領域における高さＨ´及び特定画像領域の幅Ｗ´は、特定画像領域における画素数であってもよい。

続いて、初期化処理では、画像処理部２０は、横方向比率（Ｗ／Ｗ´）及び縦方向比率（Ｈ／Ｈ´）を算出する（Ｓ２８０）。ここで言う横方向比率（Ｗ／Ｗ´）は、対象画像の横方向における大きさである幅Ｗの特定画像領域における横方向の大きさである幅Ｗ´の比である。また、ここで言う縦方向比率（Ｈ／Ｈ´）は、対象画像の縦方向における大きさである高さＨの特定画像領域の縦方向における大きさである高さＨ´の比である。

さらに、初期化処理では、画像処理部２０は、横方向比率（Ｗ／Ｗ´）が縦方向比率（Ｈ／Ｈ´）よりも大きいか否かを判定する（Ｓ２９０）。このＳ２９０での判定の結果、横方向比率（Ｗ／Ｗ´）が縦方向比率（Ｈ／Ｈ´）よりも大きければ（Ｓ２９０：ＹＥＳ）、画像処理部２０は、特定画像領域を拡大する倍率を縦方向比率（Ｈ／Ｈ´）に設定する（Ｓ３００）。その後、画像処理部２０は、詳しくは後述するＳ３２０へと初期化処理を移行させる。

一方、Ｓ２９０での判定の結果、横方向比率（Ｗ／Ｗ´）が縦方向比率（Ｈ／Ｈ´）以下であれば（Ｓ２９０：ＮＯ）、画像処理部２０は、特定画像領域を拡大する倍率を横方向比率（Ｗ／Ｗ´）に設定する（Ｓ３１０）。その後、画像処理部２０は、初期化処理をＳ３２０へと移行させる。

そのＳ３２０では、画像処理部２０は、対応マップに基づく対象画像に形成される不定領域それぞれを覆うマスク領域を決定する。具体的にＳ３２０では、Ｓ３００で設定された縦方向比率（Ｈ／Ｈ´）またはＳ３１０で設定された横方向比率（Ｗ／Ｗ´）に従って、特定画像領域を拡大する。そして、その拡大された特定画像領域の外側をマスク領域として決定する。なお、特定画像領域の拡大は、特定画像領域の領域中心を表示部３０の表示領域の表示中心に一致させて実施されるように設定される。

また、ここで言う特定画像領域の外側とは、表示部３０の表示領域において、拡大された特定画像領域に対応する画素が存在しない領域である。
続いて、初期化処理では、画像処理部２０は、Ｓ３２０で決定したマスク領域の位置及び大きさを表すマスクデータを記憶部１４に記憶する（Ｓ３３０）。このＳ３３０により、画像生成処理では、対応マップに基づく対象画像においてマスク領域に対応する画素が、規定された色にて表示部３０に表示される。なお、規定された色の一例として、黒色が考えられる。

画像処理部２０は、その後、初期化処理を終了し、画像表示処理を画像生成処理へと移行させる。
＜画像生成処理＞
次に、画像表示処理のＳ１２０で起動される画像生成処理について説明する。

この画像生成処理が起動されると、画像処理部２０は、図６に示すように、まず、記憶部１４から対応マップ、及びマスクデータを取得する（Ｓ４１０）。
続いて、画像処理部２０は、Ｓ４１０で取得した対応マップ及びマスクデータに基づいて、その対応マップに基づく対象画像にマスク領域が存在するか否かを判定する（Ｓ４２０）。Ｓ４２０においては、画像処理部２０は、マスクデータを取得していれば、マスク領域が存在するものと判定すればよい。

このＳ４２０での判定の結果、対応マップに基づく対象画像にマスク領域が存在しなければ（Ｓ４２０：ＮＯ）、画像処理部２０は、詳しくは後述するＳ４９０へと画像生成処理を移行させる。

一方、Ｓ４２０での判定の結果、対応マップに基づく対象画像にマスク領域が存在していれば（Ｓ４２０：ＹＥＳ）、画像処理部２０は、画像生成処理をＳ４３０へと移行させる。そのＳ４３０では、画像処理部２０は、撮像部１０からの撮影画像に基づいて、自車両の周辺の状況を表す周辺情報を取得する。この周辺情報には、自車両周辺に人が存在するか否か、人が存在する場合における人の位置などを含む。なお、本実施形態のＳ４３０においては、画像処理部２０は、撮影画像を画像処理することで周辺情報を取得すればよい。ここで言う画像処理の一例として、人の有無、及び人が存在する場合における人の位置を特定する周知のテンプレートマッチングが考えられる。

そして、画像生成処理では、画像処理部２０は、Ｓ４３０で取得した周辺情報に基づいて、対象画像のマスク領域に対応する位置に人が存在するか否かを判定する（Ｓ４４０）。このＳ４４０での判定の結果、対象画像のマスク領域に対応する位置に人が存在していれば（Ｓ４４０：ＹＥＳ）、画像処理部２０は、第１計数値を１つ増加させる（Ｓ４５０）。ここで言う第１計数値は、予め設定された時間の間に撮像部１０で撮影された撮影画像に基づいて、対象画像のマスク領域に対応する位置に人が存在することをカウントする第１カウンタの値である。

画像処理部２０は、その後、詳しくは後述するＳ４６０へと画像生成処理を移行させる。
一方、Ｓ４４０での判定の結果、対象画像のマスク領域に対応する位置に人が存在していなければ（Ｓ４４０：ＮＯ）、画像処理部２０は、Ｓ４５０を実行することなく、Ｓ４６０へと移行する。

そのＳ４６０では、画像処理部２０は、第１計数値が、予め規定された第１閾値以上であるか否かを判定する。この第１閾値は、予め規定された撮影画像の枚数として規定されたものであり、予め規定された時間に撮影可能な撮影画像の枚数よりも小さな値（即ち、第１計数値の上限値よりも少ない枚数）である。すなわち、Ｓ４６０では、マスク領域に対応する撮影画像の領域に人が写り込んでいることが、予め規定された枚数の撮影画像連続しているものとみなせるか否かを判定する。

このＳ４６０での判定の結果、第１計数値が第１閾値未満であれば（Ｓ４６０：ＮＯ）、画像処理部２０は、詳しくは後述するＳ４８０へと画像生成処理を移行させる。一方、Ｓ４６０での判定の結果、第１計数値が第１閾値以上であれば（Ｓ４６０：ＹＥＳ）、画像処理部２０は、人が存在する位置に対応する対象画像のマスク領域におけるマスキングが解除されるように設定する（Ｓ４７０）。ここで言うマスキングとは、マスク領域を規定された色で塗りつぶす処理である。ここで言う規定された色とは、例えば、黒色である。

すなわち、画像生成処理のＳ４４０からＳ４７０では、図７（Ａ）に示すように、撮像部１０で撮影した撮影画像に基づいて、マスク領域に対応する位置に人が存在しているか否かを、撮影画像を撮影するごとに判定する。そして、マスク領域に対応する位置に人が存在していることが、予め規定された枚数の撮影画像連続して判定されると、その人が存在する位置に対応するマスク領域に対するマスキングを解除するように設定する。

画像処理部２０は、その後、詳しくは後述するＳ５００へと画像生成処理を移行させる。
なお、Ｓ４６０での判定の結果、第１計数値が第１閾値未満である場合（Ｓ４６０：ＮＯ）に移行させるＳ４８０では、画像処理部２０は、マスク領域におけるマスキングが維持されるように設定を維持する。

画像処理部２０は、その後、画像生成処理をＳ５００へと移行させる。
ところで、Ｓ４２０での判定の結果、対応マップに基づく対象画像にマスク領域が存在しない場合（Ｓ４２０：ＮＯ）に移行するＳ４９０では、画像処理部２０は、第１計数値を初期化する。また、初期化とは、初期値に戻すことであり、その初期値とは、例えば、「０」である。

そして、画像処理部２０は、その後、画像生成処理をＳ５００へと移行させる。
そのＳ５００では、画像処理部２０は、対応マップに基づく対象画像の上部にマスク領域（以下、「上部マスク」と称す）が存在するか否かを判定する（Ｓ５００）。このＳ５００での判定の結果、上部マスクが存在していなければ（Ｓ５００：ＮＯ）、詳しくは後述するＳ５７０へと画像生成処理を移行させる。

一方、Ｓ５００での判定の結果、上部マスクが存在していれば（Ｓ５００：ＹＥＳ）、画像処理部２０は、画像生成処理をＳ５１０へと移行させる。そのＳ５１０では、画像処理部２０は、撮像部１０からの撮影画像に基づいて、上部マスクに含まれる不定領域の周囲に設定された不定周囲領域を構成する各画素の色に関する情報である色情報を取得する。

ここで言う不定周囲領域とは、図７（Ｂ）に示すように、上部マスクにおいて、その上部マスクに含まれる不定領域に隣接する領域である。また、ここで言う色情報とは、色相、明度、彩度を含む。この色情報の一例として、「赤」、「青」、「緑」の光の三原色それぞれにおける輝度値が考えられる。

そして、画像生成処理では、画像処理部２０は、Ｓ５１０で取得した色情報に基づいて、不定周囲領域の色が均一であるか否かを判定する（Ｓ５２０）。このＳ５２０においては、色情報の分布を求め、その色情報の分布が、色が均一であるものとみなせる範囲として規定された規定範囲内であれば、不定周囲領域の色が均一であるものと判定すればよい。なお、不定周囲領域の色が均一であるか否かを判定する方法は、これに限るものではなく、その他の方法を用いても良い。

このＳ５２０での判定の結果、不定周囲領域の色が均一であれば（Ｓ５２０：ＹＥＳ）、画像処理部２０は、第２計数値を１つ増加させる（Ｓ５３０）。ここで言う第２計数値は、予め設定された時間の間に撮像部１０で撮影された撮影画像に基づいて、不定周囲領域の色が均一であることをカウントする第２カウンタの値である。

画像処理部２０は、その後、詳しくは後述するＳ５４０へと画像生成処理を移行させる。
一方、Ｓ５２０での判定の結果、不定周囲領域の色が均一でなければ（Ｓ５２０：ＮＯ）、画像処理部２０は、Ｓ５３０を実行することなく、画像生成処理をＳ５４０へと移行させる。

そのＳ５４０では、画像処理部２０は、第２計数値が、予め規定された第２閾値以上であるか否かを判定する（Ｓ５４０）。この第２閾値は、予め規定された撮影画像の枚数として規定されたものであり、予め規定された時間に撮影可能な撮影画像の枚数よりも小さな値（即ち、第２計数値の上限値よりも少ない枚数）である。すなわち、Ｓ５４０では、不定周囲領域における色が均一であることが、予め規定された枚数の撮影画像連続しているものとみなせるか否かを判定する。

このＳ５４０での判定の結果、第２計数値が第２閾値未満であれば（Ｓ５４０：ＮＯ）、画像処理部２０は、詳しくは後述するＳ５６０へと画像生成処理を移行させる。一方、Ｓ５４０での判定の結果、第２計数値が第２閾値以上であれば（Ｓ５４０：ＹＥＳ）、画像処理部２０は、上部マスクを解除すると共に、その上部マスクによって覆われた不定領域を均一であると判定された色である特定色で表示する（Ｓ５５０）。すなわち、不定周囲領域に「空」が写り込んでいる場合、当該不定領域を空と均一な特定色（例えば、青色）で表示することになる。

画像処理部２０は、その後、画像生成処理をＳ５８０へと移行させる。
なお、第２計数値が第２閾値未満である場合（Ｓ５４０：ＮＯ）に移行されるＳ５６０では、画像処理部２０は、上部マスクにおけるマスキングが維持されるように設定を維持する。

画像処理部２０は、その後、画像生成処理をＳ５８０へと移行させる。
ところで、Ｓ５００での判定の結果、上部マスクが存在しない場合（Ｓ５００：ＮＯ）に移行するＳ５７０では、画像処理部２０は、第２計数値を初期化する。そして、画像処理部２０は、その後、画像生成処理をＳ５８０へと移行させる。

そのＳ５８０では、画像処理部２０は、Ｓ４１０で取得した対応マップ、及び本画像生成処理で設定された各内容に従って、対象画像を生成する。
具体的にＳ５８０では、不定領域が単数である場合には、画像処理部２０は、マスク領域を規定された色で塗りつぶしたマスキングを実施した画像を、新たな対象画像として生成する。

そして、不定領域が複数存在する場合には、画像処理部２０は、複数の不定領域それぞれに内接する特定画像領域を、縦方向比率及び横方向比率のうち小さい比率で拡大した画像の外側をマスク領域としてマスキングを実施した画像を、新たな対象画像として生成する。この場合、特定画像領域の拡大は、特定画像領域の領域中心を表示領域の表示中心に一致させて実施される。

なお、Ｓ５８０では、画像処理部２０は、マスク領域に人が写り込んでいる場合には、マスク領域に対するマスキングを解除した対象画像を生成する。
また、Ｓ５８０では、画像処理部２０は、不定周囲領域における色が均一であることを表していれば、当該不定周囲領域に対応する不定領域に対するマスク領域を解除する。これと共に、画像処理部２０は、当該不定周囲領域に対応する不定領域を均一であると判定された色である特定色で塗りつぶした画像を対象画像として生成する。

一方、不定周囲領域における色が均一であることを表していなければ、画像処理部２０は、当該不定周囲領域に対応する不定領域をマスキングした状態に維持した画像を対象画像として生成する。

続くＳ５９０では、画像処理部２０は、Ｓ５８０で生成された対象画像を表す画像信号を表示部３０に出力する。この画像信号を取得した表示部３０は、画像生成処理のＳ５８０で生成された対象画像を表示する。

画像処理部２０は、その後、本画像生成処理を終了し、画像表示処理のＳ１４０へと処理を戻す。
［実施形態の効果］
以上説明したように、画像表示処理によれば、撮像部１０が設置された姿勢及び像高データに基づいて、対象画像における不定領域の有無を判定し、その判定の結果、不定領域が存在する場合には、その不定領域を覆うマスク領域を設定できる。

このマスク領域の設定は、画像表示処理により画像処理部２０が自動で実施するため、撮像部１０の設置姿勢ごとに実験を実施する必要がなくなり、手間を低減できる。
つまり、画像表示装置１によれば、表示部３０に表示される画像において不定領域をマスキングしつつ、そのマスキングを施す領域を求める手間を低減できる。

特に、画像表示処理では、不定領域が複数存在する場合に、対象画像において、不定領域を含まず、かつ、対象画像の中で最大の範囲を特定画像領域としている。
そして、画像表示処理によれば、その特定画像領域の外側の領域をマスク領域として設定しているため、撮影画像に応じた最適なマスク領域を設定できる。

また、画像表示処理においては、縦方向比率、及び横方向比率のうち小さい比率で特定画像領域を拡大し、その拡大した特定画像領域の外側をマスク領域としてマスキングを実施した画像を、新たな対象画像として生成している。

このような画像生成装置によれば、特定画像領域を拡大し、その特定画像領域に結像された全ての像を表示できる。
この結果、画像表示装置１によれば、撮像部１０で撮影された画像に写り込んだ像について、可能な限り広い範囲を視認性よく表示できる。

また、画像表示処理においては、対象画像が表示される際に、表示領域の表示中心と、表示部に表示される対象画像（即ち、特定画像領域）の画像中心とを一致させている。この結果、画像表示処理によれば、表示部３０に表示される画像を違和感の小さなものとすることができる。

さらに、画像表示処理においては、不定周囲領域における色が均一であれば、その不定周囲領域に対応する不定領域に設定されたマスク領域を解除すると共に、その不定領域を不定周囲領域の色と均一な色で表示している。

これにより、画像表示装置１においては、例えば、不定領域が画像の上部に存在し、その上部に「空」が写り込んでいる場合、当該不定領域を空と均一な色で表示することができる。この結果、画像表示装置１によれば、表示部３０に表示される画像の視認性を向上させることができる。

なお、画像表示処理では、不定周囲領域における色が均一であることを表していることが、予め規定された枚数の撮影画像連続している場合に、不定周囲領域に対応する不定領域を特定色で表示する。

よって、画像表示装置１においては、不定周囲領域における色が均一となった場合に、その不定周囲領域に対応する不定領域を均一な色で表示することを回避できる。この結果、画像表示装置１によれば、不定領域がマスキングされることと、不定周囲領域における色で表示されることとが、撮像部１０で撮影画像が撮影されるごとに切り替わることを防止できる。

また、画像表示処理では、マスク領域に人が写り込んでいれば、そのマスク領域におけるマスキングの実行を解除している。
このため、画像表示処理によれば、対象画像において、画像に写り込んだ人を確実に表示部３０に表示できる。これにより、表示部３０に表示された画像を視認した利用者は、自車の周囲に人が存在することを認識できる。

しかも、画像表示処理においては、人が写り込んだマスク領域におけるマスキングの実行解除は、人が写り込んでいることが、予め規定された枚数の撮影画像連続している場合に行っている。

このため、画像表示処理によれば、マスク領域に人が写り込むことが発生した場合に、マスキングが解除されることを回避できる。この結果、画像表示装置１によれば、不定領域がマスキングされることと、そのマスキングが解除されることとが、撮像部１０で画像が撮像されるごとに切り替わることを防止できる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

（１） 初期化処理のＳ３２０では、特定画像領域を拡大し、その拡大した特定画像領域の外側をマスク領域としていたが、Ｓ３２０においては、特定画像領域を拡大することなく維持した上で、その大きさが維持されたマスク領域の外側の領域をマスク領域として決定してもよい。

（２） 画像生成処理のＳ４５０では、第１計数値が第１閾値以上であるか否かを判定することで、マスク領域に対応する撮影画像の領域に人が写り込んでいることが、予め規定された枚数の撮影画像連続しているものとみなせるか否かを判定していた。しかしながら、Ｓ４５０において、マスク領域に対応する撮影画像の領域に人が写り込んでいることが、予め規定された枚数の撮影画像連続しているものとみなせるか否かを判定する方法は、これに限るものではない。すなわち、マスク領域に対応する撮影画像の領域に人が写り込んでいることが、予め規定された枚数の撮影画像連続しているものとみなせるか否かを判定可能であれば、どのような方法であってもよい。

さらに言えば、上記実施形態では、マスク領域に対応する撮影画像の領域に人が写り込んでいることが、予め規定された枚数の撮影画像連続しているものとみなせる場合に、Ｓ４７０にてマスキングの実行を解除していたが、マスキングの実行を解除する条件は、これに限るものではない。例えば、一枚の撮影画像において、マスク領域に対応する撮影画像の領域に人が写り込んでいることが判定された場合に、直ちに、マスキングの実行を解除してもよい。

（３） 画像生成処理のＳ５４０では、第２計数値が第２閾値以上であるか否かを判定することで、不定周囲領域における色が均一であることが、予め規定された枚数の撮影画像連続しているものとみなせるか否かを判定していた。しかしながら、Ｓ５４０において、不定周囲領域における色が均一であることが、予め規定された枚数の撮影画像連続しているものとみなせるか否かを判定する方法は、これに限るものではない。すなわち、不定周囲領域における色が均一であることが、予め規定された枚数の撮影画像連続しているものとみなせるか否かを判定可能であれば、どのような方法であってもよい。

さらに言えば、上記実施形態では、不定周囲領域における色が均一であることが、予め規定された枚数の撮影画像連続しているものとみなせる場合に、Ｓ５５０にて上部マスクを均一であるとみなせる色で表示する処理（以下、色補正処理と称す）を実行していたが、この色補正処理を実行する条件は、これに限るものではない。例えば、一枚の撮影画像において、不定周囲領域における色が均一であることが判定された場合に、直ちに、色補正処理を実行してもよい。

（４） 上記実施形態においては、上部マスクにおいて、その上部マスクに含まれる不定領域の隣接する領域を、不定周囲領域として設定していたが、不定周囲領域は、これに限るものではない。すなわち、不定周囲領域は、対象画像の左右に形成される不定領域に隣接する領域であってもよいし、対象画像の下部に形成される不定領域に隣接する領域であってもよい。

例えば、前者の場合には、不定領域及び不定周囲領域に「建物」が写り込んでいる場合、当該不定領域を当該建物と均一な色で表示することができる。この結果、画像表示装置１によれば、表示部３０に表示される画像の視認性を向上させることができる。

（５） ところで、上記実施形態における画像表示処理では、画像表示処理が起動されるごとに、初期化処理を実行していたが、画像表示処理においては、当該画像表示処理が最初に起動されたタイミングで初期化処理を実行し、画像表示処理の起動が２回目以降である場合には初期化処理の実行を省略してもよい。

なお、上記実施形態の構成の一部を省略した態様も本発明の実施形態である。また、上記実施形態と変形例とを適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言によって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。

１…画像表示装置 １０…撮像部 １４…記憶部 ２０…画像処理部 ２２…ＲＯＭ ２４…ＲＡＭ ２６…ＣＰＵ ３０…表示部

Claims (11)

1. 広角レンズを介して画像を撮影する撮像部（１０）であって、車両の周辺の予め規定された領域を撮影するように当該車両に設置された撮像部で撮影した撮影画像の歪みを補正する歪み補正を実施し、表示すべき画像の最大範囲である対象画像を生成する画像生成部（２０，Ｓ５８０）と、
   前記画像生成部で生成された対象画像を、表示部の表示領域に表示させる画像表示部（２０，Ｓ５９０）と、
   前記撮像部の撮影中心から各像点に対応する各画素までの距離を表す像高データ、及び前記撮像部が設置された姿勢に基づいて、前記対象画像において像が形成されない不定領域が少なくとも１つ存在するか否かを判定する不定領域判定部（２０，Ｓ２３０，Ｓ２４０）と、
   前記不定領域判定部で判定した結果、前記不定領域が少なくとも１つ存在する場合、その少なくとも１つの不定領域に外接する直線を有した矩形の領域であり、かつ、当該不定領域が存在する前記対象画像の端部を覆うマスク領域を設定するマスク設定部（２０，Ｓ２５０，Ｓ３２０）と
   を備え、
   前記画像生成部は、
   前記対象画像に対し、前記マスク設定部で設定したマスク領域を規定された色で塗りつぶすマスキングを実施した画像を、新たな前記対象画像として生成する、画像生成装置（２０）。
2. 前記マスク設定部は、
   前記不定領域判定部での判定の結果、前記不定領域が複数存在する場合、前記対象画像において前記不定領域それぞれに内接する矩形の領域である特定画像領域を特定する画像特定部（２０，Ｓ２７０）を備え、
   前記画像特定部で特定した特定画像領域の外側の領域をマスク領域として設定する、請求項１に記載の画像生成装置。
3. 前記画像生成部は、
   前記対象画像の縦方向における大きさの前記特定画像領域の縦方向における大きさの比である縦方向比率、及び前記対象画像の横方向における大きさの前記特定画像領域の横方向における大きさの比である横方向比率のうち小さい比率で前記特定画像領域を拡大する拡大部（２０，Ｓ３２０）を備え、
   前記拡大部で拡大された特定画像領域の外側を前記マスク領域として前記マスキングを実施した画像を、新たな前記対象画像として生成する、請求項２に記載の画像生成装置。
4. 前記拡大部は、
   前記特定画像領域の領域中心を前記表示領域の表示中心に一致させて、前記特定画像領域を拡大する、請求項３に記載の画像生成装置。
5. 前記画像表示部は、
   前記不定領域の周囲に設定された不定周囲領域の色に関する情報である色情報を取得する色情報取得部（２０，Ｓ５１０）と、
   前記色情報取得部で取得した色情報が、前記不定周囲領域における色が均一であることを表しているか否かを判定する色判定部（２０，Ｓ５２０）と、
   前記色判定部での判定の結果、前記色情報が前記不定周囲領域における色が均一であることを表していれば、当該不定周囲領域に対応する不定領域に対して前記マスク設定部で設定されたマスク領域を解除すると共に、当該不定周囲領域に対応する不定領域を前記均一であると判定された色である特定色で表示する色変更部（２０，Ｓ５５０）と
   を備える、請求項１から請求項４までのいずれか一項に記載の画像生成装置。
6. 前記色情報取得部は、前記撮像部で撮影画像を撮影するごとに、前記不定周囲領域の色情報を取得し、
   前記色判定部は、前記色情報取得部で色情報を取得するごとに、前記色情報が前記不定周囲領域における色が均一であるか否かを判定し、
   前記画像表示部は、
   前記色判定部での判定の結果、前記色情報が前記不定周囲領域における色が均一であることを表していることが、予め規定された枚数の撮影画像連続しているものとみなせる場合に、前記不定周囲領域に対応する不定領域を前記特定色で表示する、請求項５に記載の画像生成装置。
7. 前記画像表示部は、
   前記色判定部での判定の結果、前記色情報が前記不定周囲領域における色が均一であることを表していなければ、当該不定周囲領域に対応する不定領域を前記画像生成部においてマスキングされた状態で表示する、請求項５または請求項６に記載の画像生成装置。
8. 前記画像表示部は、
   前記マスク設定部で設定されたマスク領域に、人が写り込んでいるか否かを判定する人判定部（２０，Ｓ４４０）と、
   前記人判定部での判定の結果、前記マスク領域に人が写り込んでいれば、当該マスク領域に対するマスキングを解除する解除部（２０，Ｓ４７０）と
   を備える、請求項１から請求項７までのいずれか一項に記載の画像生成装置。
9. 前記人判定部は、前記撮像部で撮影画像を撮影するごとに、前記マスク領域に人が写り込んでいるか否かを判定し、
   前記解除部は、
   前記人判定部での判定の結果、前記人が写り込んでいることが、予め規定された枚数の撮影画像連続しているものとみなせる場合に、当該マスク領域に対するマスキングを解除する、請求項８に記載の画像生成装置。
10. 広角レンズを介して画像を撮影する撮像部（１０）であって、車両の周辺の予め規定された領域を撮影するように当該車両に設置された撮像部で撮影した撮影画像の歪みを補正する歪み補正を実施し、表示すべき画像の最大範囲である対象画像を生成する画像生成手順（Ｓ５８０）と、
    前記画像生成手順で生成された対象画像を、表示部の表示領域に表示させる画像表示手順（Ｓ５９０）と、
    前記撮像部の撮影中心から各像点に対応する各画素までの距離を表す像高データ、及び前記撮像部が設置された姿勢に基づいて、前記対象画像において像が形成されない不定領域が少なくとも１つ存在するか否かを判定する不定領域判定手順（Ｓ２３０，Ｓ２４０）と、
    前記不定領域判定手順で判定した結果、前記不定領域が少なくとも１つ存在する場合、その少なくとも１つの不定領域に外接する直線を有した矩形の領域であり、かつ、当該不定領域が存在する前記対象画像の端部を覆うマスク領域を設定するマスク設定手順（Ｓ２５０，Ｓ３２０）と
    を備え、
    前記画像生成手順は、
    前記対象画像に対し、前記マスク設定手順で設定したマスク領域を規定された色で塗りつぶすマスキングを実施した画像を、新たな前記対象画像として生成する、画像生成方法。
11. 車両に搭載されるコンピュータが実行するプログラムであって、
    広角レンズを介して画像を撮影する撮像部（１０）であって、車両の周辺の予め規定された領域を撮影するように当該車両に設置された撮像部で撮影した撮影画像の歪みを補正する歪み補正を実施し、表示すべき画像の最大範囲である対象画像を生成する画像生成手順（Ｓ５８０）と、
    前記画像生成手順で生成された対象画像を、表示部の表示領域に表示させる画像表示手順（Ｓ５９０）と、
    前記撮像部の撮影中心から各像点に対応する各画素までの距離を表す像高データ、及び前記撮像部が設置された姿勢に基づいて、前記対象画像において像が形成されない不定領域が少なくとも１つ存在するか否かを判定する不定領域判定手順（Ｓ２３０，Ｓ２４０）と、
    前記不定領域判定手順で判定した結果、前記不定領域が少なくとも１つ存在する場合、その少なくとも１つの不定領域に外接する直線を有した矩形の領域であり、かつ、当該不定領域が存在する前記対象画像の端部を覆うマスク領域を設定するマスク設定手順（Ｓ２５０，Ｓ３２０）とを
    前記コンピュータに実行させ、
    前記画像生成手順では、
    前記対象画像に対し、前記マスク設定手順で設定したマスク領域を規定された色で塗りつぶすマスキングを実施した画像を、新たな前記対象画像として生成する、プログラム。

Images