WO2015019579A1 - 画像処理装置及び画像処理方法 - Google Patents

Abstract

　車両の長手方向の中心線である車両中心線からずれた位置に配置され、撮像画像の中心から離れるほど被写体の縮小度合いが大きくなる広角カメラによる撮像画像の一部を、表示用画像として抽出する画像処理装置及び画像処理方法が提供される。画像処理装置は、表示用画像を抽出する制御回路（３０）を有し、制御回路（３０）は、前記車両中心線に対する前記表示用画像の中心位置、及び前記表示用画像における特定位置の画素が表す被写体の縮小度合いに応じて、前記撮像画像における前記表示用画像の抽出位置を決定する抽出決定部（Ｓ１２０－Ｓ１６０）を備える。

Description

画像処理装置及び画像処理方法 関連出願の相互参照

　本開示は、２０１３年８月９日に出願された日本国特許出願２０１３－１６６２９２号に基づくもので、ここにその記載内容を援用する。

　本開示は、車両に搭載されたカメラによる撮像画像から、車両の乗員に対して表示する表示用画像を生成するための画像処理の技術に関する。

　近年、撮像装置としてのカメラを車両に搭載し、カメラで撮像した画像を表示装置に表示させることにより、運転者の運転操作を支援するシステムが実現されている。多くのシステムでは、広範囲を一度に撮像することが可能な広角カメラが用いられている。

　例えば、車両後方の撮像画像を表示することで運転を支援するシステムでは、車両の長手方向の中心線からずれた位置に広角カメラが配置されていると、車両の移動と表示されている画像における変化との関係が直感的に把握しにくくなるおそれがある。そこで、車両の長手方向の中心線からずれた位置に配置された広角カメラにより撮像された車両後方の画像において、画像の中心が車両の長手方向の中心線と一致する部分を抽出して表示するシステムが提案されている（特許文献１参照）。

　本願の出願人らは、画像処理装置及び画像処理方法について、以下を見出した。

　広角カメラによって撮像された画像は、画像の中心から離れるほど被写体の歪みが大きくなり、被写体の縮小度合いが大きくなる（つまり、被写体が小さく写る）。このような撮像画像の一部を表示用画像として抽出し表示する場合、撮像画像における中心から離れた部分を抽出するほど、車両の乗員（例えば運転者）が認識しづらい表示用画像になるおそれがある。すなわち、抽出画像に対して歪補正を施さずにそのまま表示した場合、撮像画像の中心から離れた被写体ほど小さく表示されるため、車両の乗員が認識しづらくなるおそれがある。一方、抽出画像に対して歪補正を施して表示した場合にも、撮像画像の中心から離れた被写体ほど歪補正による拡大率が大きくなり解像度が低い画像となるため、やはり車両の乗員が認識しづらくなるおそれがある。カメラの設置位置が車両の長手方向の中心線から大きくずれているほど、車両の長手方向の中心線付近の領域が撮像画像の中心から離れ、前述のような問題がより顕著となるおそれがある。

日本国特許公報４５１２２９３号

　本開示は、車両の長手方向の中心線からずれた位置に配置された広角カメラによる撮像画像から、車両の乗員が認識しやすい表示用画像を生成するための技術を提供することを目的とする。

　本開示に係る画像処理装置及び画像処理方法によれば、車両の長手方向の中心線である車両中心線からずれた位置に配置され、撮像画像の中心から離れるほど被写体の縮小度合いが大きくなる広角カメラによる撮像画像の一部を、表示用画像として抽出する画像処理装置及び画像処理方法が提供される。本開示に係る画像処理装置は、表示用画像を抽出する制御回路を有し、制御回路は、前記車両中心線に対する前記表示用画像の中心位置、及び前記表示用画像における特定位置の画素が表す被写体の縮小度合いに応じて、前記撮像画像における前記表示用画像の抽出位置を決定する抽出決定部を備える。

　本開示に係る画像処理装置および画像処理方法によれば、車両中心線からずれた位置に配置された広角カメラによる撮像画像から、車両の乗員が認識しやすい表示用画像を生成することができる。

　本開示についての上記および他の目的、特徴や利点は、添付の図面を参照した下記の詳細な説明から、より明確になる。添付図面において、
画像処理システムの概略構成を示す図であり、 図２Ａは広角カメラにより撮像される歪曲画像を示す図であり、 図２Ｂは図２Ａの歪曲画像を歪補正した正則画像を示す図であり、 図３Ａは、車両を真上から見た場合のカメラパラメータを説明する図であり、 図３Ｂは、車両の後部を側方から見た場合のカメラパラメータを説明する図であり、 図４は、後方撮像画像の一例を示す図であり、 図５は、制御回路が実行する画像生成処理を表すフローチャートであり、 図６は、撮像画像における抽出枠及び出力枠を説明する図であり、 図７は、オフセット距離と拡大率の逆数との関係を示す図であり、 図８は、撮像画像における出力枠の垂直方向への拡大を説明する図であり、 図９Ａは、表示中心線が初期位置に位置する場合の表示用画像における特定位置の画素の拡大率を斜線部の大きさとして模式的に示した図であり、 図９Ｂは、表示中心線が出力抽出位置に位置する場合の表示用画像における特定位置の画素の拡大率を斜線部の大きさとして模式的に示した図であり、 表示用画像への自車両による写り込みを許容しない他の実施形態における出力枠について説明する図である。

　以下に本開示の実施形態を図面と共に説明する。

　［全体構成］
　本開示の画像生成システム１は、車両後方の撮像画像から車両の乗員（例えば運転者）に表示する表示用画像を生成するためのものであり、図１に示すように、撮像部１０と、記憶部２０と、制御回路３０と、表示部４０と、を備える。なお、制御回路３０は画像処理部とも呼ぶ。

　撮像部１０は、概ね１８０度の画角で撮像可能な広角カメラ（魚眼カメラ）を備える。撮像部１０による撮像画像では、撮像画像の中心から離れるほど、被写体の縮小度合いが大きくなり、被写体が小さく写る。つまり、撮像画像は、撮像画像の中心から離れるほど被写体が小さく写るように歪んでいる歪曲画像（図２Ａ参照）である。

　以下では、このような中心から離れるほど被写体の歪みが大きくなる歪曲画像である撮像画像を、歪みのない正則画像へ補正すると仮定した場合、歪曲画像が表す被写体の大きさに対する正則画像が表す当該被写体の大きさを拡大率とする。つまり、縮小度合いが大きいほど拡大率が大きくなる。したがって、拡大率は、歪曲画像の中心から離れるほど大きくなる。

　撮像部１０は、図３Ａに示すように、車両２の後部であって、車両２の長手方向の中心線（以下、車両中心線という）Ｌｃからずれた位置に配置されている。また、撮像部１０は、図３Ｂに示すように、車両２の後方領域における下方を撮像するように配置されている。車両２（具体的には車両２における基準点）を基準とした撮像部１０の３次元空間での座標位置、ピッチ角、ヨー角及びロール角の情報は、カメラパラメータとしてとして記憶部２０に予め記憶されている。

　撮像部１０は、撮像画像を所定頻度（例えば、１秒間に６０フレーム）で制御回路３０に出力する。ここで、撮像画像について説明する。図４に示すように、撮像画像の一例において、線Ｌｈは水平線であり、線Ｌｇは、撮像画像の水平方向に直交する、該撮像画像の中心線（撮像中心線という）である。また、線Ｌｃは車両中心線である。撮像部１０が車両中心線Ｌｃからずれて配置されているため、撮像中心線Ｌｇは、車両中心線Ｌｃに一致していない。本実施形態では、撮像画像にて、手前に車両２のバンパ２１が写り込んでおり、右方向に車両２の後方ボディ２２が写り込んでいる。

　図１にて、記憶部２０は、制御回路３０が実行するプログラム、前述のカメラパラメータ、及び車両の外観形状を表す３Ｄ情報等の各種データを記憶するための記憶装置を備える。

　制御回路３０は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３及びＩ／Ｏ等を備えるマイコンにて構成されている。制御回路３０は、記憶部２０に記憶されているプログラムを読み込んで、撮像部１０が撮像した撮像画像の一部を表示用画像として抽出する画像生成処理を実行する。

　表示部４０は、制御回路３０により生成された表示用画像を、車両の乗員に表示する。具体的には、表示部４０は、車両の乗員に対して画像を表示するための表示装置を備える。

　［処理］
　次に、制御回路３０（具体的には、例えばＣＰＵ３１）がプログラムに従い実行する画像生成処理（画像処理方法とも呼ぶ）について、図５のフローチャートを用いて説明する。画像生成処理は、運転者が操作するシフトレバーのポジションがリバース（後方走行）となっている状態において、予め定められた期間毎（本実施形態では、撮像部１０から撮像画像が出力される毎）に繰り返し実行される。

　制御回路３０は、処理が開始されると、まずＳ１００（Ｓはステップまたはセクションを表す）にて、撮像部１０による撮像画像を取得する。

　次にＳ１１０では、自車両写り込み領域を検出する。撮像画像において、（例えば図４に示す後方ボディ２２のように）自車両が写り込む領域を自車両写り込み領域という。本ステップでは、自車両写り込み領域Ｒ１（図６参照）を、記憶部２０に記憶されているカメラパラメータと、車両の外観形状を表す３Ｄ情報とに基づいて、計算によって求める。

　ここで、この出願に記載されるフローチャート、あるいは、フローチャートの処理は、複数のセクション（あるいはステップと言及される）から構成され、各セクションは、たとえば、Ｓ１００と表現される。さらに、各セクションは、複数のサブセクションに分割されることができる、一方、複数のセクションが合わさって一つのセクションにすることも可能である。さらに、このように構成される各セクションは、サーキット、デバイス、モジュール、ミーンズとして言及されることができる。

　また、上記の複数のセクションの各々あるいは組合わさったものは、(i)ハードウエアユニット（例えば、コンピュータ）と組み合わさったソフトウエアのセクションのみならず、(ii)ハードウエア（例えば、集積回路、配線論理回路）のセクションとして、関連する装置の機能を含みあるいは含まずに実現できる。さらに、ハードウエアのセクションは、マイクロコンピュータの内部に構成されることもできる。

　Ｓ１２０では、撮像画像Ｇｓにおいて表示用画像を抽出する範囲を設定するための抽出枠Ｗについて、撮像画像Ｇｓにおける水平方向の位置（具体的には、表示用画像の中心線の位置）を、初期位置Ｐ１に設定する。

　本実施形態では、車両２の後方領域において、表示用画像に含めるべき領域（例えば、車両後方における、車両の真後ろを中心とした横６ｍ、縦５ｍの長方形領域）が予め決められている。表示用画像として表示されるべき範囲の広さ（広角カメラの画角よりも狭い表示用画角）は、当該領域の全域を表示可能な広さに設定されている。抽出枠Ｗは、撮像画像Ｇｓにおける表示用画像として表示される部分を示すものであるため、表示用画像として表示されるべき範囲の広さに応じた大きさに設定されている。

　初期位置Ｐ１は、表示用画像の中心線（以下、表示中心線Ｈという）が、撮像中心線Ｌｇと一致する位置、つまり、抽出枠Ｗが撮像画像Ｇｓの中央に位置するように設定されている。初期位置Ｐ１において、抽出枠Ｗは、撮像中心線Ｌｇに対して左右対称である。なお、本実施形態では、抽出枠Ｗの水平方向に直交する方向（縦方向）の位置が、撮像画像Ｇｓの縦方向の中央位置に設定されている。

　Ｓ１３０では、撮像画像Ｇｓにおいて、表示用画像の中心位置が車両中心線Ｌｃに近づく方向（本実施形態では右側）に向かって、表示中心線Ｈを水平方向に単位画素（例えば１画素）分だけ移動させる。

　本実施形態では、各移動位置で抽出枠Ｗ内に含まれる画像に対応する実際の被写体の大きさを等しくするため、車両中心線Ｌｃ側への移動に従って、抽出枠Ｗの大きさを変化させる。具体的には、車両中心線Ｌｃ側への移動毎に、抽出枠Ｗの横幅が小さくなり、表示中心線Ｈに対して抽出枠Ｗの右側が左側に比べて小さくなる（表示中心線Ｈに対して左右非対称となる）。このような水平方向への移動に伴う抽出枠Ｗの形状の変化は、撮像部（広角カメラ）１０のレンズ（例えば、魚眼レンズ）の特性により計算することができるものであり、レンズの特性は予め記憶部２０に記憶されている。従って、表示中心線Ｈが特定されれば、その抽出枠Ｗの大きさが特定される。

　続くＳ１４０では、抽出枠Ｗ内の特定位置の画素（本実施形態では移動方向下端部（右下隅）の画素）について、拡大率の逆数（１／拡大率）が所定の下限値（許容値とも呼ぶ）未満である（つまり、下限値を下回った）か否かを判定する。ここで、拡大率の逆数が下限値未満である場合、Ｓ１６０に移行する。一方、拡大率の逆数が下限値以上である場合、Ｓ１５０に移行する。

　拡大率とは、前述のように、歪曲画像である撮像画像Ｇｓを歪みのない正則画像に変換したと仮定した場合の拡大率（被写体が引き延ばされる比率）であり、撮像中心線Ｌｇから離れるほど大きくなる。拡大率は、撮像部（広角カメラ）１０のレンズの特性により決まるものであり、そのデータは記憶部２０に予め記憶されている。つまり、撮像画像Ｇｓにおける画素の位置が特定されれば、その画素の拡大率が特定される。撮像部１０は、本開示の広角カメラに対応する。

　なお、初期位置Ｐ１に対して、抽出枠Ｗを水平方向に所定画素分移動させたときの表示中心線Ｈの位置を移動位置Ｐ２とした場合、移動位置Ｐ２での抽出枠Ｗ内の画像は、初期位置Ｐ１での抽出枠Ｗ内の画像と比較して、拡大率の大きい画素が含まれる。

　ここで、表示中心線Ｈについて、初期位置Ｐ１から移動位置Ｐ２までの水平方向における距離をオフセット距離とする。オフセット距離は、撮像画像Ｇｓ上での距離であり、例えば画素数で表される。本実施形態では、前述のレンズの特性に基づいて、図７に示すように、オフセット距離と、抽出枠Ｗ内の特定位置の画素についての拡大率の逆数との関係が予め把握されている。抽出枠Ｗ内の特定位置の画素についての拡大率は、表示中心線Ｈのオフセット距離の増加に伴い単調増加する。

　下限値は、人間が見た官能評価によって、例えば表示用画像の端部が見やすく表示される限界値という基準で予め定められている。ただし、この下限値は、表示中心線Ｈが初期位置Ｐ１に位置するときの拡大率の逆数よりも大きい値に設定されている。

　次にＳ１５０では、抽出枠Ｗ内に含まれる自車両写り込み領域Ｒ１の割合（例えば百分率（％）で表す）を写り込み率として、該写り込み率が上限値（許容値）よりも大きい（上限値を超えた）か否かを判定する。ここで、写り込み率が上限値以下である場合、Ｓ１３０に戻る（Ｓ１３０～Ｓ１５０の処理を繰り返す）。一方、写り込み率が上限値よりも大きい場合、Ｓ１６０に移行する。上限値は、人間が見た官能評価によって、例えば違和感を覚えない限界値という基準で予め定められている。なお、本実施形態では、表示中心線Ｈのオフセット距離の増加に伴い、自車両写り込み領域Ｒ１の割合が単調増加すると想定している。

　次に、Ｓ１６０では、表示中心線Ｈの現在の位置に対して１つ前の位置（水平方向に単位画素分戻った位置）Ｐｓの表示中心線Ｈについて、オフセット距離ｄｓを記憶する（図９参照）。ここで、１つ前の位置を特定しているのは、現在の位置が許容値を超えた位置だからである。すなわち、拡大率の逆数が下限値未満であると判定されてＳ１６０に移行した場合には、１つ前の位置が、拡大率の逆数が下限値以上の最小値であった位置（つまり、許容範囲での限界位置）である。同様に、写り込み率が上限値を超えていると判定されたＳ１６０に移行した場合には、１つ前の位置が、写り込み率が上限値以下の最大値であった位置（つまり、許容範囲での限界位置）である。なお、このときの抽出枠Ｗを出力枠Ｗｓとして設定する。また、このときの表示中心線Ｈの位置を出力抽出位置Ｐｓという。

　続くＳ１７０では、表示用画像として用いる垂直方向（紙面の上下方向）の範囲を設定する。本実施形態では、一例として、表示用画像に、水平線Ｌｈ及びバンパ２１が含まれるように、垂直方向の範囲を設定する。ここでは、出力枠Ｗｓ内に、水平線Ｌｈ及びバンパ２１が含まれていると想定する。

　なお、水平線Ｌｈ及びバンパ２１は、地上の物体が表示用画像に含まれるようにするための画角の目安であって、水平線Ｌｈ自体が撮像画像に写っている必要はなく、水平線Ｌｈが物体に隠れていて見えなくてもよい。撮像画像における水平線Ｌｈの位置は、記憶部２０に記憶されているカメラパラメータに基づいて計算により求められる。また、撮像画像におけるバンパ２１の位置は、前述の自車両写り込み領域Ｒ１と同様、記憶部２０に記憶されているカメラパラメータと、車両の外観形状を表す３Ｄ情報とに基づいて、計算により求められる。

　仮に水平線Ｌｈまたはバンパ２１が出力枠Ｗｓに含まれていない場合は、これらが含まれるように出力枠Ｗｓを垂直方向（上下方向）に延長した枠を、新たな出力枠Ｗｓ（図８に二点鎖線で示す枠）として設定するものとする。

　次にＳ１８０では、出力枠Ｗｓ内の画像について歪補正を行う。歪曲画像の歪補正を行う手法は周知であるため、ここでは説明を省略する。なお、出力枠Ｗｓが長方形である場合、歪補正後の画像は厳密な長方形にはならず、四隅が対角線方向外側へ引き延ばされたような形状となる（図２Ｂ参照）。このため、本ステップにおいて、歪補正後の長方形（表示用画像のサイズ）からはみ出す部分に対し、切り取り又はマスキングを行う処理を行う。

　続くＳ１９０では、視点変換処理を行う。ここでいう視点変換処理とは、Ｓ１８０にて歪補正を行った画像を、ピッチ角及びロール角等のカメラパラメータを変更した仮想の撮像部１０による撮像画像に変換する処理をいう。この種の視点変換処理については、種々の手法が周知であるため、ここでは説明を省略する。

　最後にＳ２００では、Ｓ１９０にて視点変換処理を行った画像を、表示部４０に出力する。そして、本処理を終了する。

　［効果］
　以上説明したように、本実施形態の制御回路３０は、車両２の長手方向の中心線である車両中心線からずれた位置に配置された撮像部１０による撮像画像の一部を、表示用画像として抽出する。具体的には、制御回路３０は、表示用画像の中心位置が車両中心線にできるだけ近く、かつ、表示用画像における特定位置の画素について、拡大率の逆数が所定の下限値以上となるように、撮像画像における表示用画像の抽出位置を決定する。拡大率の逆数が所定の下限値以上となることは、言い換えれば、縮小度合い（拡大率）が当該下限値の逆数（第１の所定値）以下となることを意味する。

　ここで、図９Ａ、図９Ｂに模式的に示すように、表示中心線Ｈが移動位置Ｐ２に位置している場合（図９Ｂ）は、表示中心線Ｈが初期位置Ｐ１に位置している場合（図９Ａ）と比べて、表示用画像Ｇｈにおいて特定位置（右下隅）の画素の拡大率が大きくなる。この拡大率が大きいほど端部の画像がぼやけ、車両の乗員にとって認識しづらい画像となる。

　本実施形態では、特定位置の画素についての拡大率は車両の乗員に認識しづらさを感じさせないような拡大率であるようにしつつ、できるだけ車両中心線Ｌｃ近くとなるように表示中心線Ｈを設定している（Ｓ１３０、Ｓ１４０）。従って、本実施形態では、画像の解像度を所定のレベル以上に維持しながら、できるだけ画像の縦中心を車両中心に一致させた表示用画像を生成することができる。結果として、車両の乗員が認識しやすい表示用画像を生成することができる。

　また、本実施形態では、制御回路３０は、運転者が操作するシフトレバーのポジションがリバース（後方走行）となっている状態において、定期的に画像生成処理を実行する。つまり、例えば経年変化等の何らかの要因によって撮像部１０のカメラの設置位置がずれたとしても、この位置ずれに対応するように記憶部２０に記憶されるカメラパラメータを更新することで、該カメラパラメータに基づいて、車両の乗員が認識しやすい表示用画像を生成することができる。

　また、制御回路３０は、表示用画像の全体に対して自車両による写り込みが占める割合を写り込み率として、表示用画像の中心位置が車両中心線にできるだけ近く、かつ、写り込み率が上限値（第２の所定値）以下となるように、撮像画像における表示用画像の抽出位置を決定する処理（Ｓ１５０）を実行する。これにより、表示用画像における自車両の写り込みを、該表示用画像を見た車両の乗員が違和感を覚えないように、抑制することができる。

　さらにまた、制御回路３０では、特定位置の画素は、撮像画像の水平方向において、車両中心線側端部に位置する画素に設定されている。また、特定位置の画素は、撮像画像の垂直方向において端部に位置する画素に設定されている。さらに、特定位置の画素は、撮像画像の垂直方向において、該撮像画像に撮像されている自車両のバンパ２１側に位置するように設定されている。つまり本実施形態では、特定位置の画素は、出力枠Ｗｓの右下隅の画素に設定されている。これにより、表示用画像において、特に自車両近くの画質の劣化を抑制することができる。

　制御回路３０が「画像処理装置」の一例に相当する。また、図５に示す処理のＳ１２０－Ｓ１６０が「抽出決定部（または回路、手段）」としての処理及び「抽出決定ステップ（またはセクション）」の一例に相当する。Ｓ１８０が「歪補正部（または回路、手段）」としての処理及び「歪補正ステップ（またはセクション）」の一例に相当する。

　［他の実施形態］
　以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。例えば、一つの構成要素が有する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を一つの構成要素に統合したりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。

　上記実施形態では、画像生成処理において、撮像画像にて表示用画像の抽出位置を決定し（Ｓ１２０－Ｓ１６０）、その後に歪補正を行う（Ｓ１８０に相当）が、処理の順序はこれに限るものではない。例えば、撮像画像についてまず歪補正を行い、補正後の画像について表示用画像の抽出位置を決定する同様の処理を行ってもよい。この場合、例えば、図５に示すフローチャートにおいて、Ｓ１００の後にＳ１８０（及びＳ１９０）の処理を撮像画像全体に対して実行してから、Ｓ１１０以降の処理を実行する。上記実施形態では、歪補正前の抽出枠Ｗと表示用画像のサイズとを対応させるために、表示中心線Ｈの位置に応じて抽出枠Ｗの大きさを適宜変更していた。この点、本形態では、表示中心線Ｈの位置によらず抽出枠Ｗの大きさを一定とすることができる。

　上記実施形態では、自車両写り込み領域Ｒ１が計算によって把握される（Ｓ１１０）が、これに限るものではない。計算によらず、例えば、実際に撮像を行い、実際の写り込み領域と撮像画像との対応関係を予め特定しておいてもよい。また、これらの対応関係は、予め定められた固定値として記憶部２０に記憶されていてもよい。この点は、水平線Ｌｈやバンパ２１などについても同様であり、実際の撮像画像から特定された対応関係が記憶されるようにしてもよい。

　上記実施形態では、表示用画像に自車両写り込み領域Ｒ１が含まれることを許容するように表示中心線Ｈが設定される（Ｓ１５０）が、これに限るものではない。表示用画像に自車両写り込み領域Ｒ１が含まれないように、表示中心線Ｈを抽出位置Ｐｓ１に設定してもよい（図１０参照）。この場合のオフセット距離ｄｓ１は、図６に示すオフセット距離ｄｓよりも小さくなり得る（ｄｓ１≦ｄｓ）。

　抽出枠Ｗは、少なくともバンパ２１を含むように予め設定されてもよく、また、少なくとも水平線Ｌｈが含まれるように予め設定されてもよく、また、少なくともバンパ２１及び水平線Ｌｈの両方が含まれるように予め設定されてもよい。

　上記実施形態では、抽出枠Ｗが長方形に設定されるが、抽出枠Ｗの形状はこれに限るものではない。例えば、抽出枠Ｗの形状を歪補正によって長方形に補正される歪曲形状としてもよい。

　上記実施形態では、抽出枠Ｗの大きさを、水平方向への移動に従って変化させるが、これに限るものではない。水平方向への移動によらず、抽出枠Ｗの大きさを固定としてもよい。

　上記実施形態では、出力枠Ｗｓ内の画像について歪補正を行う（Ｓ１８０）が、これに限るものではない。歪補正を行わず、表示用画像のサイズに対応するように、出力枠Ｗｓ内の画像を均一に（すべての画素を同じ拡大率で）拡大した画像を、表示用画像としてもよい。または、拡大せず、出力枠Ｗｓ内の画像をそのまま表示用画像として出力してもよい。

　上記実施形態では、視点変換を行った画像を表示用画像とする（Ｓ１９０）が、これに限るものではない。視点変換を行なっていない画像を、そのまま表示用画像としてもよい。

　上記実施形態では、制御回路３０は、運転者が操作するシフトレバーのポジションがリバース（後方走行）となっている状態において、図５に示す画像生成処理を定期的に実行するが、これに限るものではない。制御回路３０は、例えば、運転者による入力を受け付ける入力装置（図示せず）からの指令に従って画像生成処理を実行するように構成されてもよい。入力装置は、表示部４０に設けられたタッチパネルや、表示部４０の周囲等に設置されたメカニカルなキースイッチ等にて構成されてもよい。また、制御回路３０は、外部からの指示を受け付ける外部装置（図示せず）等からの指令に従い、画像生成処理を実行するように構成されてもよい。

　本開示に係る画像処理装置は、車両の長手方向の中心線である車両中心線からずれた位置に配置された広角カメラによる撮像画像の一部を、表示用画像として抽出する。

　広角カメラによる撮像画像は、撮像画像の中心から離れるほど被写体の縮小度合いが大きくなる。画像処理装置が備える制御回路は、車両中心線に対する表示用画像の中心位置、及び表示用画像における特定位置の画素が表す被写体の縮小度合いに応じて、撮像画像における表示用画像の抽出位置を決定する。

　本開示に係る画像処理装置によれば、車両中心線からずれた位置に配置された広角カメラによる撮像画像から、車両の乗員が認識しやすい表示用画像を生成することができる。

　また、本開示は、前述した画像処理装置の他、当該装置を構成要素とする各種システム、当該装置を構成する各手段としてコンピュータを機能させるためのプログラム、当該プログラムが記録された記録媒体、通信制御方法など、種々の形態で実現可能である。

　以上、本開示に係る画像処理装置及び画像処理方法の実施形態、構成、態様を例示したが、本開示に係る実施形態、構成、態様は、上述した各実施形態、各構成、各態様に限定されるものではない。例えば、異なる実施形態、構成、態様にそれぞれ開示された技術的部を適宜組み合わせて得られる実施形態、構成、態様についても本開示に係る実施形態、構成、態様の範囲に含まれる。

Claims (10)

1. 　車両の長手方向の中心線である車両中心線からずれた位置に配置され、撮像画像の中心から離れるほど被写体の縮小度合いが大きくなる広角カメラによる撮像画像の一部を、表示用画像として抽出する画像処理装置であって、表示用画像を抽出する制御回路（３０）を有し、
   　制御回路（３０）は、
   　前記車両中心線に対する前記表示用画像の中心位置、及び前記表示用画像における特定位置の画素が表す被写体の縮小度合いに応じて、前記撮像画像における前記表示用画像の抽出位置を決定する抽出決定部（Ｓ１２０－Ｓ１６０）を備える画像処理装置。
2. 　請求項１に記載の画像処理装置であって、
   　前記抽出決定部（Ｓ１２０－Ｓ１６０）は、前記表示用画像の中心位置が前記車両中心線にできるだけ近く、かつ、前記特定位置の画素が表す被写体の縮小度合いが、予め定められた第１の所定値以下となるように、前記抽出位置を決定する画像処理装置。
3. 　請求項２に記載の画像処理装置であって、
   　前記第１の所定値は、前記表示用画像の中心位置を前記車両中心線に一致させたときの前記特定位置の画素が表す被写体の縮小度合いよりも小さい画像処理装置。
4. 　請求項１から３のいずれか一項に記載の画像処理装置であって、
   　前記抽出決定部（Ｓ１２０－Ｓ１６０）は、前記表示用画像における自車両の写り込み状況に応じて、前記撮像画像における前記表示用画像の抽出位置を決定する画像処理装置。
5. 　請求項４に記載の画像処理装置であって、
   　前記抽出決定部（Ｓ１２０－Ｓ１６０）は、前記表示用画像における自車両写り込みが占める割合が第２の所定値以下となるように、前記撮像画像における前記表示用画像の抽出位置を決定する画像処理装置。
6. 　請求項１から５のいずれか一項に記載の画像処理装置であって、
   　前記特定位置の画素は、前記表示用画像において前記車両中心線側の端部に位置する画素である画像処理装置。
7. 　請求項６に記載の画像処理装置であって、
   　前記特定位置の画素は、前記車両中心線側端部に位置する画素のうち端部に位置する画素である画像処理装置。
8. 　請求項７に記載の画像処理装置であって、
   　前記特定位置の画素は、前記撮像画像において自車両のバンパ側の端部に位置する画素である画像処理装置。
9. 　請求項１から８のいずれか一項に記載の画像処理装置であって、
   　前記撮像画像の歪補正を行う歪補正部（Ｓ１８０）を備える画像処理装置。
10. 　車両の長手方向の中心線である車両中心線からずれた位置に配置され、撮像画像の中心から離れるほど被写体の縮小度合いが大きくなる広角カメラによる撮像画像の一部を、表示用画像として抽出する画像処理方法であって、
    　前記車両中心線に対する前記表示用画像の中心位置、及び前記表示用画像における特定位置の画素が表す被写体の縮小度合いに応じて、前記撮像画像における前記表示用画像の抽出位置を決定する抽出決定ステップ（Ｓ１２０－Ｓ１６０）と、
    　前記撮像画像の歪補正を行う歪補正ステップ（Ｓ１８０）とを備える画像処理方法。

Images