JP6030317B2 - 画像処理装置、画像表示システム、表示装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、車両の周辺を示す画像を処理する技術に関する。

従来より、自動車などの車両の周辺を示す画像を取得し、この画像を車両に設けられる表示装置に表示する画像表示システムが知られている。このような画像表示システムを利用することにより、ユーザ（代表的には運転者）は、車両の周辺の様子を確認することができる。

例えば、車両の前方の領域を示す画像を表示する画像表示システムを利用すれば、車両が見通しの悪い交差点などに差し掛かった場合に、ユーザは車両の左側あるいは右側から交差点に接近する物体を把握しやすい。また、車両の後方の領域を示す画像を表示する画像表示システムを利用すれば、ユーザは車両を後退させる場合に車両の後方に存在する物体を把握しやすい。このため、ユーザは、車両と物体との接触を回避して車両を安全に移動させることができる。

また、近年では、複数の撮影画像を合成して仮想視点からみた車両の周辺を示す俯瞰画像を生成し、その俯瞰画像を表示する画像表示システムも提案されている（例えば、特許文献１参照。）。ユーザは、このような俯瞰画像を視認することで、車両の周辺の全体の様子を確認することができる。

特開２０１０−２７４８１３号公報

ところで一般に、上記のような画像表示システムは、安全性を考慮して「車両の速度が閾値より小さい」あるいは「シフトポジションがリバース（Ｒ）」などの所定の表示条件を満足した場合にのみ表示装置に画像を表示する（例えば、特許文献１参照。）。これにより、車両の運転者が表示装置を注視して運転への注意力が低下することを防止するようにしている。

しかしながら、運転者以外の同乗者が表示装置を視認する場合には、運転に影響を与えることはない。また、運転しない同乗者が、表示された画像に基づいて、車両の周辺の様子を十分に把握して安全性を確保することもできる。このため、表示条件を満足しない場合であっても、運転者以外の同乗者が車両の周辺の様子を確認できる技術が要望されていた。

本発明は、上記課題に鑑みてなされたものであり、表示条件を満足しない場合であっても、運転者以外の同乗者が車両の周辺を確認できる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、車両で用いられる画像処理装置であって、前記車両の周辺を撮影するカメラで得られた撮影画像に基づき生成される前記車両の周辺を示す表示画像を前記車両に設けられる第１表示装置に出力して、前記表示画像を表示させる出力手段と、前記表示画像、及び、前記表示画像に必要な前記撮影画像のいずれかを、可搬性の第２表示装置に送信して、前記表示画像を表示させる送信手段と、前記第１表示装置が前記表示画像を表示する表示条件を満足するか否かを判定する判定手段と、を備え、前記表示条件を満足する場合は、前記出力手段及び前記送信手段のうち少なくとも前記出力手段が有効化され、前記表示条件を満足しない場合は、前記出力手段及び前記送信手段のうち前記送信手段のみが有効化され、前記出力手段が無効化される。

また、請求項２の発明は、請求項１に記載の画像処理装置において、前記表示画像は、仮想視点からみた前記車両の周辺を示す俯瞰画像を含む。

また、請求項３の発明は、請求項２に記載の画像処理装置において、前記出力手段は、前記俯瞰画像と前記車両の周辺を示す他の画像とを含む前記表示画像を前記第１表示装置に表示させ、前記送信手段は、前記俯瞰画像を含み、前記車両の周辺を示す他の画像を含まない前記表示画像を前記第２表示装置に表示させる。

また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像処理装置において、前記表示条件を満足する場合は、前記送信手段が無効化される。

また、請求項５の発明は、請求項２に記載の画像処理装置において、前記第２表示装置から、前記仮想視点を規定するパラメータを受信する受信手段と、前記俯瞰画像として、前記パラメータに基づく前記仮想視点からみた指定俯瞰画像を生成する生成手段と、をさらに備え、前記送信手段は、前記指定俯瞰画像を含む前記表示画像を前記第２表示装置に表示させる。

また、請求項６の発明は、請求項２に記載の画像処理装置において、前記俯瞰画像として、第１仮想視点からみた第１俯瞰画像と、前記第１仮想視点とは別の第２仮想視点からみた第２俯瞰画像とを生成する生成手段、をさらに備え、前記出力手段は、前記第１俯瞰画像を含む前記表示画像を前記第１表示装置に表示させ、前記送信手段は、前記第２俯瞰画像を含む前記表示画像を前記第２表示装置に表示させる。

また、請求項７の発明は、請求項２に記載の画像処理装置において、前記俯瞰画像として、第１仮想視点からみた第１俯瞰画像と、前記第１仮想視点とは別の第２仮想視点からみた第２俯瞰画像とを生成する生成手段、をさらに備え、前記表示条件を満足しない場合は、前記送信手段は、前記第２俯瞰画像を含む前記表示画像を前記第２表示装置に表示させ、前記表示条件を満足する場合は、前記出力手段は、前記第１俯瞰画像を含む前記表示画像を前記第１表示装置に表示させ、かつ、前記送信手段は、前記第１俯瞰画像を含む前記表示画像を前記第２表示装置に表示させる。

また、請求項８の発明は、車両で用いられる画像表示システムであって、請求項１ないし７のいずれかに記載の画像処理装置と、前記表示画像を表示する前記第２表示装置と、を備えている。

また、請求項９の発明は、車両で用いられる画像処理方法であって、（ａ）前記車両に設けられる第１表示装置が、前記車両の周辺を撮影するカメラで得られた撮影画像に基づき生成される前記車両の周辺を示す表示画像を表示する工程と、（ｂ）可搬性の第２表示装置が、前記表示画像を表示する工程と、（ｃ）前記第１表示装置が前記表示画像を表示する表示条件を満足するか否かを判定する工程と、を備え、前記表示条件を満足する場合は、前記工程（ａ）及び前記工程（ｂ）のうち少なくとも前記工程（ａ）が有効化され、前記表示条件を満足しない場合は、前記工程（ａ）及び前記工程（ｂ）のうち前記工程（ｂ）のみが有効化され、前記工程（ａ）が無効化される。

請求項１ないし９の発明によれば、表示条件を満足しない場合であっても可搬性の第２表示装置において表示画像が表示される。このため、表示条件を満足しない場合であっても、第２表示装置を扱うユーザは車両の周辺を確認することができる。

また、特に請求項２の発明によれば、仮想視点からみた車両の周辺を示す俯瞰画像を含む表示画像が表示されるため、車両の周辺の全体を確認することができる。

また、特に請求項３の発明によれば、俯瞰画像を含み車両の周辺を示す他の画像を含まない表示画像が第２表示装置に表示されるため、第２表示装置のユーザが俯瞰画像に含まれる被写体の像を容易に把握できる。

また、特に請求項４の発明によれば、表示条件を満足する場合は送信手段が無効化され、第１表示装置のみで表示画像が表示されるため、処理の負荷を低減できる。

また、特に請求項５の発明によれば、第２表示装置から受信したパラメータに基づく仮想視点からみた指定俯瞰画像が第２表示装置に表示される。このため、第２表示装置においてパラメータを設定することにより、第２表示装置のユーザは所望の視点から車両の周辺を確認することができる。

また、特に請求項６の発明によれば、第１表示装置と第２表示装置とで別の仮想視点からみた俯瞰画像が表示される。このため、異なる視点から車両の周辺を確認することができる。

また、特に請求項７の発明によれば、表示条件を満足する場合は、第１表示装置及び第２表示装置の双方に第１俯瞰画像を含む表示画像が表示される。このため、表示条件を満足する場合は第１俯瞰画像のみを生成すればよいため、処理の負荷を低減できる。

図１は、画像表示システムの概要を示す図である。 図２は、車両用装置の構成を示す図である。 図３は、４つのカメラが撮影する方向を示す図である。 図４は、携帯表示装置の構成を示す図である。 図５は、車両用表示画像の一例を示す図である。 図６は、携帯用表示画像の一例を示す図である。 図７は、俯瞰画像を生成する手法を説明する図である。 図８は、第１の実施の形態の車両用装置の処理の流れを示す図である。 図９は、第１の実施の形態の携帯表示装置の処理の流れを示す図である。 図１０は、第２の実施の形態の車両用装置の処理の流れを示す図である。 図１１は、第３の実施の形態の携帯表示装置の構成を示す図である。 図１２は、仮想視点を指定するための設定画面の例を示す図である。 図１３は、指定俯瞰画像の例を示す図である。 図１４は、第３の実施の形態の車両用装置の処理の流れを示す図である。 図１５は、指定俯瞰画像処理の詳細な流れを示す図である。 図１６は、第３の実施の形態の携帯表示装置の処理の流れを示す図である。 図１７は、第４の実施の形態の車両用装置の処理の流れを示す図である。 図１８は、第５の実施の形態の携帯表示装置の構成を示す図である。 図１９は、第５の実施の形態の車両用装置の処理の流れを示す図である。 図２０は、第５の実施の形態の携帯表示装置の処理の流れを示す図である。 図２１は、指定俯瞰画像に含まれる車両像のカラーの変更を示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．第１の実施の形態＞
＜１−１．システムの概要＞
図１は、本実施の形態の画像表示システム１０の概要を示す図である。画像表示システム１０は、自動車などの車両９に搭載される車両用装置２と、車両用装置２とは別個に構成される携帯表示装置３とを備えている。

車両用装置２と携帯表示装置３との双方は、Bluetooth（登録商標）などの所定の通信方式に準拠した無線通信機能を有している。したがって、車両用装置２と携帯表示装置３とは、無線通信によって相互にデータを送受信することが可能となっている。なお、車両用装置２と携帯表示装置３とを通信ケーブルで物理的に接続し、車両用装置２と携帯表示装置３とが有線通信によって相互にデータを送受信できるようになっていてもよい。

車両用装置２は、車両９で用いられる電子装置であり、車両９の周辺を撮影する複数のカメラ５と、画像を処理する画像処理装置４と、画像を表示する車載表示装置６とを備えている。車載表示装置６は、車両用装置２の主なユーザとなる車両９の運転者が視認できるように、車両９の車室内に固定的に設けられる。車両用装置２は、複数のカメラ５で得られた撮影画像に基づいて、車両９の周辺を示す画像を車載表示装置６に表示する機能を有している。

また、携帯表示装置３は、例えば、携帯電話やスマートフォンなどの可搬性の表示装置である。携帯表示装置３は、画像処理装置４から送信された車両９の周辺を示す画像を受信し、受信した画像を表示することができる。車両９に乗車した運転者以外の同乗者は、この携帯表示装置３を扱い、携帯表示装置３に表示された画像を視認することができる。

車載表示装置６は、所定の表示条件を満足する場合には車両９の周辺を示す画像を表示するが、表示条件を満足しない場合には画像を表示しない。一方で、携帯表示装置３は、この表示条件とは無関係に車両９の周辺を示す画像を表示する。したがって、表示条件を満足しない場合であっても携帯表示装置３に画像が表示されるため、携帯表示装置３のユーザである同乗者は車両９の周辺の様子を確認できるようになっている。

以下、このような画像表示システム１０の構成及び処理について詳細に説明する。

＜１−２．車両用装置の構成＞
まず、車両用装置２の構成について説明する。図２は、車両用装置２の構成を示す図である。車両用装置２は、前述のように、複数のカメラ５と、画像処理装置４と、車載表示装置６とを備えている。

車載表示装置６は、例えば、液晶パネルなどを備えた薄型のディスプレイである。車載表示装置６は、画像処理装置４と一体化されており、画像処理装置４から出力された表示画像を表示する。

複数のカメラ５はそれぞれ、レンズと撮像素子とを備えており、車両９の周辺を示す撮影画像を電子的に取得する。各カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、所定の周期（例えば、１／３０秒）で周期的に撮影を行う。

複数のカメラ５はそれぞれ、画像処理装置４とは別に車両９の適位置に配置され、取得した撮影画像を画像処理装置４に入力する。複数のカメラ５は、フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒを含んでいる。これら４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、車両９の異なる位置に配置され、車両９の周辺の異なる方向を撮影する。

図３は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒがそれぞれ撮影する方向を示す図である。フロントカメラ５Ｆは、車両９の前端に設けられ、その光軸５Ｆａは車両９の前方（直進方向）に向けられている。リアカメラ５Ｂは、車両９の後端に設けられ、その光軸５Ｂａは車両９の後方（直進方向の逆方向）に向けられている。左サイドカメラ５Ｌは車両９の左側のサイドミラー９３Ｌに設けられ、その光軸５Ｌａは車両９の左側方（直進方向の直交方向）に向けられている。また、右サイドカメラ５Ｒは車両９の右側のサイドミラー９３Ｒに設けられ、その光軸５Ｒａは車両９の右側方（直進方向の直交方向）に向けられている。

これらのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのレンズには魚眼レンズなどが採用され、各カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは１８０度以上の画角θを有している。このため、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒを利用することで、車両９の全周囲を撮影することが可能である。

図１に戻って説明する。画像処理装置４は、複数のカメラ５で取得された撮影画像を処理して、車載表示装置６で表示するための表示画像、及び、携帯表示装置３で表示するための表示画像を生成する。

画像処理装置４は、車両用装置２の全体を制御するマイクロコンピュータである制御部４０を備えている。また、画像処理装置４は、画像取得部４１と、画像合成部４２と、表示画像生成部４３と、画像出力部４４と、データ通信部４５とを備えている。これらの処理部４１〜４５は、例えば、画像を処理するハードウェア回路である。

画像取得部４１は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒでそれぞれ得られた撮影画像を取得する。画像取得部４１は、アナログの撮影画像をデジタルの撮影画像に変換するなどの画像処理機能を有している。画像取得部４１は、取得した撮影画像に所定の画像処理を行い、処理後の撮影画像を画像合成部４２及び表示画像生成部４３に入力する。

画像合成部４２は、仮想視点からみた車両９の周辺を示す俯瞰画像を生成する。画像合成部４２は、複数のカメラ５で取得された複数の撮影画像を合成し、これら複数の撮影画像の合成画像である仮想視点からみた俯瞰画像を生成する。画像合成部４２が俯瞰画像を生成する手法については後述する。画像合成部４２は、生成した俯瞰画像を表示画像生成部４３に入力する。

表示画像生成部４３は、車載表示装置６に表示するための表示画像（以下、「車両用表示画像」という。）を生成する。表示画像生成部４３は、画像取得部４１から入力された撮影画像と、画像合成部４２から入力された俯瞰画像とを用いて車両用表示画像を生成する。この車両用表示画像は、携帯表示装置３に表示するための表示画像（以下、「携帯用表示画像」という。）とは態様が異なっている。

画像出力部４４は、表示画像を車載表示装置６に出力して、車載表示装置６に表示画像を表示させる。画像出力部４４は、表示画像生成部４３に生成された車両用表示画像を車載表示装置６に出力する。これにより、車載表示装置６において、車両用表示画像が表示される。

データ通信部４５は、所定の通信方式の無線通信により携帯表示装置３との間でデータの送受信を行う。データ通信部４５は、表示画像を携帯表示装置３に送信して、車載表示装置６に表示画像を表示させる。データ通信部４５は、携帯用表示画像として、画像合成部４２に生成された俯瞰画像を携帯表示装置３に送信する。これにより、携帯表示装置３において、俯瞰画像（携帯用表示画像）が表示される。また、データ通信部４５は、携帯表示装置３からデータを受信した場合は、受信したデータを制御部４０に入力する。

また、画像処理装置４は、記憶部４６と、信号受信部４７とをさらに備えている。

記憶部４６は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部４６は、車両データ４６ａ、及び、ファームウェアとしてのプログラム４６ｂを記憶している。車両データ４６ａは、車両用装置２が搭載される車両９に関するデータであり、ボディ形状やボディカラーなど車両９の外観を示すデータを含んでいる。

信号受信部４７は、車両９に設けられる他の装置からの信号を受信する。信号受信部４７は、受信した信号を制御部４０に入力する。信号受信部４７は、例えば、車両９が走行する速度（ｋｍ／ｈ）を示す信号を車速センサ８から受信する。

制御部４０は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えている。制御部４０の各種の機能は、記憶部４６に記憶されたプログラム４６ｂに従ってＣＰＵが演算処理を行うことで実現される。図中に示す画像制御部４０ａ、条件判定部４０ｂ、及び、表示制御部４０ｃは、プログラムに従ってＣＰＵが演算処理を行うことで実現される機能部の一部である。

画像制御部４０ａは、画像取得部４１、画像合成部４２及び表示画像生成部４３が実行する画像処理に関する制御を行う。例えば、画像制御部４０ａは、画像合成部４２が生成する俯瞰画像のための仮想視点を設定する。

条件判定部４０ｂは、車載表示装置６が表示画像を表示する表示条件を満足するか否かを判定する。条件判定部４０ｂは、車両９の速度が所定の閾値より小さい場合に、表示条件を満足したと判定する。これにより、例えば、車両９が見通しの悪い交差点に差し掛かかった場合などにおいて、運転者が車両９の周辺を確認するために車両９を徐行させたときに、表示条件が満足することになる。

表示制御部４０ｃは、表示画像の表示に関する制御を行う。表示制御部４０ｃは、画像出力部４４の出力機能、及び、データ通信部４５の送信機能の有効／無効を切り替えることができる。表示制御部４０ｃが画像出力部４４の出力機能を無効化した場合は、車載表示装置６に車両用表示画像が表示されなくなる。また、表示制御部４０ｃがデータ通信部４５の送信機能を無効化した場合は、携帯表示装置３に携帯用表示画像が表示されなくなる。

＜１−３．携帯表示装置の構成＞
次に、携帯表示装置３の構成について説明する。図４は、携帯表示装置３の構成を示す図である。携帯表示装置３は、制御部３１と、マイク３２と、スピーカ３３と、音声通信部３４と、操作部３５と、ディスプレイ３６と、データ通信部３７と、記憶部３８とを備えている。

マイク３２は、周辺の音を電気信号に変換する。マイク３２は、例えば、通話中のユーザが発した音声を電気信号に変換する。スピーカ３３は、電気信号に基づいて各種の音を出力する。スピーカ３３は、例えば、通話相手が発した音声を出力する。音声通信部３４は、通話にかかる音声の電気信号を、基地局との間で送受信する。これらマイク３２、スピーカ３３及び音声通信部３４により、携帯表示装置３の通話機能が実現される。

操作部３５は、ユーザの操作を直接的に受け付ける操作部材であり、複数の操作ボタンを含んでいる。ユーザが操作部３５を操作した場合は、その操作内容を示す信号が制御部３１に入力される。

ディスプレイ３６は、例えば、液晶パネルを備えており各種の画像を表示する。また、ディスプレイ３６は、タッチパネルを備えており、ユーザの操作を受け付ける操作部材としても機能する。ユーザがタッチパネルとしてのディスプレイ３６を操作した場合は、その操作内容を示す信号が制御部３１に入力される。

データ通信部３７は、所定の通信方式の無線通信により車両用装置２との間でデータの送受信を行う。データ通信部３７は、車両用装置２から送信された俯瞰画像などを受信する。

記憶部３８は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部３８は、車両用装置２と連携するためのアプリケーションのプログラム３８ａを記憶している。

また、制御部３１は、携帯表示装置３の全体を統括的に制御するマイクロコンピュータである。制御部３１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えている。記憶部３８に記憶されたプログラム３８ａに従ってＣＰＵが演算処理を行うことで、アプリケーションの各種の機能が実現される。

図中に示す通信制御部３１ａ及び表示制御部３１ｂは、アプリケーションの機能の一部である。通信制御部３１ａは、データ通信部３７を制御し、車両用装置２から送信された俯瞰画像をデータ通信部３７に受信させる。また、表示制御部３１ｂは、ディスプレイ３６を制御し、データ通信部３７が俯瞰画像を受信した場合に、携帯用表示画像として、受信した俯瞰画像をディスプレイ３６に表示させる。

＜１−４．表示画像＞
次に、表示画像について説明する。前述のように、表示画像には、車載表示装置６に表示するための車両用表示画像と、携帯表示装置３に表示するための携帯用表示画像とがある。図５は車両用表示画像ＤＰ１の一例を示す図であり、図６は携帯用表示画像ＤＰ２の一例を示す図である。

図５に示すように、車両用表示画像ＤＰ１は、車両９の前方を示す撮影画像ＰＦと、仮想視点からみた車両９の周辺を示す俯瞰画像ＣＰとを含んでいる。この車両用表示画像ＤＰ１は、車載表示装置６に表示されるため、車両９の運転者によって視認される。運転者は、このような車両用表示画像ＤＰ１を視認することで、車両９の前方の様子とともに、車両９の周辺の全体の様子についても確認することができる。

一方、図６に示すように、携帯用表示画像ＤＰ２は、俯瞰画像ＣＰを含むが、車両９の周辺を示す他の画像は含んでいない。具体的には、俯瞰画像ＣＰがそのまま携帯用表示画像ＤＰ２となっている。この携帯用表示画像ＤＰ２は、携帯表示装置３に表示されるため、運転者以外の同乗者によって視認される。同乗者は、このような携帯用表示画像ＤＰ２を視認することで、車両９の周辺の全体の様子を確認することができる。

一般に、携帯表示装置３が備えるディスプレイ３６の画面のサイズは比較的小さい。このため仮に、車両用表示画像ＤＰ１と同様の表示画像を携帯表示装置３に表示させた場合には、表示上の俯瞰画像ＣＰのサイズが小さくなり、携帯用表示画像ＤＰ２のユーザである同乗者が俯瞰画像ＣＰに含まれる被写体の像を把握しにくくなる。本実施の形態では、俯瞰画像ＣＰのみを含む携帯用表示画像ＤＰ２を携帯表示装置３に表示させる。このため、表示上の俯瞰画像ＣＰのサイズを大きくでき、同乗者が俯瞰画像ＣＰに含まれる被写体の像を容易に把握できる。

図５及び図６に示すように、車両用表示画像ＤＰ１及び携帯用表示画像ＤＰ２の双方は、仮想視点からみた車両９の周辺を示す俯瞰画像ＣＰを含んでいる。この俯瞰画像ＣＰは、画像合成部４２によって生成される。図７は、画像合成部４２が俯瞰画像ＣＰを生成する手法を説明する図である。以下、この図を参照して、画像合成部４２が俯瞰画像ＣＰを生成する手法について説明する。

フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒのそれぞれで撮影が行われると、車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲが取得される。これら４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲには、車両９の全周囲のデータが含まれている。

画像合成部４２は、まず、これら４つの撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲに含まれるデータ（各画素の値）を、仮想的な三次元空間における立体曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば、略半球状（お椀形状）をしている。この投影面ＴＳの中心部分（お椀の底部分）は、車両９の位置として定められている。また、投影面ＴＳの中心以外の部分は、撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲのいずれかと対応付けられている。

画像合成部４２は、この投影面ＴＳの中心以外の部分に、撮影画像ＰＦ，ＰＢ，ＰＬ，ＰＲに含まれるデータを投影する。画像合成部４２は、投影面ＴＳにおいて車両９の前方に相当する領域に、フロントカメラ５Ｆの撮影画像ＰＦのデータを投影する。また、画像合成部４２は、投影面ＴＳにおいて車両９の後方に相当する領域に、リアカメラ５Ｂの撮影画像ＰＢのデータを投影する。さらに、画像合成部４２は、投影面ＴＳにおいて車両９の左側方に相当する領域に左サイドカメラ５Ｌの撮影画像ＰＬのデータを投影し、投影面ＴＳにおいて車両９の右側方に相当する領域に右サイドカメラ５Ｒの撮影画像ＰＲのデータを投影する。

このように投影面ＴＳの各部分にデータを投影すると、次に、画像合成部４２は、記憶部４６に記憶された車両データ４６ａに基づいて車両９の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両９のモデルの形状やカラーは、実際の車両９のボディ形状やボディカラーに準じたものとなっている。車両９のモデルは、投影面ＴＳが設定される三次元空間において車両９の位置と定められた投影面ＴＳの中心部分に配置される。

次に、画像制御部４０ａが、三次元空間に対して仮想視点ＶＰを設定する。これにより、画像合成部４２は、投影面ＴＳのうち、仮想視点ＶＰからみて所定の視野角に含まれる領域を画像として切り出す。また、画像合成部４２は、仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングを行い、その結果となる二次元の車両像９０を、切り出した画像に対して重畳する。これにより、画像合成部４２は、仮想視点ＶＰからみた車両９及び車両９の周辺の領域を示す俯瞰画像ＣＰを生成する。

通常、画像制御部４０ａは、俯瞰画像ＣＰのための仮想視点ＶＰとして、図に示すように、視点位置を車両９の直上、視野方向を直下とした仮想視点（以下、「基本仮想視点」という。）ＶＰａを設定する。この基本仮想視点ＶＰａを設定した場合には、車両９及び車両９の周辺の領域を見下ろすような俯瞰画像ＣＰａが生成される。

また、画像制御部４０ａは、仮想視点ＶＰを規定するパラメータ（視点位置、視野方向など）を任意に変更することができ、基本仮想視点ＶＰａとは異なる仮想視点ＶＰを設定することもできる。例えば、図に示すように、視点位置を車両９の左後方、視野方向を車両９の前方とした仮想視点ＶＰｂを設定した場合には、車両９の左後方からその周辺全体を見渡すように、車両９及び車両９の周辺の領域を示す俯瞰画像ＣＰｂが生成される。

＜１−５．処理の流れ＞
次に、画像表示システム１０の処理の流れについて説明する。図８は、車両用装置２の処理の流れを示す図である。この処理は、所定の周期（例えば、１／３０秒）で繰り返し行われる。また、この処理の前にはペアリング処理などが実行され、車両用装置２と携帯表示装置３とは相互に通信可能な状態となっている。

まず、車両用装置２の４つのカメラ５のそれぞれが車両９の周辺を撮影する。そして、画像取得部４１が、４つのカメラ５でそれぞれ得られた４つの撮影画像を取得する（ステップＳＡ１１）。

次に、画像合成部４２が、４つの撮影画像に基づいて仮想視点からみた車両９の周辺を示す俯瞰画像を生成する（ステップＳＡ１２）。この際、画像制御部４０ａは、俯瞰画像のための仮想視点として基本仮想視点を設定する。したがって、画像合成部４２は、車両９の直上から車両９の周辺の領域を見下ろすような俯瞰画像を生成する。

次に、表示画像生成部４３が、車両用表示画像ＤＰ１を生成する（ステップＳＡ１３）。表示画像生成部４３は、画像取得部４１が取得したフロントカメラ５Ｆの撮影画像ＰＦと、画像合成部４２が生成した俯瞰画像ＣＰとを用いて、車両用表示画像ＤＰ１を生成する（図５参照。）。

次に、条件判定部４０ｂが、車載表示装置６が表示画像を表示するための表示条件を満足するか否かを判定する（ステップＳＡ１４）。条件判定部４０ｂは、信号受信部４７が車速センサ８から受信した信号に基づいて、車両９の速度を取得する。そして、条件判定部４０ｂは、車両９の速度が所定の閾値（例えば、５ｋｍ／ｈ）より小さい場合は、表示条件を満足したと判定する。

表示条件を満足する場合は（ステップＳＡ１４にてＹｅｓ）、運転者が車両９の周辺の確認のために徐行あるいは停車した場合と考えられる。このため、表示制御部４０ｃが画像出力部４４の出力機能を有効化する。これにより、画像出力部４４が車両用表示画像ＤＰ１を車載表示装置６に出力し、車載表示装置６において車両用表示画像ＤＰ１が表示される（ステップＳＡ１５）。車両９の運転者は、このように車載表示装置６に表示された車両用表示画像ＤＰ１を視認して、車両９の周辺の様子を確認することができる。そして、処理はステップＳＡ１６へ進む。

一方、表示条件を満足しない場合は（ステップＳＡ１４にてＮｏ）、表示制御部４０ｃが、画像出力部４４の出力機能を無効化する。これにより、画像出力部４４は車両用表示画像ＤＰ１を出力せず、車載表示装置６において車両用表示画像ＤＰ１が表示されなくなる。そして、処理はステップＳＡ１６へ進む。

ステップＳＡ１６では、表示制御部４０ｃが、携帯表示装置３と通信可能な状態が継続しているかを判定する。そして、携帯表示装置３と通信可能な場合は（ステップＳＡ１６にてＹｅｓ）、表示制御部４０ｃがデータ通信部４５の送信機能を有効化する。これにより、データ通信部４５が、携帯用表示画像ＤＰ２となる俯瞰画像（ステップＳＡ１２で生成された俯瞰画像）を携帯表示装置３に送信する（ステップＳＡ１７）。

このように車両用装置２のデータ通信部４５は、表示条件とは無関係に俯瞰画像を携帯表示装置３に送信する。したがって、表示条件を満足しない場合であっても、携帯表示装置３において俯瞰画像（すなわち、携帯用表示画像ＤＰ２）が表示されることになる。

図９は、携帯表示装置３の処理の流れを示す図である。この処理は、車両用装置２と連携するためのアプリケーションを実行した場合に、所定の周期（例えば、１／３０秒）で繰り返し行われる。この処理の前においても、車両用装置２と携帯表示装置３とは相互に通信可能な状態となっている。

まず、車両用装置２から俯瞰画像が送信された場合は、通信制御部３１ａの制御により、データ通信部３７がこの俯瞰画像を受信する（ステップＳＢ１１）。

このようにデータ通信部３７が俯瞰画像を受信した場合は（ステップＳＢ１２にてＹｅｓ）、表示制御部３１ｂの制御により、ディスプレイ３６が俯瞰画像のみを含む携帯用表示画像ＤＰ２を表示する（ステップＳＢ１３）。

同乗者は、このように携帯表示装置３に表示された携帯用表示画像ＤＰ２を視認して、車両９の周辺の様子を確認することができる。すなわち、表示条件を満足しない場合であっても、同乗者は、車両９の周辺の様子を確認できることになる。

以上のように、第１の実施の形態の画像表示システム１０では、画像処理装置４が、車両の周辺を示す表示画像を車両９に設けられる車載表示装置６に出力して表示画像を表示させる画像出力部４４と、表示画像を可搬性の携帯表示装置３に送信して表示画像を表示させるデータ通信部４５とを備えている。また、条件判定部４０ｂが、車載表示装置６が表示画像を表示する表示条件を満足するか否かを判定する。

そして、表示条件を満足する場合は、表示制御部４０ｃは、画像出力部４４の出力機能と、データ通信部４５の送信機能との双方を有効化する。これにより、車載表示装置６において表示画像が表示されるとともに、携帯表示装置３においても表示画像が表示される。

これに対して、表示条件を満足しない場合は、表示制御部４０ｃは、画像出力部４４の出力機能を無効化する一方で、データ通信部４５の送信機能を有効化する。これにより、車載表示装置６においては表示画像が表示されないが、携帯表示装置３においては表示画像が表示される。このため、表示条件を満足しない場合であっても、携帯表示装置３を扱う同乗者は車両９の周辺の様子を確認することができる。

また、表示画像ＤＰ１，ＤＰ２は、仮想視点からみた車両の周辺を示す俯瞰画像を含む。このため、ユーザは表示画像ＤＰ１，ＤＰ２を視認することで、車両９の周辺の全体の様子を確認することができる。

また、携帯表示装置３には、俯瞰画像を含み、車両９の周辺を示す他の画像を含まない携帯用表示画像ＤＰ２が表示される。このため、携帯表示装置３での表示上の俯瞰画像のサイズが大きくなり、携帯表示装置３のユーザは俯瞰画像に含まれる被写体の像を容易に把握できる。

＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の画像表示システム１０の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態においては、表示条件を満足する場合に、車載表示装置６及び携帯表示装置３の双方において表示画像が表示されていた。これに対して、第２の実施の形態においては、表示条件を満足する場合に、車載表示装置６において表示画像が表示されるが、携帯表示装置３において表示画像が表示されないようになっている。

図１０は、第２の実施の形態の車両用装置２の処理の流れを示す図である。第２の実施の形態の携帯表示装置３の処理の流れは、図９に示すものと同様である。以下、第２の実施の形態の車両用装置２の処理の流れについて説明する。

まず、４つのカメラ５で撮影がなされ、画像取得部４１が４つの撮影画像を取得する（ステップＳＡ２１）。次に、画像合成部４２が、４つの撮影画像に基づいて仮想視点からみた車両９の周辺を示す俯瞰画像を生成する（ステップＳＡ２２）。次に、表示画像生成部４３が、車両用表示画像ＤＰ１を生成する（ステップＳＡ２３）。そして、条件判定部４０ｂが、表示条件を満足するか否かを判定する（ステップＳＡ２４）。

表示条件を満足する場合は（ステップＳＡ２４にてＹｅｓ）、表示制御部４０ｃが、画像出力部４４の出力機能を有効化する。これにより、画像出力部４４が車両用表示画像ＤＰ１を車載表示装置６に出力し、車載表示装置６において車両用表示画像ＤＰ１が表示される（ステップＳＡ２５）。

さらに、表示条件を満足する場合は、表示制御部４０ｃが、データ通信部４５の送信機能を無効化する。これにより、データ通信部４５は俯瞰画像を送信せず、携帯表示装置３において携帯用表示画像ＤＰ２が表示されなくなる。

一方、表示条件を満足しない場合は（ステップＳＡ２４にてＮｏ）、表示制御部４０ｃが、画像出力部４４の出力機能を無効化する。これにより、画像出力部４４は車両用表示画像ＤＰ１を出力せず、車載表示装置６において車両用表示画像ＤＰ１が表示されなくなる。

さらに、表示条件を満足しない場合は、携帯表示装置３と通信可能であれば（ステップＳＡ２６にてＹｅｓ）、表示制御部４０ｃはデータ通信部４５の送信機能を有効化する。これにより、データ通信部４５が俯瞰画像を携帯表示装置３に送信し、携帯表示装置３において携帯用表示画像ＤＰ２が表示される（ステップＳＡ２７）。

以上のように第２の実施の形態の画像表示システム１０では、表示条件を満足する場合はデータ通信部４５の送信機能が無効化され、車載表示装置６のみで表示画像が表示される。このため、携帯表示装置３の表示に係る処理を省略できるため、処理の負荷を低減できる。その結果、処理に必要なリソースを車載表示装置６の表示に係る処理に割り振ることができ、車両９の運転に必要となる、車載表示装置６における表示画像の表示をスムーズに行うことができる。

＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態の画像表示システム１０の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。

第１の実施の形態においては、車載表示装置６と携帯表示装置３とは双方ともに、基本仮想視点からみた俯瞰画像を表示していた。これに対して、第３の実施の形態においては、携帯表示装置３が、基本仮想視点とは別の仮想視点からみた俯瞰画像を表示できるようになっている。また、携帯表示装置３のユーザである同乗者は、携帯表示装置３を操作して、携帯表示装置３に表示する俯瞰画像のための仮想視点として所望の仮想視点を指定できるようになっている。

図１１は、第３の実施の形態の携帯表示装置３の構成を示す図である。第３の実施の形態の携帯表示装置３は、図４に示す第１の実施の形態の携帯表示装置３の構成に加えて、アプリケーションの機能として、視点設定部３１ｃをさらに備えている。視点設定部３１ｃは、俯瞰画像のための仮想視点を指定する操作をユーザから受け付ける。そして、視点設定部３１ｃは、ユーザに指定された仮想視点に応じて、仮想視点を規定するパラメータを設定する。

図１２は、仮想視点を指定するための設定画面の例を示す図である。この設定画面は、携帯表示装置３のディスプレイ３６に表示される。設定画面においては、画面上部に車両９の側面を示すイラスト９１が含まれ、画面下部に車両９の正面を示すイラスト９２が含まれている。また、２つのイラスト９１，９２のそれぞれの上部には仮想視点を示すマーカＭｖ１，Ｍｖ２が含まれている。

携帯表示装置３のユーザは、タッチパネルとしてのディスプレイ３６に触れることで、これらのマーカＭｖ１，Ｍｖ２の位置を、弧状のガイドラインＧに沿って移動させることができる。

画面上部のイラスト９１に対するマーカＭｖ１の位置は、車両９の前後方向に関する仮想視点の視点位置に対応している。また、画面下部のイラスト９２に対するマーカＭｖ２の位置は、車両９の左右方向に関する仮想視点の視点位置に対応している。したがって、ユーザは、マーカＭｖ１，Ｍｖ２を移動させることで、所望の仮想視点を指定できる。なお、ユーザが、マーカＭｖ１，Ｍｖ２を上下方向に移動できるようになっていてもよい。

また、ユーザが設定画面に表示された完了ボタンＣｂに触れた場合は、視点設定部３１ｃが、その時点の２つのマーカＭｖ１，Ｍｖ２の位置に基づいて、仮想視点の視点位置を設定する。また、視点設定部３１ｃは、車両９の略中心（図中の位置９ｃに対応）に向く方向に、仮想視点の視野方向を設定する。これにより、視点設定部３１ｃは、仮想視点を規定するパラメータである視点位置、及び、視野方向を設定する。

このようにして視点設定部３１ｃが設定したパラメータは、携帯表示装置３から車両用装置２に送信される。車両用装置２の画像合成部４２は、このパラメータに基づく仮想視点からみた俯瞰画像を生成する。すなわち、画像合成部４２は、携帯表示装置３のユーザが指定した仮想視点からみた俯瞰画像（以下、「指定俯瞰画像」という。）を生成することになる。

図１３は、指定俯瞰画像の例を示す図である。図１３に示す４つの指定俯瞰画像ＣＰ０〜ＣＰ３は、互いに仮想視点の視点位置が異なっている。各指定俯瞰画像ＣＰ０〜ＣＰ３には、車両９の外観を示す車両像９０が含まれている。

仮想視点のデフォルトの視点位置は、基本仮想視点と同一の位置（車両９の直上）とされている。したがって、仮想視点がユーザに指定されていない場合は、車両９の直上から車両９の周辺の領域を見下ろすような指定俯瞰画像ＣＰ０が生成される。

また、仮想視点を車両９の前側に移動させた場合は、図１３の上部に示すように、車両９の前方上部から車両９の周辺の領域を見下ろすような指定俯瞰画像ＣＰ１が生成される。また、仮想視点を車両９の後側に移動させた場合は、図１３の下部に示すように、車両９の後方上部から車両９の周辺の領域を見下ろすような指定俯瞰画像ＣＰ２が生成される。また、仮想視点を車両９の左側に移動させた場合は、図１３の左側に示すように、車両９の左側上部から車両９の周辺の領域を見下ろすような指定俯瞰画像ＣＰ３が生成される。

画像合成部４２が生成した指定俯瞰画像は、車両用装置２から携帯表示装置３に送信される。そして、携帯表示装置３が、この指定俯瞰画像を含む携帯用表示画像ＤＰ２をディスプレイ３６に表示する。このため、携帯表示装置３のユーザは、自分が指定した仮想視点からみた指定俯瞰画像を視認することができる。その結果、ユーザは、所望の視点から車両９の周辺の様子を確認することができる。

図１４は、第３の実施の形態の車両用装置２の処理の流れを示す図である。以下、第３の実施の形態の車両用装置２の処理の流れについて説明する。

まず、４つのカメラ５で撮影がなされ、画像取得部４１が４つの撮影画像を取得する（ステップＳＡ３１）。次に、画像合成部４２が、４つの撮影画像に基づいて仮想視点からみた俯瞰画像を生成する（ステップＳＡ３２）。この際、画像制御部４０ａは、俯瞰画像のための仮想視点として基本仮想視点を設定する。すなわち、この俯瞰画像は、基本仮想視点からみた俯瞰画像（以下、「固定俯瞰画像」という。）であり、車両用表示画像ＤＰ１に用いられる。そして、表示画像生成部４３が、固定俯瞰画像と撮影画像ＰＦとを用いて車両用表示画像ＤＰ１を生成する（ステップＳＡ３３）。

次に、条件判定部４０ｂが、表示条件を満足するか否かを判定する（ステップＳＡ３４）。表示条件を満足する場合は（ステップＳＡ３４にてＹｅｓ）、画像出力部４４が、車両用表示画像ＤＰ１を車載表示装置６に出力し、車載表示装置６において固定俯瞰画像を含む車両用表示画像ＤＰ１が表示される（ステップＳＡ３５）。また一方、表示条件を満足しない場合は（ステップＳＡ３４にてＮｏ）、画像出力部４４は車両用表示画像ＤＰ１を出力せず、車載表示装置６において車両用表示画像ＤＰ１が表示されない。

次に、表示制御部４０ｃが、携帯表示装置３と通信可能な状態が継続しているかを判定する（ステップＳＡ３６）。そして、携帯表示装置３と通信可能な場合は（ステップＳＡ３６にてＹｅｓ）、携帯表示装置３に指定俯瞰画像を表示させる処理（以下、「指定俯瞰画像処理」という。）（ステップＳＡ３７）が実行される。

図１５は、この指定俯瞰画像処理（ステップＳＡ３７）の詳細な流れを示す図である。まず、携帯表示装置３から仮想視点を規定するパラメータが送信された場合は、画像制御部４０ａの制御により、データ通信部４５がこのパラメータを受信する（ステップＳＡ１）。このようなパラメータは、携帯表示装置３においてユーザが仮想視点を指定した場合に携帯表示装置３から送信される。このため、指定俯瞰画像処理ごとに、このパラメータを受信する必要はない。データ通信部４５が受信したパラメータは、記憶部４６に記憶される。

次に、画像制御部４０ａが、記憶部４６に記憶されたパラメータを読み出す（ステップＳＡ２）。そして、画像制御部４０ａは読み出したパラメータに基づいて仮想視点を設定し、画像合成部４２がこの仮想視点からみた指定俯瞰画像を生成する（ステップＳＡ３）。なお、記憶部４６にパラメータが記憶されていない場合は、画像合成部４２は、デフォルトの仮想視点からみた指定俯瞰画像を生成する。

次に、データ通信部４５が、携帯用表示画像ＤＰ２となる指定俯瞰画像を携帯表示装置３に送信する（ステップＳＡ４）。このように送信された指定俯瞰画像は、携帯表示装置３において表示される。

図１６は、第３の実施の形態の携帯表示装置３の処理の流れを示す図である。まず、車両用装置２から指定俯瞰画像が送信された場合は、通信制御部３１ａの制御により、データ通信部３７がこの指定俯瞰画像を受信する（ステップＳＢ３１）。

このようにデータ通信部３７が指定俯瞰画像を受信した場合は（ステップＳＢ３２にてＹｅｓ）、表示制御部３１ｂの制御により、ディスプレイ３６が指定俯瞰画像を含む携帯用表示画像ＤＰ２を表示する（ステップＳＢ３３）。これにより、パラメータに基づく仮想視点からみた指定俯瞰画像がディスプレイ３６に表示される。

次に、視点設定部３１ｃが、ユーザが操作部３５等を操作して仮想視点を指定する指示を行ったか否かを判定する（ステップＳＢ３４）。このような指示があった場合は、視点設定部３１ｃは、上述した図１２に示す設定画面をディスプレイ３６に表示させる。そして、視点設定部３１ｃは、仮想視点の視点位置を指定する操作をユーザから受け付け、その仮想視点を規定するパラメータを設定する（ステップＳＢ３５）。

次に、このように設定されたパラメータを、視点設定部３１ｃの制御により、データ通信部３７が車両用装置２に送信する（ステップＳＢ３６）。送信されたパラメータは、指定俯瞰画像処理のステップＳＡ１において車両用装置２に受信される。以降、車両用装置２においては、このパラメータに基づく仮想視点からみた指定俯瞰画像が生成されることになる。

以上のように、第３の実施の形態の画像表示システム１０では、車両用装置２のデータ通信部４５が、携帯表示装置３から仮想視点を規定するパラメータを受信し、画像合成部４２がこのパラメータに基づく仮想視点からみた指定俯瞰画像を生成する。そして、データ通信部４５が指定俯瞰画像を携帯表示装置３に送信することにより、この指定俯瞰画像を含む表示画像が携帯表示装置３に表示される。

したがって、携帯表示装置３において仮想視点を規定するパラメータを設定することによって、このパラメータに基づく仮想視点からみた指定俯瞰画像を携帯表示装置３に表示することができる。このため、携帯表示装置３のユーザである同乗者は、所望の視点から車両９の周辺の様子を確認することができる。

また、車載表示装置６は、基本仮想視点からみた固定俯瞰画像を含む車両用表示画像ＤＰ１を表示する。これに対して、携帯表示装置３は、基本仮想視点とは別の仮想視点からみた指定俯瞰画像を含む携帯用表示画像ＤＰ２を表示する。このため、車載表示装置６と携帯表示装置３とで、異なる視点から車両９の周辺の様子を確認することができる。

＜４．第４の実施の形態＞
次に、第４の実施の形態について説明する。第４の実施の形態の画像表示システム１０の構成や処理は第３の実施の形態とほぼ同様であるため、以下、第３の実施の形態との相違点を中心に説明する。

第３の実施の形態においては、固定俯瞰画像と指定俯瞰画像との２種類の俯瞰画像が生成されていた。これに対して、第４の実施の形態においては、表示条件を満足しない場合には指定俯瞰画像が生成されるが、表示条件を満足した場合には固定俯瞰画像のみが生成される。したがって、表示条件を満足した場合には、携帯表示装置３においても固定俯瞰画像が表示されるようになっている。

図１７は、第４の実施の形態の車両用装置２の処理の流れを示す図である。第４の実施の形態の携帯表示装置３の処理の流れは、図１６に示すものと同様である。以下、第４の実施の形態の車両用装置２の処理の流れについて説明する。

まず、４つのカメラ５で撮影がなされ、画像取得部４１が４つの撮影画像を取得する（ステップＳＡ４１）。次に、画像合成部４２が、４つの撮影画像に基づいて基本仮想視点からみた車両９の周辺を示す固定俯瞰画像を生成する（ステップＳＡ４２）。次に、表示画像生成部４３が、固定俯瞰画像を含む車両用表示画像ＤＰ１を生成する（ステップＳＡ４３）。そして、条件判定部４０ｂが、表示条件を満足するか否かを判定する（ステップＳＡ４４）。

表示条件を満足しない場合は（ステップＳＡ４４にてＮｏ）、第３の実施の形態と同様の処理がなされる。すなわち、画像出力部４４は車両用表示画像ＤＰ１を出力せず、車載表示装置６において車両用表示画像ＤＰ１が表示されない。そして、携帯表示装置３と通信可能であれば（ステップＳＡ４８にてＹｅｓ）、指定俯瞰画像処理（ステップＳＡ４９）が実行される。

この指定俯瞰画像処理（ステップＳＡ４９）の詳細な流れは、図１５の処理と同様である。したがって、表示条件を満足しない場合は、車両用装置２において指定俯瞰画像が生成され、この指定俯瞰画像が車両用装置２から携帯表示装置３に送信される。そして、指定俯瞰画像を含む携帯用表示画像ＤＰ２が携帯表示装置３において表示される。

一方、表示条件を満足する場合は（ステップＳＡ４４にてＹｅｓ）、まず、画像出力部４４が、車両用表示画像ＤＰ１を車載表示装置６に出力し、車載表示装置６において固定俯瞰画像を含む車両用表示画像ＤＰ１が表示される（ステップＳＡ４５）。

次に、携帯表示装置３と通信可能であれば（ステップＳＡ４６にてＹｅｓ）、指定俯瞰画像ではなく、ステップＳＡ４２で生成された固定俯瞰画像が車両用装置２から携帯表示装置３に送信される（ステップＳＡ４７）。これにより、固定俯瞰画像を含む携帯用表示画像ＤＰ２が携帯表示装置３において表示される。このため、表示条件を満足した場合には、指定俯瞰画像は生成されない。

以上のように、第４の実施の形態の画像表示システム１０では、表示条件を満足する場合は、車載表示装置６及び携帯表示装置３の双方において固定俯瞰画像を含む表示画像が表示される。このため、固定俯瞰画像のみを生成すればよく指定俯瞰画像を生成するための処理を省略できるため、処理の負荷を低減できる。その結果、処理に必要なリソースを車載表示装置６の表示に係る処理に割り振ることができ、車載表示装置６における表示画像の表示をスムーズに行うことができる。

＜５．第５の実施の形態＞
次に、第５の実施の形態について説明する。第５の実施の形態の画像表示システム１０の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。

第１の実施の形態においては、車両用装置２のみにおいて俯瞰画像が生成され、携帯表示装置３では俯瞰画像を生成することができなかった。これに対して、第５の実施の形態においては、携帯表示装置３が俯瞰画像を生成できるようになっている。

図１８は、第５の実施の形態の携帯表示装置３の構成を示す図である。第５の実施の形態の携帯表示装置３は、図４に示す第１の実施の形態の携帯表示装置３の構成に加えて、アプリケーションの機能として、視点設定部３１ｃ、車両設定部３１ｄ及び画像合成部３１ｅをさらに備えている。

視点設定部３１ｃは、俯瞰画像のための仮想視点を指定する操作をユーザから受け付け、ユーザに指定された仮想視点に応じて仮想視点を規定するパラメータを設定する。視点設定部３１ｃが仮想視点を指定する操作をユーザから受け付ける手法は、第３の実施の形態と同様である。第５の実施の形態の視点設定部３１ｃは、設定したパラメータを、車両用装置２には送信せず、携帯表示装置３の記憶部３８に記憶する。

車両設定部３１ｄは、俯瞰画像に含まれる車両像９０の形状やカラーなどの態様を指定する操作をユーザから受け付ける。第５の実施の形態の携帯表示装置３の記憶部３８は、各種のボディ形状やボディカラーに対応する複数の車両データ３８ｂを記憶している。車両設定部３１ｄは、ユーザに指定された車両像９０の態様に応じた車両データ３８ｂを選択し、選択した車両データ３８ｂを俯瞰画像の生成に用いる車両データとして設定する。

画像合成部３１ｅは、仮想視点からみた車両９の周辺を示す俯瞰画像を生成する。この画像合成部３１ｅが俯瞰画像を生成する手法は、車両用装置２の画像合成部４２と同様である。画像合成部３１ｅは、視点設定部３１ｃが設定したパラメータに基づく仮想視点からみた俯瞰画像を生成する。すなわち、画像合成部３１ｅは、携帯表示装置３のユーザが指定した仮想視点からみた指定俯瞰画像を生成することになる。

このように第５の実施の形態の携帯表示装置３は俯瞰画像を生成できるため、車両用装置２は、俯瞰画像ではなく、俯瞰画像に必要な４つの撮影画像を携帯表示装置３に送信するようになっている。

図１９は、第５の実施の形態の車両用装置２の処理の流れを示す図である。以下、第５の実施の形態の車両用装置２の処理の流れについて説明する。

まず、４つのカメラ５で撮影がなされ、画像取得部４１が４つの撮影画像を取得する（ステップＳＡ５１）。次に、画像合成部４２が、４つの撮影画像に基づいて基本仮想視点からみた車両９の周辺を示す固定俯瞰画像を生成する（ステップＳＡ５２）。次に、表示画像生成部４３が、固定俯瞰画像を含む車両用表示画像ＤＰ１を生成する（ステップＳＡ５３）。

次に、条件判定部４０ｂが、表示条件を満足するか否かを判定する（ステップＳＡ５４）。表示条件を満足する場合は（ステップＳＡ５４にてＹｅｓ）、画像出力部４４が車両用表示画像ＤＰ１を車載表示装置６に出力し、車載表示装置６において固定俯瞰画像を含む車両用表示画像ＤＰ１が表示される（ステップＳＡ５５）。また一方、表示条件を満足しない場合は（ステップＳＡ５４にてＮｏ）、画像出力部４４は車両用表示画像ＤＰ１を出力せず、車載表示装置６において車両用表示画像ＤＰ１が表示されない。

次に、表示制御部４０ｃが、携帯表示装置３と通信可能な状態が継続しているかを判定する（ステップＳＡ５６）。そして、携帯表示装置３と通信可能な場合は（ステップＳＡ３６にてＹｅｓ）、データ通信部４５が、俯瞰画像の生成に必要な４つの撮影画像（ステップＳＡ５１で取得された４つの撮影画像）を携帯表示装置３に送信する（ステップＳＡ５７）。携帯表示装置３では、このように送信された４つの撮影画像に基づいて指定俯瞰画像が生成される。

図２０は、第５の実施の形態の携帯表示装置３の処理の流れを示す図である。まず、車両用装置２から４つの撮影画像が送信された場合は、通信制御部３１ａの制御により、データ通信部３７がこの４つの撮影画像を受信する（ステップＳＢ５１）。

このようにデータ通信部３７が撮影画像を受信した場合は（ステップＳＢ５２にてＹｅｓ）、次に、画像合成部３１ｅが、記憶部３８に記憶されたパラメータを読み出す（ステップＳＢ５３）。

次に、画像合成部３１ｅは読み出したパラメータに基づいて仮想視点を設定し、そのパラメータに基づく仮想視点からみた指定俯瞰画像を生成する（ステップＳＢ５４）。なお、記憶部３８にパラメータが記憶されていない場合は、画像合成部３１ｅはデフォルトの仮想視点からみた指定俯瞰画像を生成する。

また、画像合成部３１ｅは、記憶部３８に記憶された複数の車両データ３８ｂのうち、車両設定部３１ｄが選択した車両データ３８ｂを用いて指定俯瞰画像を生成する。したがって、生成された指定俯瞰画像は、車両設定部３１ｄが選択した車両データ３８ｂが示す形状及びカラーの車両像９０を含むことになる。

次に、表示制御部３１ｂの制御により、ディスプレイ３６が指定俯瞰画像を含む携帯用表示画像ＤＰ２を表示する（ステップＳＢ５５）。これにより、パラメータに基づく仮想視点からみた指定俯瞰画像がディスプレイ３６に表示される。

次に、視点設定部３１ｃが、ユーザが操作部３５等を操作して仮想視点を指定する指示を行ったか否かを判定する（ステップＳＢ５６）。この指示があった場合は、視点設定部３１ｃは、仮想視点の視点位置を指定する操作をユーザから受け付け、その仮想視点を規定するパラメータを設定する（ステップＳＢ５７）。

そして、視点設定部３１ｃは、設定したパラメータを記憶部３８に記憶させる。これにより、次回以降の処理では、ユーザが指定した仮想視点からみた指定俯瞰画像が生成されることになる。

次に、車両設定部３１ｄが、ユーザが操作部３５等を操作して俯瞰画像に含まれる車両像９０を指定する指示を行ったか否かを判定する（ステップＳＢ５８）。この指示があった場合は、車両設定部３１ｄは、所定の設定画面をディスプレイ３６に表示させ、車両像９０の形状やカラーなどの態様を指定する操作をユーザから受け付ける（ステップＳＢ５９）。

そして、車両設定部３１ｄは、ユーザに指定された車両像９０の態様に応じた車両データ３８ｂを記憶部３８から選択し、選択した車両データ３８ｂを俯瞰画像の生成に用いる車両データとして設定する。これにより、次回以降の処理では、ユーザが指定した態様の車両像９０を含む指定俯瞰画像が生成されることになる。

例えば、車両像９０のカラーが「白」の場合に、ユーザが車両像９０のカラーに「赤」を指定した場合は、図２１に示すように、画像合成部３１ｅが生成する指定俯瞰画像ＣＰ４に含まれる車両像９０のカラーが「白」から「赤」に変更される。同様にして、指定俯瞰画像に含まれる車両像９０の形状も、ユーザが所望の形状に変更することができる。例えば、ユーザは、指定俯瞰画像に含まれる車両像９０の形状を「ミニバンタイプ」から「レーシングカータイプ」に変更することが可能である。

このような車両像９０の形状やカラーは、実際の車両９のボディ形状やボディカラーに準じたものとすることもできるが、異なるものにすることも可能である。したがって、携帯表示装置３のユーザである同乗者は、指定俯瞰画像に含まれる車両像９０の形状及びカラーを所望のものに変更して、エンターテイメント的に指定俯瞰画像を視認することも可能である。

以上のように、第５の実施の形態の画像表示システム１０では、携帯表示装置３が、車両用装置２から４つの撮影画像を受信し、受信した撮影画像に基づいて俯瞰画像を生成して、生成した俯瞰画像を含む表示画像を表示する。このように、携帯表示装置３が俯瞰画像を生成できるため、車両用装置２の処理に大きな影響を与えずに、携帯表示装置３に向けた俯瞰画像を携帯表示装置３に表示することができる。

また、車載表示装置６は、俯瞰画像に含まれる車両像９０の指定をユーザから受け付けるため、携帯表示装置３のユーザである同乗者の所望の車両像９０を俯瞰画像に含めることができる。

＜６．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

上記実施の形態では、車載表示装置６が表示画像を表示する表示条件は「車両９の速度が閾値より小さい」という条件であったが、これとは異なる条件としてもよい。例えば、表示条件を「シフトポジションがリバース（Ｒ）」という条件としてもよい。この場合は、進行方向となる車両９の後方を確認できるように、車両用表示画像ＤＰ１は、車両９の後方を示す撮影画像ＰＲを含むことが望ましい。

また、第１の実施の形態の処理と第２の実施の形態の処理とのいずれを実行するかをユーザが選択できるようになっていてもよい。また、第３の実施の形態の処理と第４の実施の形態の処理とのいずれを実行するかをユーザが選択できるようになっていてもよい。

また、上記実施の形態では、車両用装置２と携帯表示装置３とは直接的に通信するものとして説明したが、車両用装置２と携帯表示装置３とがインターネットなどの広域ネットワークを介して通信するようにしてもよい。

また、上記実施の形態では、俯瞰画像がそのまま携帯用表示画像ＤＰ２となっていたが、携帯用表示画像ＤＰ２が俯瞰画像の他に各種情報を含んでいてもよい。この場合、携帯用表示画像ＤＰ２は、俯瞰画像に各種情報を付加して生成される。このような携帯用表示画像ＤＰ２を生成する処理は、車両用装置２及び携帯表示装置３のいずれで実行されてもよい。

また、上記実施の形態では、車載表示装置６は画像処理装置４と一体化されていたが、車載表示装置６が画像処理装置４とは別体として設けられていてもよい。

また、上記実施の形態では、車載表示装置６に表示される俯瞰画像は、基本仮想視点からみた俯瞰画像であったが、基本仮想視点とは異なる仮想視点からみた俯瞰画像であってもよい。

また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。

２ 車両用装置
３ 携帯表示装置
４ 画像処理装置
９ 車両
１０ 画像表示システム
４０ｂ 条件判定部
４０ｃ 表示制御部
４４ 画像出力部
４５ データ通信部
９０ 車両像

Claims (9)

1. 車両で用いられる画像処理装置であって、
   前記車両の周辺を撮影するカメラで得られた撮影画像に基づき生成される前記車両の周辺を示す表示画像を前記車両に設けられる第１表示装置に出力して、前記表示画像を表示させる出力手段と、
   前記表示画像、及び、前記表示画像に必要な前記撮影画像のいずれかを、可搬性の第２表示装置に送信して、前記表示画像を表示させる送信手段と、
   前記第１表示装置が前記表示画像を表示する表示条件を満足するか否かを判定する判定手段と、
   を備え、
   前記表示条件を満足する場合は、前記出力手段及び前記送信手段のうち少なくとも前記出力手段が有効化され、
   前記表示条件を満足しない場合は、前記出力手段及び前記送信手段のうち前記送信手段のみが有効化され、前記出力手段が無効化されることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記表示画像は、仮想視点からみた前記車両の周辺を示す俯瞰画像を含むことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記出力手段は、前記俯瞰画像と前記車両の周辺を示す他の画像とを含む前記表示画像を前記第１表示装置に表示させ、
   前記送信手段は、前記俯瞰画像を含み、前記車両の周辺を示す他の画像を含まない前記表示画像を前記第２表示装置に表示させることを特徴とする画像処理装置。
4. 請求項１ないし３のいずれかに記載の画像処理装置において、
   前記表示条件を満足する場合は、前記送信手段が無効化されることを特徴とする画像処理装置。
5. 請求項２に記載の画像処理装置において、
   前記第２表示装置から、前記仮想視点を規定するパラメータを受信する受信手段と、
   前記俯瞰画像として、前記パラメータに基づく前記仮想視点からみた指定俯瞰画像を生成する生成手段と、
   をさらに備え、
   前記送信手段は、前記指定俯瞰画像を含む前記表示画像を前記第２表示装置に表示させることを特徴とする画像処理装置。
6. 請求項２に記載の画像処理装置において、
   前記俯瞰画像として、第１仮想視点からみた第１俯瞰画像と、前記第１仮想視点とは別の第２仮想視点からみた第２俯瞰画像とを生成する生成手段、
   をさらに備え、
   前記出力手段は、前記第１俯瞰画像を含む前記表示画像を前記第１表示装置に表示させ、
   前記送信手段は、前記第２俯瞰画像を含む前記表示画像を前記第２表示装置に表示させることを特徴とする画像処理装置。
7. 請求項２に記載の画像処理装置において、
   前記俯瞰画像として、第１仮想視点からみた第１俯瞰画像と、前記第１仮想視点とは別の第２仮想視点からみた第２俯瞰画像とを生成する生成手段、
   をさらに備え、
   前記表示条件を満足しない場合は、
   前記送信手段は、前記第２俯瞰画像を含む前記表示画像を前記第２表示装置に表示させ、
   前記表示条件を満足する場合は、
   前記出力手段は、前記第１俯瞰画像を含む前記表示画像を前記第１表示装置に表示させ、かつ、
   前記送信手段は、前記第１俯瞰画像を含む前記表示画像を前記第２表示装置に表示させることを特徴とする画像処理装置。
8. 車両で用いられる画像表示システムであって、
   請求項１ないし７のいずれかに記載の画像処理装置と、
   前記表示画像を表示する前記第２表示装置と、
   を備えることを特徴とする画像表示システム。
9. 車両で用いられる画像処理方法であって、
   （ａ）前記車両に設けられる第１表示装置が、前記車両の周辺を撮影するカメラで得られた撮影画像に基づき生成される前記車両の周辺を示す表示画像を表示する工程と、
   （ｂ）可搬性の第２表示装置が、前記表示画像を表示する工程と、
   （ｃ）前記第１表示装置が前記表示画像を表示する表示条件を満足するか否かを判定する工程と、
   を備え、
   前記表示条件を満足する場合は、前記工程（ａ）及び前記工程（ｂ）のうち少なくとも前記工程（ａ）が有効化され、
   前記表示条件を満足しない場合は、前記工程（ａ）及び前記工程（ｂ）のうち前記工程（ｂ）のみが有効化され、前記工程（ａ）が無効化されることを特徴とする画像処理方法。

Images