JP5300443B2

JP5300443B2 - 画像処理装置

Info

Publication number: JP5300443B2
Application number: JP2008306905A
Authority: JP
Inventors: 正博山田
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2008-12-01
Filing date: 2008-12-01
Publication date: 2013-09-25
Anticipated expiration: 2028-12-01
Also published as: US8648881B2; US20100134519A1; JP2010130673A

Description

この発明は、画像処理装置に関する。

近年、ドライバの視界を補助する目的で、車両に搭載されたカメラにより撮影した画像を車載ディスプレイなどに表示出力して、ドライバに提供する技術の開発が盛んに行われている（例えば、特許文献１参照）。

上記技術において車両に搭載されるカメラとしては、車両前方を撮影するためのフロントカメラ、車両後方を撮影するためのバックカメラ、あるいはドアミラーには映らないドライバの死角を撮影するためのサイドカメラなどがある。そして、例えば、後進で車両を駐車する場合には、バックカメラにより撮影された車両後方の画像を車載ディスプレイに表示出力してドライバに提供する。

特開２００７−３２９６１１号公報

しかしながら、上記した従来の技術において、ドライバに提供される画像は、感覚的な違和感をドライバにもたらすという問題点があった。

例えば、バックカメラで撮影され、車載ディスプレイに表示出力される車両後方の画像は、バックカメラの設置位置や角度などにより、表示態様が一様な画像となっている。このようなことから、ドライバに提供される画像は、ドライバが振り返って実際に車両後方を見たような、ドライバが自然に受け入れられるような表示態様とはなっていないので、距離感などの面で感覚的な違和感をもたらす結果となっている。

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、感覚的な違和感をドライバにもたらすことのない視界補助画像を提供することが可能な画像処理装置を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、自車両に搭載された搭載位置の異なる複数の車載カメラごとに、自車両の置かれる状況に対応付けて、ドライバの視線の起点となる位置と自車両の複数の所定箇所を結ぶ複数の方向、ドライバの視線の起点となる位置からの俯角およびドライバに視認させる範囲の値を、自車両に搭載された車載カメラの画像を座標変換するための画像変換パラメータとして予め記憶する画像変換パラメータ記憶手段と、自車両が現在置かれている状況を判定する状況判定手段と、前記状況判定手段による状況判定結果および前記画像変換パラメータ記憶手段に記憶されている前記画像変換パラメータに基づいて、取得された画像変換パラメータを用いて、各車載カメラにより撮影された画像を座標変換する画像変換手段と、前記画像変換手段により変換された画像を表示出力する表示出力手段と、各車載カメラで撮影された画像を表示出力させる表示出力条件の入力をドライバから受け付ける表示出力条件入力受付手段と、前記表示出力条件入力受付手段により、前回とは異なる新たな前記表示出力条件の入力が受け付けられた場合に、自車両全体を俯瞰した俯瞰画像を一時的に表示する俯瞰画像表示手段とを有し、前記表示出力手段は、前記俯瞰画像表示手段による前記俯瞰画像の表示終了とともに、前記画像変換手段により変換された画像を表示出力することを特徴とする。

本発明によれば、感覚的な違和感をドライバにもたらすことない視界補助画像をドライバに提供できる。

以下に添付図面を参照して、この発明に係る画像処理装置、画像処理方法および画像処理プログラムの一実施形態を詳細に説明する。なお、以下では、本発明に係る画像処理装置が車両に搭載されている場合の実施形態を実施例１として説明した後に、本発明に含まれる他の実施形態について説明する。

以下の実施例１では、実施例１に係る画像処理装置の概要および特徴、かかる画像処理装置の構成および処理を順に説明し、最後に実施例１による効果を説明する。

［画像処理装置の概要および特徴（実施例１）］
実施例１に係る画像処理装置は、ドライバの視界を補助する目的で、車両に搭載されたカメラにより撮影した画像を車載ディスプレイなどに表示出力することを概要とする。

そして、実施例１に係る画像処理装置は、以下に説明する点に特徴がある。すなわち、実施例１に係る画像処理装置は、自車両に搭載された搭載位置の異なる複数の車載カメラごとに、自車両の置かれる状況に対応付けて、ドライバの視線の起点となる位置と自車両の複数の所定箇所を結ぶ複数の方向、ドライバの視線の起点となる位置からの俯角およびドライバに視認させる範囲の値を、自車両に搭載された車載カメラの画像を座標変換するための画像変換パラメータとして予め記憶しておく。

さらに、実施例１に係る画像処理装置は、各車載カメラで撮影された画像を表示出力させる表示出力条件の入力をドライバから受け付けると、自車両が現在置かれている状況を判定する。さらに、表示出力条件および自車両が現在置かれている状況に基づいて画像変換パラメータを取得し、取得された画像変換パラメータを用いて、各車載カメラにより撮影された画像を変換して表示出力する。

このようにして、実施例１に係る画像処理装置は、図１〜３に示すように、感覚的な違和感をドライバにもたらすことのないドライバ視点の画像を視界補助画像として提供する。

例えば、図１の（Ａ）に示すように、車載のフロントカメラにより撮影された画像をドライバ視点の画像に変換してディスプレイに表示する。なお、図１の（Ｂ）に示すように、車体やタイヤの位置関係を示すデータをドライバ視点の画像に合成してディスプレイに表示することもできる。このとき、車体およびタイヤは透過的に表示される。

また、図２の（Ａ）に示すように、車載のサイドカメラにより撮影された画像をドライバ視点の画像に変換してディスプレイに表示する。なお、図１の（Ｂ）と同様にして、図２の（Ｂ）に示すように、車体やタイヤの位置関係を示すデータをドライバ視点の画像に合成してディスプレイに表示することもできる。

また、図３の（Ａ）に示すように、車載のバックカメラにより撮影された画像をドライバ視点の画像に変換してディスプレイに表示する。なお、図１の（Ｂ）と同様にして、図３の（Ｂ）に示すように、車体やタイヤの位置関係を示すデータをドライバ視点の画像に合成してディスプレイに表示することもできる。図１〜図３は、実施例１に係る画像処理装置を説明するための図である。

［画像処理装置の構成（実施例１）］
次に、図４を用いて、実施例１に係る画像処理装置の構成を説明する。図４は、実施例１に係る画像処理装置の構成を示す図である。

同図に示すように、実施例１に係る画像処理装置２００は、フロントカメラ１１０（図５の（１）参照）、サイドカメラ１２０（図５の（２）参照）、バックカメラ１３０（図５の（３）参照）、ナビゲーション装置１４０、車両状態情報取得部１５０、表示出力条件入力受付部１６０およびディスプレイ１７０とともに、車両１００に搭載される。なお、図５は、車載カメラの配置位置を示す図である。

フロントカメラ１１０、サイドカメラ１２０およびバックカメラ１３０は、ドライバの視界を補助するための画像を撮影して画像処理装置２００に送出する。

ナビゲーション装置１４０は、ＧＰＳ（Global Positioning System）人工衛星と通信を行って、内部に有する地図データなどを用いて作成したナビ情報（例えば、現在位置、移動方向、移動速度、出発地や目的地など）を画像処理装置２００に送出する。

車両状態情報取得部１５０は、シフトレバー、スピードメータあるいはステアリングなどから取得する車両状態情報を画像処理装置２００に送出する。例えば、車両状態情報取得部１５０は、シフトレバーからシフトレンジの情報（例えば、オートマチック車であれば、ドライブ（前進）を示す「Ｄ」やバック（後進）を示す「Ｒ」、駐停車を示す「Ｐ」）を取得して画像処理装置２００に送出する。また、スピードメータから走行速度の情報を取得して画像処理装置２００に送出する。また、ステアリングからステアリング角の情報を取得して画像処理装置２００に送出する。

表示出力条件入力受付部１６０は、車載カメラで撮影された画像の表示出力指示の入力をドライバから受け付けて画像処理装置２００へ送出する。例えば、フロントカメラ１１０で撮影された画像の表示出力指示の入力や、バックカメラで撮影された画像の表示出力指示の入力などを受け付ける。

ディスプレイ１７０は、ドライバからの表示出力条件に応じて、画像処理装置２００から送出された画像を表示出力する。また、ナビゲーション装置１４０からのナビ情報などを表示する。

画像処理装置２００は、図４に示すように、マイコン２１０を有する。マイコン２１０は、フロントカメラ１１０、サイドカメラ１２０およびバックカメラ１３０の画像を加工して、ドライバ視点に変換する処理を実行する。マイコン２１０は、同図に示すように、画像変換パラメータ記憶部２１１、自車両情報記憶部２１２、状況判定部２１３、画像変換部２１４、自車両情報挿入部２１５および画像出力制御部２１６を有する。

画像変換パラメータ記憶部２１１は、フロントカメラ１１０などの車載カメラごとに、自車両の置かれる状況に対応付けて、ドライバの視線の起点となる位置と自車両の複数の所定箇所を結ぶ複数の方向（例えば、図６の（１）〜（６）参照）を自車両に搭載された車載カメラの画像を座標変換するための画像変換パラメータとして予め記憶する。

さらに、画像変換パラメータ記憶部２１１は、自車両の置かれる状況に対応付けて、ドライバの視線の起点となる位置からの俯角（例えば、図６の（７）〜（１０）参照）を自車両に搭載された車載カメラの画像を座標変換するための画像変換パラメータとして予め記憶する。

さらに、画像変換パラメータ記憶部２１１は、自車両の置かれる状況に対応付けて、ドライバに視認させる範囲（視野範囲）の値を自車両に搭載された車載カメラの画像を座標変換するための画像変換パラメータとして予め記憶する。ここで、自車両の置かれる状況とは、例えば、見通しの悪い交差点に差し掛かっている状況や、駐車場で駐停車を行おうとしている状況などをいう。なお、図６は、実施例１に係る画像変換パラメータを説明するための図である。

自車両情報記憶部２１２は、自車両の形状や大きさ、タイヤの形状や大きさなど、車体に関する車体データを予め記憶する。

状況判定部２１３は、表示出力条件入力受付部１６０からの表示出力条件、ナビゲーション装置１４０からのナビ情報や、車両状態情報取得部１５０からの車両状態情報に基づいて、自車両が現在置かれている状況を判定し、画像変換部２１４へ判定結果を送出する。具体的には、状況判定部２１３は、表示出力条件入力受付部１６０から、バックカメラ１３０で撮影された画像を表示出力するという表示出力条件を受け付けると、ナビ情報や車両状態情報に基づいて、自車両が現在置かれている状況を判定する。例えば、状況判定部２１３は、ナビ情報から自車両が駐車場内に位置し、車両状態情報として取得されたスピードメータの情報から徐行中である場合には、駐停車を行おうとしている状況であると判定する。

自車両の状況判定後、状況判定部２１３は、バックカメラ１３０で撮影された画像を表示出力するという表示出力条件、および駐停車を行おうとしているという状況を画像変換部２１４に送出する。

画像変換部２１４は、状況判定部２１３から、バックカメラ１３０で撮影された画像を表示出力するという表示出力条件、および駐停車を行おうとしているという状況を受け付けると、この表示出力条件および状況に対応した画像変換パラメータを画像変換パラメータ記憶部２１１から取得する。

例えば、画像変換部２１４は、図６に示すように、ドライバの視線起点位置の座標＝（４０，２４００，１６００）、向き（方向）＝２２５ｄｅｇ（同図（３）の方向に対応する角度）、俯角＝２２５ｄｅｇ（同図（９）の方向に対応する角度）、視野範囲＝１９０ｄｅｇ（同図（Ａ）に対応する角度）を含む画像変換パラメータを画像変換パラメータ記憶部２１１から取得する。画像変換部２１４により取得された画像変換パラメータは、フロントカメラ１１０、サイドカメラ１２０およびバックカメラ１３０で各々撮影された画像が加工された加工画像を、ドライバ位置から車体左後方を見た画像に座標変換して、ドライバ視点の画像を生成するためのパラメータとなっている。

そして、画像変換部２１４は、画像変換パラメータ記憶部２１１から取得した画像変換パラメータを用いて、フロントカメラ１１０、サイドカメラ１２０およびバックカメラ１３０で各々撮影された画像が加工された加工画像を座標変換して、ドライバ視点の画像を生成する。そして、画像変換部２１４は、ドライバ視点の画像を自車両情報挿入部２１５に送出する。

自車両情報挿入部２１５は、画像変換部２１４からドライバ視点の画像を受け付けると、自車両の形状や大きさ、タイヤの形状や大きさなどの車体データを車両情報記憶部２１２から取得する。そして、自車両情報挿入部２１５は、車体やタイヤの位置関係を示すデータをドライバ視点の画像に合成して、画像出力制御部２１６に送出する。なお、自車両情報挿入部２１５は、ドライバ視点の画像にタイヤの位置関係を合成する場合には、車両状態情報取得部１５０からステアリング角の情報を取得して、現在のタイヤの向きが反映された状態のタイヤデータを合成する。

画像出力制御部２１６は、車体やタイヤの位置関係を示すデータが合成されたドライバ視点の画像を自車両情報挿入部２１５から受け付けると、ディスプレイ１７０を介して、ドライバ視点の画像を表示出力してドライバに提供する。

［画像処理装置による処理（実施例１）］
続いて、図７を用いて、実施例１に係る画像処理装置による処理の流れを説明する。図７は、実施例に係る画像処理装置による処理の流れを示す図である。

同図に示すように、状況判定部２１３は、表示出力条件入力受付部１６０から、表示出力条件の入力が受け付けられるまで待機状態をとる（ステップＳ１）。そして、状況判定部２１３は、バックカメラ１３０で撮影された画像を表示出力するという表示出力条件を受け付けると（ステップＳ１肯定）、ナビ情報や車両状態情報に基づいて、自車両が現在置かれている状況を判定する（ステップＳ２）。例えば、状況判定部２１３は、ナビ情報から自車両が駐車場内に位置し、車両状態情報として取得されたスピードメータの情報から徐行中である場合には、駐停車を行おうとしている状況であると判定する。

画像変換部２１４は、状況判定部２１３から、バックカメラ１３０で撮影された画像を表示出力するという表示出力条件、および駐停車を行おうとしているという状況を受け付けると、この表示出力条件および状況に対応した画像変換パラメータを画像変換パラメータ記憶部２１１から取得する（ステップＳ３）。

そして、画像変換部２１４は、画像変換パラメータ記憶部２１１から取得した画像変換パラメータを用いて、フロントカメラ１１０、サイドカメラ１２０およびバックカメラ１３０で各々撮影された画像が加工された加工画像を座標変換して（ステップＳ４）、ドライバ視点の画像を生成する。そして、画像変換部２１４は、ドライバ視点の画像を自車両情報挿入部２１５に送出する。

自車両情報挿入部２１５は、画像変換部２１４からドライバ視点の画像を受け付けると、自車両の形状や大きさ、タイヤの形状や大きさなどの車体データを自車両情報記憶部２１２から取得する（ステップＳ５）。そして、自車両情報挿入部２１５は、車体やタイヤの位置関係を示すデータをドライバ視点の画像に合成して（ステップＳ６）、画像出力制御部２１６に送出する。

画像出力制御部２１６は、車体やタイヤの位置関係を示すデータが合成されたドライバ視点の画像を自車両情報挿入部２１５から受け付けると、ディスプレイ１７０を介して、ドライバ視点の画像を表示出力し（ステップＳ７）、ドライバに提供する。

［実施例１による効果］
上述してきたように、実施例１によれば、感覚的な違和感をドライバにもたらすことのないドライバ視点の画像を視界補助画像として提供できる。

また、上述してきた実施例１において、前回とは異なる新たな表示出力条件の入力が表示出力条件入力受付部１６０に受け付けられた場合には、以下のように処理を実行する。

例えば、バックカメラ１３０で撮影された画像を表示出力するという表示出力条件とは異なり、フロントカメラ１１０で撮影された画像を表示出力する表示出力条件の入力が受け付けられたとする。この場合、状況判定部２１３において状況判定が改めて実行され、画像変換部２１４により改めて変換処理が施されたドライバ視点の画像をディスプレイに表示することになるが、その前に、例えば、図８に示すような車両１００全体を車両上方から俯瞰した俯瞰画像をディスプレイ１７０に出力表示する。俯瞰画像の表示後、この俯瞰画像から切り替えてドライバ視点の画像を表示する。

このようにすることで、画像の視点が切り替わることに対するドライバの感覚的な錯覚を防止し、ドライバに画像を認識させやすくすることができる。なお、図８は、実施例１に係る俯瞰画像を説明するための図である。なお、上述してきた俯瞰画像の代わりに、車両前方の画像を表示してもよい。この場合も、ドライバの感覚的な錯覚を防止して、ドライバに画像を認識させやすくすることができる。

また、以下に説明するように、画像変換部２１４は、表示出力条件および状況判定結果に応じた画像変換パラメータで、フロントカメラ１１０、サイドカメラ１２０およびバックカメラ１３０で各々撮影された画像が加工された加工画像を座標変換して、ドライバ視点の画像を生成する。

例えば、サイドカメラの画像を表示出力するという表示出力条件の入力を受け付け、狭い道でのすれ違い走行を行うという状況判定結果を得た場合では、例えば、「向き（方向）」＝自車両の左前端を通る角度（例えば、図６（２））、「俯角」＝１．０ｄｅｇ、「視野範囲」＝５０ｄｅｇ（人の視野に近い）を含む画像変換パラメータを取得する。そして、この画像変換パラメータを用いて、フロントカメラ１１０、サイドカメラ１２０およびバックカメラ１３０で各々撮影された画像が加工された加工画像を座標変換して、ドライバ視点の画像を生成する。

また、上述してきた実施例１において、ドライバ視点の画像を表示出力中に、ドライバのステアリング操作があった場合には、ステアリング操作に応じてフロントカメラ１１０等で撮影された画像を座標変換してドライバ視点の画像を再生成し、再生成した画像を表示出力するようにしてもよい。

また、上述してきた実施例１では、車体やタイヤの位置関係を示すデータをドライバ視点の画像に合成する場合を説明したが、例えば、ドライバ視点の画像ではなく、車載カメラにより撮影された画像そのものに、車体やタイヤの位置関係を示すデータをドライバ視点の画像に合成するようにしてもよい。

（１）障害物の検知に応じてドライバ視点の画像を再生成
また、上記の実施例１において、車両１００周辺の障害物を検知して、検知した障害物の方向について、ドライバ視点の画像を表示出力するようにしてもよい。例えば、車両１００の周辺に障害物が接近してきた場合に、それをクリアランスソナーなどのセンサを用いて存在を検知し、障害物が検知された方向の画像変換パラメータを用いて、フロントカメラ１１０等で撮影された画像を座標変換してドライバ視点の画像を生成し、生成した画像を表示出力する。

（２）画像変換パラメータの変更
また、上記の実施例１において、画像変換パラメータ記憶部２１１に記憶される画像変換パラメータを車格（例えば、ミニバン、セダン、ワゴンあるいは軽自動車）やハンドル設置位置（例えば、右ハンドル／左ハンドル）、ドライバの体格（例えば、身長、座高など）やシート位置（例えば、上下方向、前後方向など）に応じて変更するようにしてもよい。また、ドライバから受け付けられた設定変更内容に応じて、画像変換パラメータ記憶部２１１に記憶される画像変換パラメータを変更するようにしてもよい。

（３）装置構成等
また、図４に示した画像処理装置２００の各構成要素は機能概念的なものであり、必ずしも物理的に同図に示すようにして構成されていることを要しない。すなわち、画像処理装置２００の分散・統合の具体的形態は同図に示すものに限られず、例えば、状況判定部２１３と、画像変換部２１４と、自車両情報挿入部２１５とを統合させて構成する。このようにして、同図に示す画像処理装置２００の全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、画像処理装置２００にて行なわれる各処理機能（例えば、図７参照）は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

（４）画像処理プログラム
また、上記の実施例１で説明した画像処理装置２００の各種の処理（例えば、図７参照）は、あらかじめ用意されたプログラムを車載の制御ＥＣＵに実装されるマイコン等で実行することによって実現することができる。そこで、以下では、図９を用いて、上記の実施例１で説明した画像処理装置２００と同様の機能を有する画像処理プログラムを実行するマイコンの一例を説明する。図９は、画像処理プログラムを実行するマイコンを示す図である。

同図に示すように、マイコン３００は、入力部３１０、出力部３２０、記憶用メモリ３３０、ワーク用メモリ３４０および制御部３５０をバス４００で接続して構成される。

ここで、入力部３１０は、ユーザから各種データの入力を受け付ける。出力部３２０は、各種情報を表示する。記憶用メモリ３３０は、制御部３５０による各種処理の実行に必要な情報を記憶する。ワーク用メモリ３４０は、各種情報を一時的に記憶する。制御部３５０は、各種演算処理を実行する。

そして、記憶用メモリ３３０には、図９に示すように、上記の実施例１に示した画像処理装置２００の各処理部と同様の機能を発揮する画像処理プログラム３３１と、画像処理用データ３３２とがあらかじめ記憶されている。なお、この画像処理プログラム３３１を適宜分散させて、ネットワークを介して通信可能に接続された他のコンピュータの記憶部に記憶させておくこともできる。

そして、制御部３５０が、この画像処理プログラム３３１を記憶用メモリ３３０から読み出してワーク用メモリ３４０に展開することにより、図９に示すように、画像処理プログラム３３１は画像処理プロセス３４１として機能するようになる。すなわち、画像処理プロセス３４１は、画像処理用データ３３２等を記憶用メモリ３３０から読み出して、ワーク用メモリ３４０において自身に割り当てられた領域に展開し、この展開したデータ等に基づいて各種処理を実行する。

なお、画像処理プロセス３４１は、図４に示したマイコン２１０の各処理機能部（状況判定部２１３、画像変換部２１４、自車両情報挿入部２１５および画像出力制御部２１６）において実行される処理にそれぞれ対応する。

なお、上記した画像処理プログラム３３１については、必ずしも最初から記憶用メモリ３３０に記憶させておく必要はなく、例えば、マイコン３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておき、マイコン３００がこれらから各プログラムを読み出して実行するようにしてもよい。

（５）画像処理方法
上記の実施例１で説明した画像処理装置２００により、以下のような画像処理方法が実現される。

すなわち、各車載カメラで撮影された画像を表示出力させる表示出力条件の入力をドライバから受け付ける表示出力条件入力受付ステップと（例えば、図７のステップＳ１参照）、自車両が現在置かれている状況を判定する状況判定ステップと（例えば、図７のステップＳ２参照）、自車両に搭載された搭載位置の異なる複数の車載カメラごとに、自車両の置かれるシーンに対応付けて、ドライバの視線の起点となる位置と自車両の複数の所定箇所を結ぶ複数の方向、ドライバの視線の起点となる位置からの俯角およびドライバに視認させる範囲の値を、自車両に搭載された車載カメラの画像を座標変換するための画像変換パラメータとして記憶する画像変換パラメータ記憶手段から、表示出力条件入力受付ステップにより受け付けられた表示出力条件、および状況判定ステップにより判定された状況に対応する画像変換パラメータを取得し、取得された画像変換パラメータを用いて、車載カメラにより撮影された画像を座標変換する画像変換ステップと（例えば、図７のステップＳ３およびステップＳ４参照）、画像変換手段により変換された画像を表示出力する表示出力ステップと（例えば、図７のステップＳ７参照）、を含んだ画像処理方法が実現される。

以上のように、本発明に係る画像処理装置、画像処理方法および画像処理プログラムは、車両に搭載されたカメラにより撮影した画像を車載ディスプレイなどに表示出力する場合に有用であり、特に、感覚的な違和感をドライバにもたらすことない視界補助画像をドライバに提供することに適する。

実施例１に係る画像処理装置を説明するための図である。実施例１に係る画像処理装置を説明するための図である。実施例１に係る画像処理装置を説明するための図である。実施例１に係る画像処理装置の構成を示す図である。車載カメラの配置位置を示す図である。実施例１に係る画像変換パラメータを説明するための図である。実施例に係る画像処理装置による処理の流れを示す図である。実施例１に係る俯瞰画像を説明するための図である。画像処理プログラムを実行するマイコンを示す図である。

符号の説明

１００車両
１１０フロントカメラ
１２０サイドカメラ
１３０バックカメラ
１４０ナビゲーション装置
１５０車両状態情報取得部
１６０表示出力条件入力受付部
１７０ディスプレイ
２００画像処理装置
２１０マイコン
２１１画像変換パラメータ記憶部
２１２自車両情報記憶部
２１３状況判定部
２１４画像変換部
２１５自車両情報挿入部
２１６画像出力制御部
３００マイコン
３１０入力部
３２０出力部
３３０記憶用メモリ
３３１画像処理プログラム
３３２画像処理用データ
３４０ワーク用メモリ
３４１画像処理プロセス
３５０制御部
４００バス

Claims

自車両に搭載された搭載位置の異なる複数の車載カメラごとに、自車両の置かれる状況に対応付けて、ドライバの視線の起点となる位置と自車両の複数の所定箇所を結ぶ複数の方向、ドライバの視線の起点となる位置からの俯角およびドライバに視認させる範囲の値を、自車両に搭載された車載カメラの画像を座標変換するための画像変換パラメータとして予め記憶する画像変換パラメータ記憶手段と、
自車両が現在置かれている状況を判定する状況判定手段と、
前記状況判定手段による状況判定結果および前記画像変換パラメータ記憶手段に記憶されている前記画像変換パラメータに基づいて、各車載カメラにより撮影された画像を座標変換する画像変換手段と、
前記画像変換手段により変換された画像を表示出力する表示出力手段と、
各車載カメラで撮影された画像を表示出力させる表示出力条件の入力をドライバから受け付ける表示出力条件入力受付手段と、
前記表示出力条件入力受付手段により、前回とは異なる新たな前記表示出力条件の入力が受け付けられた場合に、自車両全体を俯瞰した俯瞰画像を一時的に表示する俯瞰画像表示手段と
を有し、
前記表示出力手段は、前記俯瞰画像表示手段による前記俯瞰画像の表示終了とともに、前記画像変換手段により変換された画像を表示出力することを特徴とする画像処理装置。
自車両に搭載された搭載位置の異なる複数の車載カメラごとに、ドライバの視点の起点となる位置と当該位置からの俯角とを画像変換パラメータとして予め記憶する画像変換パラメータ記憶手段と、
前記画像変換パラメータ記憶手段に記憶されている前記画像変換パラメータに基づいて前記車載カメラによって撮影された画像を座標変換する画像変換手段と、
前記画像変換手段によって変換された画像を表示出力する表示出力手段と、
前記車載カメラによって撮影された画像を表示出力させるための入力をドライバから受け付ける受付手段と
を有し、
前記表示出力手段は、前記受付手段が前回とは異なる入力を受け付けた場合に、前記自車両全体を俯瞰した俯瞰画像を表示し、当該俯瞰画像の表示を終了したならば、前記画像変換手段によって変換された画像を表示出力すること
を特徴とする画像処理装置。