JP7314486B2 - カメラキャリブレーション装置 - Google Patents

Description

本発明の実施形態は、カメラキャリブレーション装置に関する。

車両に搭載されるカメラによって路面を撮像して得られる撮像画像に含まれる路面標示等の特徴に基づいて、撮像時におけるカメラの設置高および設置角度等のカメラ位置姿勢を算出し、当該算出したカメラ位置姿勢を用いて、カメラの光軸を補正する技術が開示されている。

特許第４８２０２２１号公報

ところで、車両に搭載されるカメラのカメラ位置姿勢は、車両への乗員数の変化や、車両内における乗員の位置の変化、車両への荷物の積載等によって、一時的に変化する場合がある。

しかしながら、上記の技術によれば、車両への乗員数の変化や、車両内における乗員の位置の変化、車両への荷物の積載等によるカメラ位置姿勢の変化を、カメラの光軸の経年変化と誤検知して、カメラの光軸が補正される場合がある。

そこで、実施形態の課題の一つは、経年変化による車載カメラの光軸ずれの誤通知および誤検知を抑制することが可能なカメラキャリブレーション装置を提供することである。

実施形態のカメラキャリブレーション装置は、一例として、車両に対する乗員の乗車パターンの基準である基準乗車パターンに対応付けて、車載カメラの位置および角度の少なくとも一方を含むカメラ位置姿勢の許容範囲を記憶する記憶部と、予め設定されたタイミングにおける、乗車パターンおよびカメラ位置姿勢を取得する取得部と、取得したカメラ位置姿勢が、記憶部において取得した乗車パターンと一致する基準乗車パターンと対応付けられる許容範囲内にない場合、車載カメラの光軸ずれの通知および光軸ずれの補正の少なくとも一方を実行する制御部と、を備える。よって、一例として、取得したカメラ位置姿勢が、車両への乗員の乗車状況または荷物の積載に伴う一時的なカメラ位置姿勢なのか、若しくは、撮像部の経年変化によるものなのかを判別することができるので、撮像部の光軸ずれの通知およびキャリブレーションを適切に実行可能となる。

また、実施形態のカメラキャリブレーション装置は、一例として、取得部は、車両内の乗員を検出するセンサの検出結果に基づいて、乗車パターンを取得する。よって、一例として、取得したカメラ位置姿勢に基づいて乗車パターンを推定する場合と比較して、高精度な乗車パターンを取得可能できるので、乗車パターンおよびカメラ位置姿勢を用いた、撮像部の光軸ずれの通知およびキャリブレーションをより適切に実行可能となる。

また、実施形態のカメラキャリブレーション装置は、一例として、記憶部は、さらに、予め設定された回数以上取得した乗車パターンである登録済み乗車パターンと、当該登録済み乗車パターンにおけるカメラ位置姿勢である登録済みカメラ位置姿勢とを対応付けて記憶し、制御部は、取得したカメラ位置姿勢が、記憶部において取得した乗車パターンと一致する登録済み乗車パターンと対応付けられる登録済みカメラ位置姿勢と一致しない場合、光軸ずれを補正する。よって、一例として、取得したカメラ位置姿勢が登録済みカメラ位置姿勢と一致しなかった場合に、取得したカメラ位置姿勢が、車両の乗員の乗車状況または荷物の積載に伴う一時的なカメラ位置姿勢ではなく、撮像部の経年変化によるものと判断して、直ちに、撮像部の光軸ずれの通知およびキャリブレーションの少なくとも一方を実行することが可能となるので、撮像部の光軸ずれの通知およびキャリブレーションをより適切に実行することができる。

また、実施形態のカメラキャリブレーション装置は、一例として、経年劣化ではない理由によって生じ得る、車載カメラの位置および角度の少なくとも一方を含むカメラ位置姿勢のずれの範囲を示す許容範囲を記憶する記憶部と、予め設定されたタイミングにおける、カメラ位置姿勢を取得する取得部と、取得したカメラ位置姿勢が、記憶部に記憶された許容範囲内にない場合、車載カメラの光軸ずれの通知および光軸ずれの補正の少なくとも一方を実行する制御部と、を備える。よって、一例として、車両が、乗車パターンを検出可能なセンサを有しない場合であっても、取得したカメラ位置姿勢が、車両への乗員の乗車状況または荷物の積載に伴う一時的なカメラ位置姿勢なのか、若しくは、撮像部の経年変化によるものなのかを判断することができる。

図１は、第１の実施形態にかかるカメラキャリブレーション装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、第１の実施形態にかかる車両の一例の平面図である。 図３は、第１の実施形態にかかる車両の機能構成の一例を示すブロック図である。 図４は、第１の実施形態にかかる車両が有するＥＣＵの機能構成の一例を示すブロック図である。 図５は、第１の実施形態にかかる車両が有する記憶部が記憶するカメラ位置姿勢テーブルの一例を示す図である。 図６は、第１の実施形態にかかる車両による撮像部の光軸ずれの通知およびキャリブレーションの実行処理の流れの一例を示すフローチャートである。 図７は、第２の実施形態にかかる車両による撮像部の光軸ずれの通知およびキャリブレーションの実行処理の流れの一例を示すフローチャートである。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によって実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。

本実施形態にかかるカメラキャリブレーション装置を搭載する車両は、内燃機関（エンジン）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良いし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両は、種々の変速装置、内燃機関や電動機の駆動に必要な種々の装置（システム、部品等）を搭載可能である。また、車両における車輪の駆動に関わる装置の方式、個数、レイアウト等は、種々に設定可能である。

（第１の実施形態）
図１は、第１の実施形態にかかるカメラキャリブレーション装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。図１に示すように、車両１は、車体２と、操舵部４と、加速操作部５と、制動操作部６と、変速操作部７と、モニタ装置１１と、を備える。車体２は、乗員が乗車する車室２ａを有する。車室２ａ内には、乗員としての運転手が座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールである。加速操作部５は、例えば、運転手の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転手の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。

モニタ装置１１は、例えば、ダッシュボード２４の車幅方向（すなわち、左右方向）の中央部に設けられる。モニタ装置１１は、例えば、ナビゲーションシステムまたはオーディオシステム等の機能を有していても良い。モニタ装置１１は、表示装置８、音声出力装置９、および操作入力部１０を有する。また、モニタ装置１１は、スイッチ、ダイヤル、ジョイスティック、および押しボタン等の各種の操作入力部を有しても良い。

表示装置８は、ＬＣＤ（Liquid Crystal Display）やＯＥＬＤ（Organic Electroluminescent Display）等で構成され、画像データに基づいて各種画像を表示可能である。音声出力装置９は、スピーカ等で構成され、音声データに基づいて各種音声を出力する。音声出力装置９は、車室２ａ内において、モニタ装置１１以外の異なる位置に設けられていても良い。

操作入力部１０は、タッチパネル等で構成され、乗員による各種情報の入力を可能とする。また、操作入力部１０は、表示装置８の表示画面に設けられ、表示装置８に表示される画像を透過可能である。これにより、操作入力部１０は、表示装置８の表示画面に表示される画像を乗員に視認させることを可能とする。操作入力部１０は、表示装置８の表示画面上における乗員のタッチ操作を検出することによって、乗員による各種情報の入力を受け付ける。

図２は、第１の実施形態にかかる車両の一例の平面図である。図１および図２に示すように、車両１は、四輪自動車等であり、左右２つの前輪３Ｆと、左右２つの後輪３Ｒと、を有する。４つの車輪３の全てまたは一部が、転舵可能である。

車両１は、複数の撮像部１５（車載カメラ）を搭載する。本実施形態では、車両１は、例えば、４つの撮像部１５ａ～１５ｄを搭載する。撮像部１５は、ＣＣＤ（Charge Coupled Device）またはＣＩＳ（CMOS Image Sensor）等の撮像素子を有するデジタルカメラである。撮像部１５は、所定のフレームレートで車両１の周囲を撮像可能である。そして、撮像部１５は、車両１の周囲を撮像して得られた撮像画像を出力する。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には、例えば、１４０°～２２０°の範囲を撮像可能である。また、撮像部１５の光軸は、斜め下方に向けて設定されている場合もある。

具体的には、撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置し、リアハッチのドア２ｈのリアウィンドウの下方の壁部に設けられている。そして、撮像部１５ａは、車両１の周囲のうち、当該車両１の後方の領域を撮像可能である。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置し、右側のドアミラー２ｇに設けられている。そして、撮像部１５ｂは、車両１の周囲のうち、当該車両の側方の領域を撮像可能である。撮像部１５ｃは、例えば、車体２の前側、すなわち、車両１の前後方向の前方側の端部２ｃに位置し、フロントバンパやフロントグリル等に設けられている。そして、撮像部１５ｃは、車両１の周囲のうち、当該車両１の前方の領域を撮像可能である。撮像部１５ｄは、例えば、車体２の左側、すなわち、車幅方向の左側の端部２ｄに位置し、左側のドアミラー２ｇに設けられている。そして、撮像部１５ｄは、車両１の周囲のうち、当該車両１の側方の領域を撮像可能である。

また、車室２ａ内には、図１および図２に示すように、車室内カメラ１６が設けられている。車室内カメラ１６は、ＣＣＤまたはＣＩＳ等の撮像素子を有するデジタルカメラである。また、車室内カメラ１６は、所定のフレームレートで車室２ａ内を撮像可能である。車室内カメラ１６は、車両１に乗車した乗員を撮像可能に設けられている。

図３は、第１の実施形態にかかる車両の機能構成の一例を示すブロック図である。図３に示すように、車両１は、操舵システム１３と、荷重センサ１７と、ブレーキシステム１８と、舵角センサ１９と、アクセルセンサ２０と、シフトセンサ２１と、車輪速センサ２２と、車内ネットワーク２３と、ＥＣＵ（Electronic Control Unit）１４と、を備える。モニタ装置１１、操舵システム１３、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、およびＥＣＵ１４は、電気通信回線である車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、ＣＡＮ（Controller Area Network）等により構成される。

操舵システム１３は、電動パワーステアリングシステムやＳＢＷ（Steer By Wire）システム等である。操舵システム１３は、アクチュエータ１３ａおよびトルクセンサ１３ｂを有する。そして、操舵システム１３は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１３ａを動作させて、操舵部４に対して、トルクを付加して操舵力を補うことによって、車輪３を転舵する。トルクセンサ１３ｂは、運転者が操舵部４に与えるトルクを検出し、その検出結果をＥＣＵ１４に送信する。

荷重センサ１７は、車室２ａ内に設けられる座席２ｂ（本実施形態では、運転席、助手席、後部座席）毎に設けられ、座席２ｂにかかる荷重を検出し、その検出結果に基づいて、車両１内の乗員を検出するセンサである。例えば、荷重センサ１７は、座席２ｂにかかる荷重の検出結果に基づいて、座席２ｂに着座した乗員が大人か、座席２ｂに着座した乗員が子供か、若しくは座席２ｂに乗員が着座していないことを検出する。

ブレーキシステム１８は、車両１のブレーキのロックを制御するＡＢＳ（Anti-lock Brake System）、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic Stability Control）、ブレーキ力を増強させてブレーキをアシストする電動ブレーキシステム、およびＢＢＷ（Brake By Wire）を含む。ブレーキシステム１８は、アクチュエータ１８ａおよびブレーキセンサ１８ｂを有する。ブレーキシステム１８は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１８ａを介して、車輪３に制動力を付与する。ブレーキシステム１８は、左右の車輪３の回転差等から、ブレーキのロック、車輪３の空回り、および横滑りの兆候等を検出して、ブレーキのロック、車輪３の空回り、および横滑りを抑制する制御を実行する。ブレーキセンサ１８ｂは、制動操作部６の可動部としてのブレーキペダルの位置を検出する変位センサであり、ブレーキペダルの位置の検出結果をＥＣＵ１４に送信する。

舵角センサ１９は、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。本実施形態では、舵角センサ１９は、ホール素子等で構成され、操舵部４の回転部分の回転角度を操舵量として検出し、その検出結果をＥＣＵ１４に送信する。アクセルセンサ２０は、加速操作部５の可動部としてのアクセルペダルの位置を検出する変位センサであり、その検出結果をＥＣＵ１４に送信する。

シフトセンサ２１は、変速操作部７の可動部（バー、アーム、ボタン等）の位置を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。車輪速センサ２２は、ホール素子等を有し、車輪３の回転量や単位時間当たりの車輪３の回転数を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。

ＥＣＵ１４は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、車両１の制御全般を司る。具体的には、ＥＣＵ１４は、ＣＰＵ（Central Processing Unit）１４ａ、ＲＯＭ（Read Only Memory）１４ｂ、ＲＡＭ（Random Access Memory）１４ｃ、表示制御部１４ｄ、音声制御部１４ｅ、およびＳＳＤ（Solid State Drive）１４ｆを備える。ＣＰＵ１４ａ、ＲＯＭ１４ｂ、およびＲＡＭ１４ｃは、同一の回路基板内に設けられていても良い。

ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムに従って各種の演算処理を実行する。例えば、ＣＰＵ１４ａは、表示装置８に表示させる画像データに対する画像処理、駐車位置等の目標位置までの目標経路に従った車両１の走行の制御、撮像部１５の光軸ずれの補正に関わる処理等を実行する。

ＲＯＭ１４ｂは、各種プログラムおよび当該プログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種データを一時的に記憶する。表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５から取得してＣＰＵ１４ａへ出力する画像データに対する画像処理、ＣＰＵ１４ａから取得した画像データを表示装置８に表示させる表示用の画像データへの変換等を実行する。音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、ＣＰＵ１４ａから取得して音声出力装置９に出力させる音声の処理を実行する。ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもＣＰＵ１４ａから取得したデータを記憶し続ける。

図４は、第１の実施形態にかかる車両が有するＥＣＵの機能構成の一例を示すブロック図である。図４に示すように、ＥＣＵ１４は、記憶部４０１、取得部４０２、および制御部４０３と、を備える。例えば、回路基板に搭載されたＣＰＵ１４ａ等のプロセッサが、ＲＯＭ１４ｂまたはＳＳＤ１４ｆ等の記憶媒体内に格納されたカメラキャリブレーションプログラムを実行することにより、ＥＣＵ１４は、取得部４０２および制御部４０３の機能を実現する。取得部４０２および制御部４０３の一部または全部を回路等のハードウェアによって構成しても良い。

記憶部４０１は、ＲＯＭ１４ｂ等の記憶媒体によって実現され、カメラ位置姿勢テーブルを記憶する記憶部の一例として機能する。カメラ位置姿勢テーブルは、車両１に対する乗員の基準となる乗車パターン（以下、基準乗車パターンと言う）と、当該基準乗車パターンにおいて基準となる撮像部１５のカメラ位置姿勢（以下、基準位置姿勢と言う）の許容範囲（許容誤差範囲）と、を対応付けるテーブルである。ここで、カメラ位置姿勢は、撮像部１５の位置および角度（回転角）の少なくとも一方を含む。

本実施形態の乗車パターンは、当該車両１内に存在する全ての座席２ｂについて、当該座席２ｂ毎に乗員が着座しているか否かを組み合わせた情報とする。また、座席２ｂ毎に着座可能な乗員の種類を複数設定しても良い。本実施形態では、乗員の種類を大人と子供に分けた例とする。そして、本実施形態のカメラ位置姿勢テーブルは、全ての乗車パターンに対応するカメラ位置姿勢の許容範囲を記憶している。これにより、車両１内に乗員がどのように着座したとしても、撮像部１５の光軸ずれが発生しているか否かを判定可能となる。

本実施形態では、カメラ位置姿勢テーブルは、基準乗車パターンと、車両１の周囲を撮像する撮像部１５の基準位置姿勢と、を対応付けているが、基準乗車パターンと、車両１に搭載された車載カメラの基準位置姿勢とを対応付けるものであれば、これに限定するものではない。例えば、光軸ずれの通知またはキャリブレーションを行う撮像部が車室内カメラ１６である場合、カメラ位置姿勢テーブルは、基準乗車パターンと、車室内カメラ１６の基準位置姿勢と、を対応付ける。

ここで、基準位置姿勢は、撮像部１５の基準となる位置（以下、基準位置と言う）および角度（本実施形態では、回転角。以下、基準角度と言う。）の少なくとも一方を含む。撮像部１５の基準位置は、撮像部１５自体の基準となる位置である。具体的には、基準位置は、車両１に乗員が乗車しておらずかつ光軸ずれが生じていない場合の撮像部１５の位置を原点（基準）として、乗車パターンで示した配置で乗員が乗車した場合における、撮像部１５の位置を予め設定された軸毎に示したものとする。本実施形態では、撮像部１５の基準位置は、車両１の進行方向に対応するＸ軸上における撮像部１５の基準位置、車両１の車幅方向に対応するＺ軸上における撮像部１５の基準位置、および車両１の高さ方向に対応するＹ軸上における撮像部１５の基準位置を含む。

また、撮像部１５の基準角度は、撮像部１５が固定された状態において基準となる角度である。具体的には、基準角度は、車両１に乗員が乗車しておらずかつ光軸ずれが生じていない場合の撮像部１５の角度を０度（基準）として、乗車パターンで示した配置で乗員が乗車した場合に回転した撮像部１５の角度を予め設定された軸毎に示したものとする。本実施形態では、撮像部１５の基準角度は、Ｘ軸回りの撮像部１５の基準となる回転角、Ｙ軸回りの撮像部１５の基準となる回転角、およびＺ軸回りの撮像部１５の基準となる回転角を含む。

また、ここで、許容範囲は、基準乗車パターンにおいて撮像部１５のカメラ位置姿勢に許容されるずれの範囲である。具体的には、許容範囲は、経年変化ではない理由（例えば、乗員の乗車状況または荷物の積載に伴う一時的な要因）によって、基準乗車パターンにおいて撮像部１５のカメラ位置姿勢に生じ得るずれの範囲である。本実施形態では、許容範囲は、基準位置姿勢に含まれるパラメータの種類（撮像部１５の基準位置および基準角度）のそれぞれに許容される値の範囲である。

図５は、第１の実施形態にかかる車両が有する記憶部が記憶するカメラ位置姿勢テーブルの一例を示す図である。本実施形態では、カメラ位置姿勢テーブルは、図５に示すように、基準乗車パターンと、当該基準乗車パターンにおける基準位置姿勢と、当該基準位置姿勢の許容ずれ（許容誤差）と、を対応付けるテーブルである。図５に示すカメラ位置姿勢テーブルにおいては、基準位置姿勢を基準とする許容誤差の範囲が、許容範囲を示すものとする。

ここで、許容誤差は、基準乗車パターンにおいて撮像部１５のカメラ位置姿勢に許容されるずれである。具体的には、許容誤差は、経年変化ではない理由（例えば、乗員の乗車状況または荷物の積載に伴う一時的な要因）によって、基準乗車パターンにおいて撮像部１５のカメラ位置姿勢に生じ得るずれである。

ここで、基準乗車パターンは、図５に示すように、各座席２ｂ（運転席Ｐ１、助手席Ｐ２、右側の後部座席Ｐ３、左側の後部座席Ｐ４）に対する乗員の有無、および各座席２ｂに着座した乗員が大人か若しくは子供かの組合せである。図５に示すカメラ位置姿勢テーブルの基準乗車パターンでは、「〇」が座席２ｂに大人が着座していることを示し、「△」が座席２ｂに子供が着座していることを示し、空欄が座席２ｂに乗員が着座していないことを示す。

よって、例えば、基準乗車パターンＡは、運転席Ｐ１に大人が乗車し、助手席Ｐ２および後部座席Ｐ３，Ｐ４は空席である乗車パターンである。また、基本乗車パターンＢは、運転席Ｐ１に大人が乗車し、助手席Ｐ２が空席であり、後部座席Ｐ３に子供が乗車し、後部座席Ｐ４が空席である乗車パターンである。また、基本乗車パターンＣは、運転席Ｐ１および助手席Ｐ２に大人が乗車し、後部座席Ｐ３，Ｐ４が空席である乗車パターンである。

本実施形態では、カメラ位置姿勢テーブルが、運転席Ｐ１、助手席Ｐ２、後部座席Ｐ３，Ｐ４の４つの座席２ｂを有する乗用車の基本乗車パターンを含む例について説明するが、これに限定するものではなく、例えば、５つ以上の座席２ｂを有する乗用車やバス等の車両１の基本乗車パターンを含むことも可能である。

基準位置姿勢には、図５に示すように、基準乗車パターン毎の撮像部１５の基準位置および基準角度が含まれる。基準位置には、図５に示すように、Ｘ軸基準位置、Ｙ軸基準位置、およびＺ軸基準位置が含まれる。ここで、Ｘ軸基準位置は、Ｘ軸上における撮像部１５自体の基準となる位置である。Ｙ軸基準位置は、Ｙ軸上における撮像部１５自体の基準となる位置である。Ｚ軸基準位置は、Ｚ軸上における撮像部１５自体の基準となる位置である。

また、基準角度には、図５に示すように、Ｘ軸基準角度、Ｙ軸基準角度、およびＺ軸基準角度が含まれる。ここで、Ｘ軸基準角度は、Ｘ軸回りにおける撮像部１５の基準となる回転角である。Ｙ軸基準角度は、Ｙ軸回りにおける撮像部１５の基準となる回転角である。Ｚ軸基準角度は、Ｚ軸回りにおける撮像部１５の基準となる回転角である。

基準位置姿勢の許容誤差には、図５に示すように、基準位置の許容誤差および基準角度の許容誤差が含まれる。基準位置の許容誤差には、図５に示すように、Ｘ軸位置許容誤差、Ｙ軸位置許容誤差、およびＺ軸位置許容誤差が含まれる。ここで、Ｘ軸位置許容誤差は、Ｘ軸基準位置に許容されるずれ（誤差）である。Ｙ軸位置許容誤差は、Ｙ軸基準位置に許容されるずれ（誤差）である。Ｚ軸位置許容誤差は、Ｚ軸基準位置に許容されるずれ（誤差）である。

また、基準角度の許容誤差には、図５に示すように、Ｘ軸角度許容誤差、Ｙ軸角度許容誤差、およびＺ軸角度許容誤差が含まれる。ここで、Ｘ軸角度許容誤差は、Ｘ軸基準角度に許容されるずれ（誤差）である。Ｙ軸角度許容誤差は、Ｙ軸基準角度に許容されるずれ（誤差）である。Ｚ軸角度許容誤差は、Ｚ軸基準角度に許容されるずれ（誤差）である。

例えば、図５に示すカメラ位置姿勢テーブルによれば、基準乗車パターンＡにおけるＸ軸基準位置が２ｍｍでありかつＸ軸位置許容誤差が±４である。よって、基準乗車パターンＡにおけるＸ軸方向の撮像部１５自体の位置の許容範囲は、－２ｍｍ～＋６ｍｍとなる。また、図５に示すカメラ位置姿勢テーブルによれば、基準乗車パターンＡにおけるＸ軸基準角度が０度でありかつＸ軸角度許容誤差が±１度である。よって、基準乗車パターンＡにおけるＸ軸回りの撮像部１５の角度の許容範囲は、－１度～＋１度である。

図４に戻り、取得部４０２は、予め設定されたタイミングにおける乗車パターンおよびカメラ位置姿勢を取得する。ここで、予め設定されたタイミングは、車両１のイグニッションがオンされてからオフされるまでの間、予め設定された周期のタイミングである。また、乗車パターンは、車両１に対する乗員の乗車のパターンである。本実施形態では、乗車パターンは、各座席２ｂに対する乗員の有無、および各座席２ｂに着座した乗員が大人か若しくは子供かの組合せである。また、カメラ位置姿勢は、撮像部１５の位置および撮像部１５の角度を含む。

ここで、撮像部１５の位置は、撮像部１５自体の位置である。本実施形態では、撮像部１５の位置は、車両１の進行方向に対応するＸ軸上における撮像部１５の位置、車両１の車幅方向に対応するＺ軸上における撮像部１５の位置、および車両１の高さ方向に対応するＹ軸上における撮像部１５の位置を含む。

また、撮像部１５の角度は、撮像部１５が設置された角度である。本実施形態では、撮像部１５の角度は、撮像部１５が固定された状態における回転角である。具体的には、撮像部１５の角度は、Ｘ軸回りの撮像部１５の回転角、Ｙ軸回りの撮像部１５の回転角、およびＺ軸回りの撮像部１５の回転角を含む。

本実施形態では、取得部４０２は、光軸ずれの通知および補正（キャリブレーション）の少なくとも一方を実行する対象の撮像部１５の撮像により得られる撮像画像に基づいて、カメラ位置姿勢を取得する。例えば、取得部４０２は、撮像部１５により車両１の周辺を撮像して得られる撮像画像に対して画像処理を行って、当該撮像画像に含まれる白線や横断歩道等の特徴を検出する。次いで、取得部４０２は、取得した特徴に含まれる平行な線分の消失点の位置を特定する。そして、取得部４０２は、特定した消失点の位置と、車両１の出荷時等に予め設定された消失点の位置と、のずれに基づいて、撮像部１５の位置および角度をカメラ位置姿勢として取得する。

本実施形態では、取得部４０２は、撮像部１５の位置および角度の両方をカメラ位置姿勢として取得しているが、撮像部１５の位置および角度の少なくとも一方をカメラ位置姿勢として取得するものであれば良い。

また、本実施形態では、車両１の周囲を撮像する撮像部１５の光軸ずれの通知およびキャリブレーションを行うため、撮像部１５のカメラ位置姿勢を取得しているが、車両１に搭載された車載カメラのカメラ位置姿勢を取得するものであれば、これに限定するものではない。例えば、車室２ａ内を撮像する車室内カメラ１６の光軸ずれの通知やキャリブレーションを行う場合には、取得部４０２は、車室内カメラ１６のカメラ位置姿勢を取得する。

また、本実施形態では、取得部４０２は、各座席２ｂに設けられる荷重センサ１７による検出結果、および車室内カメラ１６の撮像により得られる撮像画像の少なくとも一方に基づいて、予め設定されたタイミングにおける乗車パターンを取得する。これにより、取得したカメラ位置姿勢に基づいて乗車パターンを推定する場合と比較して、高精度な乗車パターンを取得可能できる。その結果、後述する、乗車パターンおよびカメラ位置姿勢を用いた、撮像部１５の光軸ずれの通知およびキャリブレーションをより適切に実行可能となる。

ここで、荷重センサ１７による検出結果には、座席２ｂに着座した乗員が大人であるか、座席２ｂに着座した乗員が子供であるか、若しくは、座席２ｂに着座した乗員の有無が含まれる。

また、車室内カメラ１６により車室２ａ内を撮像して得られる撮像画像に基づいて乗車パターンを取得する場合、取得部４０２は、撮像画像内のいずれの位置に乗員が含まれているかに基づいて乗員が乗車している座席２ｂを検出する。次いで、取得部４０２は、検出した座席２ｂに存在する乗員が有する体積を求め、当該求めた体積に基づいて、座席２ｂに着座した乗員が大人か若しくは子供かを検出する。

本実施形態では、取得部４０２は、荷重センサ１７による検出結果および車室内カメラ１６の撮像により得られる撮像画像の両方を用いて、乗車パターンを取得しているが、これに限定するものではなく、荷重センサ１７による検出結果および車室内カメラ１６の撮像により得られる撮像画像の一方を用いて、乗車パターンを取得しても良い。また、取得部４０２は、車両１が、地面からの車体２の高さを検出可能な車高センサを有する場合には、当該車高センサの検出結果に基づいて、乗車パターンを取得しても良い。また、荷重センサ１７が座席２ｂに着座した乗員の体重を検出可能である場合、取得部４０２は、各座席２ｂの荷重センサ１７により検出された体重に基づいて、各座席２ｂに着座した乗員が大人かまたは子供か、若しくは、各座席２ｂに着座した乗員の有無を取得しても良い。

制御部４０３は、取得部４０２により取得されたカメラ位置姿勢が、記憶部４０１に記憶されるカメラ位置姿勢テーブルにおいて、取得部４０２により取得された乗車パターンと一致する基準乗車パターンと対応付けられる位置姿勢許容範囲内にあるか否かを判断する。本実施形態では、制御部４０３は、カメラ位置姿勢テーブルにおいて、取得された乗車パターンと一致する基準乗車パターンと対応付けられる基準位置姿勢および許容誤差を特定する。そして、制御部４０３は、取得したカメラ位置姿勢が、特定した基準位置姿勢および許容誤差により定義される許容範囲内であるか否かを判断する。

その際、制御部４０３は、取得したカメラ位置姿勢に含まれる撮像部１５の位置および角度のそれぞれが、特定した基準位置姿勢に含まれる同じ種類の基準位置および基準角度の許容範囲内にあるか否かを判断する。具体的には、制御部４０３は、取得したカメラ位置姿勢に含まれる撮像部１５の位置が、特定した基準位置姿勢に含まれる同じ種類の基準位置の許容範囲内にあるか否かを判断する。また、制御部４０３は、取得したカメラ位置姿勢に含まれる撮像部１５の角度が、特定した基準位置姿勢に含まれる同じ種類の基準角度の許容範囲内にあるか否かを判断する。

本実施形態では、制御部４０３は、取得した撮像部１５のＸ軸上の位置を、特定したＸ軸基準位置およびＸ軸位置許容誤差により定義される許容範囲内にあるか否かを判断する。制御部４０３は、取得した撮像部１５のＹ軸上の位置およびＺ軸上の位置についても同様にして、許容範囲内にあるか否かを判断する。

また、本実施形態では、制御部４０３は、取得した撮像部１５のＸ軸回りの回転角を、特定したＸ軸基準角度およびＸ軸角度許容誤差により定義される許容範囲内にあるか否かを判断する。制御部４０３は、取得した撮像部１５のＹ軸回りの回転角およびＺ軸回りの回転角についても同様にして、許容範囲内にあるか否かを判断する。

そして、制御部４０３は、取得したカメラ位置姿勢が許容範囲内にある場合、取得したカメラ位置姿勢が、車両１への乗員の乗車状況または荷物の積載に伴う一時的なカメラ位置姿勢と判断する。この場合、制御部４０３は、撮像部１５の光軸ずれの通知および当該光軸ずれを補正するキャリブレーションを行わない。

本実施形態では、制御部４０３は、取得したカメラ位置姿勢に含まれる撮像部１５の位置および角度の全てが許容範囲内にある場合、撮像部１５の光軸ずれの通知およびキャリブレーションを行わない。

一方、制御部４０３は、取得したカメラ位置姿勢が許容範囲内にない場合、取得したカメラ位置姿勢が、車両１の乗員の乗車状況または荷物の積載に伴う一時的なカメラ位置姿勢ではなく、撮像部１５の経年変化によるものと判断する。この場合、制御部４０３は、撮像部１５の光軸ずれの通知および当該光軸ずれを補正するキャリブレーションの少なくとも一方を実行する。

本実施形態では、制御部４０３は、取得したカメラ位置姿勢に含まれる撮像部１５の位置および角度の少なくとも１つが許容範囲内にない場合、撮像部１５の光軸ずれの通知およびキャリブレーションの少なくとも一方を実行する。

これにより、取得したカメラ位置姿勢が、車両１への乗員の乗車状況または荷物の積載に伴う一時的なカメラ位置姿勢なのか（すなわち、撮像部１５の光軸ずれが発生していないのか）、若しくは、撮像部１５の経年変化によるものなのか（すなわち、撮像部１５の光軸ずれが発生しているのか）を判別することができるので、撮像部１５の光軸ずれの通知およびキャリブレーションを適切に実行可能となる。

さらに、制御部４０３は、予め設定された回数以上取得される乗車パターン（以下、登録済み乗車パターンと言う）と、当該登録済み乗車パターンが取得された際のカメラ位置姿勢（以下、登録済みカメラ位置姿勢と言う）と、を対応付けて記憶部４０１に保存する。そして、制御部４０３は、取得した乗車パターンが記憶部４０１に記憶される登録済み乗車パターンと一致した場合、取得したカメラ位置姿勢が、記憶部４０１において当該登録済み乗車パターンと対応付けて記憶される登録済みカメラ位置姿勢と一致するか否かを判断する。

次いで、制御部４０３は、取得したカメラ位置姿勢が登録済みカメラ位置姿勢と一致しなかった場合、撮像部１５の光軸ずれの通知およびキャリブレーションの少なくとも一方を実行する。一方、制御部４０３は、取得したカメラ位置姿勢が登録済みカメラ位置姿勢と一致した場合、撮像部１５の光軸ずれの通知およびキャリブレーションを実行しない。

これにより、取得したカメラ位置姿勢が登録済みカメラ位置姿勢と一致しなかった場合に、取得したカメラ位置姿勢が、車両１の乗員の乗車状況または荷物の積載に伴う一時的なカメラ位置姿勢ではなく、撮像部１５の経年変化によるものと判断して、直ちに、撮像部１５の光軸ずれの通知およびキャリブレーションの少なくとも一方を実行することが可能となる。その結果、撮像部１５の光軸ずれの通知およびキャリブレーションをより適切に実行することができる。

次に、図６を用いて、本実施形態にかかる車両１による撮像部１５の光軸ずれの通知およびキャリブレーションの実行処理の流れの一例について説明する。図６は、第１の実施形態にかかる車両による撮像部の光軸ずれの通知およびキャリブレーションの実行処理の流れの一例を示すフローチャートである。

取得部４０２は、車両１のイグニッションがオンされると、予め設定された周期で、乗車パターンおよびカメラ位置姿勢を取得する（ステップＳ６０１）。次いで、制御部４０３は、取得した乗車パターンが、記憶部４０１に記憶される登録済み乗車パターンと一致するか否かを判断する（ステップＳ６０２）。

そして、取得した乗車パターンが登録済み乗車パターンと一致した場合（ステップＳ６０２：Ｙｅｓ）、制御部４０３は、取得したカメラ位置姿勢が、記憶部４０１において登録済み乗車パターンと対応付けて記憶される登録済みカメラ位置姿勢と一致するか否かを判断する（ステップＳ６０３）。

次いで、制御部４０３は、取得したカメラ位置姿勢が登録済みカメラ位置姿勢と一致する場合（ステップＳ６０３：Ｙｅｓ）、取得したカメラ位置姿勢が、車両１への乗員の乗車状況または荷物の積載に伴う一時的なカメラ位置姿勢と判断して（すなわち、撮像部１５の光軸ずれが発生していないと判断して）、撮像部１５の光軸ずれを補正するキャリブレーションを実行せずに処理を終了させる。

一方、制御部４０３は、取得したカメラ位置姿勢が登録済みカメラ位置姿勢と一致しない場合（ステップＳ６０３Ｎｏ）、取得したカメラ位置姿勢が、車両１の乗員の乗車状況または荷物の積載に伴う一時的なカメラ位置姿勢ではなく、撮像部１５の経年変化によるものと判断して（すなわち、撮像部１５の光軸ずれが発生していると判断して）、撮像部１５の光軸ずれを補正するキャリブレーションを実行する（ステップＳ６０４）。

ステップＳ６０２に戻り、取得した乗車パターンが登録済み乗車パターンと一致しなかった場合（ステップＳ６０２：Ｎｏ）、制御部４０３は、取得したカメラ位置姿勢が、カメラ位置姿勢テーブルにおいて、取得した乗車パターンと一致する基準乗車パターンと対応付けられる許容範囲内にあるか否かを判断する（ステップＳ６０５）。

取得したカメラ位置姿勢が許容範囲内にあると判断した場合（ステップＳ６０５：Ｙｅｓ）、制御部４０３は、取得したカメラ位置姿勢が、車両１への乗員の乗車状況または荷物の積載に伴う一時的なカメラ位置姿勢と判断する（すなわち、撮像部１５の光軸ずれが発生していないと判断する）。次いで、制御部４０３は、取得した乗車パターンと類似する乗車パターンが、予め設定された回数以上、繰り返し取得されたか否かを判断する（ステップＳ６０６）。そして、制御部４０３は、取得した乗車パターンと類似する乗車パターンが、予め設定された回数以上、繰り返し取得されている場合（ステップＳ６０６）、取得した乗車パターンを登録済み乗車パターンとして、取得したカメラ位置姿勢を登録済みカメラ位置姿勢として互いに対応付けて記憶部４０１に保存する（ステップＳ６０７）。

ステップＳ６０５に戻り、取得したカメラ位置姿勢が許容範囲内にないと判断した場合（ステップＳ６０５：Ｎｏ）、制御部４０３は、取得したカメラ位置姿勢が、撮像部１５の経年変化によるものと判断して、撮像部１５の光軸ずれが発生していると判断する（ステップＳ６０８）。そして、制御部４０３は、撮像部１５の光軸ずれの通知および当該光軸ずれを補正するキャリブレーションの少なくとも一方を実行する（ステップＳ６０９）。

このように、第１の実施形態にかかる車両１によれば、取得したカメラ位置姿勢が、車両１への乗員の乗車状況または荷物の積載に伴う一時的なカメラ位置姿勢なのか（すなわち、撮像部１５の光軸ずれが発生していないのか）、若しくは、撮像部１５の経年変化によるものなのか（すなわち、撮像部１５の光軸ずれが発生しているのか）を判別することができるので、撮像部１５の光軸ずれの通知およびキャリブレーションを適切に実行可能となる。また、第１の実施形態にかかる車両１によれば、カメラ位置姿勢テーブルにおいて、各乗車パターンと、予め設定された軸毎の撮像部１５の位置および角度の軸毎の許容誤差（許容範囲）とが対応付けられることにより、乗員の体系や重さの違いを考慮した許容誤差（許容範囲）が設定可能となるので、光軸ずれの検出精度を向上させることができる。

（第２の実施形態）
本実施形態は、取得したカメラ位置姿勢が、カメラ位置姿勢テーブルに含まれる許容範囲にない場合、撮像部の光軸ずれの通知および当該光軸ずれの補正の少なくとも一方を実行する例である。以下の説明では、第１の実施形態と同様の構成については説明を省略する。

本実施形態では、荷重センサ１７や車室内カメラ１６等など、乗車パターンを検出可能なセンサを車両１が有しない場合、制御部４０３は、取得したカメラ位置姿勢が、カメラ位置姿勢テーブルに含まれるいずれかの許容範囲内にあるか否かを判断する。そして、制御部４０３は、取得したカメラ位置姿勢がいずれかの許容範囲内にある場合、取得したカメラ位置姿勢が、車両１への乗員の乗車状況または荷物の積載に伴う一時的なカメラ位置姿勢と判断する（すなわち、撮像部１５の光軸ずれが発生していないと判断する）。この場合、制御部４０３は、撮像部１５の光軸ずれの通知および当該光軸ずれを補正するキャリブレーションを行わない。

一方、制御部４０３は、取得したカメラ位置姿勢が、カメラ位置姿勢テーブルに含まれるいずれの許容範囲内にもない場合、取得したカメラ位置姿勢が、車両１の乗員の乗車状況または荷物の積載に伴う一時的なカメラ位置姿勢ではなく、撮像部１５の経年変化によるものと判断する（すなわち、撮像部１５の光軸ずれが発生していると判断する）。この場合、制御部４０３は、撮像部１５の光軸ずれの通知および当該光軸ずれを補正するキャリブレーションの少なくとも一方を実行する。

これにより、車両１が、荷重センサ１７や車室内カメラ１６等、乗車パターンを検出可能なセンサを有しない場合であっても、取得したカメラ位置姿勢が、車両１への乗員の乗車状況または荷物の積載に伴う一時的なカメラ位置姿勢なのか（すなわち、撮像部１５の光軸ずれが発生していないのか）、若しくは、撮像部１５の経年変化によるものなのか（すなわち、撮像部１５の光軸ずれが発生しているのか）を誤って判断することを防止できる。

次に、図７を用いて、本実施形態にかかる車両１による撮像部１５の光軸ずれの通知およびキャリブレーションの実行処理の流れの一例について説明する。図７は、第２の実施形態にかかる車両による撮像部の光軸ずれの通知およびキャリブレーションの実行処理の流れの一例を示すフローチャートである。

取得部４０２は、車両１のイグニッションがオンされると、予め設定された周期、カメラ位置姿勢を取得する（ステップＳ７０１）。

次いで、制御部４０３は、取得したカメラ位置姿勢が、カメラ位置姿勢テーブルに含まれるいずれかの許容範囲内にあるか否かを判断する（ステップＳ７０２）。そして、取得したカメラ位置姿勢がいずれの許容範囲内にもない場合（ステップＳ７０２：Ｎｏ）、制御部４０３は、取得したカメラ位置姿勢が、撮像部１５の経年変化によるものと判断し、撮像部１５の光軸ずれが発生していると判断する（ステップＳ７０３）。そして、制御部４０３は、撮像部１５の光軸ずれの通知および当該光軸ずれを補正するキャリブレーションの少なくとも一方を実行する（ステップＳ７０４）。

一方、取得したカメラ位置姿勢がいずれかの許容範囲内にある場合（ステップＳ７０２：Ｙｅｓ）、制御部４０３は、取得したカメラ位置姿勢が、車両１への乗員の乗車状況または荷物の積載に伴う一時的なカメラ位置姿勢と判断して、撮像部１５の光軸ずれは発生していないと判断する（ステップＳ７０５）。この場合、制御部４０３は、撮像部１５の光軸ずれの通知および当該光軸ずれを補正するキャリブレーションを実行しない。

このように、第２の実施形態にかかる車両１によれば、車両１が、荷重センサ１７や車室内カメラ１６等、乗車パターンを検出可能なセンサを有しない場合であっても、取得したカメラ位置姿勢が、車両１への乗員の乗車状況または荷物の積載に伴う一時的なカメラ位置姿勢なのか、若しくは、撮像部１５の経年変化によるものなのかを判断することができる。

１…車両、８…表示装置、１４…ＥＣＵ、１４ａ…ＣＰＵ、１４ｂ…ＲＯＭ、１４ｃ…ＲＡＭ、１４ｄ…表示制御部、１４ｆ…ＳＳＤ、１５…撮像部、１６…車室内カメラ、１７…荷重センサ、４０１…記憶部、４０２…取得部、４０３…制御部。

Claims (3)

1. 車両に対する乗員の乗車パターンの基準である基準乗車パターンに対応付けて、車載カメラの位置および角度の少なくとも一方を含むカメラ位置姿勢の許容範囲を記憶する記憶部と、
   予め設定されたタイミングにおける、前記乗車パターンおよび前記カメラ位置姿勢を取得する取得部と、
   前記取得したカメラ位置姿勢が、前記記憶部において前記取得した乗車パターンと一致する前記基準乗車パターンと対応付けられる前記許容範囲内にない場合、前記車載カメラの光軸ずれの通知および前記光軸ずれの補正の少なくとも一方を実行する制御部と、
   を備えるカメラキャリブレーション装置。
2. 前記取得部は、前記車両内の乗員を検出するセンサの検出結果に基づいて、前記乗車パターンを取得する請求項１に記載のカメラキャリブレーション装置。
3. 前記記憶部は、さらに、予め設定された回数以上取得した前記乗車パターンである登録済み乗車パターンと、当該登録済み乗車パターンにおける前記カメラ位置姿勢である登録済みカメラ位置姿勢とを対応付けて記憶し、
   前記制御部は、前記取得したカメラ位置姿勢が、前記記憶部において前記取得した乗車パターンと一致する前記登録済み乗車パターンと対応付けられる前記登録済みカメラ位置姿勢と一致しない場合、前記光軸ずれを補正する請求項１または２に記載のカメラキャリブレーション装置。

Images