JP5041985B2

JP5041985B2 - 車載撮像装置

Info

Publication number: JP5041985B2
Application number: JP2007304407A
Authority: JP
Inventors: 健之鈴木
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2007-11-26
Filing date: 2007-11-26
Publication date: 2012-10-03
Anticipated expiration: 2027-11-26
Also published as: JP2009126391A

Description

この発明は、車載撮像装置に関する。

従来、例えば車室内の乗員を撮影するカメラの露出を、絞りおよび露光時間により調整する際に、撮影対象である乗員の顔の位置付近であって、車両の窓を介して入射する日光等の光が直接照射されることが少ない位置に露光枠を設定し、この露光枠の明度に応じて露出を設定する撮像装置が知られている（例えば、特許文献１参照）。
特開２００６−２６４４０４号公報

ところで、上記従来技術に係る撮像装置においては、露光枠の明度に応じて露出が調整されることから、この露光枠内の領域のみが鮮明に撮影されることになり、例えば車両外部からの光の照射によって露光枠内の領域と露光枠以外の領域との明度差が大きくなった場合には、露光枠以外の領域に白とびや黒つぶれが発生する虞があり、事故発生時などの緊急状態において車室内の広範な領域の状況を的確に把握することができないという問題が生じる。

本発明は上記事情に鑑みてなされたもので、適切な撮像画像を得ることが可能な車載撮像装置を提供することを目的としている。

上記課題を解決して係る目的を達成するために、本発明の第１態様に係る車載撮像装置は、車室内を撮像する撮像手段（例えば、実施の形態でのカメラ１１）と、車内領域および車外領域の輝度を検出する輝度検出手段（例えば、実施の形態での輝度検出部２１）と、前記車室内を照明する発光部（例えば、実施の形態での発光器１４）と、前記輝度検出手段により検出された前記車内領域の輝度と前記車外領域の輝度とに応じて、前記撮像手段のダイナミックレンジおよび前記発光部のオンとオフとによる撮像モードを切り替える撮像モード切替手段（例えば、実施の形態での撮像モード切替部２３）と、を備え、前記撮像モード切替手段は、前記ダイナミックレンジが所定値、かつ、前記発光部がオフである通常モードと、前記ダイナミックレンジが前記所定値より大きく、かつ、前記発光部がオフである直射光モードと、前記ダイナミックレンジが前記所定値より大きく、かつ、前記発光部がオンである暗所モードとの少なくとも３つのモードを切り替えており、前記輝度検出手段により検出された前記輝度に基づき、白とびの発生を検知する白とび検知手段（例えば、実施の形態での白とび検知部２２ａ）と、前記輝度検出手段により検出された前記輝度に基づき、明るい状態と暗い状態との２つの状態を判定する状態判定手段（例えば、実施の形態での状態判定部２２ｂ）とを備え、前記撮像モード切替手段は、前記通常モードにおいて前記白とび検知手段により前記車内領域に前記白とびの発生が検知されると、前記通常モードから前記直射光モードに切り替えを行い、前記直射光モードにおいて前記状態判定手段により前記車内領域が暗い状態であり、かつ、前記車外領域が明るい状態であると判定されると、前記直射光モードから前記通常モードに切り替えを行い、前記直射光モードにおいて前記状態判定手段により前記車内領域が暗い状態であり、かつ、前記車外領域が暗い状態であると判定されると、前記直射光モードから前記暗所モードに切り替えを行う。

また、本発明の第２態様に係る車載撮像装置は、車室内を撮像する撮像手段（例えば、実施の形態でのカメラ１１）と、車内領域および車外領域の輝度を検出する輝度検出手段（例えば、実施の形態での輝度検出部２１）と、前記車室内を照明する発光部（例えば、実施の形態での発光器１４）と、前記輝度検出手段により検出された前記車内領域の輝度と前記車外領域の輝度とに応じて、前記撮像手段のダイナミックレンジおよび前記発光部のオンとオフとによる撮像モードを切り替える撮像モード切替手段（例えば、実施の形態での撮像モード切替部２３）と、を備え、前記撮像モード切替手段は、前記ダイナミックレンジが所定値、かつ、前記発光部がオフである通常モードと、前記ダイナミックレンジが前記所定値より大きく、かつ、前記発光部がオフである直射光モードと、前記ダイナミックレンジが前記所定値より大きく、かつ、前記発光部がオンである暗所モードとの少なくとも３つのモードを切り替えており、前記輝度検出手段により検出された前記輝度に基づき、明るい状態と暗い状態との２つの状態を判定する状態判定手段（例えば、実施の形態での状態判定部２２ｂ）を備え、前記撮像モード切替手段は、前記通常モードにおいて前記状態判定手段により前記車内領域が暗い状態であると判定されると、前記通常モードから前記暗所モードに切り替えを行い、前記暗所モードにおいて前記状態判定手段により前記車外領域が明るい状態であると判定されると、前記暗所モードから前記通常モードに切り替えを行う。

本発明の車載撮像装置によれば、車内領域および車外領域の輝度に応じて最適な撮像モードにて車室内の広範な領域を撮像することができる。
さらに、白とびの発生を防止しつつ、車室内の広範な領域の鮮明な撮像画像を得ることができる。

さらに、車室内を照明することにより、所望の視認性を確保することができる。
さらに、各モードの切り替えにより、白とびの発生を防止しつつ、所望の視認性を確保することができる。

以下、本発明の一実施形態に係る車載撮像装置について添付図面を参照しながら説明する。
本実施の形態による車載撮像装置１０は、例えば図１に示すように、カメラ１１および画像処理部１２からなる撮像装置１３と、発光器１４と、処理装置１５とを備えて構成されている。
さらに、処理装置１５は、例えば、輝度検出部２１と、白とび検知部２２ａおよび状態判定部２２ｂからなる画像解析部２２と、撮像モード切替部２３とを備えて構成されている。

撮像装置１３は、例えば図２に示すように、車室内のマップランプ（図示略）付近のルーフレール（図示略）上に発光器１４と共に配置されている。
カメラ１１は魚眼レンズ（例えば、画角＝１９０°）を備え、車室内と、フロントおよびリアおよびサイドの各ウィンドウ越しの外界とを、可視光領域および赤外線領域にて撮像可能である。
なお、カメラ１１の撮像範囲は、例えば乗員の人数を把握可能であることを要件として、フロントシートをより重視しつつリアシートをも含むように、かつ、例えば事故時などに乗員の傷害程度を把握可能であることを要件として、相対的に加害頻度が高い部位（例えば、各ピラー、インスツルメントパネル、ステアリングホイール、ドアパネル等）を含むように、かつ、例えば事故形態および乗員の位置を把握可能であることを要件として、ウィンドウおよび乗員の動作範囲を含むように設定されている。
また、カメラ１１の設置位置は、例えば衝突発生時にカメラ１１が破損する可能性が相対的に低い位置、例えば車体変形が小さい位置などに設定されている。
画像処理部１２はカメラ１１の撮影により得られた撮像画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して処理装置１５へ出力する。
カメラ１１は処理装置１５から出力される制御信号によって制御され、ダイナミックレンジを変更可能である。

発光器１４は、例えば発光ダイオードやランプ等を備え、車室内を可視光領域および赤外線領域にて照明可能であり、処理装置１５から出力される制御信号によってオンおよびオフの状態が切り替えられる。

処理装置１５の輝度検出部２１は、撮像装置１３から出力される画像データＰの各画素の輝度を検出し、例えば図３に示すように、車室内のフロントシートの乗員の顔部および胸部を含む車内領域Ａと、車両のサイドウィンドウ越しの外界を含む２つの車外領域Ｂ１，Ｂ２とに対して、例えば図４に示すように、輝度値の度数分布を生成する。

画像解析部２２は、輝度検出部２１から出力される画像データＰの各領域Ａ，Ｂ１，Ｂ２毎の輝度値（例えば、輝度値＝０〜２５５）の度数分布に対して、例えば下記表１に示すように、輝度値に対する閾値、例えば暗い状態閾値ＴＨ１（例えば、ＴＨ１＝５０）および白とび閾値ＴＨ２（例えば、ＴＨ２＝２５０）と、画像データＰの全画素数に対する所定輝度範囲の画素数（ピクセル数）の割合に対する閾値、例えば暗い状態閾値ＴＨ１未満の輝度値の範囲に対する暗い状態割合閾値ＳＨ１（例えば、ＳＨ１＝５０％）および白とび閾値ＴＨ２以上の輝度値の範囲に対する白とび割合閾値ＳＨ２（例えば、ＳＨ２＝１０％）とを、予め記憶している。

白とび検知部２２ａは、輝度検出部２１から出力される画像データＰのうち、特に、車内領域Ａの輝度値（例えば、輝度値＝０〜２５５）の度数分布に対して、画像データＰの全画素数に対する白とび閾値ＴＨ２以上の輝度値の範囲（白とびの範囲）の画素数（ピクセル数）の割合が、白とび割合閾値ＳＨ２（例えば、ＳＨ２＝１０％）以上であるか否かを判定し、この判定結果が「ＹＥＳ」の場合には、白とびが発生していると判断する。一方、この判定結果が「ＮＯ」の場合には、白とびが発生していないと判断する。

状態判定部２２ｂは、輝度検出部２１から出力される画像データＰの各領域Ａ，Ｂ１，Ｂ２毎の輝度値（例えば、輝度値＝０〜２５５）の度数分布に対して、画像データＰの全画素数に対する暗い状態閾値ＴＨ１未満の輝度値の範囲（暗い状態の範囲）の画素数（ピクセル数）の割合が、暗い状態割合閾値ＳＨ１以上であるか否かを判定し、この判定結果が「ＹＥＳ」の場合には、暗い状態が発生していると判断する。一方、車内領域Ａに対して、この判定結果が「ＮＯ」であって、かつ、白とび検知部２２ａによって白とびが発生していないと判定されている場合には、車内領域Ａにおいて明るい状態が発生していると判断すると共に、各車外領域Ｂ１，Ｂ２に対して、この判定結果が「ＮＯ」である場合には、各車外領域Ｂ１，Ｂ２において明るい状態が発生していると判断する。

撮像モード切替部２３は、白とび検知部２２ａおよび状態判定部２２ｂでの検知結果に応じて、例えば図５に示すように、カメラ１１のダイナミックレンジが所定値かつ発光器１４がオフである通常モードと、カメラ１１のダイナミックレンジが所定値より大きくかつ発光器１４がオフである直射光モードと、カメラ１１のダイナミックレンジが所定値より大きくかつ発光器１４がオンである暗所モードとの３つの撮像モードを切り替え、各撮像モードに応じてカメラ１１のダイナミックレンジと発光器１４のオンおよびオフの状態とを指示する制御信号を出力する。

本実施の形態による車載撮像装置１０は上記構成を備えており、次に、この車載撮像装置１０の動作、特に、撮像モードを切り替える処理について説明する。

先ず、図６に示すステップＳ０１においては、撮像モードが暗所モードであるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ０８に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０２に進む。
そして、ステップＳ０２においては、撮像モードが通常モードであるか否かを判定する。
ステップＳ０２の判定結果が「ＮＯ」の場合、つまり撮像モードが直射光モードである場合には、後述するステップＳ１１に進む。
一方、ステップＳ０２の判定結果が「ＹＥＳ」の場合には、ステップＳ０３に進む。

そして、ステップＳ０３においては、撮像装置１３から出力される画像データＰの各画素の輝度を検出し、画像データＰの各領域Ａ，Ｂ１，Ｂ２毎の輝度値（例えば、輝度値＝０〜２５５）の度数分布を生成すると共に、各領域Ａ，Ｂ１，Ｂ２毎に対して、暗い状態と明るい状態と白とびとのうちの何れの状態が発生しているかを判定する。
そして、ステップＳ０４においては、車内領域Ａは白とびの状態であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ１０に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０５に進む。

そして、ステップＳ０５においては、車内領域Ａは暗い状態であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ０６に進む。
一方、この判定結果が「ＮＯ」の場合には、上述したステップＳ０３に戻る。
そして、ステップＳ０６においては、撮像モードとして暗所モードを設定する。

そして、ステップＳ０７においては、撮像装置１３から出力される画像データＰの各画素の輝度を検出し、画像データＰの各領域Ａ，Ｂ１，Ｂ２毎の輝度値（例えば、輝度値＝０〜２５５）の度数分布を生成すると共に、各領域Ａ，Ｂ１，Ｂ２毎に対して、暗い状態と明るい状態と白とびとのうちの何れの状態が発生しているかを判定する。
そして、ステップＳ０８においては、車内領域Ａおよび車外領域Ｂ１，Ｂ２は明るい状態であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ０９に進む。
一方、この判定結果が「ＮＯ」の場合には、上述したステップＳ０７に戻る。
そして、ステップＳ０９においては、撮像モードとして通常モードを設定し、一連の処理を終了する。

また、ステップＳ１０においては、撮像モードとして直射光モードを設定する。
そして、ステップＳ１１においては、撮像装置１３から出力される画像データＰの各画素の輝度を検出し、画像データＰの各領域Ａ，Ｂ１，Ｂ２毎の輝度値（例えば、輝度値＝０〜２５５）の度数分布を生成すると共に、各領域Ａ，Ｂ１，Ｂ２毎に対して、暗い状態と明るい状態と白とびとのうちの何れの状態が発生しているかを判定する。
そして、ステップＳ１２においては、車内領域Ａは暗い状態であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ１３に進む。
一方、この判定結果が「ＮＯ」の場合には、上述したステップＳ１１に戻る。

そして、ステップＳ１３においては、車外領域Ｂ１，Ｂ２は明るい状態であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、上述したステップＳ０９に進む。
一方、この判定結果が「ＮＯ」の場合には、上述したステップＳ０６に進む。

これにより、例えば図５および図７（ａ）および下記表２に示す実施例のように、各領域Ａ，Ｂ１，Ｂ２が明るい状態である通常モードの実行状態において、例えば図５および図７（ｂ）および下記表３に示す実施例のように、各領域Ａ，Ｂ１，Ｂ２のうち少なくとも車内領域Ａが暗い状態であると判定されると、撮像モードが通常モードから暗所モードに切り替えられ、カメラ１１のダイナミックレンジが所定値より大きくなるように設定され、かつ、発光器１４がオフからオンの状態へと切り替えられる。これにより、例えば図５および図７（ｃ）および下記表４に示す実施例のように、車内領域Ａが暗い状態から明るい状態へと変化する。

また、発光器１４がオンの状態であることに起因して車内領域Ａが明るい状態である暗所モードの実行状態において、各車外領域Ｂ１，Ｂ２が明るい状態であると判定されると、撮像モードが暗所モードから通常モードに切り替えられ、カメラ１１のダイナミックレンジが所定値より大きくされる制御が停止され、かつ、発光器１４がオンからオフの状態へと切り替えられる。

また、例えば図５および図８（ａ）および下記表５に示す実施例のように、各領域Ａ，Ｂ１，Ｂ２が明るい状態である通常モードの実行状態において、例えば図５および図８（ｂ）および下記表６に示す実施例のように、各領域Ａ，Ｂ１，Ｂ２のうち車内領域Ａが白とびの状態であると判定されると、撮像モードが通常モードから直射光モードに切り替えられ、カメラ１１のダイナミックレンジが所定値より大きくなるように設定され、かつ、発光器１４がオフの状態を維持するように切り替えられる。これにより、例えば図５および図８（ｃ）および下記表７に示す実施例のように、車内領域Ａが白とびの状態から明るい状態へと変化する。

また、カメラ１１のダイナミックレンジが所定値より大きくなることに起因して車内領域Ａが明るい状態である直射光モードの実行状態において、車内領域Ａが暗い状態かつ各車外領域Ｂ１，Ｂ２が明るい状態であると判定されると、撮像モードが直射光モードから通常モードに切り替えられ、カメラ１１のダイナミックレンジが所定値より大きくされる制御が停止され、かつ、発光器１４がオフの状態を維持するように切り替えられる。これにより、車内領域Ａが暗い状態から明るい状態へと変化する。
また、カメラ１１のダイナミックレンジが所定値より大きくなることに起因して車内領域Ａが明るい状態である直射光モードの実行状態において、各領域Ａ，Ｂ１，Ｂ２が暗い状態であると判定されると、撮像モードが直射光モードから暗所モードに切り替えられ、カメラ１１のダイナミックレンジが所定値より大きくされる制御が維持され、かつ、発光器１４がオフからオンの状態へと切り替えられる。これにより、少なくとも車内領域Ａが暗い状態から明るい状態へと変化する。

上述したように、本実施の形態による車載撮像装置１０によれば、車内領域Ａおよび車外領域Ｂ１，Ｂ２の輝度値の度数分布に応じた最適な撮像モードにて車室内の広範な領域を鮮明に撮像することができる。
さらに、撮像モードの切り替えにより、白とびの発生を防止しつつ、所望の視認性を確保することができる。

本発明の実施の形態に係る車載撮像装置の構成図である。本発明の実施の形態に係るカメラの設置位置を示す図である。本発明の実施の形態に係るカメラの撮影により得られる画像データを示す図である。本発明の実施の形態に係るカメラの撮影により得られる画像データの各画素の輝度値の度数分布の一例を示す図である。本発明の実施の形態に係る通常モードと、直射光モードと、暗所モードとの切り替えに応じた画像データの変化の一例を示す図である。本発明の実施の形態に係る車載撮像装置の動作を示すフローチャートである。本発明の実施の形態に係る通常モードから暗所モードへの切り替えに応じた画像データの各画素の輝度値の度数分布の変化の一例を示す図である。本発明の実施の形態に係る通常モードから直射光モードへの切り替えに応じた画像データの各画素の輝度値の度数分布の変化の一例を示す図である。

符号の説明

１０車載撮像装置
１１カメラ（撮像手段）
１４発光器（発光部）
２１輝度検出部（輝度検出手段）
２２ａ白とび検知部（白とび検知手段）
２２ｂ状態判定部（状態判定手段）
２３撮像モード切替部（撮像モード切替手段）

Claims

車室内を撮像する撮像手段と、
車内領域および車外領域の輝度を検出する輝度検出手段と、
前記車室内を照明する発光部と、
前記輝度検出手段により検出された前記車内領域の輝度と前記車外領域の輝度とに応じて、前記撮像手段のダイナミックレンジおよび前記発光部のオンとオフとによる撮像モードを切り替える撮像モード切替手段と、を備え、
前記撮像モード切替手段は、
前記ダイナミックレンジが所定値、かつ、前記発光部がオフである通常モードと、
前記ダイナミックレンジが前記所定値より大きく、かつ、前記発光部がオフである直射光モードと、
前記ダイナミックレンジが前記所定値より大きく、かつ、前記発光部がオンである暗所モードとの少なくとも３つのモードを切り替えており、
前記輝度検出手段により検出された前記輝度に基づき、白とびの発生を検知する白とび検知手段と、
前記輝度検出手段により検出された前記輝度に基づき、明るい状態と暗い状態との２つの状態を判定する状態判定手段とを備え、
前記撮像モード切替手段は、
前記通常モードにおいて前記白とび検知手段により前記車内領域に前記白とびの発生が検知されると、前記通常モードから前記直射光モードに切り替えを行い、
前記直射光モードにおいて前記状態判定手段により前記車内領域が暗い状態であり、かつ、前記車外領域が明るい状態であると判定されると、前記直射光モードから前記通常モードに切り替えを行い、
前記直射光モードにおいて前記状態判定手段により前記車内領域が暗い状態であり、かつ、前記車外領域が暗い状態であると判定されると、前記直射光モードから前記暗所モードに切り替えを行うことを特徴とする車載撮像装置。
車室内を撮像する撮像手段と、
車内領域および車外領域の輝度を検出する輝度検出手段と、
前記車室内を照明する発光部と、
前記輝度検出手段により検出された前記車内領域の輝度と前記車外領域の輝度とに応じて、前記撮像手段のダイナミックレンジおよび前記発光部のオンとオフとによる撮像モードを切り替える撮像モード切替手段と、を備え、
前記撮像モード切替手段は、
前記ダイナミックレンジが所定値、かつ、前記発光部がオフである通常モードと、
前記ダイナミックレンジが前記所定値より大きく、かつ、前記発光部がオフである直射光モードと、
前記ダイナミックレンジが前記所定値より大きく、かつ、前記発光部がオンである暗所モードとの少なくとも３つのモードを切り替えており、
前記輝度検出手段により検出された前記輝度に基づき、明るい状態と暗い状態との２つの状態を判定する状態判定手段を備え、
前記撮像モード切替手段は、
前記通常モードにおいて前記状態判定手段により前記車内領域が暗い状態であると判定されると、前記通常モードから前記暗所モードに切り替えを行い、
前記暗所モードにおいて前記状態判定手段により前記車外領域が明るい状態であると判定されると、前記暗所モードから前記通常モードに切り替えを行うことを特徴とする車載撮像装置。