JP6816531B2 - 乗員監視装置 - Google Patents

Description

本発明は、車両の乗員の乗車状態を監視する乗員監視装置に関する。

従来、車室内の状況、具体的には車両の乗員の状況を検出する技術が検討されてきた。この種の技術として例えば下記に出典を示す特許文献１及び２に記載のものがある。

特許文献１に記載の検出システムは、車両のシートを含む空間の温度分布を赤外線アレイセンサにより検出し、この検出結果に基づき乗員が睡眠中であるか否かを判断する。睡眠中であると判断された場合にはディスプレイに乗員が睡眠中であることを示すアイコンを表示する。また、赤外線アレイセンサの検出結果に基づき、乗員の付近に設置されている空調機を制御するアイコンをディスプレイに表示したりもする。更には、赤外線アレイセンサの検出結果に基づき、乗員のシートベルトの着用の有無を検出し、乗員がシートベルトを着用していない場合には、シートベルトを着用していないことを通知したりもする。

特許文献２に記載の同乗者着座姿勢検出・判定装置は、同乗者の顔を撮影するカメラとシートベルト装着センサとを用いて、同乗者の着座姿勢を検出している。具体的には、シートに着座する同乗者がシートベルトを装着している状態で、カメラで取得した画像データから抽出した顔画像領域と、前回取得された画像データにおける顔画像領域とを比較し、動き方向や動き量が許容範囲を超える場合に危険か否かを判定し、危険であると判定した時に報知する。特許文献２に記載の同乗者着座姿勢検出・判定装置は、このようにしてシートから急に立ち上がったり、窓から顔を出したりするような状況を検出している。

特開２０１５−９６４１３号公報 特開２００８−１９９５１５号公報

例えば、夏場の日中などにあっては、車内の温度はかなり上昇するため、特許文献１に記載の技術のように温度分布により装置を制御する構成では車内の温度変化等の外乱の影響を受け、誤動作に繋がる恐れがある。また、特許文献２に記載の技術では、同乗者の状況の検出に限定しており、運転者の挙動を検出することまで想定されていない。また、タングとバックルとの係合によりシートベルトの装着を検知しているが、例えば、乗員がシートベルトを装着しておらず、シートベルトを乗員の背中とシート（シートの背部）との間を通してタングとバックルとを係合している場合であっても、シートベルト装着センサは正しくシートベルトを装着していると判定してしまう。このように特許文献１及び２に記載の技術では、車両の乗員の乗車状況を適切に判定することができないため、適切に乗員を監視することができない。

そこで、車両の乗員の乗車状況を適切に監視することが可能な乗員監視装置が求められる。

本発明に係る乗員監視装置の特徴構成は、車両に設けられたシートの前方から前記シートに向かって撮影する赤外線カメラと、前記シートに着座する乗員が装着可能に設けられ、赤外線を反射する材料を含んで形成されるシートベルトと、前記赤外線カメラにより取得された撮像画像に含まれる前記シートベルトを特定する特定部と、前記特定部により特定された前記シートベルトの形態に基づき、前記乗員の前記シートベルトの装着状態を推定する推定部と、を備え、前記推定部により推定された前記装着状態により前記乗員の乗車状態を監視する点にある。

このような特徴構成とすれば、シートベルトに赤外線を反射し易い材料を追加し、赤外線カメラでシートベルトを検出するため、外乱の影響を受けずに検出することが可能となる。また、赤外線カメラによりシートベルトと乗員を映し、乗員がシートベルトを適切に装着しているか否かを判定することができる。したがって、乗員の実際の位置や姿勢を認識し、車両の乗員の乗車状況を適切に監視したり警告したりすることができる。また、シートベルトを特定することにより、シートベルトの装着義務違反を防止することも可能となる。

また、前記シートベルトは、前記材料を用いて前記赤外線カメラによる撮影時に判別可能な模様が付され、前記特定部は、前記撮像画像に含まれる前記模様の形態に基づき前記シートベルトを特定し、前記推定部は、予め取得された前記シートベルトを乗員が装着した場合の撮像画像における前記模様の形態と、前記特定部により特定された前記模様の形態とに基づいて前記装着状態を推定すると好適である。

このように、赤外線を反射し易い材料を用いてシートベルトに特徴的な模様（例えば所定の間隔で付された模様）を形成することで、乗員の位置や姿勢の変化に対してシートベルトの引出量と間隔の変化の両方を照合することで、高精度に乗員の位置や姿勢を検知することが可能となる。

また、前記赤外線カメラは、前記撮像画像を予め設定された時間毎に取得し、前記推定部は、前記赤外線カメラにより取得された複数の前記撮像画像における前記シートベルトの形態の時系列変化に基づいて前記装着状態を推定すると好適である。

このような構成とすれば、シートベルトの位置の時系列変化に基づいて、乗員の位置や姿勢の変化を推定し易くなる。

また、前記シートベルトは、少なくとも心拍及び呼吸のいずれか一方を検出する生体センサが設けられ、前記推定部は、前記生体センサの検出結果に基づいて前記装着状態を推定すると好適である。

このような構成とすれば、乗員のシートベルトの装着状態や乗員の位置や姿勢を高精度に推定することが可能となる。また、乗員の体調も検知することが可能となる。

乗員監視装置の構成を模式的に示すブロック図である。 推定部により比較する撮像画像の一例を示した図である。 乗員監視装置により処理を示すフローチャートである。

本発明に係る乗員監視装置は、乗員の乗車状態を監視する機能を備えている。以下、本実施形態の乗員監視装置１について説明する。

図１は、本実施形態に係る乗員監視装置１の構成を模式的に示したブロック図である。図１に示されるように、乗員監視装置１は、赤外線カメラ１０、シートベルト２０、特定部３０、推定部４０、記憶部５０、顔認識部６０、報知部７０の各機能部を備えて構成され、特に特定部３０、推定部４０、記憶部５０、顔認識部６０、報知部７０の各機能部は、乗員の乗車状態の監視に係る処理を行うために、ＣＰＵを中核部材としてハードウェア又はソフトウェア或いはその両方で構築されている。

赤外線カメラ１０は、車両に備えられたシートの前方からシートに向かって撮影する。赤外線カメラ１０は、例えば光量が少ない場合（夜間や逆光時）であっても取得した撮像画像に映るものを判別できるように構成されているが、このような赤外線カメラ１０は公知であるので詳細な説明は省略する。また、本乗員監視装置１で用いられる赤外線カメラ１０は、従来、車両に設けられている赤外線カメラを利用することが可能である。本実施形態では、赤外線カメラ１０は車両のシートに人が着座した場合に、少なくとも当該人の顔と適切に装着されたシートベルト２０（後述する）とが撮像画像に含まれるように撮影範囲及び撮影方向が設定されている。

シートベルト２０は、シートに着座する乗員が装着可能に設けられる。このシートベルト２０は、赤外線カメラ１０の撮影範囲内のシートに着座する人が装着できるように設けられたものである。したがって、シートに着座する乗員とは、シートに人が着座した際には上記赤外線カメラ１０の撮影対象となる。

このシートベルト２０は、赤外線を反射する材料を含んで形成される。赤外線を反射する材料とは、反射率１００％の材料に限定されるものではなく、赤外線の反射率が高い（例えば９０％程度以上）材料であると良い。具体的には、例えば金、銀、銅、アルミニウムなどが相当する。シートベルト２０は、このような赤外線を反射し易い材料を含んで形成される。このような構成により、赤外線カメラ１０に搭載されている赤外線ＬＥＤの光を使用して、シートベルト２０を認識させ易くできる。なお、赤外線の反射率が高い材料は、金、銀、銅、アルミニウム以外の材料であっても良い。

また、シートベルト２０は、赤外線を反射する材料を用いて赤外線カメラ１０による撮影時に判別可能な模様が付される。判別可能な模様とは、赤外線カメラ１０により取得された撮像画像内において、シートベルト２０自体及び延出方向を認識することができる模様である。具体的には、例えばシートベルト２０の延出方向に対して直交する方向（シートベルト２０の幅方向）に沿って所定の間隔（均一な間隔）で付された模様とすると好適である。もちろん、シートベルト２０の延出方向に沿って所定の間隔で模様を付すことも可能である。

特定部３０は、赤外線カメラ１０により取得された撮像画像に含まれるシートベルト２０を特定する。特定部３０には、赤外線カメラ１０により取得された撮像画像が伝達される。上述したようにシートベルト２０には赤外線を反射する材料を用いて模様が付されている。そこで、特定部３０は、撮像画像に含まれる模様の形態に基づき、シートベルト２０を特定する。模様の形態とは、赤外線を反射する材料で形成された模様の形態である。例えば模様がシートベルト２０の延出方向に対して直交する方向に沿って所定の間隔で付される場合には、撮像画像に含まれる所定の間隔で延出するパターンが相当する。特定部３０は、このようなパターンに基づき、撮像画像に含まれるシートベルト２０を特定する。

推定部４０は、特定部３０により特定されたシートベルト２０の形態に基づき、乗員のシートベルト２０の装着状態を推定する。特定部３０により特定されたシートベルト２０の形態とは、撮像画像に含まれるシートベルト２０に付された模様に基づくパターンである。乗員のシートベルト２０の装着状態とは、乗員が装着しているシートベルト２０の状態である。

推定部４０は、予め取得されたシートベルト２０を乗員が装着した場合の撮像画像における模様の形態と、特定部３０により特定された模様の形態とに基づいて装着状態を推定する。予め取得されたシートベルト２０を乗員が装着した場合の撮像画像における模様の形態とは、万が一の場合であっても乗員を保護できるように適切に乗員に装着されたシートベルト２０を予め撮影し、この撮像画像に含まれるシートベルト２０に付された模様に基づくパターンである。このようなパターンは、記憶部５０に予め記憶されている。したがって、記憶部５０に記憶されている模様の形態は、乗員が正しくシートベルト２０を装着した場合のパターンとなる。そこで、推定部４０は、このような記憶部５０に記憶された模様の形態と、特定部３０により特定された模様の形態とを比較し、パターン認識により乗員のシートベルト２０の装着状態を推定する。

図２の（ａ）には、記憶部５０に予め記憶されている乗員が正しくシートベルト２０を装着した場合の模様に基づくパターンが示される。図２の（ａ）は、シートベルト２０の延出方向に対して直交する方向に沿って所定の間隔で付された模様に基づくパターンの例が示される。もちろん、このパターンは、乗員がシートベルト２０を装着した状態で撮影したものであっても良い。

一方、図２の（ｂ）、（ｃ）、（ｄ）は、シートを向いて赤外線カメラ１０が撮影した際に取得された撮像画像から特定部３０が特定したシートベルト２０のパターンの一例である。（ｂ）は、乗員がシートベルト２０を適切に装着した場合におけるパターンである。（ｃ）は、乗員の背中とシート（シートの背部）との間にシートベルト２０を通した状態で、乗員がシートに着座した場合のパターンである。（ｄ）は、乗員がシートベルト２０を脇の下を通してシート着座した場合のパターンである。

推定部４０は、記憶部５０に予め記憶されている（ａ）のパターンと、赤外線カメラ１０により取得された撮像画像に基づくシートベルト２０のパターンとを比較し、パターン認識を行う。例えば運転席の乗員がシートベルト２０を適切に装着して場合には、パターンは（ｂ）のようになる。（ｂ）のパターンは（ａ）のパターンと同様に、所定の間隔を有する模様が所定の方向に沿って延出していることから、推定部４０は、シートベルト２０が適切に装着されている状態であると推定する。

一方、（ｃ）のパターンでは、左上部と右下部は所定の間隔からなる模様が所定の方向に沿って延出しているが、中央部は模様が存在していない。このため、推定部４０は、シートベルト２０よりも赤外線カメラ１０側に乗員が着座し、適切にシートベルト２０を装着していない状態であると推定する。

また、（ｄ）のパターンでは、左上部から中央部に対してパターンが連続的に延出しておらず、パターンが直線状に並んでいない。このため、推定部４０は、乗員がシートベルト２０を脇下に通しており、適切にシートベルト２０を装着していない状態であると推定する。このようにして推定部４０は、シートベルト２０が適切に装着されているか否かを推定する。推定部４０の推定結果は、後述する顔認識部６０に伝達される。

顔認識部６０は、撮像画像から乗員の顔を認識する。顔の認識については、公知の画像認識処理を行うことが可能であるので説明は省略する。顔認識部６０の認識結果は後述する報知部７０に伝達される。

報知部７０は、シートベルト２０が適切に装着されておらず、顔認識部６０により顔（運転者の顔）が認識された場合には、警告を促すように報知する。また、シートベルト２０が適切に装着されている場合であって、顔認識部６０により運転者の顔が認識され、且つ、運転者の顔の位置が不適切である場合には、居眠り運転や脇見運転の可能性があると想定されるため、報知部７０は報知を行う。

一方、助手席に対しては、シートベルト２０が適切に装着されていない場合であって、顔認識部６０により顔が認識されない場合には、シートに物を載置し、当該物が移動しないようにシートベルト２０で固定している状態であると想定されるため、報知部７０は報知を行わない。また、シートベルト２０が適切に装着され、顔認識部６０により顔が認識されない場合もシートに物を載置し、当該物が移動しないようにシートベルト２０で固定している状態であると想定されるため、報知部７０は報知を行わない。もちろん、シートベルト２０が適切に装着されている場合であって、顔認識部６０により顔が認識されるが、当該顔が運転者の顔でない場合には、同乗者の睡眠中であると想定されるため、報知部７０は報知を行わない。

このようにして乗員監視装置１は推定部４０により推定されたシートベルト２０の装着状態により乗員の乗車状態を監視する。また、このように構成することで、シートに物を載置し、シートベルト２０で固定している場合には報知しないようにすることが可能となる。また、シートベルト２０と乗員との位置を相対的に検出することで、乗員が適切な姿勢で、且つ、適切な位置に着座しているのか否かを判定することが可能となる。

図３は、乗員監視装置１による乗員の監視に関する処理を示すフローチャートである。乗員監視装置１は、エンジンの始動後（ステップ＃０１：Ｙｅｓ）、乗員の監視を開始する。シートに設けられた着座センサが荷重を検出すると（ステップ＃０２：Ｙｅｓ）、赤外線カメラ１０が撮像画像の取得を開始する（ステップ＃０３）。

赤外線カメラ１０により取得された撮像画像において特定部３０がシートベルト２０を認識（特定）すると（ステップ＃０４：Ｙｅｓ）、顔認識部６０により顔認識が行われる。顔認識部６０により顔が認識されると（ステップ＃０５：Ｙｅｓ）、顔の位置が異常であるか否かを判定される。顔の位置が異常であり（ステップ＃０６：Ｙｅｓ）、且つ、当該顔が運転者の顔である場合には（ステップ＃０７：Ｙｅｓ）、報知部７０が報知を行う（警告を行う）（ステップ＃０８）。

ステップ＃０５において顔認識部６０が撮像画像から顔を認識できない場合（ステップ＃０５：Ｎｏ）や、ステップ＃０６において顔の位置が異常でない場合（ステップ＃０６：Ｎｏ）や、ステップ＃０７において撮像画像に含まれる顔が運転者の顔でない場合（ステップ＃０７：Ｎｏ）には、ステップ＃０２に戻り、処理が継続される。

ステップ＃０４において、特定部３０がシートベルト２０を認識できない場合にも、顔認識部６０が顔認識処理を行う。顔認識部６０が顔を認識すると（ステップ＃０９：Ｙｅｓ）、報知部７０が報知を行う（ステップ＃０８）。一方、顔認識部６０が顔を認識できない場合には（ステップ＃０９：Ｎｏ）、ステップ＃０２に戻り、処理が継続される。乗員監視装置１は、このようなフローに沿って乗員の監視を行う。

〔その他の実施形態〕
上記実施形態では、推定部４０は、予め取得されたシートベルト２０を乗員が装着した場合の撮像画像における模様の形態と、特定部３０により特定された模様の形態とに基づいてシートベルト２０の装着状態を推定するとして説明した。例えば、赤外線カメラ１０が撮像画像を予め設定された時間毎に取得し、推定部４０が赤外線カメラ１０により取得された複数の撮像画像におけるシートベルト２０の形態の時系列変化に基づいてシートベルト２０の装着状態を推定するように構成することも可能である。このような構成によれば、シートベルト２０の移動に応じてシートベルト２０の装着状態を推定することが可能となる。

また、シートベルト２０は、少なくとも心拍及び呼吸のいずれか一方を検出する生体センサが設けられると好適である。シートベルト２０は適切に装着すると、乗員の胸部と接するため、心拍や呼吸を検出できていれば、シートベルト２０を適切に装着できているとすることが可能である。したがって、推定部４０は、生体センサの検出結果に基づいて乗員のシートベルト２０の装着状態や乗員の位置や姿勢を高精度に推定することが可能となる。また、乗員の体調も検知することが可能となる。

上記実施形態では、シートベルト２０と顔認識に基づき報知するとして説明したが、報知するだけでなく、シートベルト２０の未装着時には運転開始を防止するために、例えばハンドルロックやシフトロックを行うように構成することも可能である。

また、運転中に被写体の運転者の位置が大きく変化した場合や、シートベルト２０の認識ができなくなった場合には、車両を安全に緊急停止させるように構成することも可能である。

本発明は、車両の乗員の乗車状態を監視する乗員監視装置に用いることが可能である。

１：乗員監視装置
１０：赤外線カメラ
２０：シートベルト
３０：特定部
４０：推定部

Claims (3)

1. 車両に設けられたシートの前方から前記シートに向かって撮影する赤外線カメラと、
   前記シートに着座する乗員が装着可能に設けられ、赤外線を反射する材料を含んで形成されるシートベルトと、
   前記赤外線カメラにより取得された撮像画像に含まれる前記シートベルトを特定する特定部と、
   前記特定部により特定された前記シートベルトの形態に基づき、前記乗員の前記シートベルトの装着状態を推定する推定部と、を備え、
   前記赤外線カメラは、前記撮像画像を予め設定された時間毎に取得し、
   前記推定部は、前記赤外線カメラにより取得された複数の前記撮像画像における前記シートベルトの形態の時系列変化に基づいて前記装着状態を推定し、
   前記推定部により推定された前記装着状態により前記乗員の乗車状態を監視する乗員監視装置。
2. 前記シートベルトは、前記材料を用いて前記赤外線カメラによる撮影時に判別可能な模様が付され、
   前記特定部は、前記撮像画像に含まれる前記模様の形態に基づき前記シートベルトを特定し、
   前記推定部は、予め取得された前記シートベルトを乗員が装着した場合の撮像画像における前記模様の形態と、前記特定部により特定された前記模様の形態とに基づいて前記装着状態を推定する請求項１に記載の乗員監視装置。
3. 前記シートベルトは、少なくとも心拍及び呼吸のいずれか一方を検出する生体センサが設けられ、
   前記推定部は、前記生体センサの検出結果に基づいて前記装着状態を推定する請求項１又は２に記載の乗員監視装置。

Images