JP2021081836A - 体格推定装置および姿勢推定装置 - Google Patents

Abstract

【課題】コストの上昇を招くことなく車内の撮像画像に含まれる乗員画像から体格を取得する装置を構成する。【解決手段】車両の室内を撮影するカメラ６の撮像画像に含まれる乗員の身体画像の複数の骨格点の位置を撮像画像の２次元座標系における骨格点座標として取得する骨格点座標取得部１１を備え、予め設定された複数の骨格点間の距離となる距離情報と、複数の骨格点を結ぶ骨格ラインの基準ラインに対する角度となる角度情報と、が入力されることにより、乗員を正面から見た骨格点の配置となる正面座標を推定して出力するように機械学習を行った正面座標推定部２３を備え、正面座標推定部２３で推定された正面座標から乗員の体格を判定する体格判定部２６を備えた。【選択図】図３

Description

本発明は、車両の車内を撮影するカメラで撮影された乗員の体格を推定する体格推定装置および乗員の姿勢を推定する姿勢推定装置に関する。

体格を推定する装置に関連する技術として特許文献１には、車両（文献では移動体）の乗員をカメラ（文献では撮像装置）で撮影し、光飛行時間測距法により乗員の特徴点までの距離を導出し、複数の特徴点までの距離に基づき乗員の姿勢を識別する識別部を備えた装置が記載されている。

この特許文献１では、ドライバーの頭部や胴体部等の各部位の骨格位置等を特徴点として推定し、識別部は各特徴点の３次元座標からドライバーの姿勢や動作を識別している。この識別ではドライバーの基本姿勢を登録しておき、基本姿勢からの変化に基づいて姿勢を識別しても良い点が記載されている。

また、特許文献２は、車両の車内を撮影するものではないが、フレーム画像から、骨格生成部が乗員の骨格を生成し、乗員（文献では人物）の頭部、胴体、肩等の各身体ジョイント及び身体パーツを推定し、乗員の姿勢を推定する装置が記載されている。

特開２０１９−１４８８６５号公報 特開２０１８−１４７３１３号公報

乗用車を例に挙げると、運転座席に着座したドライバーの運転姿勢から運転状態の把握が可能であり、ドライバーが運転座席に着座する上半身の姿勢はエアーバッグが作動した際のドライバーの保護の観点から重要である。

また、サイドエアーバッグを備えた車両では、助手席、あるいは、後部の乗員席等に着座する乗員の上半身の姿勢が、サイドエアーバッグが配置された内壁に接触するように凭れかかることは避けたいものである。

そこで、車内の乗員の体格と姿勢を把握することにより、ドライバーや乗員に対して必要なメッセージを出力することも考えられるが、特許文献１に記載された技術は、乗員を３次元座標として処理する装置を用いるため、コストの上昇を招くものである。また、この特許文献１の技術では、例えば、画像上で腕が胴部に隠れる位置にある場合に正しい測距が不能となり、３次元座標を用いるため測距情報と特徴点との関係が整合しないこともあった。

更に、特許文献２では、データベースに特徴量に対する教師データや、身体の各パーツおよび各ジョイントの位置と、データベースとから乗員の姿勢を推定するものであるが、乗員の正面から見た乗員の体形を取得するものではなかった。

このような理由から、コストの上昇を招くことなく車内の撮像画像に含まれる身体画像から、その乗員の体格を取得する装置および乗員の姿勢を推定する装置が求められる。

本発明に係る体格推定装置の特徴構成は、車両の室内を撮影するカメラと、カメラにより前記室内を撮影した撮像画像に含まれる乗員の身体画像の複数の骨格点の位置を前記撮像画像の２次元座標系における骨格点座標として取得する骨格点座標取得部を備え、前記骨格点座標で特定される複数の前記骨格点のうち予め設定された複数の前記骨格点間の距離となる距離情報と、前記骨格点座標で特定される複数の前記骨格点を結ぶ骨格ラインの基準ラインに対する角度となる角度情報と、が入力されることにより、前記乗員を正面から見た前記骨格点の配置となる正面座標を推定して出力するように機械学習を行った正面座標推定部を備え、前記正面座標推定部で推定された前記正面座標に基づいて前記乗員の体格を判定する体格判定部を備えている点にある。

この特徴構成によると、骨格点座標取得部が、カメラで撮影された撮像画像から撮像画像に含まれる乗員の複数の骨格点の位置を２次元座標系の骨格点座標として取得する。次に、複数の骨格点のうち予め設定された複数の骨格点間の距離となる距離情報と、複数の骨格点を結ぶ骨格ラインの基準ラインに対する角度となる角度情報と、に基づいて正面座標推定部が乗員を正面から見た際の正面座標を推定し、この推定に基づいて体格判定部が体格を判定する。つまり、複数の骨格点から直接的に乗員の体格を判定するものでは、乗員の姿勢により誤差の発生に繋がるものであるが、この特徴構成では、正面座標に基づいて体格を推定するため誤差を小さくして正確な体格を判定できる。

特に、この構成では、正面座標推定部が、複数の骨格点のうち予め設定された複数の骨格点間の距離となる距離情報と、複数の骨格点を結ぶ骨格ラインの基準ラインに対する角度となる角度情報とが入力されることにより、乗員を正面から見た前記骨格点の配置となる正面座標を推定して出力するように機械学習することで高精度の推定を実現している。更に、この構成では、測距のための構成を必要とせず、撮像画像に基づいて２次元座標系において推定を行うため、例えば、想定された３次元空間で骨格点座標の位置関係を判定する等の処理が不要となり、コスト上昇を抑制し、高速な処理も可能となる。
その結果、コストの上昇を招くことなく車内の撮像画像に含まれる身体画像から、その乗員を正面から見た体格として取得する装置が得られた。

上記構成に加えた構成として、体格を複数種類に区分して記憶する体格記憶部を備え、前記体格判定部は、前記乗員の体格が前記体格記憶部に記憶されている複数種類の体格の何れに含まれるかを判定しても良い。

これによると、複数種類の体格（例えば、米国ＮＨＴＳＡの規格（４９ＣＦＲ Part５７２）のSubpartで区分される体格）、あるいは、人体模型の規格としてＡＦ０５、ＡＭ５０、ＡＭ９５等に区分された体格を、体格記憶部に記憶しておくことにより、体格判定部は、推定された体格が、体格記憶部に記憶されている複数種類の体格の何れに含まれるかの判定が可能となり、身長や体重等の把握も可能となる。

上記構成に加えた構成として、前記車内の座席のシートベースの位置とシートバックの傾斜姿勢とを取得するシート位置取得部を備え、前記シート位置取得部で取得した情報に基づいて前記骨格点座標を補正する補正部を備えても良い。

これによると、シート位置取得部が、座席のシートベースの位置とシートバックの傾斜姿勢とを取得することにより、補正部が、例えば、複数の乗員について予め想定した位置の座席に着座する乗員と同様の骨格点座標を取得するように骨格点座標を補正し、適正な体格を取得することも可能となる。

上記構成に加えた構成として、前記角度情報に基づき、前記車内の座席に着座した前記乗員の上半身の姿勢を判定する姿勢判定部をさらに備えても良い。

これによると、姿勢判定部が、座席に着座した乗員の上半身の傾斜方向と傾斜角とを判別することが可能となる。これにより座席に着座した乗員の上半身と、サイドエアーバッグとの位置関係から必要なメッセージやアラ−ムの出力も可能にする。

上記構成に加えた構成として、前記骨格点座標取得部は、前記車内の座席に着座している前記乗員の上半身の前記骨格点座標を取得し、前記正面座標推定部は、前記骨格点座標取得部で取得した上半身の前記骨格点座標から前記正面座標を推定しても良い。

これによると、カメラの撮像画像に含まれる乗員の上半身だけで正面座標を推定できるため、何れの座席に着座している乗員であっても、正面から見た骨格点の配置となる正面座標を推定できる。

本発明に係る姿勢推定装置の特徴構成は、車両の室内を撮影するカメラと、カメラにより前記室内を撮影した撮像画像に含まれる乗員の身体画像の複数の骨格点の位置を前記撮像画像の２次元座標系における骨格点座標として取得する骨格点座標取得部を備え、前記骨格点座標で特定される複数の前記骨格点のうち予め設定された複数の前記骨格点間の距離となる距離情報と、前記骨格点座標で特定される複数の前記骨格点を結ぶ骨格ラインの基準ラインに対する角度となる角度情報が入力されることにより、前記乗員の姿勢を推定して出力するように機械学習を行った姿勢推定部を備えている点にある。

この特徴構成によると、骨格点座標取得部が、カメラで撮影された撮像画像から撮像画像に含まれる乗員の複数の骨格点の位置を２次元座標系の骨格点座標として取得する。次に、複数の骨格点のうち予め設定された複数の骨格点間の距離となる距離情報と、複数の骨格点を結ぶ骨格ラインの基準ラインに対する角度情報とに基づいて乗員の姿勢を推定する。つまり、姿勢推定部は、距離情報と角度情報とが入力されることにより、乗員の姿勢を推定して出力するように機械学習することで高精度での推定を実現する。また、この構成では、測距のための構成を必要とせず、撮像画像を２次元座標系だけで処理するため、コスト上昇を抑制できる。
その結果、コストの上昇を招くことなく車内の撮像画像に含まれる乗員画像から、その乗員の姿勢を推定する装置が得られた。

上記構成に加えた構成として、前記車内の座席のシートベースの位置とシートバックの傾斜姿勢とを取得するシート位置取得部を備え、前記シート位置取得部で取得した情報に基づいて前記骨格点座標を補正する補正部を備えても良い。

これによると、シート位置取得部が、座席のシートベースの位置とシートバックの傾斜姿勢とを取得することにより、補正部が、例えば、複数の乗員について予め想定した位置の座席に着座する乗員と同様の骨格点座標を取得するように骨格点座標を補正し、適正な姿勢を取得することも可能となる。

上記構成に加えた構成として、前記姿勢推定部で推定された姿勢に基づき前記乗員の体格を判定する体格判定部を備えても良い。

これによると、姿勢推定部で推定された姿勢から、体格判定部が、例えば、傾きのない姿勢を求める等の処理により体格の判定が可能となる。

乗用車の平面図である。 乗用車の座席の配置を示す平面図である。 人体情報処理装置のブロック回路図である。 カメラで撮影した車内の撮像画像である。 基準姿勢にある乗員の身体画像と骨格点等を示す図である。 前傾姿勢にある乗員の身体画像と骨格点等を示す図である。 横傾斜姿勢にある乗員の身体画像と骨格点等を示す図である。 捻れ姿勢にある乗員の身体画像と骨格点と等を示す図である。 人体情報処理装置の処理形態を示すフローチャートである。 体格推定ルーチンのフローチャートである。 別実施形態（ａ）の人体情報処理装置のブロック回路図である。 別実施形態（ａ）の体格推定ルーチンのフローチャートである。 別実施形態（ｂ）の乗員の身体画像と骨格点等を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。
〔全体構成〕
図１、図２に示すように、左右一対の前車輪１と、左右一対の後車輪２とを有する車体Ａの前部にエンジンボンネット３を配置し、車体Ａの中央から後端に亘る領域のルーフ４の下側の室内に複数の座席Ｓ（後述する運転席Ｓ１、助手席Ｓ２、後部座席Ｓ３の上位概念）を配置して乗用車（車両の一例）が構成されている。

図２に示すように、室内に配置された複数の座席Ｓは、前部の左右方向に一方に配置された運転席Ｓ１と、この横に配置された助手席Ｓ２と、この後部位置に配置されたベンチシート型の後部座席Ｓ３とで構成されている。運転席Ｓ１の前側にステアリングホイール５が配置されている。

この乗用車では、運転席Ｓ１と助手席Ｓ２とは、夫々のシートベースの前後位置と上下位置とシートバックの傾斜姿勢との制御を、電動モータを有するシート制御ユニット８（図３を参照）で任意に行えるように構成されている。

図１、図２に示すようにルーフ４の下面の前部位置にオーバヘッドコンソールを備え、これに赤外線画像の撮影が可能なカメラ６と、赤外線の照明を行うライト７とを備えている。また、カメラ６で撮影された撮像画像から乗員（ドライバーを含む乗員）の着座位置を特定し、夫々の乗員の身体画像から複数箇所の骨格点座標を取得し、その乗員の骨格を推定する人体情報処理装置Ｃ（体格推定装置の一例）を車体Ａに備えている。尚、身体画像は撮像画像のうち乗員が存在する領域を切り出したものである。

〔人体情報処理装置〕
図３に示すように人体情報処理装置Ｃは、人体情報取得ユニット１０と、体格取得ユニット２０と、出力ユニット３０とを備えている。これら人体情報取得ユニット１０と、体格取得ユニット２０と、出力ユニット３０とはソフトウエアで構成されるものであるが、データを記憶する部位については半導体メモリが用いられている。尚、人体情報取得ユニット１０と、体格取得ユニット２０と、出力ユニット３０とは一部をロジック回路等のハードウエアで構成することも可能である。

〔人体情報処理装置：人体情報取得ユニット〕
人体情報取得ユニット１０は、骨格点座標取得部１１と、骨格モデル記憶部１２と、乗員存否判定部１３と、シート位置取得部１４とを備えている。

骨格点座標取得部１１は、カメラ６で撮影された撮像画像のうち、複数の座席Ｓの何れかに着座した乗員の骨格点を取得する。ここで、複数の座席Ｓとは、運転席Ｓ１と、助手席Ｓ２と、後部座席Ｓ３であり、図４に示される第１領域Ｅ１、第２領域Ｅ２、３カ所の第３領域Ｅ３ａ、Ｅ３ｂ、Ｅ３ｃの５つの領域の何れかに存在する乗員の骨格点が取得されることになる。

この処理において骨格点座標が取得された場合に、乗員存否判定部１３が撮像画像の２次元座標系において骨格点座標が取得された位置に乗員が存在すると判定する。また、骨格点座標取得部１１は、２次元座標系のうち乗員が存在すると判定された領域における骨格点座標を取得する。

骨格点座標取得部１１は、例えば、図５に示すように乗員の骨格点座標を取得する。同図には乗員の身体画像と骨格点座標とを重ね合わせる状態で、左右の肩部の関節位置と、左右の腰部の関節位置（股関節の位置）と、首部の関節位置とを抽出し、抽出した位置を点で示している。

また、図５に示すように左右の肩部の関節位置を結ぶラインを肩部ラインＬａ（骨格ラインの一例）として示し、左右の腰部の関節を結ぶラインを腰部ラインＬｂ（骨格ラインの一例）として示し、腰部ラインＬｂの中間から背筋に沿うラインを背筋ラインＬｃとして示している。尚、背筋ラインＬｃは、乗員の背筋に沿って上下姿勢となる直線として捉えることが可能である。

骨格点座標取得部１１は、既知の骨格認識処理により撮像画像から人体の複数の関節位置の座標を求める機能を有している。骨格認識処理では骨格モデル記憶部１２に記憶されている骨格モデルを参照することにより各関節位置の座標を決定する。

骨格点座標取得部１１は、肘関節、手首関節、膝関節、足首関節を取得することも可能であるが、体格取得ユニット２０での処理で、前述した肩部ラインＬａと腰部ラインＬｂと背筋ラインＬｃとを必要とするため、これらの情報が２次元座標系（Ｘ−Ｙ平面上の座標）で取得される。

カメラ６は動画を取得する機能を有するものであり、骨格点座標取得部１１は、動画から撮像画像（フレーム）を取得し、取得した撮像画像の複数の骨格点の位置を骨格点座標として、動画のフレームレートと同じレートで取得して更新する。

図４に示すように、カメラ６により車内の撮像画像が取得される。乗員存否判定部１３は、骨格点座標取得部１１で骨格点座標が取得できない場合に車内に乗員が存在しないと判定し、骨格点座標が取得できる場合には、同図に示した第１領域Ｅ１、第２領域Ｅ２、３カ所の第３領域Ｅ３ａ、Ｅ３ｂ、Ｅ３ｃの５つの領域の何れに乗員が存在するかを判別する。

尚、前述した骨格点座標取得部１１は、取得した骨格点が、何れの領域のものであるかを識別可能にする識別情報を付与する。このように識別情報を付与することにより、複数の座席Ｓの何れに着座する乗員であっても、骨格点座標から正面座標を取得する際に座席Ｓに対応した補正が行われる。

つまり、カメラ６が広角レンズで撮影するものであり、複数の座席Ｓとカメラ６との位置関係から座席Ｓに着座した乗員を撮影した場合には、乗員が正面に向かう姿勢であっても、乗員は斜め前方から撮影された画像になることや、身体の一部がデフォルメされた画像になることもある。このような理由から、正面画像を推定する際に、識別情報に基づいて乗員が着座する座席Ｓの位置を識別すると共に、人体情報取得ユニット１０（補正部の一例）は、後述するシート位置取得部１４で取得するシート位置情報に基づいて複数の乗員について予め想定した座席Ｓに着座する乗員と同様の骨格点座標を取得するように骨格点座標の座標変換を行う等の補正を行う。

また、シート位置取得部１４は、シート制御ユニット８により運転席Ｓ１と助手席Ｓ２との何れが制御された場合でも、シート制御ユニット８の制御情報から設定されたシートベースの前後方向の位置及び高さ、シートバックの傾斜角をシート位置情報として取得する。尚、シート位置取得部１４として、シートベースの前後方向の位置及び高さ、シートバックの傾斜角を取得するための専用のセンサを用いても良い。

このように、人体情報取得ユニット１０では、シート制御ユニット８からの情報から、運転席Ｓ１と助手席Ｓ２とに着座する乗員と、カメラ６との相対距離を正確に把握することが可能となり、運転席Ｓ１と助手席Ｓ２との乗員と、カメラ６との距離に対応した補正値を設定し、前述した骨格点座標を補正して出力する。

〔人体情報処理装置：体格取得ユニット〕
図３に示すように、体格取得ユニット２０は、距離情報取得部２１と、傾斜情報取得部２２と、正面座標推定部２３と、学習データ記憶部２４と、姿勢判定部２５と、体格判定部２６と、体格データ記憶部２７（体格記憶部の一例）とを備えている。

図５には、所定の座席Ｓに正常な姿勢（以下、基準姿勢と称する）で着座した乗員を斜めからカメラ６で撮影した身体画像を示しており、肩部ラインＬａと、腰部ラインＬｂとは水平姿勢となり、背筋ラインＬｃは鉛直方向に伸びる姿勢となる。

カメラ６と座席Ｓとの位置関係、及び、カメラ６の撮像レンズの特性から、撮像画像においては、肩部ラインＬａと腰部ラインＬｂとが水平姿勢として現れず、背筋ラインＬｃが鉛直方向に伸びる姿勢で現れないが、体格取得ユニット２０では、これらが水平姿勢、及び、鉛直方向に沿う姿勢として処理される。

距離情報取得部２１は、乗員の左右の肩部の骨格点（骨格点座標）の距離情報を取得する。つまり、図５に示すように基準姿勢にある乗員を体格取得の対象とした場合、乗員の左右の肩部の関節を骨格点（骨格点座標）とした場合に、撮像画像における骨格点の間の距離情報（肩部ラインＬａの長さ）が肩部距離Ｗａ（距離情報の一例）として取得され、左右の腰部の関節を骨格点（骨格点座標）とした場合に、この骨格点の間の距離情報（腰部ラインＬｂの長さ）が腰部距離Ｗｂ（距離情報の一例）として取得される。

尚、肩部距離Ｗａと腰部距離Ｗｂとは、２つの関節を、骨格点座標として、これらを直線で結ぶ骨格ラインの長さを撮像画像のピクセルピッチ（画素の間隔）を基準とした距離情報として取得される。つまり、後述する図６の前傾肩部距離Ｗａｘ（距離情報）と、図７の横傾肩部距離Ｗａｙ（距離情報）と、図８の捻れ肩部距離Ｗａｚ（距離情報）との何れも同様にピクセルピッチを基準とした距離情報として取得される。

更に、後述する図６の前傾腰部距離Ｗｂｘ（距離情報）と、図７の横傾腰部距離Ｗｂｙ（距離情報）と、図８の捻れ腰部距離Ｗｂｚ（距離情報）との何れも同様にピクセルピッチを基準とした距離情報として取得される。

図６には、所定の座席に着座した乗員の上半身が前傾姿勢にある身体画像を示している。同図では、左右の肩部の骨格点（骨格点座標）を結ぶラインを前傾肩部ラインＬａｘ（骨格ラインの一例）として示し、左右の腰部の骨格点（骨格点座標）を結ぶラインを前傾腰部ラインＬｂｘ（骨格ラインの一例）として示し、背筋を前傾背筋ラインＬｃｘとして示している。この前傾姿勢では、基準姿勢の背筋ラインＬｃと比較して前傾背筋ラインＬｃｘが前傾角θ１（角度情報の一例）だけ前傾している。

また、距離情報取得部２１は、前傾肩部ラインＬａｘの長さを前傾肩部距離Ｗａｘ（距離情報の一例）として取得し、前傾腰部ラインＬｂｘの長さを前傾肩部距離Ｗａｘ（距離情報の一例）として取得する。

図７には、所定の座席Ｓに着座した乗員の上半身が横傾姿勢にある身体画像を示している。同図では、左右の肩部の骨格点（骨格点座標）を結ぶラインを横傾肩部ラインＬａｙ（骨格ライン）として示し、左右の腰部の骨格点（骨格点座標）を結ぶラインを横傾腰部ラインＬｂｙ（骨格ライン）として示し、背筋を横傾背筋ラインＬｃｙとして示している。

これにより、距離情報取得部２１は、横傾肩部ラインＬａｙの長さを横傾肩部距離Ｗａｙ（距離情報）として取得し、横傾腰部ラインＬｂｙの長さを横傾腰部距離Ｗｂｙ（距離情報）として取得する。

また、図７に示すように、基準姿勢の肩部ラインＬａと平行する基準ラインＬａｐに対して横傾肩部ラインＬａｙが、横傾肩部角θ２（角度情報）だけ傾斜し、横傾背筋ラインＬｃｙが、腰部ラインＬｂに対して横傾腰部角θ３（角度情報）だけ傾斜している。

図８には、所定の座席Ｓに着座した乗員の上半身が捻れ姿勢である身体画像を示している。同図では、左右の肩部の骨格点（骨格点座標）を結ぶラインを捻れ肩部ラインＬａｚ（骨格ライン）として示し、左右の腰部の骨格点（骨格点座標）を結ぶラインを捻じれ腰部ラインＬｂｚ（骨格ライン）として示し、背筋を捻れ背筋ラインＬＣｚとして示している。この捩れ姿勢では、図８では、基準姿勢の肩部ラインＬａに対して捩れ肩部ラインＬａｚが、捻れ角θ４（角度情報）だけ傾斜している。

これにより、距離情報取得部２１は、捻れ肩部ラインＬａｚの長さを捻れ肩部距離Ｗａｚ（距離情報）として取得し、捩れ腰部ラインＬｂｚの長さを捩れ腰部距離Ｗｂｚ（距離情報）として取得する。

この距離情報取得部２１では、前述したように運転席Ｓ１あるいは助手席Ｓ２の制御により乗員の基準となる位置から変化している場合には、前述したように、人体情報取得ユニット１０（補正部の一例）によって骨格点座標が既に補正されているため、補正後の肩部距離Ｗａ等の距離情報の取得が可能であるが、シート位置取得部１４からのシート位置情報に基づいて、肩部距離Ｗａ等の距離情報を補正することも考えられる。

傾斜情報取得部２２は、図５に示すように乗員の上半身が何れの方向にも傾斜しない基準姿勢にある場合には角度情報として０度を取得する。図６に示すように乗員の上半身が前傾姿勢である場合には、前傾角θ１を取得し、図７に示すように乗員の上半身が横傾姿勢である場合には、横傾肩部角θ２と横傾腰部角θ３とを取得し、図８に示すように乗員の上半身が捻れ姿勢である場合には、捻れ角θ４を取得する。

正面座標推定部２３は、距離情報取得部２１で取得した距離情報と、傾斜情報取得部２２で取得した角度情報とに基づき、学習データ記憶部２４の学習データを参照することで撮像画像から乗員を正面から見た骨格点の配置となる正面座標を推定する。

つまり、正面座標推定部２３は、骨格点座標で特定される複数の骨格点のうち予め設定された複数の骨格点の距離となる距離情報と、骨格点座標で特定される複数の骨格点を結ぶ骨格ラインの基準ラインに対する角度となる角度情報と、が入力されることにより、乗員を正面から見た骨格点の配置となる２次元座標系における正面座標を推定して出力するように機械学習を行ったものである。

学習データ記憶部２４は、撮像画像の骨格点座標の距離情報と傾斜情報とに基づいて正面座標の推定を可能にするパラメータが記憶されている。具体的には、撮像画像の複数の骨格点の座標を正面座標に変換する変換パラメータ、あるいは、撮像画像の複数の骨格点の座標を２次元座標系のＸ−Ｙ方向で補正する位置補正パラメータ等が記憶される。尚、学習データとしては２次元座標系で所定の基準点を基準としたから各骨格点の座標を特定するベクトルパラメータを用いるものでも良い。

姿勢判定部２５は、正面座標推定部２３で取得された正面座標と、傾斜情報取得部２２で取得された角度情報に基づき乗員の上半身の変位量を判定する。つまり、正面座標は乗員を正面から見た基本姿勢にあり、この基本姿勢における頭部の位置の取得が容易であり、姿勢判定部２５は基本姿勢にある乗員の上半身が角度情報に対応する角度だけ傾斜した場合の頭部の位置を取得する。

従って、例えば、図６に示すように乗員の上半身が基準姿勢の背筋ラインＬｃと比較して前傾背筋ラインＬｃｘが前傾角θ１だけ前傾する場合には、この前傾角θ１に基づき上半身の前側への変位量が取得される。

また、姿勢判定部２５は、図７に示すように乗員の上半身が横傾姿勢であり、基準ラインＬａｐに対して横傾肩部ラインＬａｙが、横傾肩部角θ２だけ傾斜し、横傾背筋ラインＬｃｙが、腰部ラインＬｂに対して横傾腰部角θ３だけ傾斜する場合には、これらの角度に基づき上半身の横方向への変位量が容易に取得される。

これと同様に姿勢判定部２５は、図８に示すように横傾背筋ラインＬｃｙが、腰部ラインＬｂに対して横傾腰部角θ３だけ傾斜する場合には、この横傾腰部角θ３に基づき上半身の変位量が取得される。

体格判定部２６は、正面座標推定部２３が推定した正面座標の骨格点座標の距離情報（図５に示す基準姿勢の距離情報）に基づく処理や、テーブル情報を参照することや、距離情報の演算により体格を決定すると共に、決定した体格で体格データ記憶部２７を参照することで体格情報を取得する。

体格データ記憶部２７には、複数種類の体格（例えば、米国ＮＨＴＳＡの規格（４９ＣＦＲ Part５７２）のSubpartで区分される体格）、あるいは、人体模型の規格としてＡＦ０５、ＡＭ５０、ＡＭ９５等に区分された体格を記憶しており、体格判定部２６は、前述のように決定された体格が、体格データ記憶部２７に記憶された複数種類の体格の何れに属するかを判定し、判定した結果を体格情報として出力する。

〔人体情報処理装置：出力ユニット〕
出力ユニット３０は、相対位置判別部３１を備えて構成され、人体情報処理装置Ｃの外部の報知端末９に情報を出力する。

相対位置判別部３１は、姿勢判定部２５で判定される上半身の変位量と、体格判定部２６から出力される体格情報とに基づき、例えば、ドライバーの上半身が、エアーバッグの作動時に強い衝撃を受ける可能性がある姿勢にある場合や、乗員の頭部がサイドエアーバッグに近接する方向にある場合には、報知端末９に対して、姿勢を正すメッセージを出力する。

〔人体情報処理装置の処理形態〕
人体情報処理装置Ｃの処理形態は、図９のフローチャートに示すように、取得した撮像画像に基づいて骨格点座標取得部１１が、骨格点座標を取得する（＃１０１、＃１０２ステップ）。

この処理で骨格点座標の取得が不能であることを乗員存否判定部１３が判定した場合には（＃１０３ステップのＮｏ）、本制御をリターンする。また、骨格点座標が取得できた場合には（＃１０３ステップのＹｅｓ）、乗員存否判定部１３が乗員数と、乗員の位置を特定する（＃１０４ステップ）。

つまり、＃１０３ステップでは、図４に示す第１領域Ｅ１で運転席Ｓ１におけるドライバー（乗員）の存否を判定し、第２領域Ｅ２で助手席Ｓ２における乗員の存否を判定し、後部座席Ｓ３の３カ所の第３領域Ｅ３ａ、Ｅ３ｂ、Ｅ３ｃにおける乗員の存否が判定され、存在が判定された場合にのみ、乗員の存在が認められる。

また、シート位置取得部１４によって取得されたシート位置情報と、識別情報で識別される座席Ｓの夫々について骨格点座標の補正が行われる（＃１０５ステップ）。この補正により、複数の乗員毎に予め想定した位置に着座する乗員と同様の骨格点座標を得る。

次に、撮像画像から乗員の体格を推定する（＃２００ステップ）。この＃２００ステップで乗員の体格と姿勢とを取得した後には、姿勢判定部２５の判定に基づき相対位置を判定し（＃１０６ステップ）する。この相対位置の判定として、ドライバー（乗員）とステアリングホイール５等との相対位置や、乗員とサイドエアーバッグとの相対位置関係が判定される。

この判定の結果、メッセージの出力を必要としない場合には（＃１０７ステップのＮｏ）、本制御をリターンし、メッセージの出力を必要とする場合には（＃１０７ステップのＹｅｓ）、報知端末９から情報を出力する。

＃２００ステップはサブルーチンであり、その処理形態は、図１０のフローチャートに示すように、距離情報取得部２１で左右の肩部、及び、左右の腰部の骨格点座標の距離（骨格点の距離の一例）を取得し、骨格ラインの傾斜角、あるいは、捻れ角を取得する（＃２０１、＃２０２ステップ）。

＃２０１ステップでは、例えば、図５〜図８に示す撮像画像に対応して、肩部ラインＬａの長さを肩部距離Ｗａとして取得し、前傾肩部ラインＬａｘの長さを前傾肩部距離Ｗａｘとして取得する。更に、横傾肩部ラインＬａｙの長さを横傾肩部距離Ｗａｙとして取得し、捻れ肩部ラインＬａｚの長さを捻れ肩部距離Ｗａｚとして取得する。この距離情報は、ピクセルピッチを基準とした距離情報として取得される。

これと同様に、例えば、図５〜図８に示す撮像画像に対応して、腰部ラインＬｂの長さを腰部距離Ｗｂとして取得し、前傾腰部ラインＬｂｘの長さを前傾腰部距離Ｗｂｘとして取得する。更に、横傾腰部ラインＬｂｙの長さを横傾腰部距離Ｗｂｙとして取得し、捻れ腰部ラインＬｂｚの長さを捻れ腰部距離Ｗｂｚとして取得する。この距離情報は、ピクセルピッチを基準とした距離情報として取得される。

＃２０２ステップでは、図６に示す身体画像（撮像画像）から前傾角θ１を取得し、図７に示す身体画像（撮像画像）から横傾肩部角θ２と横傾腰部角θ３とを取得し、図８に示す身体画像（撮像画像）から捻れ角θ４を取得する。

次に、正面座標推定部２３が、距離情報取得部２１で取得した距離情報と、複数の骨格点座標とに基づき、学習データ記憶部２４の学習データを参照することで撮像画像から乗員を正面から見た骨格点の配置となる正面座標を推定する。（＃２０３ステップ）。

撮像画像の乗員は、基準姿勢と、前傾姿勢と、横傾姿勢と、捻れ姿勢と、前傾姿勢あるいは横傾姿勢あるいは捻れ姿勢の少なくとも２つの組み合わせとなる複合姿勢とが想定されている。従って、正面座標推定部２３は、学習データ記憶部２４の変換パラメータ等を用いることにより、撮像画像の複数の骨格点の座標を正面座標に変換する。

次に、正面座標推定部２３で推定された正面座標に基づき体格判定部２６が、体格データ記憶部２７の体格情報を参照することにより、撮像画像の乗員の体格がＡＦ０５、ＡＭ５０、ＡＭ９５等の複数種類に区分された何れの体格情報に属するかを判定する（＃２０４ステップ）。

このように体格情報が取得された後には、取得された体格データと、傾斜情報取得部２２で取得された角度情報とに基づき、出力ユニット３０が必要なメッセージ等の情報を、報知端末９に出力する。報知端末９は文字やアイコン等の情報を出力するディスプレイや、音声を出力するスピーカで構成されている。これにより、例えば、ドライバーの上半身が、エアーバッグの作動時に強い衝撃を受ける可能性がある姿勢にある場合や、乗員の頭部がサイドエアーバッグに近接する方向にある場合には、報知端末９に対して、姿勢を正すメッセージが出力される。

〔実施形態の作用効果〕
このように、人体情報処理装置Ｃは、カメラ６からの撮像画像に基づき車内の複数の座席Ｓに対する乗員の存否（着座の有無）を判定するだけでなく、存在することが判定された乗員毎に、骨格点座標を取得し、乗員の姿勢に拘わらず正面から見た乗員の正面座標を推定する。そして、このように推定した正面座標から体格を判定し、必要な情報を報知端末９に出力する。

つまり、乗員の骨格点座標から直接的に乗員の体格を判定するものでは、乗員の姿勢により骨格点座標の変化が大きいため、判定された体格の誤差が大きくなるものであるが、乗員を正面から骨格点の配置となる正面座標を推定し、この推定に基づいて体格を判定するため、判定される体格の精度の向上を可能にしている。

また、正面座標を推定する際に、撮像画像の２次元座標系に重なるように複数の骨格点の配置を骨格点座標として取得し、この２次元座標系において距離情報と、角度情報とを取得するため、例えば、乗員の骨格点を３次元座標系で取得するものと比較して取得が容易であり、距離情報と角度情報との取得が極めて容易となる。

更に、正面座標推定部２３は、骨格点座標で特定される複数の骨格点のうち予め設定された複数の骨格点の距離となる距離情報と、骨格点座標で特定される複数の骨格点を結ぶ骨格ラインの基準ラインに対する角度となる角度情報とが入力されることにより、乗員を正面から見た骨格点の配置となる２次元座標系における正面座標を推定して出力するように機械学習を行ったものであるため、高精度の推定を実現する。

〔別実施形態〕
本発明は、上記した実施形態以外に以下のように構成しても良い（実施形態と同じ機能を有するものには、実施形態と共通の番号、符号を付している）。

（ａ）人体情報処理装置Ｃとして、実施形態に既に記載した構成のうち、体格取得ユニット２０に代えて姿勢取得ユニット４０を図１１に示すように構成する。

この別実施形態（ａ）では、人体情報取得ユニット１０と、出力ユニット３０とが実施形態に記載したものと共通するものであるが、姿勢取得ユニット４０が実施形態に記載したものと異なっている。つまり、姿勢取得ユニット４０は、実施形態と同様に距離情報取得部２１と、傾斜情報取得部２２と、体格判定部２６と、体格データ記憶部２７とを備えるものであるが、実施形態の正面座標推定部２３と、学習データ記憶部２４と、姿勢判定部２５とを備えず、姿勢推定部２８と、姿勢学習データ記憶部２９を備えた点において実施形態と異なっている。

姿勢推定部２８は、撮像画像の２次元座標系において、複数の骨格点座標のうち予め設定された骨格点を結ぶ骨格ラインが基準ラインに対して傾斜する傾斜姿勢と、乗員の姿勢とを関連付けて機械学習し、撮像画像から乗員の姿勢を推定する。

特に、図６に示す撮像画像を例に挙げると、同図の背筋ラインＬｃが基準ラインであり、図７に撮像画像を例に挙げると、同図の基準ラインＬａｐと、腰部ラインＬｂとが基準ラインであり、図８に示す撮像画像を例に挙げると、基準姿勢の肩部ラインＬａが基準ラインとなる。

この別実施形態（ａ）の制御形態は図９のフローチャートに示す基本的な制御は実施形態と共通するものであるが、図１２のフローチャートに示すようにサブルーチンの制御形態の＃２０３ステップの制御形態が異なる。

つまり、＃２０３ステップでは、姿勢推定部２８が、距離情報取得部２１で取得した距離情報と、複数の骨格点座標とに基づき、姿勢学習データ記憶部２９の学習データを参照することで撮像画像から乗員の姿勢、及び、上半身の変位量を推定する。

姿勢学習データ記憶部２９は、撮像画像の骨格点座標の距離情報と、傾斜情報とに基づいて乗員の姿勢の推定を可能にするデータが記憶されている。乗員の姿勢として、図５に示す基準姿勢と、図６に示す前傾姿勢と、図７に示す横傾姿勢と、図８に示す捻れ姿勢と、前傾姿勢あるいは横傾姿勢あるいは捻れ姿勢の少なくとも２つの組み合わせとなる複合姿勢とが想定され、上半身の変位量の推定を可能にするデータが記憶されている。

この別実施形態（ａ）では、＃２０４ステップにおいて、姿勢推定部２８で推定された乗員の姿勢に基づき体格判定部２６が、体格データ記憶部２７の体格情報を参照することにより、撮像画像の乗員の体格が複数種類の体格（例えば、米国ＮＨＴＳＡの規格（４９ＣＦＲ Part５７２）のSubpartで区分される体格）、あるいは、人体模型の規格としてＡＦ０５、ＡＭ５０、ＡＭ９５等に区分された何れの体格情報に属するかを判定する。

このように別実施形態（ａ）の構成では、骨格点座標で特定される複数の骨格点のうち予め設定された複数の骨格点間の距離となる距離情報と、撮像画像から取得される骨格点座標に基づき複数の骨格点座標のうち予め設定された骨格点を結ぶ骨格ラインが基準ラインに対して傾斜する傾斜姿勢を取得することにより、乗員の上半身の姿勢の推定を実現している。更に、推定された乗員の姿勢に基づいて乗員の体格を判定するため、例えば、複数の骨格点から直接的に乗員の体格を判定するものと比較して判定される体格の誤差を小さくする。

（ｂ）骨格点座標取得部１１が、図１３に示すように乗員の上半身の骨格点座標だけを取得できる状況でも、正面座標推定部２３が正面座標を推定し、体格判定部２６で体格を判定するように処理形態を設定する。

つまり、図１３には、上半身の複数の骨格点として、左右の肩部の座標が決まり、これらの骨格点を結ぶラインとして半身肩部ラインＬａｖを示しており、この半身肩部ラインＬａｖの長さが、骨格点の距離となり、この半身肩部ラインＬａｖの基準ライン（図示せず）に対する角度が角度情報となる。また、この推定を実現するために、上半身の骨格点座標から、正面座標を推定できるように、正面座標推定部２３が機械学習する際の情報が設定されることになる。

従って、後部座席Ｓ３の乗員のように撮像画像に上半身だけが写り込む場合や、助手席Ｓ２であっても、下半身がブランケット等で覆われている場合にも、乗員の正面座標を推定し、体格の判定が可能となる。

（ｃ）体格判定部２６は、正面座標推定部２３が推定した正面座標の骨格点座標の距離情報に基づき、体格を推定するように処理形態を設定する。つまり、正面座標の骨格点座標の距離情報が入力されることにより、乗員の体格を推定して出力するように機械学習を行うことが考えられる。このように機械学習を行うことにより体格判定部２６で判定される体格の精度を高めることも可能となる。

（ｄ）報知端末９に情報を出力する条件が成立した場合に、その条件が成立した状態が、設定時間を超えて継続する際にのみ出力するように制御形態を設定しても良い。これにより、情報が出力される頻度を低減することが可能となる。

本発明は、車両の車内を撮影するカメラで撮影された乗員の体格を推定する装置に利用できる。

６ カメラ
１０ 人体情報取得ユニット（補正部）
１１ 骨格点座標取得部
１４ シート位置取得部
２３ 正面座標推定部
２４ 学習データ記憶部
２５ 姿勢判定部
２６ 体格判定部
２７ 体格データ記憶部（体格記憶部）
Ｓ 座席
Ｓ１ 運転席（座席）
Ｓ２ 助手席（座席）
Ｓ３ 後部座席（座席）
Ｌａｐ 基準ライン
Ｌａ 肩部ライン（骨格ライン）
Ｌｂ 腰部ライン（骨格ライン）
Ｌａｘ 前傾肩部ライン（骨格ライン）
Ｌａｙ 横傾肩部ライン（骨格ライン）
Ｌａｚ 捻れ肩部ライン（骨格ライン）
Ｌｂｘ 前傾腰部ライン（骨格ライン）
Ｌｂｙ 横傾腰部ライン（骨格ライン）
Ｌｂｚ 捻れ腰部ライン（骨格ライン）
Ｗａ 肩部距離（距離情報）
Ｗｂ 腰部距離（距離情報）
Ｗａｘ 前傾肩部距離（距離情報）
Ｗａｙ 横傾肩部距離（距離情報）
Ｗａｚ 捻れ肩部距離（距離情報）
Ｗｂｘ 前傾腰部距離（距離情報）
Ｗｂｙ 横傾腰部距離（距離情報）
Ｗｂｚ 捻れ腰部距離（距離情報）

Claims (8)

1. 車両の室内を撮影するカメラと、
   カメラにより前記室内を撮影した撮像画像に含まれる乗員の身体画像の複数の骨格点の位置を前記撮像画像の２次元座標系における骨格点座標として取得する骨格点座標取得部を備え、
   前記骨格点座標で特定される複数の前記骨格点のうち予め設定された複数の前記骨格点間の距離となる距離情報と、前記骨格点座標で特定される複数の前記骨格点を結ぶ骨格ラインの基準ラインに対する角度となる角度情報と、が入力されることにより、前記乗員を正面から見た前記骨格点の配置となる正面座標を推定して出力するように機械学習を行った正面座標推定部を備え、
   前記正面座標推定部で推定された前記正面座標に基づいて前記乗員の体格を判定する体格判定部を備えている体格推定装置。
2. 体格を複数種類に区分して記憶する体格記憶部を備え、
   前記体格判定部は、前記乗員の体格が前記体格記憶部に記憶されている複数種類の体格の何れに含まれるかを判定する請求項１に記載の体格推定装置。
3. 前記車内の座席のシートベースの位置とシートバックの傾斜姿勢とを取得するシート位置取得部を備え、
   前記シート位置取得部で取得した情報に基づいて前記骨格点座標を補正する補正部を備えている請求項１又は２に記載の体格推定装置。
4. 前記角度情報に基づき、前記車内の座席に着座した前記乗員の上半身の姿勢を判定する姿勢判定部をさらに備えている請求項１〜３の何れか一項に記載の体格推定装置。
5. 前記骨格点座標取得部は、前記車内の座席に着座している前記乗員の上半身の前記骨格点座標を取得し、
   前記正面座標推定部は、前記骨格点座標取得部で取得した上半身の前記骨格点座標から前記正面座標を推定する請求項１〜４の何れか一項に記載の体格推定装置。
6. 車両の室内を撮影するカメラと、
   カメラにより前記室内を撮影した撮像画像に含まれる乗員の身体画像の複数の骨格点の位置を前記撮像画像の２次元座標系における骨格点座標として取得する骨格点座標取得部を備え、
   前記骨格点座標で特定される複数の前記骨格点のうち予め設定された複数の前記骨格点間の距離となる距離情報と、前記骨格点座標で特定される複数の前記骨格点を結ぶ骨格ラインの基準ラインに対する角度となる角度情報が入力されることにより、前記乗員の姿勢を推定して出力するように機械学習を行った姿勢推定部を備えている姿勢推定装置。
7. 前記車内の座席のシートベースの位置とシートバックの傾斜姿勢とを取得するシート位置取得部を備え、
   前記シート位置取得部で取得した情報に基づいて前記骨格点座標を補正する補正部を備えている請求項６に記載の姿勢推定装置。
8. 前記姿勢推定部で推定された姿勢に基づき前記乗員の体格を判定する体格判定部を備えている請求項６又は７に記載の姿勢推定装置。

Images