JP2020130502A - 情報処理装置および情報処理方法 - Google Patents

Abstract

【課題】利用者の撮影が停止されている場合であっても、利用者の感情を推定することができる情報処理装置を提供する。【解決手段】情報処理装置１２は、自動車１０の利用者の撮影を停止するオフ情報を取得する内部カメラスイッチ情報取得部７４と、利用者を撮影した画像を取得する利用者画像取得部７６と、自動車１０の挙動を含む車両情報を取得する車両情報取得部７８と、利用者の情報である利用者情報を取得する利用者情報取得部８０と、少なくともオフ情報が取得された場合に、取得された車両情報および利用者情報に基づいて、利用者の感情を推定する感情推定部８８と、を有する。【選択図】図１

Description

本発明は、移動体の利用者の感情を推定する情報処理装置および情報処理方法に関する。

特許文献１には、運転者の挙動を車室内カメラにより検出し、検出した運転者の挙動に応じて運転者の感情を推定する感情推定装置が開示されている。

特開２０１７−１３８７６２号公報

しかしながら、上記の特許文献１に記載された技術では、車室内カメラにより運転者（利用者）の撮影が停止している場合には、運転者の感情を推定することができなかった。

本発明は、上記の問題を解決するためになされたものであり、利用者の撮影が停止されている場合であっても、利用者の感情を推定することができる情報処理装置および情報処理方法を提供することを目的とする。

本発明の第１の態様は、情報処理装置であって、移動体の利用者の撮影を停止するオフ情報を取得するオフ情報取得部と、前記利用者を撮影した画像を取得する画像取得部と、前記移動体の挙動を含む移動体情報を取得する移動体情報取得部と、前記利用者の情報である利用者情報を取得する利用者情報取得部と、少なくとも前記オフ情報が取得された場合に、取得された前記移動体情報および前記利用者情報に基づいて、前記利用者の感情を推定する推定部と、を有する。

本発明の第２の態様は、情報処理方法であって、移動体の利用者の撮影を停止するオフ情報を取得するオフ情報取得ステップと、前記利用者を撮影した画像を取得する画像取得ステップと、前記移動体の挙動を含む移動体情報を取得する移動体情報取得ステップと、前記利用者の情報である利用者情報を取得する利用者情報取得ステップと、少なくとも前記オフ情報が取得された場合に、取得された前記移動体情報および前記利用者情報に基づいて、前記利用者の感情を推定する推定ステップと、を有する。

本発明の情報処理装置および情報処理方法により、利用者の撮影が停止されている場合であっても、利用者の感情を推定することができる。

情報処理装置の構成を示すブロック図である。 機械学習装置の学習結果に基づく感情推定の概要について説明する図である。 利用者の感情が眠気と推定されたときの仮想アシスタントによる提案の例を示す図である。 利用者の感情が焦燥感と推定されたときの仮想アシスタントによる提案の例を示す図である。 機械学習装置において行われる機械学習処理の流れを示すフローチャートである。 情報処理装置において行われる仮想アシスタント制御処理の流れを示すフローチャートである。 情報処理装置の構成を示すブロック図である。

〔第１の実施の形態〕
［情報処理装置の構成］
図１は、本実施の形態の自動車１０に搭載されている情報処理装置１２の構成を示すブロック図である。本実施の形態の情報処理装置１２は自動車１０に搭載されているが、情報処理装置１２は、利用者が自動車１０に持ち込むスマートフォン、タブレットまたはパーソナルコンピュータ等の情報処理機器に搭載されていてもよい。また、情報処理装置１２は、自動車１０と通信を行うことが可能な自動車１０の外部に設置されたサーバに搭載されていてもよい。なお、自動車１０は、本発明の移動体に相当する。

情報処理装置１２は、自動車１０に乗車している利用者の感情を推定し、推定した感情に応じて、後述する仮想アシスタント１１２を介して、利用者に、休憩、音楽の再生等の提案を行う。また、情報処理装置１２は、利用者に提案した事項に応じて自動車１０内の装置を操作する。

情報処理装置１２は、自動車１０に搭載されている以下の入力装置から情報を入力する。自動車１０には、入力装置として、車体挙動取得装置１４、操作量取得装置１６、周辺状況監視装置１８、測位装置２０、ナビゲーション装置２２、利用者監視装置２４、通信装置２６、入力系のヒューマンマシンインタフェース（以下、ＨＭＩ）２８が搭載されている。

車体挙動取得装置１４は、自動車１０の車体挙動情報を取得する。自動車１０は、車体挙動取得装置１４として、車速を取得する車速センサ３０、車輪速を取得する車輪速センサ３２、自動車１０の前後加速度、横加速度および上下加速度を取得する加速度センサ３４、および、自動車１０のヨーレイトを取得するヨーレイトセンサ３６を有している。

操作量取得装置１６は、利用者による運転操作の操作量情報を取得する。自動車１０は、操作量取得装置１６として、アクセルペダルの操作量を取得するアクセルペダルセンサ３８、ブレーキペダルの操作量を取得するブレーキペダルセンサ４０、ステアリングの操舵角を取得する操舵角センサ４２、および、ステアリングに付与される操舵トルクを取得する操舵トルクセンサ４４を有している。

周辺状況監視装置１８は、自動車１０の周辺状況を監視する。周辺状況とは、自動車１０周辺の他車両、建造物、標識、車線等の状況を示す。自動車１０は、周辺状況監視装置１８として、自動車１０の外部を撮影する複数の外部カメラ４６、ミリ波を用いて被検出物と自動車１０との距離等を取得する複数のミリ波レーダ４８、および、レーザ光（赤外線）を用いて被検出物と自動車１０との距離等を取得する複数のレーザレーダ（ＬｉＤＡＲ）５０を有している。

測位装置２０は、自動車１０の位置情報を取得する。自動車１０は、測位装置２０として、人工衛星から発信される信号を用いて自動車１０の位置を測定する全球測位衛星システム（ＧＮＳＳ）５２、および、３軸のジャイロと３方向の加速度センサを用いて自動車１０の三次元の挙動を取得する慣性計測装置（ＩＭＵ）５４を有している。

ナビゲーション装置２２は、地図データベース５６に基づき作成した地図を後述するディスプレイ７２に表示させ、また、その地図上に測位装置２０において取得された自動車１０の位置情報を表示させる。さらに、ナビゲーション装置２２は、利用者の後述するタッチパネル６４の操作に基づき自動車１０の目的地を設定し、自動車１０の現在位置から目的地までの目標経路を設定する。ナビゲーション装置２２は、設定した目標経路に基づいて経路案内を表示するようにディスプレイ７２を制御する。また、ナビゲーション装置２２は、設定した目標経路に基づいて経路案内を発声するように後述するスピーカ７０を制御する。地図データベース５６の情報、および、ナビゲーション装置２２において設定された目標値および目標経路の情報は、情報処理装置１２に入力される。なお、地図データベース５６は、自動車１０に搭載されていなくともよく、後述する通信装置２６を介して、外部に設置されたサーバから地図情報を取得するようにしてもよい。また、ナビゲーション装置２２は、通信装置２６を介して、高度道路交通システム（ＩＴＳ）等から、渋滞情報、工事情報等の道路情報を取得し、地図上に道路情報を表示させるようにディスプレイ７２を制御するようにしてもよい。

利用者監視装置２４は、利用者の状態を監視する。自動車１０は、利用者監視装置２４として、自動車１０に乗車している利用者を撮影する内部カメラ５８、および、自動車１０に乗車している利用者の心拍数、脈拍、脳波または呼吸数等の生体情報を計測する生体センサ６０を有している。生体センサ６０は、ステアリング等の利用者の手が接触する場所に搭載されていてもよいし、自動車１０のシート等の利用者の身体が接触する場所に搭載されていてもよいし、利用者が身に着けているウェアラブル端末に搭載されていてもよい。さらには、生体センサ６０は、利用者に電波を照射し、反射された電波から利用者の生体情報を計測する非接触のものであってもよい。

通信装置２６は、不図示の外部機器との間で無線通信を行う。外部機器は、例えば、渋滞情報、工事情報等の道路情報を配信する道路情報配信サーバ、気象情報を配信する気象情報配信サーバ等である。通信装置２６は、テレマティクスコントロールユニット（ＴＣＵ）等のように自動車１０に専用に設けられるものであってもよいし、携帯電話やスマートフォン等が通信装置２６として用いられてもよい。

入力系のＨＭＩ２８は、利用者に操作されることにより、所定の信号を情報処理装置１２に送信する。本実施の形態の自動車１０は、入力系のＨＭＩ２８として、内部カメラスイッチ６２およびタッチパネル６４を有している。

内部カメラスイッチ６２は、前述の内部カメラ５８による利用者の撮影を行うオン状態と、内部カメラ５８による利用者の撮影を停止するオフ状態とを切り替えるスイッチである。

タッチパネル６４は、後述するディスプレイ７２の画面上に貼着された透明なフィルム状の部材であって、利用者の指やスタイラス等が触れた操作位置情報を取得する。情報処理装置１２には、タッチパネル６４により取得された操作位置情報と、ディスプレイ７２に表示されたアイコン等の表示位置との関係に基づき、利用者からの指示が入力される。

情報処理装置１２は、自動車１０に搭載されている以下の出力装置に情報を出力する。出力装置として自動車１０には、出力系のＨＭＩ６６およびオーディオ・ビジュアル装置（以下、ＡＶ装置）６８が搭載されている。

出力系のＨＭＩ６６は、音、音声、音楽、文字および画像等により利用者に情報の提供や報知を行う。本実施の形態の自動車１０は、ＨＭＩ６６として、スピーカ７０およびディスプレイ７２を有している。スピーカ７０は、音、音声、音楽等により利用者に情報の提供や報知を行う。ディスプレイ７２は、文字、画像等により利用者に情報の提供や報知を行う。

ＡＶ装置６８は、ラジオ放送信号、テレビ放送信号等を受信し、受信した信号に応じて音、音声、音楽、文字および画像等が出力されるようにスピーカ７０およびディスプレイ７２を制御する。なお、ＡＶ装置６８は、スピーカ７０およびディスプレイ７２から出力される音、音声、音楽、文字および画像等は、ＡＶ装置６８内に記憶されているものであってもよいし、リムーバブルメディアに記憶されたものであってもよいし、ストリーミング配信されたものであってもよい。

情報処理装置１２は、内部カメラスイッチ情報取得部７４、利用者画像取得部７６、車両情報取得部７８、利用者情報取得部８０、道路情報取得部８２、気象情報取得部８４、学習結果取得部８６、感情推定部８８および仮想アシスタント制御部９０を有している。

内部カメラスイッチ情報取得部７４は、内部カメラスイッチ６２の状態（オンまたはオフ）を取得する。なお、内部カメラスイッチ情報取得部７４は、本発明のオフ情報取得部に相当する。

利用者画像取得部７６は、内部カメラ５８から利用者の画像を取得する。内部カメラスイッチ６２がオフ状態である場合には、利用者は画像を取得されない。なお、利用者画像取得部７６は、本発明の画像取得部に相当する。

車両情報取得部７８は、車体挙動取得装置１４から自動車１０の車体挙動情報を車両情報として取得する。また、車両情報取得部７８は、測位装置２０から自動車１０の位置情報を車両情報として取得する。なお、車両情報取得部７８は、本発明の移動体情報取得部に相当する。

利用者情報取得部８０は、操作量取得装置１６から利用者による運転操作の操作量情報を利用者情報として取得する。

道路情報取得部８２は、ナビゲーション装置２２、または、通信装置２６から道路情報を取得する。
気象情報取得部８４は、通信装置２６から気象情報を取得する。

学習結果取得部８６は、後述する機械学習装置９２において、利用者の感情と、車両情報および利用者情報との関連について、利用者毎に機械学習された学習結果を取得する。

感情推定部８８は、内部カメラスイッチ６２の状態がオンである場合には、取得された利用者の画像に基づき、利用者の感情を推定する。また、感情推定部８８は、内部カメラスイッチ６２の状態がオフである場合には、取得された車両情報、利用者情報、道路情報および気象情報に基づき、利用者の感情を推定する。感情推定部８８は、車両情報、利用者情報、道路情報および気象情報のすべての情報を用いて利用者の感情を推定しなくともよく、少なくとも車両情報および利用者情報に基づき、利用者の感情を推定するようにすればよい。なお、感情推定部８８は、本発明の推定部に相当する。

仮想アシスタント制御部９０は、推定された利用者の感情に基づき、後述する仮想アシスタント１１２を制御する。

さらに、自動車１０には機械学習装置９２が搭載されている。機械学習装置９２は、情報処理装置１２から利用者の画像を取得し、取得した利用者の画像に基づき、利用者の感情を推定する。また、機械学習装置９２は、情報処理装置１２から車両情報、利用者情報、道路情報および気象情報を取得する。そして、機械学習装置９２は、推定した利用者の感情と、取得した車両情報、利用者情報、道路情報および気象情報との関連について機械学習を行い、利用者毎に学習結果を記憶する。

なお、本実施の形態の機械学習装置９２は自動車１０に搭載されているが、機械学習装置９２は、利用者が自動車１０に持ち込むスマートフォン、タブレットまたはパーソナルコンピュータ等の情報処理端末に搭載されていてもよい。また、機械学習装置９２は、自動車１０と通信を行うことが可能な自動車１０の外部に設置されたサーバに搭載されていてもよい。

機械学習装置９２は、内部カメラスイッチ情報取得部９４、利用者画像取得部９６、車両情報取得部９８、利用者情報取得部１００、道路情報取得部１０２、気象情報取得部１０４、感情推定部１０６、学習部１０８および学習結果記憶部１１０を有している。

内部カメラスイッチ情報取得部９４は、情報処理装置１２から内部カメラスイッチ６２の状態（オンまたはオフ）を取得する。
利用者画像取得部９６は、情報処理装置１２から利用者の画像を取得する。

車両情報取得部９８は、情報処理装置１２から車両情報（自動車１０の車体挙動情報および位置情報）を取得する。

利用者情報取得部１００は、情報処理装置１２から利用者情報（利用者による運転操作の操作量情報）を取得する。

道路情報取得部１０２は、情報処理装置１２から道路情報を取得する。
気象情報取得部１０４は、情報処理装置１２から気象情報を取得する。
感情推定部１０６は、利用者の画像に基づき、利用者の感情を推定する。

学習部１０８は、推定された利用者の感情と、そのとき取得された車両情報、利用者情報、道路情報および気象情報との関連について機械学習する。

学習結果記憶部１１０は、利用者の感情と、車両情報、利用者情報、道路情報および気象情報との関連についての学習結果を、利用者毎に記憶する。

［学習結果に基づく感情推定の概要］
図２は、機械学習装置９２における機械学習、および、情報処理装置１２における学習結果に基づく感情推定の概要について説明する図である。

機械学習装置９２の感情推定部１０６は、利用者の画像を解析して、利用者の感情を推定する。

学習部１０８は、推定された利用者の感情が平静である場合には、そのとき取得された車両情報、利用者情報、道路情報および気象情報を「平静である状態」として学習する。学習部１０８は、推定された利用者の感情が焦燥感である場合、つまり、利用者がイライラしている場合には、そのとき取得された車両情報、利用者情報、道路情報および気象情報を「焦燥感がある状態」として学習する。学習部１０８は、推定された利用者の感情が眠気である場合には、そのとき取得された車両情報、利用者情報、道路情報および気象情報を「眠気がある状態」として学習する。本実施の形態の機械学習装置９２の学習部１０８は、平常、焦燥感、眠気の３つの利用者の感情に対する車両情報、利用者情報、道路情報および気象情報を学習するが、さらに多くの利用者の感情に対する車両情報、利用者情報、道路情報および気象情報を学習してもよい。

学習結果記憶部１１０は、「平静である状態」、「焦燥感がある状態」および「眠気がある状態」のそれぞれに対して、車両情報、利用者情報、道路情報および気象情報を学習結果として記憶する。

情報処理装置１２の学習結果取得部８６は、学習結果記憶部１１０に記憶されている学習結果を取得する。

感情推定部８８は、取得された車両情報、利用者情報、道路情報および気象情報に対応する利用者の感情を学習結果に照会して、利用者の感情を推定する。

［仮想アシスタントによる提案の具体例］
図３は、利用者の感情が眠気と推定されたときの仮想アシスタント１１２による提案の例を示す図である。

仮想アシスタント１１２はディスプレイ７２に表示される。また、仮想アシスタント１１２の音声がスピーカ７０から発声される。本実施の形態の仮想アシスタント１１２は、人をモチーフにしたキャラクタとして表示されるが、動物、ロボット等をモチーフにしたキャラクタとして表示されるようにしてもよい。また、実際に人を撮影した映像を表示させるようにしてもよい。さらには、仮想アシスタント１１２はディスプレイ７２に表示されず、音声のみがスピーカ７０から発声されるようにしてもよい。

利用者に眠気がある場合には、仮想アシスタント１１２は、例えば、休憩の提案を行う。このとき、仮想アシスタント１１２は「コーヒーブレイクしませんか？近くにコーヒショップがありますよ」と利用者に呼びかける。また、仮想アシスタント１１２は、ディスプレイ７２に自動車１０の周辺地図１１４を表示させ、周辺地図１１４上に、自動車１０の現在位置１１６と近隣のコーヒショップ１１８とを表示させる。

図４は、利用者の感情が焦燥感と推定されたときの仮想アシスタント１１２による提案の例を示す図である。

自動車１０が渋滞にはまって利用者がイライラしている場合には、仮想アシスタント１１２は、例えば、音楽を流す提案を行う。このとき、仮想アシスタント１１２は「ひどい渋滞ですね、音楽でも聴いてリラックスしませんか？」と利用者に呼びかける。また、仮想アシスタント１１２は、利用者の感情を落ち着かせる音楽を選択し、ディスプレイ７２に選択した音楽情報１２０を表示させる。

［機械学習処理］
図５は、機械学習装置９２において行われる機械学習処理の流れを示すフローチャートである。

ステップＳ１において、機械学習装置９２は、内部カメラスイッチ情報取得部９４が取得した内部カメラスイッチ６２の状態がオンであるか否かを判定する。内部カメラスイッチ６２の状態がオンである場合にはステップＳ２へ移行し、内部カメラスイッチ６２の状態がオフである場合には機械学習処理を終了する。

ステップＳ２において、車両情報取得部９８は、情報処理装置１２から車両情報（自動車１０の車体挙動情報および位置情報）を取得して、ステップＳ３へ移行する。

ステップＳ３において、利用者情報取得部１００は、情報処理装置１２から利用者情報（利用者による運転操作の操作量情報）を取得して、ステップＳ４へ移行する。

ステップＳ４において、道路情報取得部１０２は、情報処理装置１２から道路情報を取得して、ステップＳ５へ移行する。

ステップＳ５において、気象情報取得部１０４は、情報処理装置１２から気象情報を取得して、ステップＳ６へ移行する。

ステップＳ６において、利用者画像取得部９６は、情報処理装置１２から利用者の画像を取得して、ステップＳ７へ移行する。

ステップＳ７において、感情推定部１０６は、利用者の画像から利用者の感情を推定して、ステップＳ９へ移行する。

ステップＳ８において、学習部１０８は、利用者の感情を判定する。利用者の感情が平静である場合にはステップＳ９へ移行し、焦燥感である場合にはステップＳ１０へ移行し、眠気である場合にはステップＳ１１へ移行する。

ステップＳ９において、学習部１０８は、取得された車両情報、利用者情報、道路情報および気象情報を「平静である状態」として、学習結果記憶部１１０に記憶させて、機械学習処理を終了する。

ステップＳ１０において、学習部１０８は、取得された車両情報、利用者情報、道路情報および気象情報を「焦燥感があるときの状態」として、学習結果記憶部１１０に記憶させて、機械学習処理を終了する。

ステップＳ１１において、学習部１０８は、取得された車両情報、利用者情報、道路情報および気象情報を「眠気がある状態」として、学習結果記憶部１１０に記憶させて、機械学習処理を終了する。

［仮想アシスタント制御処理］
図６は、情報処理装置１２において行われる仮想アシスタント制御処理の流れを示すフローチャートである。

ステップＳ２１において、情報処理装置１２は、内部カメラスイッチ情報取得部７４が取得した内部カメラスイッチ６２の状態がオフであるか否かを判定する。内部カメラスイッチ６２の状態がオフである場合にはステップＳ２２へ移行し、内部カメラスイッチ６２の状態がオンである場合にはステップＳ２８へ移行する。

ステップＳ２２において、車両情報取得部７８は、車体挙動取得装置１４および測位装置２０から車両情報（自動車１０の車体挙動情報および位置情報）を取得して、ステップＳ２３へ移行する。

ステップＳ２３において、利用者情報取得部８０は、操作量取得装置１６から利用者情報（利用者による運転操作の操作量情報）取得して、ステップＳ２４へ移行する。

ステップＳ２４において、道路情報取得部８２は、ナビゲーション装置２２、または、通信装置２６から道路情報を取得して、ステップＳ２５へ移行する。

ステップＳ２５において、気象情報取得部８４は、通信装置２６から気象情報を取得して、ステップＳ２６へ移行する。

ステップＳ２６において、学習結果取得部８６は、機械学習装置９２の学習結果記憶部１１０に記憶されている学習結果を取得して、ステップＳ２７へ移行する。

ステップＳ２７において、感情推定部８８は、取得された車両情報、利用者情報、道路情報および気象情報に対応する利用者の感情を学習結果に照会して、利用者の感情を推定し、ステップＳ３０へ移行する。

ステップＳ２１において、内部カメラスイッチ６２の状態がオンである場合にはステップＳ２８へ移行する。ステップＳ２８において、利用者画像取得部７６は、内部カメラ５８が撮影した利用者の画像を取得して、ステップＳ２９へ移行する。

ステップＳ２９において、感情推定部８８は、取得された利用者の画像に基づいて、利用者の感情を推定し、ステップＳ３０へ移行する。

ステップＳ３０において、仮想アシスタント制御部９０は、推定された利用者の感情に応じて、利用者に提案する提案事項を決定して、ステップＳ３１へ移行する。さらに、仮想アシスタント制御部９０は、取得された車両情報、利用者情報、道路情報および気象情報を考慮して、提案事項を決定してもよい。例えば、利用者の感情が眠気であって、自動車１０の付近にコーヒショップがあるときには、仮想アシスタント制御部９０は、コーヒショップでの休憩を提案事項として決定する。

ステップＳ３１において、仮想アシスタント制御部９０は、仮想アシスタント１１２を表示するようにディスプレイ７２を制御する。また、仮想アシスタント制御部９０は、仮想アシスタント１１２に決定した提案事項を利用者に提案する発声を行うようにスピーカ７０を制御して、ステップＳ３２へ移行する。

ステップＳ３２において、仮想アシスタント１１２は、決定した提案事項に基づいて、他の装置を制御して、仮想アシスタント制御処理を終了する。例えば、仮想アシスタント制御部９０が、コーヒショップでの休憩を提案事項として決定した場合には、仮想アシスタント制御部９０は、ディスプレイ７２に自動車１０の周辺地図１１４を表示し、周辺地図１１４上に、自動車１０の現在位置１１６と近隣のコーヒショップ１１８とを表示させるようにナビゲーション装置２２を制御する。

［作用効果］
従来から、内部カメラ５８が撮影した利用者の画像から利用者の感情を推定するものが提案されている。しかし、利用者が内部カメラ５８により撮影を好まない場合がある。その場合、内部カメラ５８による撮影が停止され、その間、利用者の画像から利用者の感情を推定できない。

そこで、本実施の形態の情報処理装置１２は、内部カメラスイッチ６２がオフである場合には、車両情報および利用者情報に基づいて利用者の感情を推定する。これにより、情報処理装置１２は、内部カメラ５８による撮影が停止されている場合であっても、利用者の感情を推定することができる。

また、本実施の形態の情報処理装置１２は、機械学習装置９２から学習結果を取得する。この学習結果は、機械学習装置９２において、利用者の画像に基づいて利用者の感情を推定し、推定された利用者の感情と、取得された車両情報および利用者情報との関連について、利用者毎に機械学習が行われたものの結果である。そして、情報処理装置１２は、取得した車両情報および利用者情報と、取得した学習結果とに基づいて利用者の感情を推定する。これにより、情報処理装置１２は、内部カメラ５８による撮影が停止されている場合であっても、利用者の感情を精度よく推定することができる。

〔変形例〕
第１の実施の形態では、機械学習装置９２は、内部カメラ５８が撮影した利用者の画像に基づいて利用者の感情を推定する。これを、生体センサ６０が計測した利用者の生体情報に基づいて利用者の感情を推定するようにしてもよい。

機械学習装置９２において、利用者の画像に基づく利用者の感情の推定と、利用者の生体情報に基づく利用者の感情の推定とは、両方行われてもよいし、一方が行われてもよい。

利用者は、内部カメラ５８による撮影と同様に、生体センサ６０による計測を好まない場合がある。その場合、生体センサ６０による計測が停止され、その間、利用者の生体情報から利用者の感情を推定できない。したがって、生体センサ６０による計測が停止されている場合にも、第１の実施の形態の情報処理装置１２のように、取得した車両情報および利用者情報と、取得した学習結果とに基づいて利用者の感情を推定することは有効である。

以下に、生体センサ６０が計測した利用者の生体情報に基づいて利用者の感情を推定する場合の情報処理装置１２の構成について説明する。情報処理装置１２による各処理は、第１の実施の形態において内部カメラ５８が撮影した利用者の画像を用いて行われている処理を、生体センサ６０が計測した利用者の生体情報を用いて処理するようにすればよい。

図７は、情報処理装置１２の構成を示すブロック図である。以下、第１の実施の形態と異なる構成についてのみ説明する。

入力系のＨＭＩ２８は、第１の実施の形態の内部カメラスイッチ６２に代えて生体センサスイッチ６３を有している。

生体センサスイッチ６３は、生体センサ６０による利用者の生体情報の計測を行うオン状態と、生体センサ６０による利用者の生体情報の計測を停止するオフ状態とを切り替えるスイッチである。

情報処理装置１２は、第１の実施の形態の内部カメラスイッチ情報取得部７４に代えて生体センサスイッチ情報取得部７５を、第１の実施の形態の利用者画像取得部７６に代えて生体情報取得部７７を有している。

生体センサスイッチ情報取得部７５は、生体センサスイッチ６３の状態（オンまたはオフ）を取得する。なお、生体センサスイッチ情報取得部７５は、本発明のオフ情報取得部に相当する。

生体情報取得部７７は、生体センサ６０から利用者の生体情報を取得する。生体センサ６０がオフ状態である場合には、利用者の生体情報は取得されない。なお、オフ状態とは生体センサ６０からの情報が取得できない場合も含む。

機械学習装置９２は、第１の実施の形態の内部カメラスイッチ情報取得部９４に代えて生体センサスイッチ情報取得部９５を、利用者画像取得部９６に代えて生体情報取得部９７を有している。

〔実施の形態から得られる技術的思想〕
上記実施の形態から把握しうる技術的思想について、以下に記載する。

情報処理装置（１２）は、移動体（１０）の利用者の撮影を停止するオフ情報を取得するオフ情報取得部（７４）と、前記利用者を撮影した画像を取得する画像取得部（７６）と、前記移動体の挙動を含む移動体情報を取得する移動体情報取得部（７８）と、前記利用者の情報である利用者情報を取得する利用者情報取得部（８０）と、少なくとも前記オフ情報が取得された場合に、取得された前記移動体情報および前記利用者情報に基づいて、前記利用者の感情を推定する推定部（８８）と、を有する。これにより、情報処理装置は、内部カメラによる撮影が停止されている場合であっても、利用者の感情を推定することができる。

上記の情報処理装置であって、前記移動体情報は前記移動体の位置情報を含んでもよい。これにより、情報処理装置は、内部カメラによる撮影が停止されている場合であっても、利用者の感情を精度よく推定することができる。

上記の情報処理装置であって、取得された前記画像に基づいて前記利用者の感情を推定し、推定された前記利用者の感情と、取得された前記移動体情報および前記利用者情報との関連について、前記利用者毎に機械学習が行われた結果を取得する学習結果取得部（８６）を有し、前記推定部は、取得された前記移動体情報および前記利用者情報と、取得された前記機械学習の結果とに基づいて前記利用者の感情を推定してもよい。これにより、情報処理装置は、内部カメラによる撮影が停止されている場合であっても、利用者の感情を精度よく推定することができる。

上記の情報処理装置であって、前記推定部は、前記利用者の感情として、少なくとも眠気を推定してもよい。これにより、情報処理装置は、内部カメラによる撮影が停止されている場合であっても、利用者の感情として眠気を推定することができる。

情報処理方法は、移動体（１０）の利用者の撮影を停止するオフ情報を取得するオフ情報取得ステップと、前記利用者を撮影した画像を取得する画像取得ステップと、前記移動体の挙動を含む移動体情報を取得する移動体情報取得ステップと、前記利用者の情報である利用者情報を取得する利用者情報取得ステップと、少なくとも前記オフ情報が取得された場合に、取得された前記移動体情報および前記利用者情報に基づいて、前記利用者の感情を推定する推定ステップと、を有する。これにより、情報処理装置は、内部カメラによる撮影が停止されている場合であっても、利用者の感情を推定することができる。

情報処理装置（１２）は、移動体（１０）の利用者の生体情報の計測を停止するオフ情報を取得するオフ情報取得部（７５）と、計測された前記利用者の前記生体情報を取得する生体情報取得部（７７）と、前記移動体の挙動を含む移動体情報を取得する移動体情報取得部（７８）と、前記利用者の情報である利用者情報を取得する利用者情報取得部（８０）と、少なくとも前記オフ情報が取得された場合に、取得された前記移動体情報および前記利用者情報に基づいて、前記利用者の感情を推定する推定部（８８）と、を有する。これにより、情報処理装置は、生体センサによる生体情報の計測が停止されている場合であっても、利用者の感情を推定することができる。

１０…自動車（移動体） １２…情報処理装置
７４…内部カメラスイッチ情報取得部（オフ情報取得部）
７６…利用者画像取得部（画像取得部） ７８…車両情報取得部（移動体情報取得部）
８０…利用者情報取得部 ８６…学習結果取得部
８８…感情推定部（推定部）

Claims (5)

1. 移動体の利用者の撮影を停止するオフ情報を取得するオフ情報取得部と、
   前記利用者を撮影した画像を取得する画像取得部と、
   前記移動体の挙動を含む移動体情報を取得する移動体情報取得部と、
   前記利用者の情報である利用者情報を取得する利用者情報取得部と、
   少なくとも前記オフ情報が取得された場合に、取得された前記移動体情報および前記利用者情報に基づいて、前記利用者の感情を推定する推定部と、
   を有する、情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記移動体情報は前記移動体の位置情報を含む、情報処理装置。
3. 請求項１または２に記載の情報処理装置であって、
   取得された前記画像に基づいて前記利用者の感情を推定し、推定された前記利用者の感情と、取得された前記移動体情報および前記利用者情報との関連について、前記利用者毎に機械学習が行われた結果を取得する学習結果取得部を有し、
   前記推定部は、取得された前記移動体情報および前記利用者情報と、取得された前記機械学習の結果とに基づいて前記利用者の感情を推定する、情報処理装置。
4. 請求項１〜３のいずれか１項に記載の情報処理装置であって、
   前記推定部は、前記利用者の感情として、少なくとも眠気を推定する、情報処理装置。
5. 移動体の利用者の撮影を停止するオフ情報を取得するオフ情報取得ステップと、
   前記利用者を撮影した画像を取得する画像取得ステップと、
   前記移動体の挙動を含む移動体情報を取得する移動体情報取得ステップと、
   前記利用者の情報である利用者情報を取得する利用者情報取得ステップと、
   少なくとも前記オフ情報が取得された場合に、取得された前記移動体情報および前記利用者情報に基づいて、前記利用者の感情を推定する推定ステップと、
   を有する、情報処理方法。

Images