JP6911505B2 - データ収集装置及び学習装置 - Google Patents

Description

本発明はデータ収集装置及び学習装置に関する。

特許文献１には、不特定人物の表情を認識して、その人物の感情を推定する感情推定装置が提案されている。具体的には、特許文献１には、所定の感情に関連付けられた特定人物の表情画像を利用して表情マップを作成し、作成した表情マップ及び不特定人物の表情画像に基づいて、当該不特定人物の感情を推定することが提案されている。

特開２００８−１４６３１８号公報

従来、特許文献１に例示されるように、対象人物の表情画像からその対象人物の感情を推定する技術が存在する。しかしながら、本件発明者は、このような従来の技術では、対象人物の感情を推定することはできても、その感情を誘発した要因までは推定することができないという問題点があることを見出した。

本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、対象人物の感情を誘発した要因を推定可能にする技術を提供することである。

本発明は、上述した課題を解決するために、以下の構成を採用する。

すなわち、本発明の一側面に係るデータ収集装置は、人物の感情が表出する第１データを取得する第１取得部と、前記第１データの取得に並行して、前記人物の感情に影響を及ぼし得る因子に関する第２データを取得する第２取得部と、取得した前記第１データに基づいて、任意の時刻における前記人物の感情の種別を特定する感情特定部と、前記任意の時刻における前記人物の感情の誘発に関連する誘発時間内に取得した前記第２データを、特定した前記任意の時刻における前記人物の感情の種別に関連付けて保存することにより、前記人物の感情の種別ごとに前記第２データを分類する分類処理部と、を備える。

上記構成に係るデータ収集装置は、人物の感情が表出する第１データと、人物の感情に影響を及ぼし得る因子に関する第２データとを同一の時系列に対応付けて並行的に取得する。第１データは、人物の感情が表出し得る何らかのデータであればよく、例えば、人物の顔を写した画像データ等である。また、第２データは、人物の感情に影響を及ぼし得る因子に関する何らかのデータであればよく、例えば、人物の生体データ、人物の周囲の環境を示す環境データ等である。

そして、上記構成に係るデータ収集装置は、第１データに基づいて対象人物の感情の種別を特定し、その感情の誘発に関連する誘発時間内に取得した第２データを、特定した感情の種別に関連付けて保存する。これにより、上記構成に係るデータ収集装置によれば、対象人物の感情に影響を及ぼし得る因子に関する第２データを当該対象人物の感情の種別ごとに分類して収集することができる。すなわち、対象人物の感情を誘発した要因となり得る影響因子のデータ（第２データ）を感情の種別ごとに分類したデータベースを作成することができる。この感情の種別ごとに分類した影響因子のデータを利用すれば、対象人物の感情を誘発した要因を分析することができる。したがって、上記構成によれば、対象人物の感情を誘発した要因を推定可能にする技術を提供することができる。

上記一側面に係るデータ収集装置において、前記感情特定部は、前記第１データを入力すると、前記第１データに表出する前記人物の感情の種別を示す値を出力するように学習した学習済みの学習器を用いて、前記任意の時刻における前記人物の感情の種別を特定するように構成されてよい。学習器は、例えば、ニューラルネットワーク等で構成されてよい。当該構成によれば、第１データに表れる対象人物の感情の種別を容易かつ適切に特定することができる。

上記一側面に係るデータ収集装置において、前記誘発時間は、前記第２データの種類ごとに設定されてよい。当該構成によれば、第２データの種類に応じて、適切な誘発時間を設定することができる。これにより、感情の種別ごとに分類した第２データのデータ量を、影響因子の種類に応じた適切なデータ量にすることができる。

上記一側面に係るデータ収集装置において、前記分類処理部は、前記人物の感情の種別ごとに分類する前記第２データに前記人物の属性を更に関連付けてよい。当該構成によれば、対象人物の感情に影響を及ぼし得る因子に関する第２データを、感情の種別ごと及び人物の属性ごとに分類して収集することができる。また、人物に誘発される感情は、当該人物の属性によって大きく相違する可能性がある。これに対して、当該構成によれば、第２データと対象人物の属性とを関連付けることで、感情の誘発要因を推定するために利用するデータの検索性を向上させることができると共に、誘発要因の推定精度を向上させることができる。

上記一側面に係るデータ収集装置において、前記人物の属性は、性別、身長、体重、血液型、年齢、誕生日、出身地、国籍、及び職業の少なくともいずれかにより特定されてよい。当該構成によれば、人物の属性を適切に規定することができる。

上記一側面に係るデータ収集装置は、前記感情の種別ごとに分類された前記第２データを解析することで、前記感情を誘発した要因を推定する要因推定部を更に備えてよい。当該構成によれば、感情の種別ごとに分類して収集した第２データを利用して、対象人物の感情を誘発した要因を推定することができる。

上記一側面に係るデータ収集装置において、前記分類処理部は、いずれの感情の種別にも分類されなかった前記第２データを削除するように構成されてもよい。当該構成によれば、不要なデータを削除することで、データを保存する記憶部を効率的に利用することができる。

上記一側面に係るデータ収集装置において、前記第１データは、前記人物の顔を写した画像データ、ポリグラフにより得られたデータ、前記人物の声を録音した音声データ、及び前記人物からの回答データの少なくともいずれかを含んでよい。当該構成によれば、人物の感情の特定に利用しやすい第１データを取得することができる。

上記一側面に係るデータ収集装置において、前記第２データは、前記人物から得られる生体データ、前記人物の周囲の環境を示す環境データ、及び前記人物に起きた出来事を示すイベントデータの少なくともいずれかを含んでよい。当該生体データは、心拍数、脈拍数、呼吸数、体温、血圧、脳波、姿勢、及び筋電の少なくともいずれかを示してよい。また、当該環境データは、温度、湿度、明るさ、天気、気圧、騒音、振動、及び臭気の少なくともいずれかを示してよい。当該構成によれば、対象人物に対して対象の感情を誘発した要因となり得る影響因子に関するデータを適切に収集することができる。

上記一側面に係るデータ収集装置において、前記第２データは、前記生体データ、前記環境データ、及び前記イベントデータのうちの少なくとも２つを含んでよく、前記誘発時間は、前記生体データ、前記環境データ、及び前記イベントデータそれぞれで相違するように設定されてよい。当該構成によれば、第２データの種類に応じて、適切な誘発時間を設定することができる。これにより、感情の種別ごとに分類した第２データのデータ量を、影響因子の種類に応じた適切なデータ量にすることができる。

また、本発明の一側面に係る学習装置は、人物の感情に影響を及ぼし得る因子に関する影響因子データであって、当該人物の感情の種別ごとに分類された影響因子データを取得するデータ取得部と、前記影響因子データを入力すると、入力した前記影響因子データに関連付けられた感情の種別を示す値を出力するように学習器を学習させる学習処理部と、を備える。当該構成によれば、対象人物の感情を誘発した要因を推定可能な学習済みの学習器を構築することができる。なお、当該構成に係る学習装置のデータ取得部は、感情の種別ごとに分類された影響因子データを上記各形態に係るデータ収集装置から取得してもよい。

上記一側面に係る学習装置において、前記データ取得部は、前記人物の属性を示す属性データを更に取得してもよく、前記学習処理部は、前記影響因子データ及び前記属性データを入力すると、入力した前記影響因子データに関連付けられた感情の種別を示す値を出力するように学習器を学習させてもよい。当該構成によれば、対象人物の属性に応じて、当該対象人物の感情を誘発した要因を推定可能な学習済みの学習器を構築することができる。

また、本発明の一側面に係る学習装置は、人物の感情が表出する感情表出データを取得するデータ取得部と、前記感情表出データを入力すると、入力された前記感情表出データに表出した前記人物の感情の種別を示す値を出力するように学習器を学習させる学習処理部と、を備える。当該構成によれば、対象人物の感情の種別を推定可能な学習済みの学習器を構築することができる。

なお、上記各形態に係るデータ収集装置及び学習装置の別の形態として、以上の各構成を実現する情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記録したコンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。

例えば、本発明の一側面に係るデータ収集方法は、コンピュータが、人物の感情が表出する第１データを取得するステップと、前記第１データの取得に並行して、前記人物の感情に影響を及ぼし得る因子に関する第２データを取得するステップと、取得した前記第１データに基づいて、任意の時刻における前記人物の感情の種別を特定するステップと、前記任意の時刻における前記人物の感情の誘発に関連する誘発時間内に取得した前記第２データを、特定した前記任意の時刻における前記人物の感情の種別に関連付けて保存することにより、前記人物の感情の種別ごとに前記第２データを分類するステップと、を実行する情報処理方法である。

また、例えば、本発明の一側面に係るデータ収集プログラムは、コンピュータに、人物の感情が表出する第１データを取得するステップと、前記第１データの取得に並行して、前記人物の感情に影響を及ぼし得る因子に関する第２データを取得するステップと、取得した前記第１データに基づいて、任意の時刻における前記人物の感情の種別を特定するステップと、前記任意の時刻における前記人物の感情の誘発に関連する誘発時間内に取得した前記第２データを、特定した前記任意の時刻における前記人物の感情の種別に関連付けて保存することにより、前記人物の感情の種別ごとに前記第２データを分類するステップと、を実行させるためのプログラムである。

また、例えば、本発明の一側面に係る学習方法は、コンピュータが、人物の感情に影響を及ぼし得る因子に関する影響因子データであって、当該人物の感情の種別ごとに分類された影響因子データを取得するステップと、前記影響因子データを入力すると、入力した前記影響因子データに関連付けられた感情の種別を示す値を出力するように学習器を学習させるステップと、を実行する情報処理方法である。

また、例えば、本発明の一側面に係る学習プログラムは、コンピュータに、人物の感情に影響を及ぼし得る因子に関する影響因子データであって、当該人物の感情の種別ごとに分類された影響因子データを取得するステップと、前記影響因子データを入力すると、入力した前記影響因子データに関連付けられた感情の種別を示す値を出力するように学習器を学習させるステップと、を実行させるためのプログラムである。

また、例えば、本発明の一側面に係る学習方法は、コンピュータが、人物の感情が表出する感情表出データを取得するステップと、前記感情表出データを入力すると、入力された前記感情表出データに表出した前記人物の感情の種別を示す値を出力するように学習器を学習させるステップと、を実行する情報処理方法である。

また、例えば、本発明の一側面に係る学習プログラムは、コンピュータに、人物の感情が表出する感情表出データを取得するステップと、前記感情表出データを入力すると、入力された前記感情表出データに表出した前記人物の感情の種別を示す値を出力するように学習器を学習させるステップと、を実行させるためのプログラムである。

本発明によれば、対象人物の感情を誘発した要因を推定可能にする技術を提供することができる。

図１は、実施の形態に係るデータ収集装置及び各学習装置の適用場面の一例を模式的に例示する。 図２は、実施の形態に係るデータ収集装置のハードウェア構成の一例を模式的に例示する。 図３は、実施の形態に係る第１学習装置のハードウェア構成の一例を模式的に例示する。 図４は、実施の形態に係る第２学習装置のハードウェア構成の一例を模式的に例示する。 図５は、実施の形態に係るデータ収集装置の機能構成の一例を模式的に例示する。 図６は、誘発時間内に取得した影響因子データを特定した感情の種別に関連付ける場面の一例を模式的に例示する。 図７は、実施の形態に係る第１学習装置の機能構成の一例を模式的に例示する。 図８は、実施の形態に係る第２学習装置の機能構成の一例を模式的に例示する。 図９は、実施の形態に係るデータ収集装置の処理手順の一例を例示する。 図１０は、実施の形態に係る第１学習装置の処理手順の一例を例示する。 図１１は、実施の形態に係る第２学習装置の処理手順の一例を例示する。 図１２は、変形例に係るデータ収集装置の機能構成の一例を模式的に例示する。 図１３は、変形例に係る第１学習装置の機能構成の一例を模式的に例示する。 図１４は、変形例に係る第２学習装置の機能構成の一例を模式的に例示する。 図１５は、変形例に係るデータ収集装置の機能構成の一例を模式的に例示する。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。

§１ 適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、本実施形態に係るデータ収集装置１、第１学習装置２、及び第２学習装置３の適用場面の一例を模式的に例示する。

図１に示すとおり、データ収集装置１は、人物の感情に影響を及ぼし得る因子に関する影響因子データ１２３を感情の種別ごとに収集する情報処理装置である。具体的には、データ収集装置１は、第１センサ５１を利用して、人物の感情が表出する感情表出データ１２２を取得する。この感情表出データ１２２は、本発明の「第１データ」に相当し、人物の感情が表出し得る何らかのデータであればよい。例えば、感情表出データ１２２は、人物の顔を写した画像データ、ポリグラフにより得られたデータ、人物の声を録音した音声データ、人物からの回答データ等であってよい。第１センサ５１は、取得する感情表出データ１２２の種類に応じて、適宜選択される。例えば、第１センサ５１は、カメラ、ポリグラフ、マイクロフォン、回答を行うための入力装置等であってよい。

また、データ収集装置１は、感情表出データ１２２の取得に並行して、人物の感情に影響を及ぼし得る因子に関する影響因子データ１２３を取得する。すなわち、データ収集装置１は、感情表出データ１２２及び影響因子データ１２３を同一の時系列に対応付けて取得する。この影響因子データ１２３は、本発明の「第２データ」に相当し、人物の感情に影響を及ぼし得る因子に関する何らかのデータであればよい。例えば、影響因子データ１２３は、対象人物から得られる生体データ、対象人物の周囲の環境を示す環境データ、対象人物に起きた出来事を示すイベントデータ等であってよい。第２センサ５２は、取得する影響因子データ１２３の種類に応じて、適宜選択される。例えば、第２センサ５２は、人物の身体から心拍数等を取得する生体センサ、人物の周囲の温度等を取得する環境センサ等であってよい。

次に、データ収集装置１は、感情表出データ１２２に基づいて、任意の時刻における対象人物の感情の種別を特定する。そして、データ収集装置１は、任意の時刻における対象人物の感情の誘発に関連する誘発時間内に取得した影響因子データ１２３を、特定した任意の時刻における対象人物の感情の種別に関連付けて保存する。これにより、データ収集装置１は、影響因子データ１２３を感情の種別ごとに分類して収集する。なお、図１の例では、感情の種別は、「喜び」、「怒り」、「哀しみ」、「楽しい」等の固有の状態で示されている。しかしながら、感情の種別の表現は、このような例に限定されなくてもよい。例えば、「安定」に対して「不安定」、「好き」に対して「嫌い」等、対となる感情の表現を用いて示してよい。また、対となる感情の表現を用いる場合、「安定」と「不安定」との間の状態を示す「やや不安定」等、当該対となる感情の中間の状態を示す表現を用いてもよい。また、複数の感情の表現の１又は複数を組み合せて、対象人物の感情を表現してもよい。なお、感情の種別は、１又は複数のパラメータを利用した数値表現で示されてもよい。感情表出データ１２２に基づく感情の種別の特定は、例えば、後述する機械学習により得られる学習済みの学習器（学習済みのニューラルネットワーク６）を用いて行う事ができる。

一方、第１学習装置２は、対象人物の感情の種別ごとに分類された影響因子データを利用して、影響因子に基づいて対象人物に誘発される感情の種別を推定する学習済みの学習器を構築する情報処理装置である。具体的には、第１学習装置２は、対象人物の感情の種別ごとに分類された影響因子データを取得する。例えば、第１学習装置２は、ネットワーク等を介してデータ収集装置１から、感情の種別ごとに分類された影響因子データ１２３を取得する。そして、第１学習装置２は、影響因子データ１２３を入力すると、入力した影響因子データ１２３に関連付けられた感情の種類を示す値を出力するように学習器（後述するニューラルネットワーク７）を学習させる。これにより、第１学習装置２は、影響因子に基づいて対象人物に誘発される感情の種別を推定する学習済みの学習器を構築する。

なお、第１学習装置２は、構築した学習器を利用して、影響因子データ１２３と同形式のデータに基づいて、対象人物に誘発される感情の種別を推定するように構成されていてよい。また、第１学習装置２から構築された学習器又はその複製物を取得して、影響因子データ１２３と同形式のデータに基づいて、対象人物に誘発される感情の種別を推定する第１学習結果利用装置（後述する誘発感情推定装置）を設けてもよい。

また、第２学習装置３は、対象人物の感情が表出する感情表出データを利用して、感情表出データに表出する感情の種別を特定する学習済みの学習器を構築する情報処理装置である。具体的には、第２学習装置３は、対象人物の感情が表出する感情表出データを取得する。そして、第２学習装置３は、感情表出データを入力すると、入力した感情表出データに表出した対象人物の感情の種別を示す値を出力するように学習器（後述するニューラルネットワーク８）を学習させる。これにより、第２学習装置３は、感情表出データに表出する感情の種別を特定する学習済みの学習器を構築する。

この第２学習装置３により作成される学習済みの学習器は、データ収集装置１において、感情表出データ１２２に基づいて、任意の時刻における対象人物の感情の種別を特定する処理に利用することができる。そこで、本実施形態に係るデータ収集装置１は、ネットワーク等を介して、第２学習装置３により作成された学習済みの学習器を取得する。そして、本実施形態に係るデータ収集装置１は、第２学習装置３により作成された学習済みの学習器を利用して、感情表出データ１２２に表出する対象人物の感情の種別を特定する。

以上のとおり、本実施形態に係るデータ収集装置１によれば、対象人物の感情に影響を及ぼし得る因子に関する影響因子データ１２３を感情の種別ごとに分類して収集することができる。この感情の種別ごとに分類された影響因子データ１２３を利用すれば、対象人物の感情を誘発した要因を分析することができる。例えば、感情の種別ごとに分類された影響因子データ１２３を統計的手法、機械学習を利用した手法等により、その感情を誘発した要因を分析することができる。したがって、本実施形態に係るデータ収集装置１によれば、対象人物の感情を誘発した要因の推定を可能にすることができる。また、感情の種別ごとに分類された影響因子データ１２３を利用すれば、第１学習装置２で実施されるとおり、影響因子に基づいて対象人物に誘発される感情の種別を推定する学習済みの学習器を構築することができる。そのため、本実施形態によれば、影響因子に関するデータから対象人物に誘発する感情を推定することができるようになる。

§２ 構成例
［ハードウェア構成］
＜データ収集装置＞
次に、図２を用いて、本実施形態に係るデータ収集装置１のハードウェア構成の一例について説明する。図２は、本実施形態に係るデータ収集装置１のハードウェア構成の一例を模式的に例示する。

図２に示されるとおり、本実施形態に係るデータ収集装置１は、制御部１１、記憶部１２、外部インタフェース１３、入力装置１４、出力装置１５、及びドライブ１６が電気的に接続されたコンピュータである。なお、図２では、外部インタフェースを「外部Ｉ／Ｆ」と記載している。

制御部１１は、ハードウェアプロセッサであるＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて各構成要素の制御を行う。記憶部１２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置であり、制御部１１で実行される収集プログラム１２１、感情表出データ１２２、影響因子データ１２３、表出感情学習結果データ１２４等を記憶する。

収集プログラム１２１は、影響因子データ１２３を収集し、感情の種別ごとに分類する後述の処理（図９）をデータ収集装置１に実行させるためのプログラムである。また、表出感情学習結果データ１２４は、感情表出データ１２２に表出する対象人物の感情の種別を特定する処理に利用する学習済みの学習器の設定を行うためのデータである。詳細は後述する。

外部インタフェース１３は、外部装置と接続するためのインタフェースであり、接続する外部装置に応じて適宜構成される。外部インタフェース１３は、ネットワークを介して他のコンピュータと接続するための通信インタフェースであってもよい。本実施形態では、データ収集装置１は、外部インタフェース１３を介して、第１センサ５１及び第２センサ５２に接続される。第１センサ５１は、例えば、カメラ、ポリグラフ、マイクロフォン、回答を行うための入力装置等であり、感情表出データ１２２の取得に利用される。一方、第２センサ５２は、例えば、生体センサ、環境センサ、入力装置等であり、影響因子データ１２３の取得に利用される。

第１センサ５１及び第２センサ５２それぞれの種類は、取得する感情表出データ１２２及び影響因子データ１２３それぞれの種類に応じて、適宜選択されてよい。また、複数台の第１センサ５１及び第２センサ５２をデータ収集装置１に接続してもよい。なお、感情表出データ１２２として画像データを利用する場合、暗視カメラ、赤外線カメラ等を第１センサ５１として利用してもよい。これにより、人の顔の写る画像データを暗所でも取得することができる。

入力装置１４は、例えば、マウス、キーボード等の入力を行うための装置である。出力装置１５は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。

ドライブ１６は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体９１に記憶されたプログラムを読み込むためのドライブ装置である。ドライブ１６の種類は、記憶媒体９１の種類に応じて適宜選択されてよい。上記収集プログラム１２１、感情表出データ１２２、影響因子データ１２３、及び表出感情学習結果データ１２４は、この記憶媒体９１に記憶されていてもよい。

記憶媒体９１は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。データ収集装置１は、この記憶媒体９１から、上記収集プログラム１２１、感情表出データ１２２、影響因子データ１２３、及び表出感情学習結果データ１２４の少なくとも一つを取得してもよい。

ここで、図２では、記憶媒体９１の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体９１の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。

なお、データ収集装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１１は、複数のハードウェアプロセッサを含んでもよい。データ収集装置１は、複数台のコンピュータで構成されてもよい。また、データ収集装置１は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、ＰＣ（Personal Computer）等であってもよい。

＜第１学習装置＞
次に、図３を用いて、本実施形態に係る第１学習装置２のハードウェア構成の一例を説明する。図３は、本実施形態に係る第１学習装置２のハードウェア構成の一例を模式的に例示する。

図３に示されるとおり、本実施形態に係る第１学習装置２は、制御部２１、記憶部２２、外部インタフェース２３、入力装置２４、出力装置２５、及びドライブ２６が電気的に接続されたコンピュータである。なお、図３では、図２と同様に、外部インタフェースを「外部Ｉ／Ｆ」と記載している。

制御部２１〜ドライブ２６及び記憶媒体９２はそれぞれ、上記データ収集装置１の制御部１１〜ドライブ１６及び記憶媒体９１と同様である。ただし、第１学習装置２の記憶部２２は、学習器の学習に利用する、感情の種別ごとに分類された影響因子データ１２３、制御部２１で実行される機械学習であって、学習器が、影響因子データ１２３に基づいて対象人物に誘発される感情を推定する学習を実行するための第１学習プログラム２２１（「誘発感情学習プログラム」と称してもよい）、第１学習プログラム２２１の実行で作成される誘発感情学習結果データ２２３等を記憶する。第１学習プログラム２２１は、第１学習装置２に後述する学習器の学習処理（図１０）を実行させるためのプログラムである。詳細は後述する。

なお、上記データ収集装置１と同様に、第１学習プログラム２２１及び影響因子データ１２３は、記憶媒体９２に記憶されていてもよい。これに応じて、第１学習装置２は、第１学習プログラム２２１及び影響因子データ１２３の少なくともいずれかを記憶媒体９２から取得してもよい。

また、上記データ収集装置１と同様に、第１学習装置２の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。第１学習装置２には、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、ＰＣ等が用いられてもよい。

＜第２学習装置＞
次に、図４を用いて、本実施形態に係る第２学習装置３のハードウェア構成の一例を説明する。図４は、本実施形態に係る第２学習装置３のハードウェア構成の一例を模式的に例示する。

図４に示されるとおり、本実施形態に係る第２学習装置３は、制御部３１、記憶部３２、外部インタフェース３３、入力装置３４、出力装置３５、及びドライブ３６が電気的に接続されたコンピュータである。なお、図４では、図２及び図３と同様に、外部インタフェースを「外部Ｉ／Ｆ」と記載している。

制御部３１〜ドライブ３６及び記憶媒体９３はそれぞれ、上記データ収集装置１の制御部１１〜ドライブ１６及び記憶媒体９１と同様である。ただし、第２学習装置３の記憶部３２は、学習器の学習に利用する学習データ３２２、制御部３１で実行される機械学習であって、学習器が、学習データ３２２に基づいて対象人物の感情を推定する学習を実行するための第２学習プログラム３２１（「表出感情学習プログラム」と称してもよい）、第２学習プログラム３２１の実行で作成される表出感情学習結果データ１２４等を記憶する。第２学習プログラム３２１は、第２学習装置３に後述する学習器の学習処理（図１１）を実行させるためのプログラムである。詳細は後述する。

なお、上記データ収集装置１と同様に、第２学習プログラム３２１及び学習データ３２２は、記憶媒体９３に記憶されていてもよい。これに応じて、第２学習装置３は、第２学習プログラム３２１及び学習データ３２２の少なくともいずれかを記憶媒体９３から取得してもよい。

また、上記データ収集装置１と同様に、第２学習装置３の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。第２学習装置３には、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、ＰＣ等が用いられてもよい。

＜その他＞
なお、上記のとおり、本実施形態では、第１学習装置２から構築された学習器又はその複製物を取得して、影響因子データ１２３と同形式のデータに基づいて、対象人物に誘発される感情の種別を推定する第１学習結果利用装置（後述する誘発感情推定装置）を設けてもよい。この第１学習結果利用装置（不図示）は、上記各装置１〜３と同様に、制御部、記憶部、外部インタフェース、入力装置、出力装置、及びドライブが電気的に接続されたコンピュータで構成することができる。

記憶部には、上記第１学習装置２から取得した誘発感情学習結果データ２２３が保存される。また、第１学習結果利用装置は、外部インタフェースを介して、第２センサ５２と同種の第３センサに接続される。これにより、第１学習結果利用装置は、記憶部に保存される誘発感情学習結果データ２２３によって、誘発感情の推定するための学習を行った学習済みの学習器の設定を行うことができる。また、第１学習結果利用装置は、影響因子データ１２３と同形式のデータを第３センサから取得し、第３センサから取得したデータを設定した学習済みの学習器に入力することで、当該学習済みの学習器から対象人物に誘発され得る感情の種別を示す情報を得ることができる。

［機能構成］
＜データ収集装置＞
次に、図５を用いて、本実施形態に係るデータ収集装置１の機能構成の一例を説明する。図５は、本実施形態に係るデータ収集装置１の機能構成の一例を模式的に例示する。

データ収集装置１の制御部１１は、記憶部１２に記憶された収集プログラム１２１をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開された収集プログラム１２１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図５に示されるとおり、本実施形態に係るデータ収集装置１は、第１取得部１１１、第２取得部１１２、感情特定部１１３、及び分類処理部１１４を備えるコンピュータとして機能する。

第１取得部１１１は、第１センサ５１を利用して、人物の感情が表出する感情表出データ１２２を取得する。第２取得部１１２は、第２センサ５２を利用して、感情表出データ１２２の取得に並行して、人物の感情に影響を及ぼし得る因子に関する影響因子データ１２３を取得する。これにより、データ収集装置１は、感情表出データ１２２及び影響因子データ１２３を同一の時系列に対応付けて取得する。

なお、感情表出データ１２２は、対象人物の顔を写した画像データ、ポリグラフにより得られたデータ、対象人物の声を録音した音声データ、及び対象人物からの回答データの少なくともいずれかを含んでよい。感情表出データ１２２として画像データを利用する場合、当該画像データには、複数の対象人物の顔が写っていてもよい。この場合、感情表出データ１２２に基づいて、複数の人物の感情を一度に特定することができる。また、回答データは、例えば、対象人物が入力装置により自身の感情を回答することで得られてよい。ただし、回答データの取得は、このような例に限定されなくてもよく、対象人物の感情の回答は、対象人物自身ではなく、第三者によって行われてもよい。影響因子データ１２３については後述する。

また、感情表出データ１２２及び影響因子データ１２３を並行的に取得するとは、感情表出データ１２２及び影響因子データ１２３の取得期間が必ずしも一致していなくてもよく、感情表出データ１２２及び影響因子データ１２３の取得期間が少なくとも一部で重複していればよい。つまり、感情表出データ１２２に表出する対象人物の感情を誘発した影響因子が存在し得る時間における影響因子データ１２３が取得可能であればよい。そのため、感情表出データ１２２及び影響因子データ１２３の取得の開始時刻及び終了時刻は異なっていてもよい。また、感情表出データ１２２及び影響因子データ１２３の取得のタイミングも異なっていてもよい。

感情特定部１１３は、感情表出データ１２２に基づいて、任意の時刻における対象人物の感情の種別を特定する。図５に示すとおり、本実施形態では、感情特定部１１３は、感情表出データ１２２を入力すると、感情表出データ１２２に表出する対象人物の感情の種別を示す値を出力するように学習した学習済みの学習器（ニューラルネットワーク６）を用いて、任意の時刻における対象人物の感情の種別を特定する。分類処理部１１４は、任意の時刻における対象人物の感情の誘発に関連する誘発時間内に取得した影響因子データ１２３を、特定した任意の時刻における対象人物の感情の種別に関連付けて記憶部１２に保存することにより、感情の種別ごとに影響因子データ１２３を分類する。

（分類処理）
ここで、図６を更に用いて、影響因子データ１２３を感情の種別ごとに分類する処理について説明する。図６は、誘発時間内に取得した影響因子データ１２３を特定した感情の種別に関連付ける場面の一例を模式的に例示する。図６では、点線で囲まれた各種データが、誘発時間内に取得された各種データを示している。なお、図５及び図６の例では、上記図１の例と同様に、「喜び」、「怒り」等の固有の状態で感情の種別を示している。しかしながら、上記のとおり、感情の種別の表現は、このような例に限定されなくてもよく、１又は複数のパラメータを利用した数値表現等で示されてよい。

図６の例では、影響因子データ１２３は、生体データ１２３１、環境データ１２３２、及びイベントデータ１２３３を含んでいる。生体データ１２３１は、対象人物の身体に取り付けた生体センサから取得可能なデータであり、例えば、心拍数、脈拍数、呼吸数、体温、血圧、脳波、姿勢、及び筋電の少なくともいずれかを示すデータであってよい。環境データ１２３２は、対象人物の周囲の環境に関するデータであり、例えば、温度、湿度、明るさ、天気、気圧、騒音、振動、及び臭気の少なくともいずれかを示すデータであってよい。また、イベントデータ１２３３は、対象人物に起きた出来事を示すデータであり、例えば、対象人物が自身に起きた出来事を入力装置により入力することで得られる。なお、イベントデータ１２３３の内容は、対象人物に起きた何らかの出来事の種類を示すことができればよく、対象人物による入力に限らず、上記生体データ１２３１及び環境データ１２３２により特定されてもよい。例えば、対象人物に加速度センサを搭載し、当該加速度センサの取得値が所定値よりも大きくなった場合に、所定のイベントが発生したことを特定してもよい。この場合、所定のイベントは、例えば、対象人物に物体が衝突する、対象人物が倒れる等の加速度に基づいて検知可能なイベントである。これにより、入力装置を介した入力によらず、所定のイベントを検知することができる。また、イベントデータ１２３３の入力は、対象人物自身ではなく、第三者によって行われてもよい。

任意の時刻における対象人物の感情は、その時刻からその時刻よりも前の時刻の間に生じた影響因子によって誘発されていると想定される。そこで、本実施形態では、この任意の時刻における対象人物の感情の誘発に関連する時間、換言すると、任意の時刻における対象人物の感情を誘発した影響因子が存在し得る時間を誘発時間として設定する。例えば、誘発時間は、感情表出データ１２２により対象人物の感情の種別を特定した時刻からその時刻より所定の時間分だけ前の時刻までの間の時間に設定されてよい。ただし、誘発時間は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。誘発時間の終点は、感情の種別を特定した時刻から前後してもよい。なお、誘発時間は、感情特定部１１３により実行される、感情表出データ１２２に基づく感情の種別の特定の処理に基づいて、自動的に設定されてよい。例えば、感情特定部１１３が、所定の時刻（または、期間）の感情表出データ１２２に基づいて、所定の感情の種別を特定したとき、当該所定の時刻（または、期間）を基準に、所定の時間幅を設けて、誘発時間とすることができる。

この誘発時間は、影響因子データ１２３の各種類で共通であってよい。すなわち、分類処理部１１４は、共通の誘発時間内に取得された生体データ１２３１、環境データ１２３２、及びイベントデータ１２３３を、特定した感情の種別に関連付けて保存してもよい。ただし、影響因子が感情の誘発に作用する時間は、当該影響因子の種類によって相違し得ると想定される。具体的には、感情の誘発を起こしやすい影響因子は誘発時間が短く、感情の誘発を起こしにくい影響因子は誘発時間が長くなると想定される。そこで、誘発時間は、影響因子データ１２３の種類ごとに設定されてよい。

本実施形態では、生体データ１２３１により示される影響因子が感情の誘発に最も影響しやすく、環境データ１２３２により示される影響因子が次に感情の誘発に影響しやすく、イベントデータ１２３３により示される影響因子が感情の誘発に最も影響し難いと想定している。そのため、図６の例では、生体データ１２３１に対して設定された誘発時間が最も短くなっており、環境データ１２３２に対して設定された誘発時間が次に短くなっており、イベントデータ１２３３に対して設定された誘発時間が最も長くなっている。ただし、誘発時間の設定は、このような例に限定されなくてもよい。例えば、イベントデータ１２３３に対して設定された誘発時間が最も短くなっていてもよい。なお、生体データ１２３１が、例えば、心拍数、脈拍数、呼吸数、体温、血圧、脳波、姿勢、及び筋電から選択した複数種類のデータを含む場合、誘発時間は、生体データ１２３１の各種類で相違していてもよい。環境データ１２３２及びイベントデータ１２３３についても同様である。

また、生体データ１２３１は、対象人物に感情を誘発させる影響因子を示すデータであるとともに、対象人物に生じた（誘発された）感情の結果として変動し得るデータであると想定される。例えば、「怒り」の感情が誘発された結果、生体データ１２３１に含まれる血圧が上昇することが想定される。したがって、対象人物に生じた（誘発された）感情の前後でデータを取得するために、生体データ１２３１に対して設定された誘発時間の終点は、環境データ１２３２、イベントデータ１２３３、のそれと比較して、相対的に遅く設定されてよい。

分類処理部１１４は、このような各誘発時間内に取得した生体データ１２３１、環境データ１２３２、及びイベントデータ１２３３を、特定した感情の種別に関連付けることにより、感情の種別ごとに影響因子データ１２３を分類する。そして、分離処理部１１４は、感情の種別ごとに分類した影響因子データ１２３を記憶部１２に保存する。関連付けは、公知の方法で適宜行われてよい。例えば、関連付けは、タグ付け等のラベリングにより行われてもよい。すなわち、分類処理部１１４は、関連付けの処理として、特定した感情の種別を示すタグ（識別データ）を、誘発時間内に取得した各種データ１２３１〜１２３３に付してもよい。この場合、付されたタグによって、各種データ１２３１〜１２３３が関連付けられた感情の種別を識別することができる。

また、本実施形態では、感情の種別を特定する時刻及び誘発時間の設定によっては、いずれの感情の種別にも関連付けされない影響因子データ１２３が発生し得る。図６の例では、点線で囲まれていないデータが、関連付けされない影響因子データ１２３に相当する。また、このような関連付けされない影響因子データ１２３は、感情表出データ１２２により特定された感情がデータ収集の対象としない感情である場合、及び感情表出データ１２２により任意の時刻における対象人物の感情が特定できなかった場合にも発生し得る。そこで、本実施形態に係る分類処理部１１４は、いずれの感情の種別にも分類されなかった影響因子データ１２３を削除するように構成される。

なお、特定の感情は、所定の時刻に生じるだけでなく、所定の期間を有して継続的に生じることも想定される。この場合にも、誘発時間は、特定の感情が所定の時刻に生じた場合と同様に設定することができる。すなわち、誘発時間は、特定の感情が生じた所定の期間の開始時刻より所定の第１の時間分だけ前の時刻までの間の時間に設定されてよい。また、誘発時間は、特定の感情が生じた所定の期間の終了時刻より所定の第２の時間分だけ後の時刻までの間の時間に設定されてよい。ここで、第１の時間分は、第２の時間分より長いことが好ましい。

（学習器）
次に、学習器について説明する。図５に示されるとおり、本実施形態に係るデータ収集装置１は、感情表出データ１２２に表出する対象人物の感情を特定するための学習を行った学習済みの学習器として、ニューラルネットワーク６を利用する。ニューラルネットワーク６は、いわゆる深層学習に用いられる多層構造のニューラルネットワークであり、入力側から順に、入力層６１、中間層（隠れ層）６２、及び出力層６３を備えている。

図５では、ニューラルネットワーク６は１層の中間層６２を備えており、入力層６１の出力が中間層６２の入力となり、中間層６２の出力が出力層６３の入力となっている。ただし、中間層６２の数は１層に限られなくてもよく、ニューラルネットワーク６は、中間層６２を２層以上備えてもよい。

各層６１〜６３は、１又は複数のニューロンを備えている。例えば、入力層６１のニューロンの数は、感情表出データ１２２に応じて設定することができる。中間層６２のニューロンの数は、実施の形態に応じて適宜設定することができる。また、出力層６３のニューロンの数は、データ収集の対象とする感情の種別の数に応じて設定することができる。

隣接する層のニューロン同士は適宜結合され、各結合には重み（結合荷重）が設定されている。図５の例では、各ニューロンは、隣接する層の全てのニューロンと結合されているが、ニューロンの結合は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。

各ニューロンには閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。感情特定部１１３は、このようなニューラルネットワーク６の入力層６１に任意の時刻における感情表出データ１２２を入力することで出力層６３から得られる出力値に基づいて、当該任意の時刻における対象人物の感情の種別を特定する。

なお、このようなニューラルネットワーク６の構成（例えば、ニューラルネットワークの層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロンの伝達関数）、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報は、表出感情学習結果データ１２４に含まれている。データ収集装置１は、表出感情学習結果データ１２４を参照して、任意の時刻における感情表出データ１２２に表出する対象人物の感情の種別を特定する処理に用いる学習済みニューラルネットワーク６の設定を行う。

＜第１学習装置＞
次に、図７を用いて、本実施形態に係る第１学習装置２の機能構成の一例を説明する。図７は、本実施形態に係る第１学習装置２の機能構成の一例を模式的に例示する。

第１学習装置２の制御部２１は、記憶部２２に記憶された第１学習プログラム２２１をＲＡＭに展開する。そして、制御部２１は、ＲＡＭに展開された第１学習プログラム２２１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図７に示されるとおり、本実施形態に係る第１学習装置２は、データ取得部２１１及び学習処理部２１２を備えるコンピュータとして機能する。

データ取得部２１１は、感情の種別ごとに分類された影響因子データを学習データ２２２として取得する。本実施形態では、データ取得部２１１は、データ収集装置１から、感情の種別ごとに分類された影響因子データ１２３を取得する。影響因子データ１２３が入力データとなり、影響因子データ１２３に関連付けられた感情の種別を示す値１２３４、換言すると、影響因子データ１２３により示される影響因子により誘発される感情を示す値１２３４が教師データとなる。学習処理部２１２は、影響因子データ１２３を入力すると、入力した影響因子データ１２３に関連付けられた感情の種別を示す値１２３４を出力するように学習器を学習させる。なお、教師データは、正解データと称してもよい。

図７に示されるとおり、本実施形態では、影響因子から誘発感情を推定する能力を機械学習する対象となる学習器は、ニューラルネットワーク７である。学習器の一例であるニューラルネットワーク７は、上記ニューラルネットワーク６と同様に構成可能である。すなわち、ニューラルネットワーク７は、いわゆる深層学習に用いられる多層構造のニューラルネットワークであり、入力側から順に、入力層７１、中間層（隠れ層）７２、及び出力層７３を備えている。中間層７２の数、各層７１〜７３のニューロンの数、及び隣接する層のニューロンの結合は、実施の形態に応じて適宜設定されてよい。

学習処理部２１２は、ニューラルネットワークの学習処理により、影響因子データ１２３を入力層７１に入力すると、入力した影響因子データ１２３に関連付けられた感情の種別を示す値１２３４を出力層７３から出力するニューラルネットワーク７を構築する。そして、学習処理部２１２は、構築したニューラルネットワーク７の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を誘発感情学習結果データ２２３として記憶部２２に格納する。

＜第２学習装置＞
次に、図８を用いて、本実施形態に係る第２学習装置３の機能構成の一例を説明する。図８は、本実施形態に係る第２学習装置３の機能構成の一例を模式的に例示する。

第２学習装置３の制御部３１は、記憶部３２に記憶された第２学習プログラム３２１をＲＡＭに展開する。そして、制御部３１は、ＲＡＭに展開された第２学習プログラム３２１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図８に示されるとおり、本実施形態に係る第２学習装置３は、データ取得部３１１及び学習処理部３１２を備えるコンピュータとして機能する。

データ取得部３１１は、感情表出データに表出する対象人物の感情を特定する能力を機械学習するのに利用する複数件の学習データ３２２を取得する。各件の学習データ３２２は、例えば、人物の感情が表出する感情表出データ３２２１と、当該感情表出データ３２２１に表出する人物の感情の種別を示す値３２２２との組み合わせで構成される。感情表出データ３２２１は、上記感情表出データ１２２と同様であり、第１センサ５１を利用して取得可能である。感情表出データ３２２１は、入力データである。一方、感情表出データ３２２１に表出する人物の感情の種別を示す値３２２２は、教師データである。学習処理部３１２は、感情表出データ３２２１を入力すると、入力された感情表出データ３２２１に表出した人物の感情の種別を示す値３２２２を出力するように学習器を学習させる。

図８に示されるとおり、本実施形態では、感情表出データに表出する対象人物の感情を特定する能力を機械学習する対象となる学習器は、ニューラルネットワーク８である。学習器の一例であるニューラルネットワーク８は、上記ニューラルネットワーク６と同様に構成可能である。すなわち、ニューラルネットワーク８は、いわゆる深層学習に用いられる多層構造のニューラルネットワークであり、入力側から順に、入力層８１、中間層（隠れ層）８２、及び出力層８３を備えている。中間層８２の数、各層８１〜８３のニューロンの数、及び隣接する層のニューロンの結合は、実施の形態に応じて適宜設定されてよい。

学習処理部３１２は、ニューラルネットワークの学習処理により、感情表出データ３２２１を入力層８１に入力すると、入力した感情表出データ３２２１に表出した人物の感情の種別を示す値３２２２を出力層８３から出力するニューラルネットワーク８を構築する。そして、学習処理部３１２は、構築したニューラルネットワーク８の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を表出感情学習結果データ１２４として記憶部３２に格納する。

＜その他＞
データ収集装置１、第１学習装置２、及び第２学習装置３の各機能に関しては後述する動作例で詳細に説明する。なお、本実施形態では、データ収集装置１、第１学習装置２、及び第２学習装置３の各機能がいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、以上の機能の一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、データ収集装置１、第１学習装置２、及び第２学習装置３それぞれの機能構成に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。

§３ 動作例
［データ収集装置］
次に、図９を用いて、データ収集装置１の動作例を説明する。図９は、データ収集装置１の処理手順の一例を示すフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（起動）
まず、利用者は、データ収集装置１を起動する。これに応じて、起動したデータ収集装置１の制御部１１は、収集プログラム１２１を実行する。また、制御部１１は、表出感情学習結果データ１２４を参照して、ニューラルネットワーク６の構造、各ニューロン間の結合の重み及び各ニューロンの閾値の設定を行う。そして、制御部１１は、以下の処理手順に従って、感情の種別ごとに影響因子データ１２３を収集する処理を行う。

（ステップＳ１０１）
ステップＳ１０１では、制御部１１は、第１取得部１１１として機能し、人物の感情が表出する感情表出データ１２２を継続的に取得する。また、制御部１１は、第２取得部１１２として機能し、感情表出データ１２２の継続的な取得に並行して、人物の感情に影響を及ぼし得る因子に関する影響因子データ１２３を継続的に取得する。

感情表出データ１２２は、例えば、対象人物の顔を写した画像データ、ポリグラフにより得られたデータ、対象人物の声を録音した音声データ、及び対象人物からの回答データの少なくともいずれかである。この感情表出データ１２２は、カメラ、ポリグラフ、マイクロフォン、回答を行うための入力装置等を第１センサ５１として利用することで取得可能である。

また、影響因子データ１２３は、例えば、生体データ１２３１、環境データ１２３２、及びイベントデータ１２３３を含む。生体データ１２３１は、例えば、心拍数、脈拍数、呼吸数、体温、血圧、脳波、姿勢、及び筋電の少なくともいずれかを示すデータである。環境データ１２３２は、例えば、温度、湿度、明るさ、天気、気圧、騒音、振動、及び臭気の少なくともいずれかを示すデータである。イベントデータ１２３３は、対象人物に起きた出来事を示すデータである。このような影響因子データ１２３は、生体センサ、環境センサ、入力装置等を第２センサ５２として利用することで取得可能である。

なお、感情表出データ１２２及び影響因子データ１２３の取得は、データ収集装置１以外の１又は複数の他の情報処理装置により行われてもよい。この場合、１又は複数の他の情報処理装置は、第１センサ５１及び第２センサ５２を利用して、感情表出データ１２２及び影響因子データ１２３を取得することができる。そして、制御部１１は、ネットワーク、記憶媒体９１等を介して、１又は複数の他の情報処理装置から感情表出データ１２２及び影響因子データ１２３を取得することができる。すなわち、制御部１１は、感情表出データ１２２及び影響因子データ１２３を、直接的に取得するのではなく、間接的に取得してもよい。

（ステップＳ１０２）
次のステップＳ１０２では、制御部１１は、感情特定部１１３として機能し、感情表出データ１２２に基づいて、任意の時刻における対象人物の感情の種別を特定する。本実施形態では、学習済みのニューラルネットワーク６を用いて、感情表出データ１２２に表出する任意の時刻における対象人物の感情の種別を特定する。本実施形態では、学習済みのニューラルネットワーク６は、後述する第２学習装置３による機械学習の結果として得られる表出感情学習結果データ１２４に基づいて、その内部構造が設定される。

具体的には、制御部１１は、上記ステップＳ１０１で取得した任意の時刻における感情表出データ１２２をニューラルネットワーク６の入力層６１に入力する。入力する感情表出データ１２２と入力層６１の各ニューロンとの対応関係は、実施の形態に応じて適宜設定されてよい。次に、制御部１１は、順伝搬の方向に各層６１〜６３に含まれる各ニューロンの発火判定を行うことで、ニューラルネットワーク６の出力層６３から、任意の時刻における感情表出データ１２２に表出する対象人物の感情の種別を示す出力値を得る。これにより、制御部１１は、感情表出データ１２２に表出する任意の時刻における対象人物の感情の種別を特定する。この「任意の時刻」は、同一種の感情が継続することを想定して、「所定の期間」に置き換えられてもよい。すなわち、制御部１１は、感情表出データ１２２に表出する所定の期間における対象人物の感情の種別を特定してもよい。

（ステップＳ１０３）
次のステップＳ１０３では、制御部１１は、分類処理部１１４として機能し、任意の時刻における対象人物の感情の誘発に関連する誘発時間内に取得した影響因子データ１２３を、ステップＳ１０２で特定した任意の時刻（または、所定の期間）における対象人物の感情の種別に関連付けて保存する。これにより、制御部１１は、感情の種別ごとに影響因子データ１２３を分類して記憶部１２に格納する。

本実施形態では、上記のとおり、生体データ１２３１、環境データ１２３２、及びイベントデータ１２３３それぞれに異なる長さの誘発時間が設定されている。制御部１１は、それぞれに設定された誘発時間内に取得した生体データ１２３１、環境データ１２３２、及びイベントデータ１２３３に、ステップＳ１０２で特定した感情の種別を示すタグを付す。これによって、制御部１１は、任意の時刻における対象人物の感情の誘発に関連する誘発時間内に取得した影響因子データ１２３を、ステップＳ１０２で特定した任意の時刻（または、所定の期間）における対象人物の感情の種別に関連付けて保存する。すなわち、感情の種別と紐づく感情表出データ１２２に基づいて感情を特定し、当該感情の誘発時間に取得した影響因子データ１２３（生体データ１２３１、環境データ１２３２、イベントデータ１２３３）と、特定された感情の種別とを紐づける。

なお、影響因子データ１２３を保存する形式は、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、公知のデータベースの技術を利用して、感情の種別をクエリとして与えると、当該感情の種別に関連付けられた影響因子データ１２３を出力するデータベースを構築してもよい。

（ステップＳ１０４）
次のステップＳ１０４では、制御部１１は、分類処理部１１４として機能し、ステップＳ１０３において、いずれの感情の種別にも分類されなかった影響因子データ１２３を削除する。例えば、制御部１１は、上記図６の例における点線で囲まれていない影響因子データ１２３を削除する。ステップＳ１０４の処理が完了すると、制御部１１は、本動作例に係る処理を終了する。

［第１学習装置］
次に、図１０を用いて、第１学習装置２の動作例を説明する。図１０は、第１学習装置２の処理手順の一例を示すフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（ステップＳ２０１）
ステップＳ２０１では、制御部２１は、データ取得部２１１として機能し、感情の種別ごとに分類された影響因子データを取得する。例えば、制御部２１は、ネットワーク、記憶媒体９２等を介して、データ収集装置１により収集された感情の種別ごとに分類された影響因子データ１２３を取得する。対象人物の感情を特定した各時刻の誘発時間内に取得した影響因子データ１２３を１件のデータとして取り扱うことで、感情の種別ごとに分類された影響因子データ１２３を複数件の学習データ２２２として利用することができる。

なお、制御部２１は、上記データ収集装置１による方法以外の方法で収集された、感情の種別ごとに分類された影響因子データ１２３を取得してもよい。感情の種別ごとに分類された影響因子データ１２３の収集は、例えば、次のように行うことができる。すなわち、対象人物に誘発されている感情を特定可能な状態で、第２センサ５２により、影響因子データ１２３を取得する。そして、オペレータが入力装置により入力することで、取得した影響因子データ１２３に、対象人物に誘発されている感情の種別を示す値を紐付ける。この一連の処理を繰り返すことで、感情の種別ごとに分類された影響因子データ１２３を収集することができる。

この感情の種別ごとに分類された影響因子データ１２３の収集は、第１学習装置２により行われてもよいし、第１学習装置２以外の情報処理装置により行われてもよい。第１学習装置２が上記方法により影響因子データ１２３を収集する場合には、制御部２１は、本ステップＳ２０１において、上記影響因子データ１２３の収集処理を実行することで、感情の種別ごとに分類された影響因子データ１２３を取得することができる。一方、第１学習装置２以外の他の情報処理装置が上記方法により影響因子データ１２３を収集する場合には、制御部２１は、ネットワーク、記憶媒体９２等を介して、他の情報処理装置により収集された、感情の種別ごとに分類された影響因子データ１２３を取得することができる。

（ステップＳ２０２）
次のステップＳ２０２では、制御部２１は、学習処理部２１２として機能して、ステップＳ２０１で取得した複数件の学習データ２２２を用いて、ニューラルネットワーク７の機械学習を実施する。

具体的には、まず、制御部２１は、機械学習を実施する対象となるニューラルネットワーク７を用意する。用意するニューラルネットワーク７の構成、各ニューロン間の結合の重みの初期値、及び各ニューロンの閾値の初期値は、テンプレートにより与えられてもよいし、オペレータの入力により与えられてもよい。また、再学習を行う場合には、制御部２１は、再学習を行う対象となる誘発感情学習結果データ２２３に基づいて、ニューラルネットワーク７を用意してもよい。

次に、制御部２１は、ステップＳ２０１で取得した影響因子データ１２３を入力データとし、当該影響因子データ１２３に関連付けられた感情の種別を示す値１２３４を教師データとして利用して、ニューラルネットワーク７の学習処理を実施する。このニューラルネットワーク７の学習処理には、勾配降下法、確率的勾配降下法等が用いられてよい。

例えば、制御部２１は、影響因子データ１２３を入力層７１に入力して、ニューラルネットワーク７の順伝播方向の演算処理を行う。これにより、制御部２１は、ニューラルネットワーク７の出力層７３から出力値を得る。次に、制御部２１は、出力層７３から得た出力値と対応する感情の種別を示す値１２３４との誤差を算出する。続いて、制御部２１は、誤差逆伝搬法により、算出した出力値の誤差を用いて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの誤差を算出する。そして、制御部２１は、算出した各誤差に基づいて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの値の更新を行う。

制御部２１は、各件の学習データ２２２について、出力層７３から出力される出力値が対応する感情の種別を示す値１２３４と一致するまでこの一連の処理を繰り返すことにより、ニューラルネットワーク７の学習を行う。これにより、影響因子データ１２３を入力すると、入力した影響因子データ１２３に関連付けられた感情の種別を示す値１２３４を出力する学習済みのニューラルネットワーク７を構築することができる。

（ステップＳ２０３）
次のステップＳ２０３では、制御部２１は、学習処理部２１２として機能して、構築したニューラルネットワーク７の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を誘発感情学習結果データ２２３として記憶部２２に格納する。これにより、制御部２１は、本動作例に係るニューラルネットワーク７の学習処理を終了する。

なお、制御部２１は、上記ステップＳ２０３の処理が完了した後に、作成した誘発感情学習結果データ２２３を、学習済みニューラルネットワーク７の利用を所望する装置（以下、「誘発感情推定装置」と称する）に転送してもよい。また、制御部２１は、上記ステップＳ２０１〜Ｓ２０３の学習処理を定期的に実行することで、誘発感情学習結果データ２２３を定期的に更新してもよい。そして、制御部２１は、作成した誘発感情学習結果データ２２３を当該学習処理の実行毎に誘発感情推定装置に転送することで、誘発感情推定装置の保持する誘発感情学習結果データ２２３を定期的に更新してもよい。

［第２学習装置］
次に、図１１を用いて、第２学習装置３の動作例を説明する。図１１は、第２学習装置３の処理手順の一例を示すフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（ステップＳ３０１）
ステップＳ３０１では、制御部３１は、データ取得部３１１として機能して、機械学習に利用する複数件の学習データ３２２を取得する。学習データ３２２は、人物の感情が表出する感情表出データ３２２１と、当該感情表出データ３２２１に表出する人物の感情の種別を示す値３２２２との組み合わせで構成される。

この学習データ３２２は、例えば、次のような方法で収集することができる。すなわち、第１センサ５１により、様々な人物の感情が表出した複数件の感情表出データ３２２１を取得する。例えば、感情表出データ３２２１として画像データを利用する場合には、各感情の種別に応じた表情を様々な人物に作らせ、その表情が写るように各人物をカメラで撮影することで、様々な人物の感情が表出した複数件の感情表出データ３２２１を取得することができる。そして、オペレータが入力装置により入力することで、取得した各件の感情表出データ３２２１に、当該各件の感情表出データ３２２１に表出している感情の種別を示す値３２２２を紐付ける。これにより、複数件の学習データ３２２を収集することができる。

この複数件の学習データ３２２の収集処理は、第２学習装置３により行われてもよいし、第２学習装置３以外の情報処理装置により行われてもよい。第２学習装置３が上記方法により複数件の学習データ３２２を収集する場合には、制御部３１は、本ステップＳ３０１において、上記学習データ３２２の収集処理を実行することで、複数件の学習データ３２２を取得することができる。一方、第２学習装置３以外の他の情報処理装置が上記方法により複数件の学習データ３２２を収集する場合には、制御部３１は、本ステップＳ３０１において、ネットワーク、記憶媒体９３等を介して、他の情報処理装置により収集された複数件の学習データ３２２を取得することができる。

（ステップＳ３０２）
次のステップＳ３０２では、制御部３１は、学習処理部３１２として機能して、ステップＳ３０１で取得した複数件の学習データ３２２を用いて、ニューラルネットワーク８の機械学習を実施する。

ニューラルネットワーク８の機械学習は、上記ステップＳ２０２と同様の方法で実施することができる。すなわち、制御部３１は、各件の学習データ３２２について、感情表出データ３２２１を入力層８１に入力することで出力層８３から出力される出力値が対応する感情の種別を示す値３２２２と一致するまで、上記各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの値を更新する一連の処理を繰り返す。これにより、制御部３１は、感情表出データ３２２１を入力すると、入力した感情表出データ３２２１に表出した人物の感情の種別を示す値３２２２を出力する学習済みのニューラルネットワーク８を構築することができる。

（ステップＳ３０３）
次のステップＳ３０３では、制御部３１は、学習処理部３１２として機能して、構築したニューラルネットワーク８の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を表出感情学習結果データ１２４として記憶部３２に格納する。これにより、制御部３１は、本動作例に係るニューラルネットワーク８の学習処理を終了する。

なお、制御部３１は、上記ステップＳ３０３の処理が完了した後に、作成した表出感情学習結果データ１２４をデータ収集装置１に転送してもよい。また、制御部３１は、上記ステップＳ３０１〜Ｓ３０３の学習処理を定期的に実行することで、表出感情学習結果データ１２４を定期的に更新してもよい。そして、制御部３１は、作成した表出感情学習結果データ１２４を当該学習処理の実行毎にデータ収集装置１に転送することで、データ収集装置１の保持する表出感情学習結果データ１２４を定期的に更新してもよい。

［作用・効果］
以上のとおり、本実施形態に係るデータ収集装置１によれば、上記ステップＳ１０１〜Ｓ１０３の処理により、対象人物の感情に影響を及ぼし得る因子に関する影響因子データ１２３を感情の種別ごとに分類して収集することができる。この感情の種別ごとに分類された影響因子データ１２３を利用すれば、対象人物の感情を誘発した要因を分析することができる。したがって、本実施形態に係るデータ収集装置１によれば、対象人物の感情を誘発した要因の推定を可能にすることができる。また、感情が表出する所定の誘発時間に限り、取得した影響因子データ１２３を保存するので、保存するデータ量を抑制することができる。

また、本実施形態では、上記ステップＳ１０２において、感情表出データ１２２に表出する対象人物の感情の種別を特定するのに、学習済みのニューラルネットワーク６を利用している。これにより、例えば、顔の写っている画像データ、声を録音した音声データ等の比較的に表出している感情を特定しにくい感情表出データ１２２を利用した場合でも、当該感情表出データ１２２に表れる対象人物の感情の種別を容易にかつ適切に特定することができる。

また、本実施形態では、上記ステップＳ１０３において、特定した感情の種別に関連付ける時間幅を規定する誘発時間は、影響因子データ１２３の種類ごとに設定される。更に、上記ステップＳ１０４において、いずれの感情の種別にも分類されなかった影響因子データ１２３を削除する。したがって、本実施形態によれば、誘発した感情の影響因子を表わす適切なデータ量の影響因子データ１２３を収集することができ、これによって、影響因子データ１２３を格納する記憶部１２を効率的に利用することができる。

また、本実施形態に係る第１学習装置２は、感情の種別ごとに分類された影響因子データ１２３を利用して、影響因子に基づいて対象人物に誘発される感情の種別を推定する学習器（学習済みのニューラルネットワーク７）を構築する。この学習済みのニューラルネットワーク７によれば、影響因子データから対象人物に誘発する感情を推定することができるようになる。また、所定の誘発時間に限って取得され、感情の種別ごとに分類された影響因子データ１２３を使用した機械学習により学習器を構築するので、学習時間を短縮させることができるとともに、誘発要因の推定精度に優れた学習器を構築することができる。

例えば、学習済みのニューラルネットワーク７を利用すれば、自動車が自動運転で走行している間に、ドライバ及び同乗者から取得した生体データ及び車内環境から取得した環境データに基づいて、ドライバ及び同乗者に誘発する感情を推定することができる。これにより、ドライバ及び同乗者が快適に感じるように自動運転及び車内環境の調節を行うことができる。

また、例えば、学習済みのニューラルネットワーク７を利用すれば、工場などの作業現場で、作業員から取得した生体データ及び工場内の作業環境から取得した環境データに基づいて、作業員に誘発する感情を推定することができる。これにより、作業員が快適に感じるように、作業現場の改善点を見つけ出すことができる。

§４ 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。

＜４．１＞
上記実施形態では、上記ステップＳ１０２において、感情表出データ１２２に表出する対象人物の感情の種別を特定するのに、学習済みのニューラルネットワーク６を利用している。しかしながら、感情表出データ１２２に表出する対象人物の感情の種別を特定する方法は、このような例に限定されなくてもよく、学習済みのニューラルネットワーク６を利用しなくてもよい。

例えば、ポリグラフにより得られたデータ、対象人物からの回答データ等の感情の種別をそのままで示し得る感情表出データ１２２を利用する場合、制御部１１は、上記ステップＳ１０２において、感情表出データ１２２の示す値を閾値判定する等により、当該感情表出データ１２２に表出する対象人物の感情の種別を特定してもよい。また、例えば、対象人物の顔を写した画像データを感情表出データ１２２として利用する場合、制御部１１は、上記ステップＳ１０２において、公知の画像解析を画像データに適用することで、当該画像データに表出する対象人物の感情の種別を特定してもよい。また、例えば、対象人物の声を録音した音声データを感情表出データ１２２として利用する場合、制御部１１は、上記ステップＳ１０２において、公知の音声解析を音声データに適用することで、当該音声データに表出する対象人物の感情の種別を特定してもよい。

＜４．２＞
上記実施形態では、影響因子データ１２３は、生体データ１２３１、環境データ１２３２、及びイベントデータ１２３３を含んでいる。しかしながら、影響因子データ１２３の構成は、このような例に限定されなくてもよく、例えば、生体データ１２３１、環境データ１２３２、及びイベントデータ１２３３の少なくともいずれかは省略されてもよい。また、影響因子データ１２３は、上記生体データ１２３１、環境データ１２３２、及びイベントデータ１２３３のうちの少なくとも２つを含むように構成されてよい。この場合にも、誘発時間は、上記実施形態と同様に、生体データ１２３１、環境データ１２３２、及びイベントデータ１２３３それぞれで相違するように設定されてよい。

＜４．３＞
上記実施形態では、制御部１１は、上記ステップＳ１０３において、誘発時間内に取得した影響因子データ１２３を、任意の時刻において特定した感情の種別に関連付けている。しかしながら、特定した感情の種別に関連付けるデータは、影響因子データ１２３に限られなくてもよい。

例えば、制御部１１は、ステップＳ１０２で特定した感情の種別に、その感情の種別の特定に利用した任意の時刻における感情表出データ１２２を関連付けてもよい。この場合、上記第１学習装置２は、感情の種別ごとに分類された感情表出データ１２２及び影響因子データ１２３をデータ収集装置１から取得してもよい。そして、第１学習装置２は、感情表出データ１２２及び影響因子データ１２３を入力すると、対応する感情の種別を示す値を出力する学習済みのニューラルネットワーク７を構築してもよい。

また、例えば、図１２〜図１４に例示されるように、制御部１１は、ステップＳ１０２で特定した感情の種別に、対象人物の属性を示す属性データを関連付けてもよい。図１２〜図１４は、本変形例に係るデータ収集装置１Ａ、第１学習装置２Ａ、及び第２学習装置３Ａの機能構成の一例を模式的に例示する。

図１２に例示されるように、本変形例に係るデータ収集装置１Ａの分類処理部１１４は、対象人物の感情の種別ごとに分類した影響因子データ１２３に対象人物の属性を示す属性データ１２５を更に関連付けるように構成される。また、学習済みのニューラルネットワーク６Ａは、感情表出データ１２２及び属性データ１２５を入力すると、対応する感情の種別を示す値を出力するように構築される。ニューラルネットワーク６Ａは、属性データ１２５を入力層に入力可能になっている点を除き、上記ニューラルネットワーク６と同様に構成可能である。表出感情学習結果データ１２４Ａは、この学習済みのニューラルネットワーク６Ａの構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を含む。これらの点を除き、データ収集装置１Ａは、上記データ収集装置１と同様に構成される。なお、本変形例において、学習済みのニューラルネットワーク６Ａは、上記学習済みのニューラルネットワーク６と同様に、感情表出データ１２２を入力すると、対応する感情の種別を示す値を出力するように構築されてもよい。

本変形例の場合、制御部１１は、対象人物の属性データ１２５を適宜取得する。例えば、制御部１１は、上記ステップＳ１０１の処理の前に、オペレータ等に対して、対象とする人物の属性の入力を受け付け、受け付けた入力に基づいて、属性データ１２５を取得する。対象人物の属性は、例えば、性別、身長、体重、血液型、年齢、誕生日、出身地、国籍、及び職業の少なくともいずれかにより規定されてよい。

次に、上記ステップＳ１０２では、制御部１１は、学習済みのニューラルネットワーク６Ａの入力層に感情表出データ１２２及び属性データ１２５を入力することで、感情表出データ１２２に表出する対象人物の感情の種別を示す値を出力層から取得する。そして、制御部１１は、上記ステップＳ１０３において、取得した属性データ１２５を、感情の種別ごとに分類して保存する影響因子データ１２３に関連付けてよい。これにより、対象人物の感情に影響を及ぼし得る因子に関する影響因子データ１２３を、対象人物の属性ごと及び感情の種別ごとに分類して保存することができる。

また、図１３に例示されるとおり、本変形例に係る第１学習装置２Ａのデータ取得部２１１は、対象人物の属性ごと及び感情の種別ごとに分類された影響因子データ１２３を取得するように構成される。そして、学習処理部２１２は、影響因子データ１２３及び属性データ１２５を入力すると、対応する感情の種別を示す値１２３４を出力するようにニューラルネットワーク７Ａを学習させるように構成される。ニューラルネットワーク７Ａは、属性データ１２５を入力層に更に入力可能になっている点を除き、上記ニューラルネットワーク７と同様に構成可能である。これらの点を除き、第１学習装置２Ａは、上記第１学習装置２と同様に構成される。

本変形例の場合、制御部２１は、上記ステップＳ２０１において、対象人物の属性ごと及び感情の種別ごとに分類された影響因子データ１２３を、例えば、データ収集装置１Ａから取得する。次に、制御部２１は、上記ステップＳ２０２の学習処理により、影響因子データ１２３及び属性データ１２５を入力すると、対応する感情の種別を示す値１２３４を出力するニューラルネットワーク７Ａを構築する。そして、制御部２１は、上記ステップＳ２０３において、構築したニューラルネットワーク７Ａの構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を誘発感情学習結果データ２２３Ａとして記憶部２２に格納する。これにより、対象人物の属性及び影響因子に基づいて当該対象人物に誘発される感情の種別を推定する学習済みのニューラルネットワーク７Ａを構築することができる。そのため、本変形例によれば、対象人物に誘発される感情の種別の推定精度の高い学習済みのニューラルネットワーク７Ａを構築することができる。

また、図１４に例示されるとおり、本変形例に係る第２学習装置３Ａのデータ取得部３１１は、対象人物の属性を示す属性データ１２５に関連付けられた学習データ３２２を取得するように構成される。そして、学習処理部３１２は、感情表出データ３２２１及び属性データ１２５を入力すると、感情表出データ３２２１に表出している感情の種別を示す値３２２２を出力するようにニューラルネットワーク８Ａを学習させるように構成される。ニューラルネットワーク８Ａは、属性データ１２５を入力層に入力可能になっている点を除き、上記ニューラルネットワーク８と同様に構成可能である。これらの点を除き、第２学習装置３Ａは、上記第２学習装置３と同様に構成される。

本変形例の場合、制御部３１は、上記ステップＳ３０１において、対象人物の属性を示す属性データ１２５に関連付けられた学習データ３２２を取得する。次に、制御部３１は、上記ステップＳ３０２の学習処理により、感情表出データ３２２１及び属性データ１２５を入力すると、感情表出データ３２２１に表出している感情の種別を示す値３２２２を出力するニューラルネットワーク８Ａを構築する。そして、制御部３１は、上記ステップＳ３０３において、構築したニューラルネットワーク８Ａの構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を表出感情学習結果データ１２４Ａとして記憶部３２に格納する。これにより、上記データ収集装置１Ａで利用する学習済みのニューラルネットワーク６Ａを設定するための表出感情学習結果データ１２４Ａを得ることができる。

＜４．４＞
上記実施形態では、上記ステップＳ１０１〜Ｓ１０３の処理により、対象人物の感情に影響を及ぼし得る因子に関する影響因子データ１２３を感情の種別ごとに分類して収集することができる。そこで、上記実施形態に係るデータ収集装置１は、感情の種別ごとに分類した影響因子データ１２３を利用して、対象人物の感情を誘発した要因を分析するように構成されてよい。

図１５は、本変形例に係るデータ収集装置１Ｂの機能構成の一例を模式的に例示する。図１５に例示されるように、本変形例に係るデータ収集装置１Ｂは、感情の種別ごとに分類された影響因子データ１２３を解析することで、感情を誘発した要因を推定する要因推定部１１５を更に備える点を除き、上記データ収集装置１と同様に構成される。この場合、制御部１１は、上記ステップＳ１０３の処理の後に、要因推定部１１５として機能し、感情の種別ごとに分類された影響因子データ１２３を解析することで、各感情を誘発する要因を推定する。解析手法は、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、出現頻度等を利用した統計的手法により、感情の種別ごとに分類された影響因子データ１２３から各感情を誘発する要因を推定してもよい。また、例えば、制御部１１は、教師なし学習、強化学習等の機械学習を利用した手法により、感情の種別ごとに分類された影響因子データ１２３から各感情を誘発する要因を推定してもよい。当該変形例によれば、感情の種別ごとに分類して収集した影響因子データ１２３を利用して、対象人物の感情を誘発した要因を推定することができる。

＜４．５＞
上記実施形態では、各ニューラルネットワーク６〜８として、多層構造を有する一般的な順伝播型ニューラルネットワークが用いられている。しかしながら、各ニューラルネットワーク６〜８の種類は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、各ニューラルネットワーク６〜８には、畳み込み層及びプーリング層を備える畳み込みニューラルネットワーク、中間層から入力層等のように出力側から入力側に再帰する結合を有する再帰型ニューラルネットワーク等を用いてもよい。また、各ニューラルネットワーク６〜８に含まれる各ニューロンの内部構造も、上記実施形態の例に限定されなくてもよい。例えば、各ニューロンには、内部電位ｈに基づいて確率Ｐで発火してパルスを生成するスパイキングニューロンが用いられてもよい。

＜４．６＞
上記実施形態では、各学習器は、ニューラルネットワークにより構成されている。しかしながら、学習器の種類は、ニューラルネットワークに限られなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、各学習器には、サポートベクターマシン、自己組織化マップ、強化学習により学習を行う学習器等が用いられてよい。

＜４．７＞
上記実施形態では、ステップＳ１０４により、いずれの感情の種別にも分類されなかった影響因子データ１２３を削除している。しかしながら、データ収集装置１の処理手順は、このような例に限定されなくてもよい。いずれの感情の種別にも分類されなかった影響因子データ１２３も保存する場合、上記ステップＳ１０４の処理は省略されてもよい。

＜４．８＞
また、上記実施形態では、データ収集装置１、第１学習装置２、第２学習装置３、及びその他の情報処理装置（例えば、誘発感情推定装置）はそれぞれ別のコンピュータにより構成されている。しかしながら、データ収集装置１、第１学習装置２、第２学習装置３、及びその他の情報処理装置の構成は、このような例に限定されなくてもよい。データ収集装置１、第１学習装置２、第２学習装置３、及びその他の情報処理装置の少なくともいずれか２つは一体に構成されてもよい。なお、データ収集装置１、第１学習装置２、第２学習装置３、及びその他の情報処理装置の少なくともいずれか２つを一体に構成する場合には、一体に構成する各装置に備わる各構成要素を結合（和集合）すればよい。すなわち、一体的に構成される情報処理装置は、各プログラム、各学習データ、各学習結果データ等の各装置に固有の構成要素を個別に含むようにし、制御部、記憶部、入力装置、出力装置等は共通で含むように構成すればよい。

＜４．９＞
また、上記実施形態では、表出感情学習結果データ１２４及び誘発感情学習結果データ２２３は、各ニューラルネットワーク（６、７）の構成を示す情報を含んでいる。しかしながら、各学習結果データ（１２４、２２３）の構成は、このような例に限定されなくてもよい。例えば、利用するニューラルネットワークの構成が各装置で共通化されている場合には、各学習結果データ（１２４、２２３）は、各ニューラルネットワーク（６、７）の構成を示す情報を含んでいなくてもよい。

１・１Ａ・１Ｂ…データ収集装置、
１１…制御部、１２…記憶部、１３…外部インタフェース、
１４…入力装置、１５…出力装置、１６…ドライブ、
１１１…第１取得部、１１２…第２取得部、
１１３…感情特定部、１１４…分類処理部、
１１５…要因推定部、
１２１…収集プログラム、１２２…感情表出データ、
１２３…影響因子データ、
１２３１…生体データ、１２３２…環境データ、１２３３…イベントデータ、
１２４…表出感情学習結果データ、
１２５…属性データ、
２・２Ａ…第１学習装置、
２１…制御部、２２…記憶部、２３…外部インタフェース、
２４…入力装置、２５…出力装置、２６…ドライブ、
２１１…データ取得部、２１２…学習処理部、
２２１…第１学習プログラム、２２２…（誘発感情用）学習データ、
２２３…誘発感情学習結果データ、
３・３Ａ…第２学習装置、
３１…制御部、３２…記憶部、３３…外部インタフェース、
３４…入力装置、３５…出力装置、３６…ドライブ、
３１１…データ取得部、３１２…学習処理部、
３２１…第２学習プログラム、３２２…（表出感情用）学習データ、
５１…第１センサ、５２…第２センサ、
６…ニューラルネットワーク、
６１…入力層、６２…中間層（隠れ層）、６３…出力層、
７…ニューラルネットワーク、
７１…入力層、７２…中間層（隠れ層）、７３…出力層、
８…ニューラルネットワーク、
８１…入力層、８２…中間層（隠れ層）、８３…出力層、
９１・９２・９３…記憶媒体

Claims (11)

1. 人物の感情が表出する第１データを取得する第１取得部と、
   前記第１データの取得に並行して、前記人物の感情に影響を及ぼし得る因子に関する複数種類のデータを含む第２データを取得する第２取得部と、
   取得した前記第１データに基づいて、任意の時刻における前記人物の感情の種別を特定する感情特定部と、
   前記任意の時刻における前記人物の感情の誘発に関連する誘発時間内に取得した前記第２データを、特定した前記任意の時刻における前記人物の感情の種別に関連付けて保存することにより、前記人物の感情の種別ごとに前記第２データを分類する分類処理部と、
   を備え、
   前記誘発時間は、特定された種別の感情の誘発に関与する時間を規定し、
   前記誘発時間の長さは、データの種類ごとに設定されている、
   データ収集装置。
2. 前記感情特定部は、前記第１データを入力すると、前記第１データに表出する前記人物の感情の種別を示す値を出力するように学習した学習済みの学習器を用いて、前記任意の時刻における前記人物の感情の種別を特定する、
   請求項１に記載のデータ収集装置。
3. 前記分類処理部は、前記人物の感情の種別ごとに分類する前記第２データに前記人物の属性を更に関連付ける、
   請求項１又は２に記載のデータ収集装置。
4. 前記人物の属性は、性別、身長、体重、血液型、年齢、誕生日、出身地、国籍、及び職業の少なくともいずれかにより特定される、
   請求項３に記載のデータ収集装置。
5. 前記感情の種別ごとに分類された前記第２データを解析することで、前記感情を誘発した要因を推定する要因推定部を更に備える、
   請求項１から４のいずれか１項に記載のデータ収集装置。
6. 前記分類処理部は、いずれの感情の種別にも分類されなかった前記第２データを削除するよう構成される、
   請求項１から５のいずれか１項に記載のデータ収集装置。
7. 前記第１データは、前記人物の顔を写した画像データ、ポリグラフにより得られたデータ、前記人物の声を録音した音声データ、及び前記人物からの回答データの少なくともいずれかを含む、
   請求項１から６のいずれか１項に記載のデータ収集装置。
8. 前記第２データは、前記人物から得られる生体データ、前記人物の周囲の環境を示す環境データ、及び前記人物に起きた出来事を示すイベントデータの少なくともいずれかを含む、
   請求項１から７のいずれか１項に記載のデータ収集装置。
9. 前記第２データは、前記生体データ、前記環境データ、及び前記イベントデータのうちの少なくとも２つを含み、
   前記誘発時間の長さは、前記生体データ、前記環境データ、及び前記イベントデータそれぞれで相違する、
   請求項８に記載のデータ収集装置。
10. 前記生体データは、心拍数、脈拍数、呼吸数、体温、血圧、脳波、姿勢、及び筋電の少なくともいずれかを示す、
    請求項８又は９に記載のデータ収集装置。
11. 前記環境データは、温度、湿度、明るさ、天気、気圧、騒音、振動、及び臭気の少なくともいずれかを示す、
    請求項８から１０のいずれか１項に記載のデータ収集装置。
    

Images