JP6844562B2

JP6844562B2 - アノテーション方法、アノテーション装置、アノテーションプログラム及び識別システム

Info

Publication number: JP6844562B2
Application number: JP2018045861A
Authority: JP
Inventors: 中嶋　宏; 宏中嶋
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2018-03-13
Filing date: 2018-03-13
Publication date: 2021-03-17
Anticipated expiration: 2038-03-13
Also published as: CN111712840B; WO2019176991A1; JP2019159819A; CN111712840A; US12048528B2; US20200397346A1

Description

本発明は、アノテーション方法、アノテーション装置、アノテーションプログラム及び識別システムに関する。

従来、様々な場面において、対象のデータにラベルを付与するアノテーション処理が行われる。例えば、動画データの各部分の内容を示すために、当該動画データの各部分にアノテーション処理が行われる場合がある。また、例えば、特許文献１には、加速度センサから得られるセンサデータ、及び当該センサデータに付与され、当該センサデータの表す行動の種類を示すラベルを利用して、ユーザの行動モデルを学習する方法が提案されている。ラベルは、付与される時間区間内におけるデータの何らかの情報を示すものであり、例えば、特許文献１のように、教師あり学習における正解データ（教師データ）等の様々な用途に利用される。

特開２０１２−２４８０１７号公報

従来、センサの出力が時系列に連続的に配列されたセンサデータに対してアノテーションを行う場合、当該センサデータを時間区間で分割し、得られた各時間区間に各ラベルを付与していた。しかしながら、このようなアノテーション方法では、次のような問題点があることを本件発明者は見出した。

すなわち、センサデータでは、センサの出力が連続的に配列されており、ある時間区間に表れるある状態から次の時間区間に表れる他の状態に徐々に移行するため、各時間区間の境界の時刻を正しく決定するのは困難である。また、同様の理由により、各時間区間の境界では、付与するラベルの内容を一意に決定することができない可能性がある。これらの要因により、従来のアノテーション方法では、センサデータに所望の情報を正確に付与することは困難であるという問題点があることを本件発明者は見出した。

例えば、ユーザに装着した加速度センサから得られるセンサデータに、歩行している（歩行状態）、椅子に座っている（座位状態）、椅子から立ち上がった（起立状態）等のユーザの行動状態を示すラベルを付与するケースを想定する。このケースにおいて、歩行状態から座位状態に移行する、座位状態から起立状態に移行する等の行動状態を変更するための動作をユーザがとった場合に、行動状態の切り替わったタイミングが曖昧であるため、当該行動状態が切り替わった時刻を正しく決定することは困難である。また、各行動状態の移行している区間に、移行前の行動状態を示すラベルを付与すればよいのか、移行後の行動状態を示すラベルを付与すればよいのか不明である。そのため、各行動状態の移行している区間に付与するラベルの内容を一意に決定するのは困難である。したがって、このケースにおいて、従来のアノテーション方法では、ユーザの行動状態を示す情報をセンサデータに正確に付与することは困難である。

本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、センサデータに所望の情報をより正確に付与することができるアノテーション技術を提供することである。

本発明は、上述した課題を解決するために、以下の構成を採用する。

すなわち、本発明の一側面に係るアノテーション方法では、コンピュータが、センサの出力を時系列に配列したセンサデータを取得するステップと、取得したセンサデータに複数のラベルを付与するステップと、を実行する。前記複数のラベルは、第１のラベル及び第２のラベルを含み、前記第１のラベルは、第１の時間区間に付与され、前記第２のラベルは、前記時系列上で前記第１の時間区間よりも後にある第２の時間区間に付与される。そして、前記第１の時間区間の開始時刻が前記第２の時間区間の開始時刻よりも前であり、かつ前記第１の時間区間の終了時刻が前記第２の時間区間の終了時刻よりも前であるのに対して、前記第１の時間区間の前記終了時刻が前記第２の時間区間の開始時刻よりも後であることで、前記第１の時間区間及び前記第２の時間区間は、前記時系列上で部分的に重複する重複区間を有するように設定される。

当該アノテーション方法では、センサデータに複数のラベルを付与する際に、第１のラベルが付与される第１の時間区間と、第２のラベルが付与され、第１の時間区間の後にある第２の時間区間との間に、時系列上で部分的に重複する重複区間が設けられる。これにより、第１の時間区間と第２の時間区間との境界に時間的な幅を持たせることができ、第１のラベルにより示される状態から第２のラベルにより示される状態に遷移したタイミングを一点に決定しなくてもよいようになる。すなわち、第１のラベルの状態から第２のラベルの状態に遷移したタイミングが不明である場合に、重複区間内のいずれかの時刻（タイミング）に当該遷移が生じたものとしたり、重複区間そのものを当該遷移の生じている区間として利用したりすることができるようになる。したがって、当該アノテーション方法によれば、状態の遷移の生じている区間を重複区間によって適切に表すことができるようになるため、境界を一点に決定する従来の方法に比べて、センサデータに所望の情報をより正確に付与することができる。

なお、「センサ」は、何らかのデータを時系列に沿って取得可能であれば、その種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。「センサ」は、例えば、生体センサ（拍動、体温、筋電、心電、脳波等を測定可能なセンサ）、活動量センサ（振動、加速度等を測定可能なセンサ）、モーションセンサ、カメラ、マイクロフォン、ロードセル等であってよい。

「センサデータ」は、時間軸上にセンサの出力を時系列に沿って配列したものであり、その種類は、センサの種類に応じて適宜決定されてよい。「センサデータ」は、例えば、数値データ、テキストデータ、画像データ、及び音声データの少なくともいずれかであってよい。また、「センサデータ」は、センサの出力が時系列に沿って配列されているため、「時系列データ」とも称されてよい。

「ラベル」は、センサデータにおける対象の時間区間に何らかの情報を付与するものであり、その内容は、実施の形態に応じて適宜決定されてよい。ラベルは、例えば、対象の時間区間のデータの内容、特徴等を示すように設定されてよい。ラベルは、機械学習等の情報処理に利用されてもよい。「ラベル」が教師あり学習に利用可能である場合、当該「ラベル」は、「教師データ」又は「正解データ」とも称されてよい。この場合、ラベルの内容は、教師あり学習により学習器に習得させる推論の正解であってもよい。なお、以下では、複数のラベルが付与されたセンサデータを「ラベル付きセンサデータ」とも称する。

上記一側面に係るアノテーション方法において、前記コンピュータは、前記第１の時間区間と前記第２の時間区間とを暫定的に区分する境界時刻を設定し、設定された前記境界時刻の前及び後の少なくとも一方の時刻を含むように、所定の時間幅を有する前記重複区間を設定してもよい。当該方法によれば、暫定的な境界時刻を基準にして、重複区間を簡易に設定することができるようになるため、アノテーションのコストを低減することができる。

上記一側面に係るアノテーション方法において、前記所定の時間幅は、前記第１のラベル及び前記第２のラベルの少なくとも一方の種類に基づいて決定されてよい。当該方法によれば、付与するラベルの種類に基づいて、重複区間を適切に設定することができるようになるため、センサデータに所望の情報をより正確に付与することができる。なお、ラベルの種類に応じた重複区間の時間幅の具体的な値は、実施の形態に応じて適宜決定されてよい。例えば、工場の作業員の「視認」、「把持」、「運搬」及び「調整」の動作をセンサにより監視する場面を想定したとする。この場面では、「視認」の状態から「把持」の状態に遷移するときの方が、「把持」の状態から「運搬」の状態に遷移するときに比べて、通常、当該状態の遷移にかかる時間は長いと想定される。そこで、この場面において、「視認」のラベルを付与する時間区間と「把持」のラベルを付与する時間区間との間の重複区間の時間幅が、「把持」のラベルを付与する時間区間と「運搬」のラベルを付与する時間区間との間の重複区間の時間幅より長くなるように設定されてよい。

上記一側面に係るアノテーション方法において、前記所定の時間幅は、固定値であってよい。当該方法によれば、重複区間を設定するのにかかる計算量を抑えることができるため、アノテーションのコストを低減することができる。

上記一側面に係るアノテーション方法において、前記コンピュータは、時刻の指定をユーザから受け付け、指定された前記時刻を前記境界時刻に設定してもよい。当該方法によれば、重複区間の基準となる境界時刻を簡易な方法で設定することができるため、アノテーションのコストを低減することができる。

上記一側面に係るアノテーション方法において、前記コンピュータは、前記第１の時間区間と前記第２の時間区間とを暫定的に区分する境界時刻についての複数の指定を受け付けてもよく、前記複数の指定により与えられた境界時刻の平均及びばらつきの少なくともいずれかに基づいて前記重複区間を設定してもよい。当該方法によれば、複数の指定により与えられた境界時刻の平均及びばらつきの少なくともいずれかに基づいて、重複区間を適切に設定することができるようになるため、センサデータに所望の情報をより正確に付与することができる。

上記一側面に係るアノテーション方法において、前記コンピュータは、前記第１の時間区間と前記第２の時間区間との重複する区間の指定を受け付けてもよく、指定された前記区間を前記重複区間に設定してもよい。当該方法によれば、重複区間を簡易に設定することができるようになるため、アノテーションのコストを低減することができる。

上記一側面に係るアノテーション方法において、前記コンピュータは、前記センサのサンプリング周期に基づいて、前記センサの前記出力をそれぞれサンプルする複数のサンプル点を前記重複区間が含むように、前記重複区間の時間幅を設定してもよい。当該方法によれば、重複区間は、複数のサンプル点を含むように設定される。これによって、重複区間が実質的に一つの時点のみを含むように設定されるのを避けることができ、第１の時間区間と第２の時間区間との境界に確実に時間的な幅を持たせることができる。

上記一側面に係るアノテーション方法において、前記コンピュータは、前記第１の時間区間の前記開始時刻から前記第２の時間区間の前記開始時刻までの区間に、前記第１のラベルとして第１の値を付与してもよく、前記第１の時間区間の前記終了時刻から前記第２の時間区間の前記終了時刻までの区間に、前記第２のラベルとして第２の値を付与してもよく、前記第１の時間区間の前記終了時刻から前記第２の時間区間の前記開始時刻までの区間に、前記第１の値から前記第２の値に遷移するように１又は複数の値を前記重複区間のラベルとして付与してもよい。当該方法によれば、第１のラベルにより示される状態から第２のラベルにより示される状態に遷移している状態を示すラベルを重複区間に付与することにより、センサデータに所望の情報をより正確に付与することができる。なお、重複区間に付与するラベルの内容が、第１のラベル及び第２のラベルの内容と相違する場合、第１のラベル及び第２のラベルと区別して、重複区間に付与するラベルを「第３のラベル」とも称してもよい。

上記一側面に係るアノテーション方法において、前記複数のラベルそれぞれは、当該各ラベルの付与される時間区間内における前記センサデータに対する所定の推論の正解を示すように設定されてもよい。当該方法によれば、教師あり学習に利用可能なラベル付きセンサデータを生成することができる。

上記一側面に係るアノテーション方法において、前記コンピュータは、前記センサデータ及び前記複数のラベルを利用して教師あり学習を実施することで、前記所定の推論を行う能力を有するように構築された学習済みの学習器に対する評価結果を示す評価結果データを取得するステップと、取得した前記評価結果データの示す前記評価結果に基づいて、前記重複区間の時間幅を変更するステップと、を更に実行してもよい。センサデータに各ラベルが適切に付与されている場合には、そのラベル付きセンサデータを利用した教師あり学習により構築された学習済みの学習器による所定の推論を行う能力は高くなる（すなわち、当該学習済みの学習器に対する評価は高くなる）。一方、重複区間の時間幅が正確でない等に起因して、センサデータに適切に各ラベルが付与されていない場合には、そのラベル付きセンサデータを利用した教師あり学習により構築された学習済みの学習器による所定の推論を行う能力は低くなる（すなわち、当該学習済みの学習器に対する評価は低くなる）。当該方法では、重複区間の時間幅を変更することで、各ラベルを付与する時間区間を調整し、センサデータの各時間区間に各ラベルを適切に付与することができるようになる。したがって、当該方法によれば、所定の推論を行う能力の高い学習済みの学習器を構築可能なラベル付きセンサデータを生成することができる。なお、「学習済みの学習器」は、「識別器」又は「分類器」と称されてもよい。

上記一側面に係るアノテーション方法において、前記評価結果は、前記センサデータとは異なる他のセンサデータに対して、前記学習済みの学習器により前記所定の推論を行った際の正答率により表現されてもよく、前記コンピュータは、前記評価結果データにより示される前記正答率が所定の閾値以下である場合に、前記重複区間の時間幅を狭める又は拡げることで、前記重複区間の時間幅を変更してもよい。当該方法によれば、所定の推論を行う能力を一定の水準以上で有する学習済みの学習器を構築可能なラベル付きセンサデータを生成することができる。

なお、上記各形態に係るアノテーション方法の別の形態として、本発明の一側面は、以上の各ステップを実行可能な情報処理装置であってもよいし、プログラムであってもよいし、このようなプログラムを記憶した、コンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記憶媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。

例えば、本発明の一側面に係るアノテーション装置は、センサの出力を時系列に配列したセンサデータを取得するデータ取得部と、取得したセンサデータに複数のラベルを付与するラベル付与部と、を備える情報処理装置であって、前記複数のラベルは、第１のラベル及び第２のラベルを含み、前記第１のラベルは、第１の時間区間に付与され、前記第２のラベルは、前記時系列上で前記第１の時間区間よりも後にある第２の時間区間に付与され、前記第１の時間区間の開始時刻が前記第２の時間区間の開始時刻よりも前であり、かつ前記第１の時間区間の終了時刻が前記第２の時間区間の終了時刻よりも前であるのに対して、前記第１の時間区間の前記終了時刻が前記第２の時間区間の開始時刻よりも後であることで、前記第１の時間区間及び前記第２の時間区間は、前記時系列上で部分的に重複する重複区間を有するように設定される、情報処理装置である。

また、例えば、本発明の一側面に係るアノテーションプログラムは、コンピュータに、センサの出力を時系列に配列したセンサデータを取得するステップと、取得したセンサデータに複数のラベルを付与するステップと、を実行させるためのプログラムであって、前記複数のラベルは、第１のラベル及び第２のラベルを含み、前記第１のラベルは、第１の時間区間に付与され、前記第２のラベルは、前記時系列上で前記第１の時間区間よりも後にある第２の時間区間に付与され、前記第１の時間区間の開始時刻が前記第２の時間区間の開始時刻よりも前であり、かつ前記第１の時間区間の終了時刻が前記第２の時間区間の終了時刻よりも前であるのに対して、前記第１の時間区間の前記終了時刻が前記第２の時間区間の開始時刻よりも後であることで、前記第１の時間区間及び前記第２の時間区間は、前記時系列上で部分的に重複する重複区間を有するように設定される、プログラムである。

また、上記センサデータ及び複数のラベルを利用した教師あり学習により構築された学習済みの学習器を利用して、所定の推論を実施するシステム、情報処理装置、情報処理方法、プログラム、及びこのようなプログラムを記憶した、コンピュータその他装置、機械等が読み取り可能な記憶媒体を構成してもよい。

例えば、本発明の一側面に係る識別システムは、工場の作業員の行動状態を監視するセンサの出力を時系列に配列したセンサデータを取得するデータ取得部と、取得した前記センサデータに複数のラベルを付与するラベル付与部であって、当該複数のラベルそれぞれは、当該各ラベルの付与される時間区間内における前記センサデータに表れる前記作業員の行動状態の正解を示すように設定される、ラベル付与部と、前記センサデータ及び前記複数のラベルを利用して教師あり学習を実施することで、前記作業員の行動状態の種別を推定する能力を有するように学習済みの学習器を構築する学習処理部と、前記作業員の行動状態を推定する対象となる対象センサデータを取得する対象データ取得部と、前記対象センサデータを前記学習済みの学習器に入力し、前記学習済みの学習器から出力を得ることで、前記対象センサデータに表れる前記作業員の行動状態を推定する状態推定部と、前記作業員の行動状態を推定した結果を出力する出力部と、を備え、前記複数のラベルは、第１のラベル及び第２のラベルを含み、前記第１のラベルは、第１の時間区間に付与され、前記第２のラベルは、前記時系列上で前記第１の時間区間よりも後にある第２の時間区間に付与され、前記第１の時間区間の開始時刻が前記第２の時間区間の開始時刻よりも前であり、かつ前記第１の時間区間の終了時刻が前記第２の時間区間の終了時刻よりも前であるのに対して、前記第１の時間区間の前記終了時刻が前記第２の時間区間の開始時刻よりも後であることで、前記第１の時間区間及び前記第２の時間区間は、前記時系列上で部分的に重複する重複区間を有するように設定される。

また、例えば、本発明の一側面に係る識別システムは、センサの出力を時系列に配列したセンサデータを取得するデータ取得部と、取得した前記センサデータに複数のラベルを付与するラベル付与部であって、当該複数のラベルそれぞれは、当該各ラベルの付与される時間区間内における前記センサデータに対する所定の推論の正解を示すように設定される、ラベル付与部と、前記センサデータ及び前記複数のラベルを利用して教師あり学習を実施することで、前記所定の推論を行う能力を有するように学習済みの学習器を構築する学習処理部と、前記所定の推論を行う対象となる対象センサデータを取得する対象データ取得部と、前記対象センサデータを前記学習済みの学習器に入力し、前記学習済みの学習器から出力を得ることで、前記対象センサデータに対して所定の推論を実施する推論部と、前記所定の推論を実施した結果を出力する出力部と、を備え、前記複数のラベルは、第１のラベル及び第２のラベルを含み、前記第１のラベルは、第１の時間区間に付与され、前記第２のラベルは、前記時系列上で前記第１の時間区間よりも後にある第２の時間区間に付与され、前記第１の時間区間の開始時刻が前記第２の時間区間の開始時刻よりも前であり、かつ前記第１の時間区間の終了時刻が前記第２の時間区間の終了時刻よりも前であるのに対して、前記第１の時間区間の前記終了時刻が前記第２の時間区間の開始時刻よりも後であることで、前記第１の時間区間及び前記第２の時間区間は、前記時系列上で部分的に重複する重複区間を有するように設定される。

本発明によれば、センサデータに所望の情報をより正確に付与することができるアノテーション技術を提供することができる。

図１は、本発明が適用される場面の一例を模式的に例示する。図２は、実施の形態に係るアノテーション装置のハードウェア構成の一例を模式的に例示する。図３は、実施の形態に係る学習装置のハードウェア構成の一例を模式的に例示する。図４は、実施の形態に係る識別装置のハードウェア構成の一例を模式的に例示する。図５は、実施の形態に係るアノテーション装置のソフトウェア構成の一例を模式的に例示する。図６は、実施の形態に係る学習装置のソフトウェア構成の一例を模式的に例示する。図７Ａは、実施の形態に係る学習装置による学習器の機械学習の過程を模式的に例示する。図７Ｂは、実施の形態に係る学習装置による学習済みの学習器の性能評価の過程を模式的に例示する。図８は、実施の形態に係る識別装置のソフトウェア構成の一例を模式的に例示する。図９は、実施の形態に係るアノテーション装置の処理手順の一例を例示する。図１０は、第１のラベルを付与する第１の時間区間と第２のラベルを付与する第２の時間区間との関係を模式的に例示する。図１１Ａは、重複区間を設定する第１の方法の過程を模式的に例示する。図１１Ｂは、重複区間を設定する第１の方法の過程を模式的に例示する。図１１Ｃは、重複区間を設定する第１の方法の過程を模式的に例示する。図１２は、重複区間を設定する第２の方法の一例を模式的に例示する。図１３は、重複区間を設定する第３の方法の一例を模式的に例示する。図１４は、重複区間に設定するラベルの内容の一例を模式的に例示する。図１５は、センサデータに対するアノテーションの一例を模式的に例示する。図１６は、実施の形態に係る学習装置の処理手順の一例を例示する。図１７は、実施の形態に係るアノテーション装置の重複区間の修正に関する処理手順の一例を例示する。図１８は、実施の形態に係る識別装置の処理手順の一例を例示する。図１９は、本発明が適用される他の場面の一例を模式的に例示する。図２０は、他の形態に係る識別装置のソフトウェア構成の一例を模式的に例示する。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。

§１適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、本実施形態に係る識別システム１００の適用場面の一例を模式的に例示する。本実施形態に係る識別システム１００は、工場の作業員の行動状態を監視するためのシステムであり、ネットワークを介してそれぞれ接続されるアノテーション装置１、学習装置２、及び識別装置４により構成されている。

アノテーション装置１は、センサの出力を時系列に配列したセンサデータを取得し、取得したセンサデータに複数のラベルを付与する情報処理装置である。センサは、何らかのデータを時系列に沿って取得可能であれば、その種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。センサは、例えば、生体センサ（拍動、体温、筋電、心電、脳波等を測定可能なセンサ）、活動量センサ（振動、加速度等を測定可能なセンサ）、モーションセンサ、カメラ、マイクロフォン、ロードセル等であってよい。

また、センサデータは、時間軸上にセンサの出力を時系列に沿って配列したものであり、その種類は、センサの種類に応じて適宜決定されてよい。センサデータは、例えば、数値データ、テキストデータ、画像データ、及び音声データの少なくともいずれかであってよい。センサデータは、センサの出力が時系列に沿って配列されているため、「時系列データ」とも称されてよい。

本実施形態では、工場の作業員の状態を監視するため、カメラ３１及び活動量センサ３２がセンサの一例として利用される。カメラ３１は、公知の撮像装置であってよく、センサデータ１２２として画像データを生成する。また、活動量センサ３２は、例えば、加速度センサであり、作業員の衣服に取り付けられる。活動量センサ３２は、センサデータ１２２として数値データを生成する。カメラ３１及び活動量センサ３２は、本発明の「工場の作業員の状態を監視するセンサ」の一例である。本実施形態に係るアノテーション装置１は、カメラ３１及び活動量センサ３２からセンサデータ１２２を取得する。なお、図１では、簡略化のため、センサデータ１２２として、活動量センサ３２から得られる数値データのみを例示している。本実施形態では、カメラ３１から得られる画像データも、活動量センサ３２から得られる数値データと同様に取り扱われるものとし、図示を省略する。

次に、本実施形態に係るアノテーション装置１は、取得したセンサデータ１２２に複数のラベルを付与することで、ラベル付きセンサデータ１２４を生成する。このとき、センサデータ１２２に設定される複数の時間区間には、時系列上で互いに隣接する第１の時間区間及び第２の時間区間が含まれる。第２の時間区間は、時系列上で第１の時間区間よりも後に連続するように設定される。また、付与される複数のラベルには、第１のラベル１２３１及び第２のラベル１２３２が含まれる。第１のラベル１２３１は、第１の時間区間に付与され、第２のラベル１２３２は、第２の時間区間に付与される。

ラベルの付与される各時間区間は、センサデータ１２２において、開始時刻と終了時刻とによって時系列（時間軸）上で設定される区間である。本実施形態では、第１の時間区間の開始時刻が第２の時間区間の開始時刻よりも前に設定され、かつ第１の時間区間の終了時刻が第２の時間区間の終了時刻よりも前に設定されるのに対して、第１の時間区間の終了時刻は第２の時間区間の開始時刻よりも後に設定される。これによって、本実施形態では、第１の時間区間及び第２の時間区間は、時系列上で部分的に重複する重複区間を有するように設定される。この重複区間は、第１の時間区間及び第２の時間区間それぞれに付与された第１のラベル１２３１及び第２のラベル１２３２の両方が付与された時間区間とみなすことができる。また、この重複区間には、第１のラベル１２３１及び第２のラベル１２３２とは異なるラベル（例えば、第１のラベル１２３１から第２のラベル１２３２に遷移していることを示すラベル）を付与することもできる。

各時間区間に付与される各ラベルは、センサデータにおける対象の時間区間に何らかの情報を付与するものであり、その内容は、実施の形態に応じて適宜決定されてよい。また、各ラベルは、例えば、対象の時間区間のデータの内容、特徴等を示すように設定されてよい。本実施形態では、各ラベルの内容は、当該各ラベルの付与される時間区間内におけるセンサデータ１２２に対する所定の推論の正解を示すように設定される。具体的には、センサデータ１２２は、工場の作業員の状態を監視するためのカメラ３１及び活動量センサ３２から得られるものであるため、各ラベルは、付与される時間区間におけるセンサデータ１２２に表れる作業員の行動状態の正解を示すように設定される。

したがって、生成されるラベル付きセンサデータ１２４は、所定の推論の一例として、カメラ及び活動量センサから得られるセンサデータに基づいて作業員の行動状態の種別を推定する能力を学習器に習得させるための教師あり学習に利用可能である。そこで、本実施形態に係る学習装置２は、ラベル付きセンサデータ１２４をアノテーション装置１から取得して、取得したラベル付きセンサデータ１２４を利用して学習器の教師あり学習を実施する。これにより、本実施形態に係る学習装置２は、カメラ及び活動量センサから得られるセンサデータに基づいて作業員の行動状態の種別を推定する能力を有するように学習済みの学習器を構築する。

具体的には、学習装置２は、ネットワーク等を介してアノテーション装置１からラベル付きセンサデータ１２４を取得する。そして、学習装置２は、対象の時間区間におけるセンサデータ１２２を入力すると、入力したセンサデータ１２２の時間区間に付与されたラベルに対応する値を出力するように学習器（後述するニューラルネットワーク５）を学習させる。これにより、学習装置２は、ラベル付きセンサデータ１２４を利用して、カメラ及び活動量センサから得られるデータに基づいて作業員の行動状態の種別を推定する学習済みの学習器を構築する。

そして、本実施形態に係る識別装置４は、この学習済みの学習器を利用して、作業員の行動状態の推定を行う。すなわち、本実施形態に係る識別装置４は、カメラ３１及び活動量センサ３２から作業員の行動状態を推定する対象となる対象センサデータを取得する。続いて、識別装置４は、対象センサデータを学習済みの学習器に入力し、当該学習済みの学習器から出力を得ることで、当該対象センサデータに表れる作業員の行動状態を推定する。そして、識別装置４は、作業員の行動状態を推定した結果を出力する。

以上のとおり、本実施形態に係るアノテーション方法では、センサデータ１２２に複数のラベルを付与する際に、第１のラベル１２３１が付与される第１の時間区間と第２のラベル１２３２が付与される第２の時間区間との間に、時系列上で部分的に重複する重複区間が設けられる。これにより、第１の時間区間と第２の時間区間との境界に時間的な幅を持たせることができ、第１のラベル１２３１により示される状態から第２のラベル１２３２により示される状態に遷移したタイミングを一点に決定しなくてもよいようになる。すなわち、第１のラベル１２３１により示される状態から第２のラベル１２３２により示される状態への遷移が図１に示される重複区間内のいずれかの時刻に生じたものとしたり、重複区間により当該遷移の生じている区間を表したりすることができるようになる。

したがって、本実施形態に係るアノテーション方法によれば、第１の時間区間と第２の時間区間との間に設定した重複区間により、第１のラベル１２３１により示される状態から第２のラベル１２３２により示される状態への遷移が生じている区間を適切に表すことができる。そのため、時間区間の境界を一点に決定する従来の方法に比べて、センサデータ１２２に所望の情報をより正確に付与することができる。

また、従来の方法において、各時間区間の境界時刻を誤った時刻に設定してしまったり、ある状態から他の状態に移行している区間にいずれかの状態を示すラベルを付与してしまったりすることに起因して、センサデータに付与した情報が正確ではないと、ラベルを利用する場面で様々な悪影響を及ぼす可能性がある。例えば、上記のケースにより得られたラベル付きセンサデータを利用して、センサデータに対してユーザの行動状態を推定する推論を行う能力を学習器に獲得させる教師あり学習を実施する場面を想定する。この場合、まだ歩行状態である時刻であるにも関わらず当該時刻を次の行動状態に遷移する境界時刻として設定してしまったり、歩行状態から座位状態に移行している区間に「歩行状態」を示すラベルを付与したりする等によって、ユーザの行動状態を正確に反映していないラベル付けが行われてしまう可能性がある。ユーザの行動状態を正確に反映してラベル付けが行われていないと、少なくとも部分的にラベルがユーザの行動状態を正しく示していないことになる。これにより、この部分のラベルを正解データ（教師データ）として利用した場合に、誤った学習を実施してしまうことになり、教師あり学習により構築される学習済みの学習器の性能（すなわち、推論の能力）が低減してしまう可能性がある。

これに対して、本実施形態によれば、正解データを含む所望の情報をセンサデータ１２２により正確に付与することができる。そのため、このラベル付きセンサデータ１２４を利用して教師あり学習を実施することで、比較的に推論の能力の高い学習済みの学習器を構築することができるようになる。例えば、教師あり学習にラベル付きセンサデータ１２４を利用する学習装置２では、カメラ及び活動量センサから得られるデータに基づいて作業員の行動状態の種別を推定する能力のより高い学習済みの学習器を構築することができるようになる。これにより、識別装置４は、作業員の行動状態を高い精度で推定することができるようになる。

§２構成例
［ハードウェア構成］
＜アノテーション装置＞
次に、図２を用いて、本実施形態に係るアノテーション装置１のハードウェア構成の一例について説明する。図２は、本実施形態に係るアノテーション装置１のハードウェア構成の一例を模式的に例示する。

図２に示されるとおり、本実施形態に係るアノテーション装置１は、制御部１１、記憶部１２、通信インタフェース１３、外部インタフェース１４、入力装置１５、出力装置１６、及びドライブ１７が電気的に接続されたコンピュータである。なお、図２では、通信インタフェース及び外部インタフェースをそれぞれ「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載している。

制御部１１は、ハードウェアプロセッサであるＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、プログラム及び各種データに基づいて情報処理を実行するように構成される。記憶部１２は、メモリの一例であり、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。本実施形態では、記憶部１２は、アノテーションプログラム１２１、センサデータ１２２、ラベルデータ１２３等の各種情報を記憶する。

アノテーションプログラム１２１は、センサデータ１２２を取得し、取得したセンサデータ１２２のアノテーションを行う後述の情報処理（図９、図１７）をアノテーション装置１に実行させるためのプログラムであり、当該情報処理の一連の命令を含む。ラベルデータ１２３は、センサデータ１２２に付与された複数のラベルを管理するためのデータである。ラベル付きセンサデータ１２４は、センサデータ１２２及びラベルデータ１２３により構成される。詳細は後述する。

通信インタフェース１３は、例えば、有線ＬＡＮ（Local Area Network）モジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。アノテーション装置１は、この通信インタフェース１３によって、ネットワークを介したデータ通信を学習装置２と行うことができる。なお、学習装置２との間のネットワークの種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。

外部インタフェース１４は、例えば、ＵＳＢ（Universal Serial Bus）ポート、専用ポート等であり、外部装置と接続するためのインタフェースである。外部インタフェース１４の種類及び数は、接続される外部装置の種類及び数に応じて適宜選択されてよい。本実施形態では、アノテーション装置１は、外部インタフェース１４を介して、カメラ３１及び活動量センサ３２に接続される。

カメラ３１及び活動量センサ３２は、本発明の「センサ」の一例である。工場の作業員の状態を監視するため、例えば、カメラ３１は、作業員を撮影可能な場所に配置され、活動量センサ３２は、作業員の衣服に取り付けられる。なお、カメラ３１及び活動量センサ３２が通信インタフェースを備える場合、アノテーション装置１は、外部インタフェース１４ではなく、通信インタフェース１３を介して、カメラ３１及び活動量センサ３２に接続されてよい。

入力装置１５は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置１６は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。センサデータ１２２に対するラベルの付与は、装置により自動的に行われてもよいし、ユーザが装置を操作することにより行われてもよい。ユーザによりラベルの付与が行われる場合には、当該ユーザは、入力装置１５及び出力装置１６を利用して、アノテーション装置１を操作することで、センサデータ１２２にラベルを付与することができる。

ドライブ１７は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体９１に記憶されたプログラムを読み込むためのドライブ装置である。ドライブ１７の種類は、記憶媒体９１の種類に応じて適宜選択されてよい。上記アノテーションプログラム１２１及びセンサデータ１２２のうちの少なくともいずれかは、この記憶媒体９１に記憶されていてもよい。

記憶媒体９１は、コンピュータその他装置、機械等が、記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。アノテーション装置１は、この記憶媒体９１から、上記アノテーションプログラム１２１及びセンサデータ１２２のうちの少なくともいずれかを取得してもよい。

ここで、図２では、記憶媒体９１の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体９１の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。

なお、アノテーション装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）、ＤＳＰ（digital signal processor）等で構成されてよい。記憶部１２は、制御部１１に含まれるＲＡＭ及びＲＯＭにより構成されてもよい。通信インタフェース１３、外部インタフェース１４、入力装置１５及び出力装置１６の少なくともいずれかは省略されてもよい。アノテーション装置１は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、アノテーション装置１は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、ＰＣ（Personal Computer）等であってもよい。

＜学習装置＞
次に、図３を用いて、本実施形態に係る学習装置２のハードウェア構成の一例について説明する。図３は、本実施形態に係る学習装置２のハードウェア構成の一例を模式的に例示する。

図３に示されるとおり、本実施形態に係る学習装置２は、制御部２１、記憶部２２、通信インタフェース２３、入力装置２４、出力装置２５、及びドライブ２６が電気的に接続されたコンピュータである。なお、図３では、図２と同様に、通信インタフェースを「通信Ｉ／Ｆ」と記載している。

制御部２１〜ドライブ２６及び記憶媒体９２はそれぞれ、上記アノテーション装置１の制御部１１〜通信インタフェース１３、入力装置１５〜ドライブ１７及び記憶媒体９１と同様の構成を有している。制御部２１は、ハードウェアプロセッサであるＣＰＵ、ＲＡＭ、ＲＯＭ等を含み、プログラム及びデータに基づいて各種情報処理を実行するように構成される。記憶部２２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。記憶部２２は、学習プログラム２２１、ラベル付きセンサデータ１２４、学習結果データ２２２、評価用データセット２２３、評価結果データ２２４等の各種情報を記憶する。

学習プログラム２２１は、ラベル付きセンサデータ１２４を利用して、所定の推論を行う能力を学習器に習得させるための後述の教師あり学習の情報処理（図１６）を学習装置２に実行させるためのプログラムであり、当該情報処理の一連の命令を含む。学習結果データ２２２は、当該教師あり学習により構築された学習済みの学習器の設定を行うためのデータである。評価用データセット２２３は、当該教師あり学習により構築された学習済みの学習器の有する推論の能力を評価するためのデータセットである。評価結果データ２２４は、評価用データセット２２３を利用して当該学習済みの学習器の有する推論を行う能力を評価した結果を示す。詳細は後述する。

通信インタフェース２３は、例えば、有線ＬＡＮモジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。学習装置２は、この通信インタフェース２３によって、ネットワークを介したデータ通信をアノテーション装置１と行うことができる。

入力装置２４は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置２５は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。オペレータは、入力装置２４及び出力装置２５を介して、学習装置２を操作することができる。

ドライブ２６は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体９２に記憶されたプログラムを読み込むためのドライブ装置である。ドライブ２６の種類は、記憶媒体９２の種類に応じて適宜選択されてよい。上記学習プログラム２２１、ラベル付きセンサデータ１２４、及び評価用データセット２２３の少なくとも一つは、この記憶媒体９２に記憶されていてもよい。

記憶媒体９２は、コンピュータその他装置、機械等が、記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。学習装置２は、この記憶媒体９２から、上記学習プログラム２２１、ラベル付きセンサデータ１２４、及び評価用データセット２２３の少なくとも一つを取得してもよい。

ここで、図３では、図２と同様に、記憶媒体９２の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体９２の種類は、上記記憶媒体９１と同様に、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。

なお、学習装置２の具体的なハードウェア構成に関して、上記アノテーション装置１と同様に、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。また、学習装置２は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、ＰＣ等であってもよい。

＜識別装置＞
次に、図４を用いて、本実施形態に係る識別装置４のハードウェア構成の一例について説明する。図４は、本実施形態に係る識別装置４のハードウェア構成の一例を模式的に例示する。

図４に示されるとおり、本実施形態に係る識別装置４は、制御部４１、記憶部４２、通信インタフェース４３、外部インタフェース４４、入力装置４５、出力装置４６、及びドライブ４７が電気的に接続されたコンピュータである。なお、図４では、図２と同様に、通信インタフェース及び外部インタフェースをそれぞれ「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載している。

制御部４１〜ドライブ４７及び記憶媒体９４はそれぞれ、上記アノテーション装置１の制御部１１〜ドライブ１７及び記憶媒体９１と同様の構成を有している。制御部４１は、ハードウェアプロセッサであるＣＰＵ、ＲＡＭ、ＲＯＭ等を含み、プログラム及びデータに基づいて各種情報処理を実行するように構成される。記憶部４２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成され、識別プログラム４２１、学習結果データ２２２等の各種情報を記憶する。識別プログラム４２１は、学習装置２により構築された学習済みの学習器を利用して、作業員の行動状態を推定するための後述の情報処理（図１８）を識別装置４に実行させるプログラムであり、当該情報処理の一連の命令を含む。詳細は後述する。

通信インタフェース４３は、例えば、有線ＬＡＮモジュール、無線ＬＡＮモジュール等であり、アノテーション装置１及び学習装置２とネットワークを介したデータ通信を行うのに利用される。外部インタフェース４４は、例えば、ＵＳＢポート、専用ポート等であり、カメラ３１及び活動量センサ３２に接続するのに利用される。入力装置４５は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置４６は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。ユーザは、入力装置４５及び出力装置４６を介して、識別装置４を操作することができる。

ドライブ４７は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体９４に記憶されたプログラムを読み込むためのドライブ装置である。ドライブ４７の種類は、記憶媒体９４の種類に応じて適宜選択されてよい。上記識別プログラム４２１及び学習結果データ２２２の少なくとも一つは、この記憶媒体９４に記憶されていてもよい。記憶媒体９４は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。識別装置４は、この記憶媒体９４から、上記識別プログラム４２１及び学習結果データ２２２の少なくとも一つを取得してもよい。ここで、図４では、図２及び図３と同様に、記憶媒体９４の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体９４の種類は、上記と同様に、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。

なお、識別装置４の具体的なハードウェア構成に関して、上記アノテーション装置１及び学習装置２と同様に、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。また、識別装置４は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、ＰＣ等であってもよい。

［ソフトウェア構成］
＜アノテーション装置＞
次に、図５を用いて、本実施形態に係るアノテーション装置１のソフトウェア構成の一例を説明する。図５は、本実施形態に係るアノテーション装置１のソフトウェア構成の一例を模式的に例示する。

アノテーション装置１の制御部１１は、記憶部１２に記憶されたアノテーションプログラム１２１をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開されたアノテーションプログラム１２１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図５に示されるとおり、本実施形態に係るアノテーション装置１は、データ取得部１１１、ラベル付与部１１２、及び区間修正部１１３をソフトウェアモジュールとして備えるコンピュータとして構成される。すなわち、本実施形態では、各ソフトウェアモジュールは、制御部１１（ＣＰＵ）により実現される。

データ取得部１１１は、センサ（本実施形態では、カメラ３１、活動量センサ３２）の出力が時系列に配列されたセンサデータ１２２を取得する。ラベル付与部１１２は、取得したセンサデータ１２２に複数のラベルを付与する。このとき、ラベル付与部１１２は、センサデータ１２２の少なくとも一部において、それぞれラベルが付与され、時系列（時間軸）上で連続する２つの時間区間の間に、時系列（時間軸）上で部分的に重複する重複区間を設ける。

具体的には、付与される複数のラベルには、上記第１のラベル１２３１及び第２のラベル１２３２が含まれる。ラベル付与部１１２は、第１のラベル１２３１を付与する第１の時間区間、及び時系列上で第１の時間区間よりも後に隣接し、第２のラベル１２３２を付与する第２の時間区間を次のように設定する。

すなわち、ラベル付与部１１２は、各ラベルを付与する各時間区間をセンサデータ１２２に設定する際に、第１の時間区間の開始時刻を第２の時間区間の開始時刻よりも前に設定し、かつ第１の時間区間の終了時刻を第２の時間区間の終了時刻よりも前に設定する。一方、ラベル付与部１１２は、第１の時間区間の終了時刻を第２の時間区間の開始時刻よりも後に設定する。これにより、ラベル付与部１１２は、互いに隣接する第１の時間区間及び第２の時間区間の間に、時系列上で部分的に重複する重複区間が設けられるように、第１の時間区間及び第２の時間区間を設定する。ラベル付与部１１２は、このようにラベル付けを行った結果をラベルデータ１２３として保存する。

なお、各時間区間に付与する各ラベルの内容は、実施の形態に応じて適宜決定されてよい。本実施形態では、ラベル付与部１１２は、各ラベルの付与される時間区間内におけるセンサデータ１２２に対する所定の推論の正解を示すように、各ラベルの内容を設定する。そのため、各ラベルは、「教師データ」又は「正解データ」とも称されてよい。

本実施形態では、センサデータ１２２は、工場の作業員の状態を監視するためのカメラ３１及び活動量センサ３２から得られるため、ラベル付与部１１２は、付与される時間区間における作業員の行動状態を示すように、各ラベルの内容を設定することができる。これにより、ラベル付与部１１２は、所定の推論の一例として、カメラ及び活動量センサから得られるデータに基づいて作業員の行動状態を推定する能力を学習器に習得させるための教師あり学習に利用可能なラベル付きセンサデータ１２４を生成することができる。

区間修正部１１３は、所定の推論を行う能力を有するように構築された学習済み学習器に対する評価結果を示す評価結果データ２２４を取得する。そして、区間修正部１１３は、取得した評価結果データにより示される評価結果に基づいて、重複区間の時間幅の変更を行う。重複区間の時間幅を変更した場合には、区間修正部１１３は、変更内容をラベルデータ１２３に反映する。

＜学習装置＞
次に、図６を用いて、本実施形態に係る学習装置２のソフトウェア構成の一例を説明する。図６は、本実施形態に係る学習装置２のソフトウェア構成の一例を模式的に例示する。

学習装置２の制御部２１は、記憶部２２に記憶された学習プログラム２２１をＲＡＭに展開する。そして、制御部２１は、ＲＡＭに展開された学習プログラム２２１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図６に示されるとおり、本実施形態に係る学習装置２は、学習データ取得部２１１、学習処理部２１２、及び性能評価部２１３をソフトウェアモジュールとして備えるコンピュータとして構成される。すなわち、本実施形態では、各ソフトウェアモジュールは、制御部２１（ＣＰＵ）により実現される。

学習データ取得部２１１は、機械学習に利用する学習用データセット１２５を取得する。学習処理部２１２は、学習用データセット１２５を利用して、ニューラルネットワーク５の教師あり学習を実施する。これにより、学習処理部２１２は、所定の推論を行う能力を習得した学習済みのニューラルネットワーク５を構築する。ニューラルネットワーク５は、「学習器」の一例である。性能評価部２１３は、評価用データセット２２３を利用して、構築した学習済みのニューラルネットワーク５の性能を評価し、その評価結果を評価結果データ２２４として保存する。

（学習過程）
ここで、図７Ａを更に用いて、学習処理部２１２による教師あり学習の過程について説明する。図７Ａは、本実施形態に係る学習処理部２１２によるニューラルネットワーク５の教師あり学習の過程を模式的に例示する。

まず、教師あり学習に利用される学習用データセット１２５について説明する。学習用データセット１２５は、センサデータ１２５１及びラベル１２５２の対で構成され、ラベル付きセンサデータ１２４から生成される。具体的には、ラベルを付与した時間区間単位でラベル付きセンサデータ１２４を抽出することで、学習用データセット１２５を生成することができる。すなわち、センサデータ１２５１は、対象の時間区間で特定されるセンサデータ１２２の部分であり、ラベル１２５２は、その時間区間に割り当てられているラベルである。

次に、教師あり学習により所定の推論を行う能力を習得させる学習モデルであるニューラルネットワーク５について説明する。本実施形態に係るニューラルネットワーク５は、いわゆる多層構造のニューラルネットワークであり、入力側から順に、入力層５１、中間層（隠れ層）５２、及び出力層５３を備えている。ただし、ニューラルネットワーク５の層の数は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。

各層５１〜５３は、１又は複数のニューロン（ノード）を備えている。各層５１〜５３に含まれるニューロンの個数は、実施の形態に応じて適宜設定されてよい。例えば、入力層５１のニューロンの数は、センサデータ１２５１に応じて適宜設定されてよい。また、出力層５１のニューロンの数は、ラベル１２５２の種別の数に応じて設定されてよい。

隣接する層のニューロン同士は適宜結合され、各結合には重み（結合荷重）が設定されている。図７Ａの例では、各ニューロンは、隣接する層の全てのニューロンと結合されている。しかしながら、ニューロンの結合は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。

各ニューロンには閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。学習処理部２１２は、各学習用データセット１２５のセンサデータ１２５１を入力層５１に入力すると、入力したセンサデータ１２５１に関連付けられたラベル１２５２に対応する値を出力層５３から出力するニューラルネットワーク５を構築する。そして、学習処理部２１２は、構築したニューラルネットワーク５の構成（例えば、ニューラルネットワークの層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロンの伝達関数）、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習結果データ２２２として記憶部２２に保存する。

（評価過程）
次に、図７Ｂを更に用いて、性能評価部２１３による学習済みのニューラルネットワーク５に対する性能評価の過程について説明する。図７Ｂは、本実施形態に係る性能評価部２１３による学習済みのニューラルネットワーク５に対する性能評価の過程を模式的に例示する。

学習済みのニューラルネットワーク５の性能評価には、評価用データセット２２３が利用される。評価用データセット２２３は、学習用データセット１２５と同様に、センサデータ２２３１及びラベル２２３２の対で構成される。評価用データセット２２３のセンサデータ２２３１は、本発明の「センサデータとは異なる他のセンサデータ」の一例である。

この評価用データセット２２３は、実施の形態に応じて適宜生成されてよい。例えば、評価用データセット２２３は、ラベル付きセンサデータ１２４のうち、上記学習用データセット１２５として利用した部分以外の他の部分から生成されてよい。この場合、評価用データセット２２３は、上記学習用データセット１２５と同様の方法で生成することができる。また、例えば、評価用データセット２２３は、カメラ及び活動量センサから得られたセンサデータにオペレータが適宜ラベル付けすることで生成されてもよい。

性能評価部２１３は、評価用データセット２２３のセンサデータ２２３１を学習済みのニューラルネットワーク５の入力層５１に入力し、当該学習済みニューラルネットワーク５の演算処理を実行することで、出力層５３から出力値を得る。この出力値は、学習済みのニューラルネットワーク５によりセンサデータ２２３１に対して所定の推論を行った結果を示す。

そこで、性能評価部２１３は、得られた出力値と入力したセンサデータ２２３１に関連付けられたラベル２２３２とを比較することで、学習済みのニューラルネットワーク５によるセンサデータ２２３１に対する所定の推論が正しいか否かを判定する。これにより、本実施形態に係る性能評価部２１３は、学習済みのニューラルネットワーク５によりセンサデータ２２３１に対して所定の推論を行った際の正答率で表現される評価結果を得ることができる。性能評価部２１３は、得られた評価結果の情報を評価結果データ２２４として記憶部２２に保存する。

なお、この正答率は、評価に利用した評価用データセット２２３のうち、学習済みのニューラルネットワーク５による所定の推論が正しかった評価用データセット２２３の割合である。反対に、評価に利用した評価用データセット２２３のうち、学習済みのニューラルネットワーク５による所定の推論が誤った評価用データセット２２３の割合を「誤答率」と称することができる。この誤答率は、正答率と表裏一体の関係にある。そのため、本実施形態では、評価結果を誤答率で表現することは、評価結果を正答率で表現することと同じことであるとする。

＜識別装置＞
次に、図８を用いて、本実施形態に係る識別装置４のソフトウェア構成の一例を説明する。図８は、本実施形態に係る識別装置４のソフトウェア構成の一例を模式的に例示する。

識別装置４の制御部４１は、記憶部４２に記憶された識別プログラム４２１をＲＡＭに展開する。そして、制御部４１は、ＲＡＭに展開された識別プログラム４２１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図８に示されるとおり、本実施形態に係る識別装置４は、対象データ取得部４１１、状態推定部４１２、及び出力部４１３をソフトウェアモジュールとして備えるコンピュータとして構成される。

対象データ取得部４１１は、作業員の行動状態を推定する対象となる対象センサデータ４２２を取得する。状態推定部４１２は、学習済みのニューラルネットワーク５を含んでいる。具体的には、状態推定部４１２は、学習結果データ２２２を参照して、作業員の行動状態の推定に利用する学習済みのニューラルネットワーク５の設定を行う。次に、状態推定部４１２は、学習済みのニューラルネットワーク５に対象センサデータ４２２を入力し、学習済みのニューラルネットワーク５の演算処理を実施することで、当該学習済みのニューラルネットワーク５から出力値を得る。そして、状態推定部４１２は、当該学習済みのニューラルネットワーク５から得られた出力値に基づいて、対象センサデータ４２２に表れる作業員の行動状態を推定する。出力部４１３は、状態推定部４１２により作業員の行動状態を推定した結果を出力する。

＜その他＞
アノテーション装置１、学習装置２、及び識別装置４の各ソフトウェアモジュールに関しては後述する動作例で詳細に説明する。なお、本実施形態では、アノテーション装置１、学習装置２、及び識別装置４の各ソフトウェアモジュールがいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、以上の各ソフトウェアモジュールの一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、アノテーション装置１、学習装置２、及び識別装置４それぞれのソフトウェア構成に関して、実施形態に応じて、適宜、ソフトウェアモジュールの省略、置換及び追加が行われてもよい。

§３動作例
［アノテーション処理］
次に、図９を用いて、アノテーション装置１によるアノテーション処理について説明する。図９は、アノテーション装置１によるアノテーション処理の手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は、本発明の「アノテーション方法」の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（ステップＳ１０１）
ステップＳ１０１では、制御部１１は、データ取得部１１１として動作し、センサの出力が時系列に配列されたセンサデータ１２２を取得する。センサデータ１２２を取得すると、次のステップＳ１０２に処理を進める。

本実施形態では、カメラ３１及び活動量センサ３２がセンサとしてアノテーション装置１に接続されている。そのため、制御部１１は、カメラ３１及び活動量センサ３２からセンサデータ１２２を直接取得してもよい。また、制御部１１は、センサから直接ではなく、他の情報処理装置、記憶媒体等を経由して間接的にセンサデータ１２２を取得してもよい。センサデータ１２２を取得する過程は、実施の形態に応じて適宜決定されてよい。

また、センサデータ１２２は、センサの出力信号そのものであってもよいし、センサの出力信号に対して何らかの情報処理を適用することで得られたものであってもよい。センサデータの内容は、ラベルを付与可能であれば、特に限定されなくてもよい。本実施形態では、制御部１１は、カメラ３１及び活動量センサ３２から、画像データ及び数値データをセンサデータ１２２として取得することができる。

（ステップＳ１０２及びＳ１０３）
ステップＳ１０２では、制御部１１は、ラベル付与部１１２として動作し、取得したセンサデータ１２２に複数の時間区間を設定する。次のステップＳ１０３では、制御部１１は、設定した各時間区間に１又は複数のラベルを付与する。これにより、制御部１１は、センサデータ１２２に複数のラベルを付与する。

ここで、図１０を更に用いて、ラベルを付与する方法について説明する。図１０は、第１のラベル１２３１を付与する第１の時間区間と第２のラベル１２３２を付与する第２の時間区間との関係を模式的に例示する。本実施形態では、制御部１１は、センサデータ１２２の少なくとも一部において、時系列（時間軸）上で連続する２つの時間区間の間に、時系列（時間軸）上で部分的に重複する重複区間が設けられるように、第１のラベル１２３１及び第２のラベル１２３２を含む複数のラベルを付与する。

具体的には、制御部１１は、第１のラベル１２３１が付与される第１の時間区間と、時系列上で第１の時間区間よりも後ろに隣接し、第２のラベル１２３２が付与される第２の時間区間とを次のように設定する。すなわち、図１０に例示されるとおり、制御部１１は、各ラベルを付与する各時間区間をセンサデータ１２２に設定する際に、第１の時間区間の開始時刻を第２の時間区間の開始時刻よりも前に設定し、かつ第１の時間区間の終了時刻を第２の時間区間の終了時刻よりも前に設定する。一方、制御部１１は、第１の時間区間の終了時刻を第２の時間区間の開始時刻よりも後に設定する。これにより、制御部１１は、時系列（時間軸）上で連続する第１の時間区間及び第２の時間区間の間に、第２の時間区間の開始時刻から第１の時間区間の終了時刻までの間の時間区間として、時系列上で部分的に重複する重複区間を設定する。

各時間区間の開始時刻及び終了時刻を決定する方法は、実施の形態に応じて適宜選択されてよい。例えば、各時間区間の開始時刻及び終了時刻は、入力装置１５を介して、オペレータ等のユーザにより指定されてもよい。また、例えば、各時間区間の開始時刻及び終了時刻は、センサデータ１２２を適宜解析することで決定されてもよいし、センサデータ１２２を得たセンサとは異なる他のセンサの出力に基づいて決定されてもよい。一例として、作業員が対象物を把持したことを示すラベルを付与する時間区間を設定する場面を想定する。この場面において、制御部１１は、カメラ３１から得られるセンサデータ１２２（画像データ）を画像解析することで、当該時間区間の開始時刻を決定してもよい。その他、制御部１１は、対象物に取り付けられた圧力センサの出力に基づいて、当該時間区間の開始時刻を決定してもよい。

各時間区間の開始時刻及び終了時刻を先に決定した場合には、制御部１１は、決定した第２の時間区間の開始時刻を重複区間の開始時刻に設定し、決定した第１の時間区間の終了時刻を重複区間の終了時刻に設定してもよい。一方、後述する設定方法等により、重複区間の範囲を先に決定した場合には、制御部１１は、決定した重複区間の開始時刻を第２の時間区間の開始時刻に設定し、決定した重複区間の終了時刻を第１の時間区間の終了時刻に設定してもよい。

なお、「第１」及び「第２」の名称は、時系列上の相対的な位置関係を示すに過ぎない。図１０の例において、第１のラベル１２３１が付与される第１の時間区間は、この第１の時間区間よりも時系列上で前にある時間区間との間の関係で、第２のラベルが付与される第２の時間区間として取り扱われてもよい。同様に、第２のラベル１２３２が付与される第２の時間区間は、この第２の時間区間よりも時系列上で後にある時間区間との間の関係で、第１のラベルが付与される第１の時間区間として取り扱われてもよい。

また、重複区間の時間幅は、実施の形態に応じて適宜決定されてよい。例えば、カメラ３１、活動量センサ３２等のセンサの出力がデジタル信号処理される場合、図１０に例示されるように、サンプリング周期毎にセンサの出力をサンプルすることでセンサデータ１２２が得られる。この場合、制御部１１は、センサのサンプリング周期に基づいて、センサの出力をそれぞれサンプルする複数のサンプル点を重複区間が含むように、重複区間の時間幅を設定してもよい。すなわち、制御部１１は、サンプリング周期の２倍以上になるように重複区間の時間幅を設定してもよい。これにより、重複区間が実質的に一つの時点のみを含むように設定されるのを避けることができ、第１の時間区間と第２の時間区間との境界に確実に時間的な幅を持たせることができる。図１０の例では、制御部１１は、６つのサンプル点を含むように重複区間を設定している。

また、重複区間を設定する（すなわち、重複区間の範囲を決定する）方法は、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、重複区間の開始時刻及び終了時刻の入力をオペレータから受け付けることで、重複区間の範囲を決定してもよい。本実施形態では、以下の３つの方法により、重複区間の範囲を決定することができる。

（Ａ−１）第１の方法
まず、図１１Ａ〜図１１Ｃを更に用いて、重複区間を設定するための第１の方法について説明する。図１１Ａ〜図１１Ｃは、重複区間を設定する第１の方法の過程を模式的に例示する。第１の方法では、制御部１１は、暫定的な境界時刻に基づいて、重複区間の範囲を決定する。

具体的には、図１１Ａに例示されるとおり、制御部１１は、第１の時間区間の開始時刻と第２の時間区間の終了時刻との間に、第１の時間区間と第２の時間区間とを暫定的に区分する境界時刻を設定する。境界時刻を設定する方法は、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、入力装置１５を介して時刻の指定をユーザから受け付け、指定された時刻を境界時刻に設定してもよい。境界時刻の指定は、数値の入力により行われてもよいし、タイムライン上の位置の指定により行われてもよい。また、例えば、境界時刻は、上記開始時刻及び終了時刻と同様に、センサデータ１２２を適宜解析することで設定されてもよいし、センサデータ１２２を得たセンサとは異なる他のセンサの出力に基づいて設定されてもよい。

続いて、図１１Ｂに例示されるとおり、制御部１１は、設定された暫定的な境界時刻の前及び後の少なくとも一方の時刻を含むように、所定の時間幅を有する重複区間を設定する。これにより、制御部１１は、重複区間の範囲を決定することができる。なお、図１１Ｂの例では、制御部１１は、境界時刻の前後両方の時刻を含むように重複区間を設定している。しかしながら、境界時刻に基づく重複区間の設定方法は、このような例に限定されなくてもよく、制御部１１は、境界時刻の前後いずれか一方の時刻のみを含むように重複区間を設定してもよい。

重複区間の所定の時間幅は、実施の形態に応じて適宜決定されてよい。例えば、所定の時間幅は、固定値であってもよい。固定値は、アノテーションプログラム１２１内に予め与えられていてもよいし、オペレータ等のユーザの入力により与えられてもよい。この場合、制御部１１は、センサデータ１２２において、暫定的な境界時刻を基準に、与えられた固定値の時間幅を有する重複区間を設定してもよい。これにより、ステップＳ１０２において重複区間を設定するのにかかる計算量を抑えることができる。

また、例えば、所定の時間幅は、第１のラベル１２３１及び第２のラベル１２３２の少なくとも一方の種類に基づいて決定されてよい。この場合、アノテーション装置１は、ラベルの種類と設定する時間幅の値との対応関係を示す対応情報を記憶部１２に保持していてもよい。そして、制御部１１は、対応情報を参照し、第１の時間区間に付与する第１のラベル１２３１及び第２の時間区間に付与する第２のラベル１２３２の少なくとも一方の種類に対応する値の時間幅を有する重複区間を、暫定的な境界時刻を基準に設定してもよい。これにより、付与するラベルの種類に基づいて、重複区間の時間幅を適切に設定することができるため、センサデータ１２２に所望の情報をより正確に付与することができる。

なお、ラベルの種類に応じた重複区間の時間幅の具体的な値は、実施の形態に応じて適宜決定されてよい。例えば、本実施形態において、工場の作業員の「視認」、「把持」、「運搬」及び「調整」の動作をカメラ３１及び活動量センサ３２により監視する場面を想定したとする。この場合、「視認」の状態から「把持」の状態に遷移するときの方が、「把持」の状態から「運搬」の状態に遷移するときに比べて、通常、当該状態の遷移にかかる時間は長いと想定される。そこで、上記対応情報において、「視認」及び「把持」に対応する時間幅の値が、「把持」及び「運搬」に対応する時間幅の値よりも大きくなるように設定されていてもよい。

最後に、図１１Ｃに示されるとおり、制御部１１は、重複区間の終了時刻を第１の時間区間の終了時刻に設定し、第１の時間区間の開始時刻と重複区間の終了時刻との間の範囲を第１の時間区間の範囲に設定する。また、制御部１１は、重複区間の開始時刻を第２の時間区間の開始時刻に設定し、重複区間の開始時刻と第２の時間区間の終了時刻との間の範囲を第２の時間区間の範囲に設定する。これにより、制御部１１は、互いの間に重複区間を有するように、第１の時間区間及び第２の時間区間を設定することができる。

なお、第１の時間区間の開始時刻及び第２の時間区間の終了時刻は、上記のとおり、適宜決定されてよい。また、図１１Ａ〜図１１Ｃに示される第１の時間区間が、当該第１の時間区間よりも前の時間区間との関係で、第２の時間区間として取り扱われる場合、制御部１１は、その前の時間区間との関係で設定された重複区間の開始時刻を、第１の時間区間の開始時刻に設定してもよい。同様に、図１１Ａ〜図１１Ｃに示される第２の時間区間が、当該第２の時間区間よりも後の時間区間との関係で、第１の時間区間として取り扱われる場合、制御部１１は、その後の時間区間との関係で設定された重複区間の終了時刻を、第２の時間区間の終了時刻に設定してもよい。以下の第２及び第３の方法でも同様である。

（Ａ−２）第２の方法
次に、図１２を更に用いて、重複区間を設定するための第２の方法について説明する。図１２は、重複区間を設定する第２の方法の一例を模式的に例示する。第２の方法では、境界時刻についての複数の指定のゆらぎを利用して、重複区間の範囲を決定する。

具体的には、制御部１１は、第１の時間区間と第２の時間区間とを暫定的に区分する境界時刻についての複数の指定を受け付ける。第１の方法と同様に、制御部１１は、入力装置１５を介して境界時刻の指定をユーザから受け付けてもよい。また、境界時刻の指定は、数値の入力により行われてもよいし、タイムライン上の位置の指定により行われてもよい。このとき、制御部１１は、一人のユーザから境界時刻の複数の指定を受け付けてもよいし、一人のユーザからは一つの指定しか受け付けないようにしてもよい。境界時刻の複数の指定を受け付ける方法は、実施の形態に応じて適宜決定されてよい。

続いて、制御部１１は、複数の指定により与えられた境界時刻の平均及びばらつきの少なくともいずれかを算出し、算出した平均及びばらつきの少なくともいずれかに基づいて重複区間を設定する。ばらつきは、分散、標準偏差等により与えられてよい。例えば、制御部１１は、算出した境界時刻の平均の時刻を、重複区間の基準（例えば、中央の時刻等）に設定してもよい。また、制御部１１は、算出した分散又は標準偏差のｎ倍の値（ｎは、任意の数字）を重複区間の時間幅に設定してもよい。これにより、複数の指定により与えられた境界時刻の平均及びばらつきに基づいて、重複区間の範囲を決定することができる。重複区間の範囲を決定した後、制御部１１は、上記第１の方法と同様の方法により、第１の時間区間及び第２の時間区間それぞれの範囲を決定することができる。この第２の方法によれば、境界時刻についての複数の指定のゆらぎを利用して、重複区間を適切に設定することができるため、センサデータ１２２に所望の情報をより正確に付与することができる。

なお、平均及びばらつきのいずれか一方を利用しない場合、利用しない方の値で特定される重複区間の属性は、適宜決定されてよい。例えば、平均を利用しない場合、制御部１１は、複数の指定により与えられた境界時刻のいずれか一つを重複区間の基準（例えば、中央の時刻、開始時刻、終了時刻等）に設定してもよい。また、例えば、ばらつきを利用しない場合、制御部１１は、上記第１の方法と同様の方法で、重複区間の時間幅の値を決定してもよい。

（Ａ−３）第３の方法
次に、図１３を更に用いて、重複区間を設定するための第３の方法について説明する。図１３は、重複区間を設定する第３の方法の一例を模式的に例示する。第３の方法では、重複区間の範囲の指定を直接受け付ける。

具体的には、制御部１１は、第１の時間区間と第２の時間区間との重複する区間の指定を受け付ける。そして、制御部１１は、指定された区間を重複区間に設定する。重複区間を設定した後、制御部１１は、上記第１の方法と同様の方法により、第１の時間区間及び第２の時間区間それぞれの範囲を決定することができる。この第３の方法によれば、重複区間を簡易に設定することができるようになるため、ステップＳ１０２の処理にかかる計算量を抑えることができる。

なお、重複区間の指定を受け付ける方法は、実施の形態に応じて適宜決定されてよい。例えば、制御部１１は、第１の時間区間及び第２の時間区間それぞれの範囲を表示するためのタイムラインを出力装置１６（例えば、ディスプレイ）に出力し、第１の時間区間と第２の時間区間との重複する区間の指定を当該タイムライン上で受け付けてもよい。この場合、オペレータ等のユーザは、入力装置１５を操作することで、タイムライン上で重複区間の範囲を指定することができる。

（Ｂ）ラベルの内容
次に、付与するラベルの内容について説明する。付与するラベルの内容は、実施の形態に応じて適宜決定されてよい。本実施形態では、制御部１１は、各ラベルの付与される時間区間内におけるセンサデータ１２２に対する所定の推論の正解を示すように、各ラベルの内容を設定する。具体的には、センサデータ１２２は、工場の作業員の状態を監視するためのカメラ３１及び活動量センサ３２から得られる。そのため、制御部１１は、対応する各時間区間内に表れる作業員の行動状態を示すように各ラベルの内容を設定してもよい。これにより、所定の推論を行う能力を学習器に習得させるための教師あり学習に利用可能なラベル付きセンサデータ１２４を生成することができる。所定の推論の一例として、カメラ及び活動量センサから得られるデータに基づいて作業員の行動状態を推定する能力が挙げられる。

なお、ラベルの内容を決定する方法は、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、付与するラベルの候補の一覧を出力装置１６（例えば、ディスプレイ）に出力し、各時間区間に付与するラベルの選択を受け付けてもよい。この場合、ユーザは、入力装置１５を操作して、所望のラベルを一覧から選択することで、対象の時間区間に付与するラベルの内容を決定することができる。また、例えば、ラベルの内容は、センサデータ１２２の対応する時間区間の部分を適宜解析することで決定されてもよいし、センサデータ１２２を得たセンサとは異なる他のセンサの出力に基づいて決定されてもよい。例えば、制御部１１は、センサデータからラベルの内容を決定する能力を機械学習により習得済みの識別器を利用して、センサデータ１２２に付与するラベルの内容を決定してもよい。

また、ラベルのデータ形式は、実施の形態に応じて適宜決定されてよい。ラベルの内容は、例えば、数値、テキスト、画像、及び音声の少なくともいずれかにより指定されてよい。具体例として、センサデータ１２２の各時間区間には、工場の作業員の「視認」、「把持」、「運搬」、「調整」等の行動状態を示すテキストがラベルとして付与されてもよい。また、その他の具体例として、センサデータ１２２の各時間区間には、工場の作業員の視野方向（角度）、手の位置、対象物の位置等を示す数値がラベルとして付与されてもよい。

また、重複区間には、第１のラベル１２３１及び第２のラベル１２３２とは異なるラベルを付与してもよい。例えば、重複区間には、第１のラベル１２３１により示される状態から第２のラベル１２３２により示される状態に遷移していることを示すラベルが付与されてもよい。また、例えば、ラベルの内容が数値により指定される場合には、重複区間には、第１のラベル１２３１の値から第２のラベル１２３２の値に遷移するような１又は複数の値がラベルとして付与されてもよい。

図１４は、重複区間に設定するラベルの内容の一例を模式的に例示する。この場合、制御部１１は、第１の時間区間の開始時刻から第２の時間区間の開始時刻までの区間に、第１のラベル１２３１として第１の値を付与する。また、制御部１１は、第１の時間区間の終了時刻から第２の時間区間の終了時刻までの区間に、第２のラベル１２３２として第２の値を付与する。そして、制御部１１は、第１の時間区間の終了時刻から第２の時間区間の開始時刻までの重複区間に、第１の値から第２の値に遷移するように１又は複数の値をラベルとして付与する。

重複区間に付与されるラベルの値は、第１の値から第２の値までの間の値である。図１４で例示されるように、第１の値が第２の値よりも小さく、重複区間に複数の値をラベルとして付与する場合には、制御部１１は、重複区間の開始時刻から終了時刻にかけて単調増加するように、重複区間に付与する複数の値を選択してよい。一方、第１の値が第２の値よりも大きく、重複区間に複数の値をラベルとして付与する場合には、制御部１１は、重複区間の開始時刻から終了時刻にかけて単調減少するように、重複区間に付与する複数の値を選択してもよい。

(Ｃ)その他
以上により、制御部１１は、互いに部分的に重複する第１の時間区間及び第２の時間区間を含む複数の時間区間をセンサデータ１２２に設定し、設定した各時間区間に各ラベルを付与することができる。センサデータ１２２に複数のラベルを付与すると、制御部１１は、次のステップＳ１０４に処理を進める。

図１５は、上記の処理により、工場の作業員の行動状態を示すラベルをセンサデータ１２２に付与した例を模式的に例示する。図１５で例示されるセンサデータ１２２には、４つの時間区間Ｔ１〜Ｔ４が設定されており、設定された各時間区間Ｔ１〜Ｔ４には、「視認」、「把持」、「運搬」及び「調整」を示すラベル（テキスト）Ｌ１〜Ｌ４がそれぞれ付与されている。「視認」は、作業員が対象物を視覚で確認している状態を示す。「把持」は、作業員が対象物を手で持っている状態を示す。「運搬」は、作業員が対象物を手で運んでいる状態を示す。「調整」は、作業員が対象物の位置を調節している等のその他の行動を行っている状態を示す。

図１５の例において、「視認」ラベルＬ１の付与された時間区間Ｔ１と「把持」ラベルＬ２の付与された時間区間Ｔ２との間の関係では、時間区間Ｔ１が第１の時間区間に相当し、時間区間Ｔ２が上記第２の時間区間に相当する。「視認」ラベルＬ１が第１のラベル１２３１に相当し、「把持」ラベルＬ２が第２のラベル１２３２に相当する。同様に、「把持」ラベルＬ２の付与された時間区間Ｔ２と「運搬」ラベルＬ３の付与された時間区間Ｔ３との間の関係では、時間区間Ｔ２が第１の時間区間に相当し、時間区間Ｔ３が上記第２の時間区間に相当する。「把持」ラベルＬ２が第１のラベル１２３１に相当し、「運搬」ラベルＬ３が第２のラベル１２３２に相当する。また、「運搬」ラベルＬ３の付与された時間区間Ｔ３と「調整」ラベルＬ４の付与された時間区間Ｔ４との間の関係では、時間区間Ｔ３が第１の時間区間に相当し、時間区間Ｔ４が上記第２の時間区間に相当する。「運搬」ラベルＬ３が第１のラベル１２３１に相当し、「調整」ラベルＬ４が第２のラベル１２３２に相当する。

また、図１５の例では、時系列（時間軸）上で連続する２つの時間区間（Ｔ１、Ｔ２）、（Ｔ２、Ｔ３）、及び（Ｔ３、Ｔ４）それぞれの間に設定される重複区間の時間幅は、各時間区間に付与されるラベルの種類に応じて決定されている。具体的には、「視認」の状態から「把持」の状態に遷移するときの方が、「把持」の状態から「運搬」の状態に遷移するときに比べて、通常、当該状態の遷移にかかる時間は長いと想定される。そこで、図１５の例では、時間区間（Ｔ１、Ｔ２）の間の重複区間の時間幅は、時間区間（Ｔ２、Ｔ３）の間の重複区間よりも長くなるように設定されている。また、「運搬」の状態から「調整」の状態に遷移するときの方が、「把持」の状態から「運搬」の状態に遷移するときに比べて、通常、当該状態の遷移にかかる時間は長いと想定される。そこで、図１５の例では、時間区間（Ｔ３、Ｔ４）の間の重複区間の時間幅は、時間区間（Ｔ２、Ｔ３）の間の重複区間よりも長くなるように設定されている。このように、時系列上で複数の重複区間が設けられているとき、各重複区間の時間幅は、各重複区間を構成する少なくとも２つの時間区間に付与された少なくとも２つのラベルの種類に応じて異なるように決定されてよい。

なお、図１５の例では、センサデータ１２２の複数の隣接する時間区間それぞれの間に重複区間が設けられている。しかしながら、重複区間の設定される部分は、このような例に限られなくてもよい。重複区間は、センサデータ１２２に設定する複数の隣接する時間区間のうちの少なくとも一部に設けられればよい。すなわち、センサデータ１２２には、隣接する時間区間の間に重複区間の設けられていない部分が存在してもよい。重複区間の設けられていない部分では、隣接する時間区間は、従来と同様に、境界時刻によって区切られてよい。

（ステップＳ１０４）
ステップＳ１０４では、制御部１１は、ラベル付与部１１２として動作し、上記ステップＳ１０２及びＳ１０３によりラベル付けを行った結果をラベルデータ１２３として記憶部１２に保存する。これにより、制御部１１は、本動作例に係るアノテーション処理、換言すると、ラベル付きセンサデータ１２４の生成処理を終了する。

なお、制御部１１は、上記ステップＳ１０４の処理が完了した後に、任意のタイミングで、ＮＡＳ（Network Attached Storage）、学習装置２等の他の情報処理装置にネットワークを介して、生成したラベル付きセンサデータ１２４を転送してもよい。また、制御部１１は、ドライブ１７を介して記憶媒体に、生成したラベル付きセンサデータ１２４を転送してもよい。そして、転送が完了した後、制御部１１は、生成したラベル付きセンサデータ１２４を記憶部１２から削除してもよい。

［学習処理］
次に、図１６を用いて、学習装置２の動作例を説明する。図１６は、学習装置２の処理手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（ステップＳ２０１）
ステップＳ２０１では、制御部２１は、学習データ取得部２１１として動作し、ニューラルネットワーク５の教師あり学習に利用する学習用データセット１２５を取得する。学習用データセット１２５は、センサデータ１２５１及びラベル１２５２の対で構成され、ラベル付きセンサデータ１２４から生成される。

学習用データセット１２５は、適宜取得されてよい。例えば、制御部２１は、ネットワークを介して、アノテーション装置１、ＮＡＳ等から、又はドライブ２６を介して記憶媒体からラベル付きセンサデータ１２４を取得してもよい。そして、制御部２１は、ラベルを付与した時間区間単位でラベル付きセンサデータ１２４を抽出することで、学習用データセット１２５を生成してもよい。これにより、制御部２１は、学習用データセット１２５を取得することができる。

また、例えば、学習用データセット１２５の生成は、学習装置２以外の他の情報処理装置により行われてもよい。この場合、制御部２１は、ネットワーク、記憶媒体等を介して、他の情報処理装置により生成された学習用データセット１２５を取得することができる。取得する学習用データセット１２５の件数は、ニューラルネットワーク５の教師あり学習を実施可能な程度に適宜決定されてよい。学習用データセット１２５を取得すると、制御部２１は、次のステップＳ２０２に処理を進める。

なお、ラベル付きセンサデータ１２４から学習用データセット１２５を生成する際に、重複区間の取り扱いは、実施の形態に応じて適宜決定されてよい。例えば、重複区間の部分は破棄されてもよい。すなわち、ラベル付きセンサデータ１２４において、第１の時間区間の開始時刻から第２の時間区間の開始時刻までの区間と第１の時間区間の終了時刻から第２の時間区間の終了時刻までの区間とを抽出することで、それぞれの区間に対応する学習用データセット１２５が生成されてもよい。

また、例えば、重複区間の部分は、第１の時間区間及び第２の時間区間の両部分に組み込まれてもよい。すなわち、ラベル付きセンサデータ１２４において、第１の時間区間の開始時刻から終了時刻までの区間と第２の時間区間の開始時刻から終了時刻までの区間とを抽出することで、それぞれの区間に対応する学習用データセット１２５が生成されてもよい。

また、例えば、重複区間に、第１のラベル１２３１及び第２のラベル１２３２とは異なるラベルが付与されている場合、ラベル付きセンサデータ１２４において、第２の時間区間の開始時刻から第１の時間区間の終了時刻までの重複区間を抽出することで、重複区間に対応する学習用データセット１２５が生成されてもよい。この場合、ラベル付きセンサデータ１２４において、第１の時間区間の開始時刻から第２の時間区間の開始時刻までの区間と第１の時間区間の終了時刻から第２の時間区間の終了時刻までの区間とを抽出することで、それぞれの区間に対応する学習用データセット１２５が生成されてもよい。

（ステップＳ２０２）
ステップＳ２０２では、制御部２１は、学習処理部２１２として動作し、取得した学習用データセット１２５を利用して、センサデータ１２５１を入力すると、ラベル１２５２に対応する出力値を出力するように、ニューラルネットワーク５の教師あり学習を実施する。

具体的には、まず、制御部２１は、学習処理を行う対象となるニューラルネットワーク５を用意する。用意するニューラルネットワーク５の構成、各ニューロン間の結合の重みの初期値、及び各ニューロンの閾値の初期値は、テンプレートにより与えられてもよいし、オペレータの入力により与えられてもよい。また、再学習を行う場合には、制御部２１は、再学習を行う対象となる学習結果データ２２２に基づいて、ニューラルネットワーク５を用意してもよい。

次に、制御部２１は、ステップＳ２０１で取得した学習用データセット１２５のセンサデータ１２５１を入力データ（訓練データ）として利用し、ラベル１２５２を教師データ（正解データ）として利用して、ニューラルネットワーク５の学習処理を実施する。このニューラルネットワーク５の学習処理には、確率的勾配降下法等の公知の学習方法が用いられてもよい。

例えば、制御部２１は、ニューラルネットワーク５の入力層５１にセンサデータ１２５１を入力する。そして、制御部２１は、入力側から順に、各層５１〜５３に含まれる各ニューロンの発火判定を行う。これにより、制御部２１は、ニューラルネットワーク５の出力層５３から出力値を得る。次に、制御部２１は、出力層５３から得た出力値とラベル１２５２に対応する値との誤差を算出する。続いて、制御部２１は、誤差逆伝搬（Back propagation）法により、算出した出力値の誤差を用いて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの誤差を算出する。そして、制御部２１は、算出した各誤差に基づいて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの値の更新を行う。

制御部２１は、各件の学習用データセット１２５について、ニューラルネットワーク５から出力される出力値がラベル１２５２に対応する値と一致するまで、この一連の処理を繰り返す。これにより、制御部２１は、センサデータ１２５１を入力するとラベル１２５２に対応する出力値を出力する学習済みのニューラルネットワーク５を構築することができる。

この教師あり学習により、ニューラルネットワーク５には、所定の推論を行う能力を習得させることができる。本実施形態では、上記アノテーション処理において、各ラベルの内容は、対応する各時間区間内に表れる作業員の行動状態を示すように設定される。そのため、本ステップＳ２０２の処理により、カメラ及び活動量センサから得られるデータに基づいて作業員の行動状態の種別を推定する能力を習得した学習済みのニューラルネットワーク５を構築することができる。ニューラルネットワーク５の学習処理が完了すると、制御部２１は、次のステップＳ２０３に処理を進める。

（ステップＳ２０３）
ステップＳ２０３では、制御部２１は、学習処理部２１２として動作し、構築したニューラルネットワーク５の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習結果データ２２２として記憶部２２に保存する。学習結果データ２２２の保存が完了すると、制御部２１は、次のステップＳ２０４に処理を進める。

（ステップＳ２０４）
ステップＳ２０４では、制御部２１は、性能評価部２１３として動作し、評価用データセット２２３を取得する。そして、制御部２１は、取得した評価用データセット２２３を利用して、構築した学習済みのニューラルネットワーク５の性能を評価する。

評価用データセット２２３は、学習用データセット１２５と同様に、センサデータ２２３１及びラベル２２３２の対で構成される。この評価用データセット２２３は、実施の形態に応じて適宜生成されてよい。例えば、ラベル付きセンサデータ１２４のうち、上記学習用データセット１２５として利用した部分以外の他の部分から生成されてよい。この場合、評価用データセット２２３は、上記学習用データセット１２５と同様の方法で生成することができる。

また、例えば、カメラ及び活動量センサを用意し、用意したカメラ及び活動量センサにより、工場の作業員を様々な条件で観察する。そして、得られたセンサデータに、作業員の行動状態を示すラベルを付与することで、評価用データセット２２３を生成することができる。このとき、センサデータは、上記ステップＳ１０１と同様の方法により得ることができる。また、センサデータに設定する各時間区間の範囲は、上記ステップＳ１０２と同様の方法により決定することができる。更に、センサデータに付与するラベルの内容は、上記ステップＳ１０３と同様の方法により決定することができる。

なお、上記のような評価用データセット２２３の生成は、学習装置２により行われてもよいし、学習装置２以外の他の情報処理装置により行われてもよい。例えば、制御部２１は、オペレータ等による入力装置２４の操作に従って、評価用データセット２２３を手動的に生成してもよいし、プログラムの処理に従って、評価用データセット２２３を自動的に生成してもよい。これにより、制御部２１は、評価用データセット２２３を取得することができる。また、他の情報処理装置が評価用データセット２２３を生成する場合、制御部２１は、ネットワーク、記憶媒体等を介して、他の情報処理装置により生成された評価用データセット２２３を取得することができる。なお、取得する評価用データセット２２３の件数は、ニューラルネットワーク５の性能を評価可能な程度に適宜決定されてよい。

次に、制御部２１は、ステップＳ２０２により構築した学習済みのニューラルネットワーク５の入力層５１に、取得した評価用データセット２２３のセンサデータ２２３１を入力する。そして、制御部２１は、学習済みのニューラルネットワーク５の演算処理、換言すると、入力側から順に、各層５１〜５３に含まれる各ニューロンの発火判定を行う。これにより、制御部２１は、学習済みのニューラルネットワーク５の出力層５３から出力値を得る。この出力値は、学習済みのニューラルネットワーク５によりセンサデータ２２３１に対して所定の推論を行った結果を示す。本実施形態では、この出力値は、センサデータ２２３１に表れる作業員の行動状態を推定した結果を示し得る。

そこで、制御部２１は、得られた出力値と入力したセンサデータ２２３１に関連付けられた、すなわち、入力したセンサデータ２２３１と対のラベル２２３２とを比較する。そして、制御部２１は、当該比較の結果に基づいて、学習済みのニューラルネットワーク５によるセンサデータ２２３１に対する所定の推論が正しいか否かを判定する。

出力値とラベル２２３２の値とが一致している場合、制御部２１は、学習済みのニューラルネットワーク５によるセンサデータ２２３１に対する所定の推論が正しいと判定する。一方、出力値とラベル２２３２の値とが一致していない場合、制御部２１は、学習済みのニューラルネットワーク５によるセンサデータ２２３１に対する所定の推論が正しくないと判定する。

取得した全ての評価用データセット２２３に対してこの一連の処理を実行することで、制御部２１は、学習済みのニューラルネットワーク５によりセンサデータ２２３１に対して所定の推論を行った際の正答率を評価結果として算出することができる。所定の推論を行う能力を有するように構築された学習済みのニューラルネットワーク５に対する評価結果を得た後、制御部２１は、次のステップＳ２０５に処理を進める。

（ステップＳ２０５）
ステップＳ２０５では、制御部２１は、性能評価部２１３として動作し、ステップＳ２０４により得られた評価結果の情報を評価結果データ２２４として記憶部２２に保存する。これにより、制御部２１は、本動作例に係る処理手順を終了する。

なお、制御部２１は、任意のタイミングで、上記処理手順で生成した学習結果データ２２２及び評価結果データ２２４を他の情報処理装置に送信してもよい。例えば、制御部２１は、ネットワーク、記憶媒体等を介して、生成した学習結果データ２２２を、工場の作業員の行動状態を推定するための他の情報処理装置に送信してもよい。この他の情報処理装置では、学習装置２から取得した学習結果データ２２２により、カメラ及び活動量センサから得られるデータに基づいて作業員の行動状態を推定する能力を習得した学習済みのニューラルネットワーク５が利用可能となる。また、例えば、制御部２１は、ネットワーク、記憶媒体等を介して、生成した評価結果データ２２４を、アノテーション装置１、ＮＡＳ等に送信してもよい。アノテーション装置１は、評価結果データ２２４を、以下の重複区間の修正処理に利用することができる。

［重複区間の修正］
次に、図１７を用いて、アノテーション装置１による重複区間の修正処理について説明する。図１７は、アノテーション装置１による重複区間の修正に関する処理手順の一例を例示するフローチャートである。なお、上記アノテーション処理を含め、以下で説明する処理手順は、本発明の「アノテーション方法」の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（ステップＳ３０１）
ステップＳ３０１では、制御部１１は、区間修正部１１３として動作し、評価結果データ２２４を取得する。評価結果データ２２４は、ラベル付きセンサデータ１２４を利用して教師あり学習を実施することで、所定の推論を行う能力を有するように構築された学習済みのニューラルネットワーク５に対する評価結果を示す。評価結果データ２２４を取得する方法は、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、ネットワーク、記憶媒体等を介して、学習装置２、ＮＡＳ等から評価結果データ２２４を取得してもよい。評価結果データ２２４を取得すると、制御部１１は、次のステップＳ３０２に処理を進める。

（ステップＳ３０２）
ステップＳ３０２では、制御部１１は、区間修正部１１３として動作し、取得した評価結果データ２２４により示される評価結果に基づいて、上記ステップＳ１０２で設定した重複区間の時間幅を変更する。

本実施形態では、評価結果データ２２４により示される評価結果は、学習済みのニューラルネットワーク５によりセンサデータ２２３１に対して所定の推論を行った際の正答率により表現され得る。そこで、制御部１１は、評価結果データ２２４により示される正答率が所定の閾値以下である場合に、重複区間の時間幅を狭める又は拡げることで、重複区間の時間幅を変更してもよい。なお、評価結果に基づいて重複区間の時間幅を変更する方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。

（ステップＳ３０３）
ステップＳ３０３では、制御部１１は、区間修正部１１３として動作し、ステップＳ３０２により重複区間の時間幅を変更した場合に、当該変更内容をラベルデータ１２３に反映する。これにより、制御部１１は、本動作例に係る重複区間の修正処理を終了する。

なお、制御部１１は、ネットワーク、記憶媒体等を介して、重複区間の時間幅を変更した後のラベル付きセンサデータ１２４を学習装置２に送信してもよい。学習装置２は、重複区間の時間幅を変更した後のラベル付きセンサデータ１２４から生成される学習用データセット１２５を利用して、ニューラルネットワーク５の教師あり学習を再度実施してもよい。更に、学習装置２は、再度構築したニューラルネットワーク５に対する評価を行い、評価結果データ２２４を再度生成してもよい。そして、制御部１１は、再度生成された評価結果データ２２４を取得し、重複区間の時間幅の変更処理を再度実行してもよい。このように、学習装置２によるニューラルネットワーク５の学習処理及び評価処理とアノテーション装置１による重複区間の修正処理とは交互に繰り返し実行されてもよい。

この繰り返し処理を実行する過程で、制御部１１は、上記ステップＳ３０２において、重複区間の時間幅を狭めるか拡げるかを適宜決定してよい。例えば、ステップＳ３０２の処理を最初に実行する場合、制御部１１は、重複区間の時間幅を狭めるか拡げるかのいずれを選択してもよい。また、２度目以降の処理では、制御部１１は、その前に実行した重複区間の時間幅の変更とその変更後の一連の処理により得られた評価結果とに基づいて、重複区間の時間幅を狭めるか拡げるかを適宜決定してもよい。例えば、その前に実行したステップＳ３０２の処理で重複区間の時間幅を狭めた結果、その変更後の一連の処理により得られた評価結果が悪化した（例えば、正答率が低下した）とする。この場合、制御部１１は、重複区間の時間幅を拡げることで、重複区間の時間幅を変更してもよい。一方、評価結果が好転した（例えば、正答率が向上した）場合には、制御部１１は、重複区間の時間幅を更に狭めることで、重複区間の時間幅を変更してもよい。

［識別処理］
次に、図１８を用いて、識別装置４により作業員の行動状態を推定する処理について説明する。図１８は、本実施形態に係る識別装置４の処理手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（ステップＳ４０１）
ステップＳ４０１では、制御部４１は、対象データ取得部４１１として動作し、作業員の行動状態を推定する対象となる対象センサデータ４２２を取得する。対象センサデータ４２２を取得すると、次のステップＳ４０２に処理を進める。

本実施形態では、カメラ３１及び活動量センサ３２が、作業員の行動状態を監視するセンサとして識別装置４に接続されている。そのため、制御部４１は、カメラ３１及び活動量センサ３２から対象センサデータ４２２を直接取得してもよい。また、制御部４１は、センサから直接ではなく、他の情報処理装置、記憶媒体等を経由して間接的に対象センサデータ４２２を取得してもよい。対象センサデータ４２２を取得する過程は、実施の形態に応じて適宜決定されてよい。

（ステップＳ４０２）
ステップＳ４０２では、制御部４１は、状態推定部４１２として動作し、学習結果データ２２２を参照して、作業員の行動状態の推定に利用する学習済みのニューラルネットワーク５の設定を行う。次に、制御部４１は、学習済みのニューラルネットワーク５に対象センサデータ４２２を入力し、学習済みのニューラルネットワーク５の演算処理を実行する。これにより、制御部４１は、対象センサデータ４２２に表れる作業員の行動状態を推定した結果に対応する出力値を学習済みのニューラルネットワーク５から取得する。

具体的には、制御部４１は、学習済みのニューラルネットワーク５の入力層５１に対象センサデータ４２２を入力し、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。これにより、制御部４１は、対象センサデータ４２２に対して作業員の行動状態を推定した結果に対応する出力値を学習済みのニューラルネットワーク５の出力層５３から取得する。

なお、上記学習装置２では、学習済みのニューラルネットワーク５の出力値がそのまま作業員の行動状態を示すように学習処理が行われてもよい。この場合、制御部４１は、学習済みのニューラルネットワーク５から出力値を得ることで、作業員の行動状態を特定することができる。また、識別装置４は、学習済みのニューラルネットワーク５の出力値と作業員の行動状態とを対応付けたテーブル形式等の参照情報（不図示）を記憶部４２に保持していてもよい。この場合、制御部４１は、この参照情報を参照することで、学習済みのニューラルネットワーク５から得た出力値に対応する作業員の行動状態を特定することができる。これにより、作業員の行動状態を推定すると、制御部４１は、次のステップＳ４０３に処理を進める。

（ステップＳ４０３）
ステップＳ４０３では、制御部４１は、出力部４１３として動作し、ステップＳ４０２により作業員の行動状態を推定した結果を出力する。これにより、制御部４１は、本動作例に係る処理手順を終了する。

なお、出力方法及び出力内容は、実施の形態に応じて適宜決定されてよい。例えば、制御部４１は、作業員の理想的な行動状態を示す行動情報（不図示）を記憶部４２に保持してもよい。この場合、制御部４１は、ステップＳ４０２により推定した結果と行動情報により示される理想的な行動状態とを照合することで、識別装置４に接続されるカメラ３１及び活動量センサ３２により監視している作業員の行動状態が理想的であるか否かを判定してもよい。そして、ステップＳ４０２により推定した結果が行動情報に示される理想的な行動状態と一致しない、すなわち、作業員の行動状態が理想的ではない場合、制御部４１は、出力装置４６等を介して、行動状態を修正する指示を出力してもよい。一方で、ステップＳ４０２により推定した結果が行動情報に示される理想的な行動状態と一致する、すなわち、作業員の行動状態が理想的である場合には、制御部４１は、作業員自身、作業員を監督する監督者等にそのことを知らせるための出力を行ってもよいし、本ステップＳ４０３による出力処理を省略してもよい。

また、例えば、識別装置４は、複数の作業員の行動状態を推定してもよい。この場合、識別装置４は、ステップＳ４０２で推定した各作業員の行動状態と行動情報により示される理想的な行動状態との差分が閾値より大きい時間区間が存在するか否かを判定してもよい。そして、各作業員の行動状態と理想的な行動状態との差分が閾値より大きい時間区間が存在する場合には、制御部４１は、出力装置４６等を介して、その時間区間の工程を改善する指示を出力してもよい。このとき、制御部４１は、その時間区間内において最も多かった行動状態を正解行動に設定し、設定した正解行動を行うように指示を出力してもよい。また、制御部４１は、作業工程の中でその時間区間が存在している位置を出力してもよい。一方で、そのような時間区間が存在しない場合には、制御部４１は、本ステップＳ４０３による出力処理を省略してもよい。

［特徴］
以上のように、本実施形態に係るアノテーション装置１は、上記ステップＳ１０２により、第１のラベル１２３１が付与される第１の時間区間と第２のラベル１２３２が付与される第２の時間区間との間に、時系列上で部分的に重複する重複区間を設ける。これにより、第１の時間区間と第２の時間区間との境界に時間的な幅を持たせ、第１のラベル１２３１により示される状態から第２のラベル１２３２により示される状態に遷移したタイミングを一点に決定するのを避けることができる。すなわち、第１のラベル１２３１により示される状態から第２のラベル１２３２により示される状態への遷移が重複区間内のいずれかの時刻に生じたものとしたり、重複区間により当該遷移の生じている区間を表したりすることができるようになる。

したがって、本実施形態によれば、第１の時間区間と第２の時間区間との間に設定した重複区間により、第１のラベル１２３１により示される状態から第２のラベル１２３２により示される状態への遷移が生じている区間を適切に表すことができる。そのため、時間区間の境界を一点に決定する従来の方法に比べて、センサデータ１２２に所望の情報をより正確に付与することができる。また、得られたラベル付きセンサデータ１２４から生成される学習用データセット１２５を利用する学習装置２では、上記ステップＳ２０１〜Ｓ２０３の処理により、カメラ及び活動量センサから得られるデータに基づいて作業員の行動状態の種別を推定する能力のより高い学習済みの学習器を構築することができる。

また、本実施形態では、学習装置２によるニューラルネットワーク５の学習処理及び評価処理とアノテーション装置１による重複区間の修正処理とを交互に繰り返し実行することができる。この繰り返し処理を実行する過程で、上記ステップＳ３０２の処理により、学習済みのニューラルネットワーク５に対する評価結果が好転するように、重複区間の時間幅を調整することができる。そのため、本実施形態によれば、所定の推論を行う能力を一定の水準以上で有する学習済みのニューラルネットワーク５を構築可能なラベル付きセンサデータ１２４を生成することができる。これにより、学習済みのニューラルネットワーク５を利用する識別装置４では、一定の水準以上の性能で所定の推論を実施することができる。上記実施形態では、識別装置４は、ステップＳ４０２における作業員の行動状態を精度よく推定することができる。

§４変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。

＜４．１＞
上記実施形態では、識別システム１００は、アノテーション装置１、学習装置２、及び識別装置４の３つの装置により構成されている。しかしながら、識別システム１００の構成は、このような例に限定されなくてもよい。例えば、アノテーション装置１、学習装置２、及び識別装置４は、一体のコンピュータで構成されてもよい。また、例えば、アノテーション装置１、学習装置２、及び識別装置４から選択された２つの装置が、一体のコンピュータで構成されてもよい。

＜４．２＞
上記実施形態では、アノテーション装置１は、工場の作業員の状態を監視するカメラ３１及び活動量センサ３２から得られるセンサデータ１２２にラベル付け（アノテーション）を行っている。しかしながら、上記アノテーション装置１の適用可能な場面は、このような例に限られなくてもよい。

また、上記実施形態では、各ラベルの内容は、当該各ラベルの付与される時間区間内におけるセンサデータ１２２に対する所定の推論の正解を示すように設定される。しかしながら、各ラベルの内容は、このような例に限られなくてもよく、アノテーション装置１の適用場面に応じて適宜決定されてよい。

更に、上記実施形態では、センサデータ１２２は、作業員の行動状態を監視するセンサから取得されている。しかしながら、センサデータを取得する対象は、作業員に限られなくてもよく、例えば、作業員以外の人物であってもよいし、人物以外の対象物（例えば、ロボット等の機械）であってもよい。加えて、センサデータを取得する対象の数は、一つに限られなくてもよく、二つ以上（例えば、対象の人物及び機械）であってもよい。

図１９は、本発明が適用される他の場面の一例を模式的に例示する。図１９は、運転手Ｄの行動状態を推定する場面を例示している。図１９に示される識別システム１００Ａは、上記実施形態に係るセンサデータ１２２を、運転手Ｄを監視するセンサから得られるセンサデータに置き換える点を除き、上記識別システム１００と同様に構成されてよい。また、識別装置４Ａは、対象の車両に設置される点を除き、上記識別装置４と同様に構成されてよい。学習済みのニューラルネットワークは、例えば、入力された対象センサデータに応じて、運転手Ｄの状態を推定した結果に対応する出力値を出力するように構成される。この識別システム１００Ａによれば、車両に乗車した運転手Ｄの状態を監視することができる。

なお、識別装置４Ａは、上記ステップＳ４０２において、運転手Ｄの状態を推定する。これにより、識別装置４Ａは、上記ステップＳ４０３において、運転手Ｄの状態に応じた車両の制御を行ってもよい。例えば、運転手Ｄが車両を手動で運転している際に、運転手Ｄが運転に適していない状態にあると推定した場合には、識別装置４Ａは、運転を止めるように警告を出力してもよい。また、車両が、運転手Ｄの運転操作に依らない自動運転モードを実施可能である場合には、運転手Ｄが運転に適していない状態にあると推定したときに、識別装置４Ａは、手動運転モードから自動運転モードに車両の動作モードを切り替えたり、自動運転モードから手動運転モードへの切り替えを禁止したりしてもよい。

また、図１９の例では、運転手Ｄを監視するセンサの一例として、カメラ３１が車内に設置されている。しかしながら、運転手Ｄを監視するセンサは、このようなカメラに限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、運転手Ｄを監視するセンサとして、上記活動量センサ３２の他、脳波センサ、脈拍センサ等の生体センサが用いられてもよい。

また、上記実施形態及び図１９の例では、工場の作業員、自動車の運転手等の人物の行動状態を推定する場面に本発明が適用されている。しかしながら、本発明が適用される場面は、このような人物の行動状態を推定する場面に限られなくてもよい。本発明は、センサデータに対して所定の推論を実施するあらゆる場面に適用可能である。

この場合、センサデータ１２２及びラベルデータ１２３の内容を適宜変更することで、上記実施形態に係るアノテーション装置１及び学習装置２をそのまま利用することができる。すなわち、アノテーション装置１は、上記ステップＳ１０３において、各ラベルの付与される時間区間内におけるセンサデータに対する所定の推論の正解を示すように当該各ラベルの内容を設定する。また、学習装置２は、上記ステップＳ２０２において、センサデータ及び複数のラベルを利用して教師あり学習を実施することで、センサデータに含まれる特徴を識別する等の所定の推論を行う能力を獲得した学習済みの学習器を構築する。更に、識別装置４は、学習装置２により構築された学習済みの学習器を利用して、所定の推論を実施する。

図２０は、本変形例に係る識別装置４Ｂのソフトウェア構成の一例を模式的に例示する。識別装置４Ｂのハードウェア構成及び処理手順は、上記実施形態に係る識別装置４のハードウェア構成及び処理手順と同様であってよい。すなわち、識別装置４Ｂの制御部４１は、上記ステップＳ４０１において、対象データ取得部４１１Ｂとして動作し、所定の推論を行う対象となる対象センサデータ４２２Ｂを取得する。次に、制御部４１は、上記ステップＳ４０２において、学習結果データ２２２Ｂを参照して、学習済みのニューラルネットワーク５Ｂを設定する。学習結果データ２２２Ｂは、上記所定の推論を行う能力を学習器に習得させるための教師あり学習を学習装置２が実施することで生成される。制御部４１は、対象センサデータ４２２Ｂを学習済みのニューラルネットワーク５Ｂに入力し、学習済みのニューラルネットワーク５Ｂの演算処理を実施することで、対象センサデータ４２２Ｂに対して所定の推論を行った結果に対応する出力値を当該学習済みのニューラルネットワーク５Ｂから得る。これにより、制御部４１は、対象センサデータ４２２Ｂに対して所定の推論を実施する。そして、制御部４１は、上記ステップＳ４０３において、出力部４１３として動作し、所定の推論を実施した結果を出力する。なお、実施する推論の種類は、実施の形態に応じて適宜決定されてよい。例えば、センサデータが音声データである場合には、所定の推論は、音声認識であってもよい。

＜４．３＞
上記実施形態では、アノテーション装置１は、センサデータ１２２について、カメラ３１から得られる画像データを、活動量センサ３２から得られる数値データと同様に取り扱っている。しかしながら、複数種類のデータをセンサデータ１２２として取得する場合、各種データ間で取り扱いが相違していてもよい。例えば、上記ステップＳ１０２及びＳ１０３において、制御部１１は、カメラ３１から得られる画像データと活動量センサ３２から得られる数値データとで、異なるラベル付けを行ってもよい。

＜４．４＞
上記実施形態では、評価結果データ２２４により示される評価結果は、学習済みのニューラルネットワーク５によりセンサデータ２２３１に対して所定の推論を行った際の正答率により表現され得る。しかしながら、評価結果の表現方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。

また、上記実施形態では、評価結果データ２２４は、学習装置２により生成されている。しかしながら、この評価結果データ２２４は、学習装置２以外の他の情報処理装置により生成されてよい。すなわち、ニューラルネットワーク５の学習処理（ステップＳ２０１〜Ｓ２０３）と評価処理（ステップＳ２０４及びＳ２０５）とはそれぞれ異なるコンピュータにより実行されてよい。

＜４．５＞
上記実施形態では、学習器の一例として、ニューラルネットワーク（ニューラルネットワーク５）を利用している。しかしながら、上記実施形態に利用可能な学習器の種類は、ニューラルネットワークに限られなくてよい。例えば、上記実施形態では、線形回帰モデル、サポートベクタマシン等を学習器として用いてもよい。

１…アノテーション装置、
１１…制御部、１２…記憶部、１３…通信インタフェース、
１４…外部インタフェース、１５…入力装置、
１６…出力装置、１７…ドライブ、
１１１…データ取得部、１１２…ラベル付与部、
１１３…区間修正部、
１２１…アノテーションプログラム、
１２２…センサデータ、１２３…ラベルデータ、
１２３１…第１のラベル、１２３２…第２のラベル、
１２４…ラベル付きセンサデータ、
１２５…学習用データセット、
１２５１…センサデータ、１２５２…ラベル、
２…学習装置、
２１…制御部、２２…記憶部、２３…通信インタフェース、
２４…入力装置、２５…出力装置、２６…ドライブ、
２１１…学習データ取得部、２１２…学習処理部、
２１３…性能評価部、
２２１…学習プログラム、２２２…学習結果データ、
２２３…評価用データセット、２２４…評価結果データ、
３１…カメラ、３２…活動量センサ、
４…識別装置、
４１…制御装置、４２…記憶部、４３…通信インタフェース、
４４…外部インタフェース、４５…入力装置、
４６…出力装置、４７…ドライブ、
４１１…対象データ取得部、４１２…状態推定部、４１３…出力部、
４２１…識別プログラム、
５…ニューラルネットワーク（学習器）、
５１…入力層、５２…中間層（隠れ層）、５３…出力層、
９１…記憶媒体、９２…記憶媒体

Claims

コンピュータが、
センサの出力を時系列に配列したセンサデータを取得するステップと、
取得したセンサデータに複数のラベルを付与するステップと、
を実行するアノテーション方法であって、
前記複数のラベルは、第１のラベル及び第２のラベルを含み、
前記第１のラベルは、第１の時間区間に付与され、
前記第２のラベルは、前記時系列上で前記第１の時間区間よりも後にある第２の時間区間に付与され、
前記第１の時間区間の開始時刻が前記第２の時間区間の開始時刻よりも前であり、かつ前記第１の時間区間の終了時刻が前記第２の時間区間の終了時刻よりも前であるのに対して、前記第１の時間区間の前記終了時刻が前記第２の時間区間の開始時刻よりも後であることで、前記第１の時間区間及び前記第２の時間区間は、前記時系列上で部分的に重複する重複区間を有するように設定され、
前記コンピュータは、
前記第１の時間区間と前記第２の時間区間とを暫定的に区分する境界時刻を設定し、
設定された前記境界時刻の前及び後の少なくとも一方の時刻を含むように、所定の時間幅を有する前記重複区間を設定する、
アノテーション方法。
前記所定の時間幅は、前記第１のラベル及び前記第２のラベルの少なくとも一方の種類に基づいて決定される、
請求項１に記載のアノテーション方法。
前記所定の時間幅は、固定値である、
請求項１に記載のアノテーション方法。
前記コンピュータは、時刻の指定をユーザから受け付け、指定された前記時刻を前記境界時刻に設定する、
請求項１から３のいずれか１項に記載のアノテーション方法。
コンピュータが、
センサの出力を時系列に配列したセンサデータを取得するステップと、
取得したセンサデータに複数のラベルを付与するステップと、
を実行するアノテーション方法であって、
前記複数のラベルは、第１のラベル及び第２のラベルを含み、
前記第１のラベルは、第１の時間区間に付与され、
前記第２のラベルは、前記時系列上で前記第１の時間区間よりも後にある第２の時間区間に付与され、
前記第１の時間区間の開始時刻が前記第２の時間区間の開始時刻よりも前であり、かつ前記第１の時間区間の終了時刻が前記第２の時間区間の終了時刻よりも前であるのに対して、前記第１の時間区間の前記終了時刻が前記第２の時間区間の開始時刻よりも後であることで、前記第１の時間区間及び前記第２の時間区間は、前記時系列上で部分的に重複する重複区間を有するように設定され、
前記コンピュータは、
前記第１の時間区間と前記第２の時間区間とを暫定的に区分する境界時刻についての複数の指定を受け付け、
前記複数の指定により与えられた境界時刻の平均及びばらつきの少なくともいずれかに基づいて前記重複区間を設定する、
アノテーション方法。
前記コンピュータは、前記センサのサンプリング周期に基づいて、前記センサの前記出力をそれぞれサンプルする複数のサンプル点を前記重複区間が含むように、前記重複区間の時間幅を設定する、
請求項１から５のいずれか１項に記載のアノテーション方法。
前記コンピュータは、
前記第１の時間区間の前記開始時刻から前記第２の時間区間の前記開始時刻までの区間に、前記第１のラベルとして第１の値を付与し、
前記第１の時間区間の前記終了時刻から前記第２の時間区間の前記終了時刻までの区間に、前記第２のラベルとして第２の値を付与し、
前記第１の時間区間の前記終了時刻から前記第２の時間区間の前記開始時刻までの区間に、前記第１の値から前記第２の値に遷移するように１又は複数の値を前記重複区間のラベルとして付与する、
請求項１から６のいずれか１項に記載のアノテーション方法。
前記複数のラベルそれぞれは、当該各ラベルの付与される時間区間内における前記センサデータに対する所定の推論の正解を示すように設定され、
前記コンピュータが、
前記センサデータ及び前記複数のラベルを利用して教師あり学習を実施することで、前記所定の推論を行う能力を有するように構築された学習済みの学習器に対する評価結果を示す評価結果データを取得するステップと、
取得した前記評価結果データの示す前記評価結果に基づいて、前記重複区間の時間幅を変更するステップと、
を更に実行する、
請求項１から７のいずれか１項に記載のアノテーション方法。
前記評価結果は、前記センサデータとは異なる他のセンサデータに対して、前記学習済みの学習器により前記所定の推論を行った際の正答率により表現され、
前記コンピュータは、前記評価結果データにより示される前記正答率が所定の閾値以下である場合に、前記重複区間の時間幅を狭める又は拡げることで、前記重複区間の時間幅を変更する、
請求項８に記載のアノテーション方法。
センサの出力を時系列に配列したセンサデータを取得するデータ取得部と、
取得したセンサデータに複数のラベルを付与するラベル付与部と、
を備え、
前記複数のラベルは、第１のラベル及び第２のラベルを含み、
前記第１のラベルは、第１の時間区間に付与され、
前記第２のラベルは、前記時系列上で前記第１の時間区間よりも後にある第２の時間区間に付与され、
前記第１の時間区間の開始時刻が前記第２の時間区間の開始時刻よりも前であり、かつ前記第１の時間区間の終了時刻が前記第２の時間区間の終了時刻よりも前であるのに対して、前記第１の時間区間の前記終了時刻が前記第２の時間区間の開始時刻よりも後であることで、前記第１の時間区間及び前記第２の時間区間は、前記時系列上で部分的に重複する重複区間を有するように設定され、
前記ラベル付与部は、
前記第１の時間区間と前記第２の時間区間とを暫定的に区分する境界時刻を設定し、
設定された前記境界時刻の前及び後の少なくとも一方の時刻を含むように、所定の時間幅を有する前記重複区間を設定する、
アノテーション装置。
センサの出力を時系列に配列したセンサデータを取得するデータ取得部と、
取得したセンサデータに複数のラベルを付与するラベル付与部と、
を備え、
前記複数のラベルは、第１のラベル及び第２のラベルを含み、
前記第１のラベルは、第１の時間区間に付与され、
前記第２のラベルは、前記時系列上で前記第１の時間区間よりも後にある第２の時間区間に付与され、
前記第１の時間区間の開始時刻が前記第２の時間区間の開始時刻よりも前であり、かつ前記第１の時間区間の終了時刻が前記第２の時間区間の終了時刻よりも前であるのに対して、前記第１の時間区間の前記終了時刻が前記第２の時間区間の開始時刻よりも後であることで、前記第１の時間区間及び前記第２の時間区間は、前記時系列上で部分的に重複する重複区間を有するように設定され、
前記ラベル付与部は、
前記第１の時間区間と前記第２の時間区間とを暫定的に区分する境界時刻についての複数の指定を受け付け、
前記複数の指定により与えられた境界時刻の平均及びばらつきの少なくともいずれかに基づいて前記重複区間を設定する、
アノテーション装置。
コンピュータに、
センサの出力を時系列に配列したセンサデータを取得するステップと、
取得したセンサデータに複数のラベルを付与するステップと、
を実行させるためのアノテーションプログラムであって、
前記複数のラベルは、第１のラベル及び第２のラベルを含み、
前記第１のラベルは、第１の時間区間に付与され、
前記第２のラベルは、前記時系列上で前記第１の時間区間よりも後にある第２の時間区間に付与され、
前記第１の時間区間の開始時刻が前記第２の時間区間の開始時刻よりも前であり、かつ前記第１の時間区間の終了時刻が前記第２の時間区間の終了時刻よりも前であるのに対して、前記第１の時間区間の前記終了時刻が前記第２の時間区間の開始時刻よりも後であることで、前記第１の時間区間及び前記第２の時間区間は、前記時系列上で部分的に重複する重複区間を有するように設定され、
前記コンピュータに、
前記第１の時間区間と前記第２の時間区間とを暫定的に区分する境界時刻を設定させ、
設定された前記境界時刻の前及び後の少なくとも一方の時刻を含むように、所定の時間幅を有する前記重複区間を設定させる、
アノテーションプログラム。
コンピュータに、
センサの出力を時系列に配列したセンサデータを取得するステップと、
取得したセンサデータに複数のラベルを付与するステップと、
を実行させるためのアノテーションプログラムであって、
前記複数のラベルは、第１のラベル及び第２のラベルを含み、
前記第１のラベルは、第１の時間区間に付与され、
前記第２のラベルは、前記時系列上で前記第１の時間区間よりも後にある第２の時間区間に付与され、
前記第１の時間区間の開始時刻が前記第２の時間区間の開始時刻よりも前であり、かつ前記第１の時間区間の終了時刻が前記第２の時間区間の終了時刻よりも前であるのに対して、前記第１の時間区間の前記終了時刻が前記第２の時間区間の開始時刻よりも後であることで、前記第１の時間区間及び前記第２の時間区間は、前記時系列上で部分的に重複する重複区間を有するように設定され、
前記コンピュータに、
前記第１の時間区間と前記第２の時間区間とを暫定的に区分する境界時刻についての複数の指定を受け付けさせ、
前記複数の指定により与えられた境界時刻の平均及びばらつきの少なくともいずれかに基づいて前記重複区間を設定させる、
アノテーションプログラム。
工場の作業員の行動状態を監視するセンサの出力を時系列に配列したセンサデータを取得するデータ取得部と、
取得した前記センサデータに複数のラベルを付与するラベル付与部であって、当該複数のラベルそれぞれは、当該各ラベルの付与される時間区間内における前記センサデータに表れる前記作業員の行動状態の正解を示すように設定される、ラベル付与部と、
前記センサデータ及び前記複数のラベルを利用して教師あり学習を実施することで、前記作業員の行動状態の種別を推定する能力を有するように学習済みの学習器を構築する学習処理部と、
前記作業員の行動状態を推定する対象となる対象センサデータを取得する対象データ取得部と、
前記対象センサデータを前記学習済みの学習器に入力し、前記学習済みの学習器から出力を得ることで、前記対象センサデータに表れる前記作業員の行動状態を推定する状態推定部と、
前記作業員の行動状態を推定した結果を出力する出力部と、
を備え、
前記複数のラベルは、第１のラベル及び第２のラベルを含み、
前記第１のラベルは、第１の時間区間に付与され、
前記第２のラベルは、前記時系列上で前記第１の時間区間よりも後にある第２の時間区間に付与され、
前記第１の時間区間の開始時刻が前記第２の時間区間の開始時刻よりも前であり、かつ前記第１の時間区間の終了時刻が前記第２の時間区間の終了時刻よりも前であるのに対して、前記第１の時間区間の前記終了時刻が前記第２の時間区間の開始時刻よりも後であることで、前記第１の時間区間及び前記第２の時間区間は、前記時系列上で部分的に重複する重複区間を有するように設定される、
識別システム。
センサの出力を時系列に配列したセンサデータを取得するデータ取得部と、
取得した前記センサデータに複数のラベルを付与するラベル付与部であって、当該複数のラベルそれぞれは、当該各ラベルの付与される時間区間内における前記センサデータに対する所定の推論の正解を示すように設定される、ラベル付与部と、
前記センサデータ及び前記複数のラベルを利用して教師あり学習を実施することで、前記所定の推論を行う能力を有するように学習済みの学習器を構築する学習処理部と、
前記所定の推論を行う対象となる対象センサデータを取得する対象データ取得部と、
前記対象センサデータを前記学習済みの学習器に入力し、前記学習済みの学習器から出力を得ることで、前記対象センサデータに対して所定の推論を実施する推論部と、
前記所定の推論を実施した結果を出力する出力部と、
を備え、
前記複数のラベルは、第１のラベル及び第２のラベルを含み、
前記第１のラベルは、第１の時間区間に付与され、
前記第２のラベルは、前記時系列上で前記第１の時間区間よりも後にある第２の時間区間に付与され、
前記第１の時間区間の開始時刻が前記第２の時間区間の開始時刻よりも前であり、かつ前記第１の時間区間の終了時刻が前記第２の時間区間の終了時刻よりも前であるのに対して、前記第１の時間区間の前記終了時刻が前記第２の時間区間の開始時刻よりも後であることで、前記第１の時間区間及び前記第２の時間区間は、前記時系列上で部分的に重複する重複区間を有するように設定され、
前記ラベル付与部は、
前記第１の時間区間と前記第２の時間区間とを暫定的に区分する境界時刻を設定し、
設定された前記境界時刻の前及び後の少なくとも一方の時刻を含むように、所定の時間幅を有する前記重複区間を設定する、
識別システム。
センサの出力を時系列に配列したセンサデータを取得するデータ取得部と、
取得した前記センサデータに複数のラベルを付与するラベル付与部であって、当該複数のラベルそれぞれは、当該各ラベルの付与される時間区間内における前記センサデータに対する所定の推論の正解を示すように設定される、ラベル付与部と、
前記センサデータ及び前記複数のラベルを利用して教師あり学習を実施することで、前記所定の推論を行う能力を有するように学習済みの学習器を構築する学習処理部と、
前記所定の推論を行う対象となる対象センサデータを取得する対象データ取得部と、
前記対象センサデータを前記学習済みの学習器に入力し、前記学習済みの学習器から出力を得ることで、前記対象センサデータに対して所定の推論を実施する推論部と、
前記所定の推論を実施した結果を出力する出力部と、
を備え、
前記複数のラベルは、第１のラベル及び第２のラベルを含み、
前記第１のラベルは、第１の時間区間に付与され、
前記第２のラベルは、前記時系列上で前記第１の時間区間よりも後にある第２の時間区間に付与され、
前記第１の時間区間の開始時刻が前記第２の時間区間の開始時刻よりも前であり、かつ前記第１の時間区間の終了時刻が前記第２の時間区間の終了時刻よりも前であるのに対して、前記第１の時間区間の前記終了時刻が前記第２の時間区間の開始時刻よりも後であることで、前記第１の時間区間及び前記第２の時間区間は、前記時系列上で部分的に重複する重複区間を有するように設定され、
前記ラベル付与部は、
前記第１の時間区間と前記第２の時間区間とを暫定的に区分する境界時刻についての複数の指定を受け付け、
前記複数の指定により与えられた境界時刻の平均及びばらつきの少なくともいずれかに基づいて前記重複区間を設定する、
識別システム。