JP5544508B2 - 行動識別システム - Google Patents

Description

この発明は、行動識別システムに関し、特にたとえば、医療現場において看護師が行う行動を、センサからのセンサ情報および時計からの時刻情報に基づいて識別する、行動識別システムに関する。

従来のこの種のシステムとしては、特許文献１に記載されたものが知られている。この背景技術では、被験者（看護師）に加速度センサを装着して加速度データを収集する一方、実験者が被験者に随伴して行動の時間（開始時刻および終了時刻）とラベル（識別情報）とを記録する。たとえば、被験者が歩行すると、実験者は、その時間を特定して“歩行”というラベルを付与する。こうして実験者が特定した時間および付与したラベルが、加速度センサで収集された加速度データと共にサーバに入力され、サーバは、当該加速度データから当該時間に属する部分を切り出してその特徴を計算し、当該特徴および当該ラベルを互いに関連付けてデータベース（以下“ＤＢ”）に記録する。

このような処理を繰り返すことで、ＤＢ内に特徴およびラベルの間の対応関係を示す情報（辞書情報）が蓄積されていく。サーバは、こうして生成された辞書ＤＢを参照することで、加速度データに基づいて看護師の行動を識別することができる。
特開２００９−３９４６６号公報

しかし、背景技術では、たとえば“手洗い”というラベルを付された行動の特徴が手洗いとは異なる行動の特徴（外れ値）をも含んでいて、辞書ＤＢの精度が低下する場合があった。

また、背景技術は、実験者が被験者に随伴して時間特定およびラベル付与を行うものであり、加速度データに基づいて事後的にこれらを行うことはできなかった。

それゆえに、この発明の主たる目的は、新規な行動識別システムを提供することである。

この発明の他の目的は、辞書等のＤＢから外れ値を会話的に（実験者に情報を提示してその指示に応じて）削除することができる、行動識別システムを提供することである。

この発明のその他の目的は、加速度などのセンサ情報に基づくラベル付加、および付加したラベルのＤＢへの登録を、事後的かつ会話的に行うことができる、行動識別システムを提供することである。

本発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明などは、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、本発明を何ら限定するものではない。

第１の発明は、被験者の行動をセンサからのセンサ情報および時計からの時刻情報に基づいて識別する行動識別システムであって、センサ情報および時刻情報を蓄積したセンサＤＢ、被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積した辞書ＤＢ、センサ情報および時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と辞書ＤＢの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を時刻情報に基づいて特定し、そして抽出した特徴，選択したラベルおよび特定した時間を示す行動情報を出力する行動識別手段、行動識別手段から出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積するアノテーションＤＢ、センサＤＢに基づくセンサデータ画面にアノテーションＤＢに基づくアノテーション情報を時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面をモニタに表示する第１表示手段、および、行動識別手段から出力される行動情報が示す特徴を第１ベクトルに変換して各第１ベクトルの散布状態を示す第１散布図画像をモニタに表示する第２表示手段と、モニタに表示された第１散布図画像を参照しつつ入力装置で行われる外れ値削除操作を受け付ける第１受付手段とを含み、行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、外れ値削除操作に応じて、辞書ＤＢおよびアノテーションＤＢから削除する、会話的削除手段を備える。

第１の発明では、行動識別システム（１００）は、センサＤＢ（１６ａ）、辞書ＤＢ（１６ｃ）、行動識別手段（１４）、アノテーションＤＢ（１６ｂ）、第１表示手段（２０）および会話的削除手段（１８，Ｓ１〜Ｓ３９，Ｓ５１〜Ｓ７１）を備える。センサＤＢは、センサ（１２）からのセンサ情報および時計（１２Ｔ）からの時刻情報を蓄積している。辞書ＤＢは、被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積している。行動識別手段は、センサ情報および時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と辞書ＤＢの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を時刻情報に基づいて特定し、そして抽出した特徴，選択したラベルおよび特定した時間を示す行動情報を出力する。アノテーションＤＢは、行動識別手段から出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積する。第１表示手段は、センサＤＢに基づくセンサデータ画面にアノテーションＤＢに基づくアノテーション情報を時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面（図２）をモニタ（５２）に表示する。会話的削除手段は、行動識別手段から出力される行動情報が示す特徴を第１ベクトルに変換して各第１ベクトルの散布状態を示す第１散布図画像（Ｗ１：図５（Ａ），図５（Ｂ），図６（Ａ），図６（Ｂ））をモニタに表示する第２表示手段（Ｓ５〜Ｓ１９）と、モニタに表示された第１散布図画像を参照しつつ入力装置（５４）で行われる外れ値削除操作を受け付ける第１受付手段（Ｓ２１，Ｓ２７）とを含み、行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、外れ値削除操作に応じて、辞書ＤＢおよびアノテーションＤＢから削除する。

第１の発明によれば、辞書データＤＢおよびアノテーションＤＢから外れ値を会話的に削除することができる。

第２の発明は、第１の発明に従属する行動識別システムであって、第１受付手段は、モニタに表示された第１散布図画像を参照しつつ入力装置で行われる外れ値選択操作を外れ値削除操作の前に受け付け、第１表示手段は、アノテーション付きセンサデータ画面内の外れ値選択操作に対応する部分をハイライト表示し、外れ値削除操作はさらにアノテーション付きセンサデータ画面内のハイライト表示された部分も参照しつつ行われる。

第２の発明では、第１受付手段は、モニタに表示された第１散布図画像を参照しつつ入力装置で行われる外れ値選択操作を外れ値削除操作の前に受け付け、第１表示手段は、アノテーション付きセンサデータ画面内の外れ値選択操作に対応する部分をハイライト表示する。外れ値削除操作は、さらにアノテーション付きセンサデータ画面内のハイライト表示された部分も参照しつつ行われる。

第２の発明によれば、アノテーション付きセンサデータ画面内の外れ値選択操作に対応する部分をハイライト表示することで、実験者は各第１ベクトルが外れ値であるか否かの判断をアノテーション付きセンサデータ画面内のハイライト表示された部分とそれ以外の部分との比較に基づいて行える。

第３の発明は、第１の発明に従属する行動識別システムであって、第２表示手段は、各第１ベクトルに外れ値判定処理を施して判定結果が外れ値を示す第１ベクトルを外れ値候補としてハイライト表示する（図６（Ａ），図６（Ｂ））。

第３の発明によれば、外れ値候補をハイライト表示することで、実験者は各第１ベクトルが外れ値であるか否かの判断を容易に行える。

第４の発明は、第３の発明に従属する行動識別システムであって、第２表示手段はさらに、各第１ベクトルについて時間的近接性の有無を判別し、当該判別結果が時間的近接性ありを示す第１ベクトルと時間的近接性なしを示す第１ベクトルとでハイライト表示の態様を異ならせる（図６（Ｂ））。

第４の発明によれば、ハイライト表示の態様（色，明るさ，点滅周期，形状，大きさなど）を時間的近接性の有無により異ならせるので、実験者は各第１ベクトルが外れ値であるか否かの判断をいっそう容易に行える。

第５の発明は、第１ないし第４のいずれかの発明に従属する行動識別システムであって、行動識別手段から出力される行動情報が示す特徴を第２ベクトルに変換して各第２ベクトルをクラスタ化し、各第２ベクトルの散布状態をクラスタリング情報と共に示す第２散布図画像をモニタに表示する第３表示手段と、モニタに表示された第２散布図画像を参照しつつ入力装置で行われるラベル付加操作を受け付ける第２受付手段とを含み、行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、ラベル付加操作に応じて、辞書ＤＢおよびアノテーションＤＢに追加する、会話的追加手段をさらに備える。

第５の発明では、行動識別システムは会話的追加手段（２２，Ｓ８１〜Ｓ１１９）をさらに備える。会話的追加手段は、行動識別手段から出力される行動情報が示す特徴を第２ベクトルに変換して各第２ベクトルをクラスタ化し、各第２ベクトルの散布状態をクラスタリング情報と共に示す第２散布図画像（図７）をモニタに表示する第３表示手段（Ｓ８５〜Ｓ９９）と、モニタに表示された第２散布図画像を参照しつつ入力装置で行われるラベル付加操作を受け付ける第２受付手段（Ｓ１０１，Ｓ１０７）とを含み、行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、ラベル付加操作に応じて、辞書ＤＢおよびアノテーションＤＢに追加する。

第５の発明によれば、センサ情報に基づくラベル付加、および付加したラベルのアノテーションＤＢおよび辞書ＤＢへの登録を、事後的かつ会話的に行うことができる。

第６の発明は、第５の発明に従属する行動識別システムであって、会話的追加手段は、第２散布図画像に含まれるクラスタに関するラベル候補画像をモニタに表示する第４表示手段をさらに含み、ラベル付加操作はさらにラベル候補画像も参照しつつ行われる。

第６の発明では、会話的追加手段は第４表示手段をさらに含む。第４表示手段は、ラベル候補画像（Ｗ３：図８）をモニタに表示する。ラベル付加操作は、さらにラベル候補画像も参照しつつ行われる。

第６の発明によれば、第２散布図画像に含まれるクラスタに関するラベル候補を表示することで、実験者は、容易にラベルを付与できる。

第７の発明は、第５の発明に従属する行動識別システムであって、第３表示手段はさらに、各クラスタについて時間的近接性の有無を判別し、当該判別結果が時間的近接性ありを示すクラスタをラベル付加候補としてハイライト表示する。

第７の発明によれば、時間的近接性のあるクラスタをラベル付加候補としてハイライト表示するので、実験者はラベルを付加すべき行動に対応するクラスタを容易に認識できる。

第８の発明は、被験者の行動をセンサからのセンサ情報および時計からの時刻情報に基づいて識別する行動識別システムであって、センサ情報および時刻情報を蓄積したセンサＤＢ、被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積した辞書ＤＢ、センサ情報および時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と辞書ＤＢの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を時刻情報に基づいて特定し、そして抽出した特徴，選択したラベルおよび特定した時間を示す行動情報を出力する行動識別手段、行動識別手段から出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積するアノテーションＤＢ、センサＤＢに基づくセンサデータ画面にアノテーションＤＢに基づくアノテーション情報を時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面をモニタに表示する、第１表示手段、および、行動識別手段から出力される行動情報が示す特徴をベクトルに変換して各ベクトルをクラスタ化し、各ベクトルの散布状態をクラスタリング情報と共に示す散布図画像をモニタに表示する第２表示手段と、モニタに表示された散布図画像を参照しつつ入力装置で行われるラベル付加操作を受け付ける受付手段とを含み、行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、ラベル付加操作に応じて、辞書ＤＢおよびアノテーションＤＢに追加する、会話的追加手段を備える。

第８の発明では、行動識別システム（１００）は、センサＤＢ（１６ａ）、辞書ＤＢ（１６ｃ）、行動識別手段（１４）、アノテーションＤＢ（１６ｂ）、第１表示手段（２０）および会話的追加手段（２２，Ｓ８１〜Ｓ１１９）を備える。センサＤＢは、センサ（１２）からのセンサ情報および時計（１２Ｔ）からの時刻情報を蓄積している。辞書ＤＢは、被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積している。行動識別手段は、センサ情報および時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と辞書ＤＢの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を時刻情報に基づいて特定し、そして抽出した特徴，選択したラベルおよび特定した時間を示す行動情報を出力する。アノテーションＤＢは、行動識別手段から出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積する。第１表示手段は、センサＤＢに基づくセンサデータ画面にアノテーションＤＢに基づくアノテーション情報を時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面（図２）をモニタ（５２）に表示する。会話的追加手段は、行動識別手段から出力される行動情報が示す特徴をベクトルに変換して各ベクトルをクラスタ化し、各ベクトルの散布状態をクラスタリング情報と共に示す散布図画像（図７）をモニタに表示する第２表示手段（Ｓ８５〜Ｓ９９）と、モニタに表示された散布図画像を参照しつつ入力装置（５４）で行われるラベル付加操作を受け付ける受付手段（Ｓ１０１，Ｓ１０７）とを含み、行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、ラベル付加操作に応じて、辞書ＤＢおよびアノテーションＤＢに追加する。

第８の発明によれば、センサ情報に基づくラベル付加、および付加したラベルのアノテーションＤＢおよび辞書ＤＢへの登録を、事後的かつ会話的に行うことができる。

第９の発明は、第８の発明に従属する行動識別システムであって、会話的追加手段は、散布図画像に含まれるクラスタに関するラベル候補画像をモニタに表示する第３表示手段をさらに含み、ラベル付加操作はさらにラベル候補画像も参照しつつ行われる。

第９の発明では、会話的追加手段は第３表示手段をさらに含む。第３表示手段は、散布図画像画像に含まれるクラスタに関するラベル候補画像（図８）をモニタに表示する。ラベル付加操作は、さらにラベル候補画像も参照しつつ行われる。

第９の発明によれば、散布図画像に含まれるクラスタに関するラベル候補を表示することで、実験者は、容易にラベルを付与できる。

第１０の発明は、第８の発明に従属する行動識別システムであって、第２表示手段はさらに、各クラスタについて時間的近接性の有無を判別し、当該判別結果が時間的近接性ありを示すクラスタをラベル付加候補としてハイライト表示する。

第１０の発明によれば、時間的近接性のあるクラスタをラベル付加候補としてハイライト表示するので、実験者はラベルを付加すべき行動に対応するクラスタを容易に認識できる。

第１１の発明は、第１ないし第１０のいずれかの発明に従属する行動識別システムであって、ビデオカメラからのビデオ映像情報および時計と同期した第２時計からの時刻情報を蓄積したビデオＤＢをさらに備え、第１表示手段はビデオ映像情報および時刻情報に基づくビデオ映像をモニタにさらに表示し、外れ値削除操作および／またはラベル付加操作はさらにビデオ映像も参照しつつ行われる。

第１１の発明では、行動識別システムはビデオＤＢ（１６ｄ）をさらに備える。ビデオＤＢは、ビデオカメラ（２４）からのビデオ映像情報および時計と同期した第２時計（２４Ｔ）からの時刻情報を蓄積している。第１表示手段はビデオ映像情報および時刻情報に基づくビデオ映像（図４）をモニタにさらに表示し、外れ値削除操作および／またはラベル付加操作はさらにビデオ映像も参照しつつ行われる。

第１１の発明によれば、実験者は、ビデオ映像も参照することで、外れ値削除やラベル付加に関する判断をよりいっそう容易に行える。

この発明によれば、ＤＢから外れ値を会話的に削除できる、行動識別システムが実現される。また、センサ情報に基づくラベル付加、および付加したラベルのＤＢ登録を、事後的かつ会話的に行える、行動識別システムが実現される。この結果、精度の高いＤＢを容易に構築できるようになり、行動識別システムの識別精度を高めることができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

この発明の一実施例である行動識別システムの構成を示すブロック図である。 センサデータ（加速度データ）ビューワ画面の一例を示す図解図である。 アノテーションデータビューワ画面の一例を示す図解図である。 ビデオ映像ビューワ画面の一例を示す図解図である。 （Ａ）は散布図ウィンドウの一例を示す図解図であり、（Ｂ）は散布図ウィンドウの他の一例を示す図解図である。 （Ａ）は散布図ウィンドウのその他の一例を示す図解図であり、（Ｂ）は散布図ウィンドウのさらにその他の一例を示す図解図である。 散布図ウィンドウの他の一例を示す図解図である。 ラベル候補ウィンドウの一例を示す図解図である。 ＰＣの構成例を示すブロック図である。 ＰＣのメインメモリのメモリマップを示す図解図である。 ＰＣのＣＰＵ動作の一部を示すフロー図である。 ＰＣのＣＰＵ動作の他の一部を示すフロー図である。 ＰＣのＣＰＵ動作のその他の一部を示すフロー図である。 ＰＣのＣＰＵ動作のさらにその他の一部を示すフロー図である。 ＰＣのＣＰＵ動作の他の一部を示すフロー図である。

図１を参照して、この発明の一実施例である行動識別システム１００（以下“システム１００”）は、ＰＣ１０，センサ１２およびビデオカメラ２４を備える。センサ１２およびビデオカメラ２４には時計１２Ｔおよび２４Ｔがそれぞれ設けられており、各時計１２Ｔおよび２４ＴはＰＣ１０側の時計１０Ｔ（図９参照：後述）と同期している。センサ１２およびビデオカメラ２４にはさらに無線ＬＡＮモジュール１２Ｌおよび２４Ｌが設けられており、各無線ＬＡＮモジュール１２Ｌおよび２４ＬはＰＣ１０側の無線ＬＡＮモジュール１０Ｌ（図９参照：後述）との間で無線ＬＡＮ通信を行う。

センサ１２は、たとえば４個の３軸加速センサで構成され、各３軸加速センサは被験者（看護師など）の左上腕，右上腕，胸および腰にそれぞれ装着される。センサ１２からは、これら４個の３軸加速センサに基づく計１２成分の加速度データが、時計１２Ｔに基づくタイムスタンプと共に、無線ＬＡＮモジュール１２Ｌを通してＰＣ１０へと送信される。すなわち、センサ１２が出力するセンサデータは、１２成分の加速度データとタイムスタンプとを含む。

ビデオカメラ２４は、被験者が所定の行動たとえば手洗いを行うシンクの近傍などに設置される。ビデオカメラ２４からは、設置場所の近傍を捉えた映像データが、時計２４Ｔに基づくタイムスタンプと共に、無線ＬＡＮモジュール２４Ｌを通してＰＣ１０へと送信される。すなわち、ビデオカメラ２４が出力する映像データにもタイムスタンプが含まれる。

なお、ここで示すシステム１００の構成は一例に過ぎず、様々に変更可能である。たとえば、センサ１２の構成要素として、位置計測のための赤外線センサや、被験者の近接対象（患者や看護機材など）を特定するための近接センサ（Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュールなど）を追加してもよい。また、ＰＣ１０とセンサ１２およびビデオカメラ２４との間の各接続には、ＢｌｕｅｔｏｏｔｈやＺｉｇＢｅｅ（登録商標）といった、無線ＬＡＮ以外の近距離無線通信方式を用いてもよい。ＰＣ１０とビデオカメラ２４との間は有線接続でもよい。

ＰＣ１０は、行動識別エンジン１４，データマネージャ１６，会話的外れ値削除アプリケーション１８，データビューワ２０および会話的ラベル付加アプリケーション２２を備える。データマネージャ１６は、センサＤＢ１６ａ，アノテーションＤＢ１６ｂ，辞書ＤＢ１６ｃおよびビデオＤＢ１６ｄを含む。なお、これらの構成要素（１４〜２２，１６ａ〜１６ｄ）の機能は、図９に示すハードウェア資源、つまり時計１０Ｔ，無線ＬＡＮモジュール１０Ｌ，ＣＰＵ５０，ＬＣＤモニタ５２，キー入力装置５４およびメインメモリ５６と、メインメモリ５６に格納されたソフトウェア資源（図１０にその一部が示されている）とによって実現される。

センサ１２からのセンサデータおよびビデオカメラ２４からの映像データはデータマネージャ１６に与えられ、データマネージャ１６は、与えられたセンサデータおよび映像データをセンサＤＢ１６ａおよびビデオＤＢ１６ｄにそれぞれ記録する。したがって、センサＤＢ１６ａにはタイムスタンプ付きの加速度データ（以下“加速度データ”）が、ビデオＤＢ１６ｄにはタイムスタンプ付きの映像データ（以下“映像データ”）が、それぞれ蓄積されていく。

センサＤＢ１６ａに蓄積された加速度データは、データマネージャ１６を通じて行動識別エンジン１４に与えられ、行動識別エンジン１４は、与えられた加速度データを辞書ＤＢ１６ｃと比較して被験者の行動を識別し、識別結果を示す行動データをデータマネージャ１６に返す。行動データには、認識した行動について特徴，ラベルおよび時間（開始時刻および終了時刻）が記述されている。

より詳しくは、辞書ＤＢ１６ｃには、被験者が行い得る各行動について特徴およびラベルを示す辞書データが格納されている。ここで、特徴は、行動識別エンジン１４が過去の加速度データから抽出した各行動の特徴であり、たとえば波形データの態様を有する。一方、ラベルは、抽出された各行動の特徴に対して、実験者が会話的ラベル付加アプリケーション２２（後述）を介して付与した識別情報であり、たとえば“手洗い”，“手拭き”のような文字データの態様を有する。

行動識別エンジン１４は、与えられた加速度データに対して特徴抽出を行い、抽出した特徴で辞書ＤＢ１６ｃを検索してそこから当該特徴に対応するラベルを取得する一方、抽出した特徴に対応する時間を加速度データに付されたタイムスタンプを参照して特定する。そして、抽出した特徴，取得したラベルおよび特定した時間を、与えられた加速度データに関する識別結果（行動データ）として出力する。

データマネージャ１６は、行動識別エンジン１４からの行動データに含まれるラベルおよび時間を、センサＤＢ１６ａ内の加速度データに対するアノテーション（注釈）データとして、アノテーションＤＢ１６ｂに記録する。アノテーションデータと加速度データとは、タイムスタンプを介して関連付けられている。

データマネージャ１６はまた、こうしてアノテーションＤＢ１６ｂに登録されたラベルおよび特徴のうち辞書ＤＢ１６ｃに存在しないものがあれば、会話的ラベル付加アプリケーション２２（後述）を介して当該ラベルおよび特徴を示す辞書データを辞書ＤＢ１６ｃに追記する。

データビューワ２０は、データマネージャ１６を介して各種ＤＢ１６ａ〜１６ｄからデータを取得して可視化する。具体的には、主としてセンサＤＢ１６ａからのセンサデータに基づいて図２に示すようなセンサデータビューワ画面を表示し、アノテーションＤＢ１６ｂからのアノテーションデータに基づいて図３に示すようなアノテーションデータビューワ画面を表示し、そしてビデオＤＢ１６ｄからのビデオ映像データに基づいて図４に示すようなビデオ映像ビューワ画面を表示する。辞書ＤＢ１６ｃに登録されたラベルを、図８に示すようなラベル候補ウィンドウＷ３として表示することも可能である。

図２のセンサデータ画面には、前述した計１２成分の加速度波形が共通の時間軸に沿って描画される。このセンサデータ画面にはまた、アノテーションＤＢ１６ｂからのアノテーションデータに基づくアノテーション情報、つまりラベルを示す文字や、時間を示す帯および数字なども描画されている。

図３のアノテーションデータビューワ画面には、時間の始点または終点を示す“時刻”と、“手洗い：開始”，“手洗い：終了”，“手拭き：開始”といった包括的な行動を示す上位ラベルである“ラベル１”と、“手濡らし：開始”，“手濡らし：終了”，“手のひら洗い：開始”といった詳細な行動を示す下位ラベルである“ラベル２”とが一覧表示されている。なお、他の実施例では、ラベルを３層以上に階層化してもよく、何ら階層化しなくてもよい。

図４のビデオ映像ビューワ画面には、被験者が手を洗っている場面のビデオ映像と、タイムスタンプを示す数字とが表示されている。図８のラベル候補ウィンドウＷ３には、辞書ＤＢ１６ｃの登録ラベルのうち一部を示す文字が、階層を示すインデント（“・”または“・・”）付きで表示されている。

会話的外れ値削除アプリケーション１８は、図５および図６に示すような散布図ウィンドウＷ１を通して会話的に、アノテーションＤＢ１６ｂおよび辞書ＤＢ１６ｃから外れ値に対応するデータを除去する。詳しくは、散布図ウィンドウＷ１は、ユーザがセンサＤＢ１６ａのセンサデータに関して１つ以上のラベルおよび特徴ベクトルの２成分を指定するのに応じて表示される。図５および図６のいずれの散布図ウィンドウＷ１でも、ラベルについては“手拭き”，“手洗い”，“手袋”，“消毒”が指定されている。２成分としては、図５（Ａ）の散布図ウィンドウＷ１では“１”および“２”が、図５（Ｂ），図６（Ａ）および図６（Ｂ）では“１”および“３”が、それぞれ指定されている。

会話的外れ値削除アプリケーション１８は、センサＤＢ１６ａからセンサデータを取得して、取得したセンサデータから指定ラベルに対応する部分を切り出す。そして、切り出したセンサデータに対して特徴抽出処理を施し、これにより抽出された特徴に対応する点を、ラベル毎に異なる態様（ここでは形状：丸，四角，三角など）で、散布図ウィンドウＷ１内にプロット表示する。

図５，図６を参照して、散布図ウィンドウＷ１内の各点は、ラベル毎にクラスタを形成する。ただし、抽出された特徴に外れ値が含まれていると、図６のようにクラスタから孤立した点が現れる。会話的外れ値削除アプリケーション１８は、クラスタから孤立した点については、外れ値候補として、クラスタ内の各点と区別するべくハイライト表示（たとえば輝度を高める，点滅させる等）する。

そして、このような孤立点には、クラスタに対して時間的近接性を有するものと有さないものとがあり、会話的外れ値削除アプリケーション１８は、図６（Ｂ）のように、各孤立点を時間的近接性の有無によって異なる態様（たとえば大きさ，色など）でハイライト表示することもできる。

図６（Ａ）のように外れ値候補を単にハイライト表示するか、図６（Ｂ）のように外れ値候補を時間的近接性の有無によって異なる態様（ここでは異なる大きさ）でハイライト表示するかは、実験者の選択に基づいて決められる。

一方、実験者が散布図ウィンドウＷ１内の任意の点を、たとえば図５（Ａ）に示すようにカーソルＣで選択すると、図２〜図４に示した各種ビューワ画面が当該点に対応する時間のものに更新表示される。なお、更新後のセンサデータビューワ画面および更新後のアノテーションデータビューワ画面では、当該点に対応する部分（図２および図３の点線枠部分）がハイライトされてもよい。

さらに、実験者がこの選択した点について削除操作を行うと、当該点に対応するデータがアノテーションＤＢ１６ｂおよび辞書ＤＢ１６ｃから削除され、これに伴ってセンサデータビューワ画面およびアノテーションデータビューワ画面もさらに更新される。すなわち、図２のセンサデータビューワ画面からは“手指交差洗い”が削除され、図３のアノテーションデータビューワ画面からは“０９：０２：２０：８００”および“手指交差洗い：開始”ならびに“０９：０２：２１：７００”および“手指交差洗い：終了”が削除される。

従って、実験者は、図５，図６に示した散布図ウィンドウＷ１を通じて外れ値候補（孤立点）の有無を確認し、もし外れ値候補があれば、その孤立点に対応するセンサデータやビデオ映像を図２〜図４に示した各種ビューワ画面で確認して、必要ならこのようなセンサデータやビデオ映像を孤立点とクラスタ内の点との間で比較して、その孤立点が実際に外れ値かどうかを判断した上で、削除操作を行うことができる。

会話的ラベル付加アプリケーション２２は、図７に示すような散布図ウィンドウＷ２および図８に示すようなラベル候補ウィンドウＷ３を通して、会話的にアノテーションＤＢ１６ｂおよび辞書ＤＢ１６ｃに新たなデータを追記する。詳しくは、散布図ウィンドウＷ２およびラベル候補ウィンドウＷ３は、ユーザがセンサＤＢ１６ａのセンサデータに関して１つ以上のラベルおよび特徴ベクトルの２成分を指定するのに応じて表示される。

図７の散布図ウィンドウＷ２では、図５（Ａ）のそれと同様、ラベルとして“手拭き”，“手洗い”，“手袋”，“消毒”が、２成分としては“１”および“２”がそれぞれ指定されており、これら指定されたラベルおよび成分に対応する特徴を示す点がプロットされている。ここでも各点はラベル毎にクラスタを形成しているが、図５（Ａ）のそれとは異なり、各クラスタから孤立した点（星型）も多数存在している。そして、これら孤立点のうち時間的近接性を有するものが新たなクラスタを形成しており、この新たな“時間的近接性のあるクラスタ”がラベル付加候補としてハイライト表示されている。

図７のような散布図ウィンドウＷ２内でラベル付加候補としてハイライト表示されているクラスタの１つが実験者によって指定されると、会話的ラベル付加アプリケーション２２は、図８に示すようなラベル候補ウィンドウＷ３を表示する。このラベル候補ウィンドウＷ３には、指定ラベル（つまり“手拭き”，“手洗い”，…）およびその下位ラベル（たとえば“手濡らし”，“手のひら洗い”，…，“ペーパータオル取り”，…など）が表示される。

図８のようなラベル候補ウィンドウＷ３に表示されているラベル候補のうち１つを実験者が指定すると、会話的ラベル付加アプリケーション２２は、先に散布図ウィンドウＷ２で指定されたクラスタに含まれる点に対応する特徴（つまり未知の特徴）に対し、ここで指定されたラベルを付加すると共に、特徴に対応する時間を特定する。そして、これら特徴および時間を示すアノテーションデータをアノテーションＤＢ１６ｂに追記する一方、これら特徴およびラベルを示す辞書データを辞書ＤＢ１６ｃに追記する。

以上のようなシステム１００の動作のうち、特に会話的外れ値削除アプリケーション１８および会話的ラベル付加アプリケーション２２を実現するために、ＰＣ１０が行う情報処理について、次に説明する。

ＰＣ１０は、図９に示すように、無線ＬＡＮモジュール１０Ｌ，時計１０Ｔ，ＣＰＵ５０，ＬＣＤモニタ５２，キー入力装置５４およびメインメモリ５６を含む。無線ＬＡＮモジュール１０Ｌは、ＣＰＵ５０の制御下で、センサ１２およびビデオカメラ２４にそれぞれ設けられた無線ＬＡＮモジュール１２Ｌおよび２４Ｌと無線ＬＡＮ通信を行う。時計１０Ｔは、センサ１２およびビデオカメラ２４にそれぞれ設けられた時計１２Ｔおよび２４Ｔと同期しており、ＣＰＵ５０に必要な時刻情報を与える。

ＬＣＤモニタ５２は、ＣＰＵ５０の制御下で、図２〜図８のような画像を表示する。キー入力装置５４は、実験者の操作を受け、対応するコマンドをＣＰＵ５０に与える。メインメモリ５６には、ＣＰＵ５０が処理を行うためのプログラムおよびデータが記憶される。詳しくは、図１０に示すように、メインメモリ５６にはプログラム領域５６ａおよびデータ領域５６ｂが形成され、プログラム領域５６ａには会話的外れ値削除プログラム６０，会話的ラベル付加プログラム６２，表示制御プログラム６４および通信制御プログラム６６などが格納されている。

会話的外れ値削除プログラム６０は、会話的外れ値削除アプリケーション１８を実現するためのメインプログラムであり、これに対応するフローチャートが図１１〜図１３に示されている。会話的ラベル付加プログラム６２は、会話的ラベル付加アプリケーション２２を実現するためのメインプログラムであり、これに対応するフローチャートが図１４〜図１５に示されている。表示制御プログラム６４は、会話的外れ値削除プログラム６０および会話的ラベル付加プログラム６２によって利用されるサブプログラムであり、これにより図２〜図８のような画像の表示が実現される。通信制御プログラム６６は、会話的外れ値削除プログラム６０および会話的ラベル付加プログラム６２によって利用されるサブプログラムであり、これによってＰＣ１０とセンサ１２やビデオカメラ２４との無線通信が実現される。

データ領域５６ｂは、センサデータ領域７０，アノテーションデータ領域７２，辞書データ領域７４，ビデオ映像データ領域７６および変数／パラメータ領域７８などを含む。各種データ領域７０〜７８は、各種ＤＢ１６ａ〜１６ｄから読み込まれた各種データを記憶するための領域である。変数／パラメータ領域７４は、プログラムで使用される各種の変数（特徴ベクトルＸ，時刻ベクトルＴ，正準ベクトルＣ，主成分ベクトルＰ，…）やパラメータ（ｃｌａｓｓ，α，Ｆｌａｇ，ｄｔ，ｐａｒａｍ，…）を記憶するための領域である。

図１１を参照して、会話的外れ値削除プログラム６０が起動されると、ＣＰＵ５０は、まず、ステップＳ１で各種ＤＢ１６ａ〜１６ｄから各種データを各種データ領域７０〜７８に読み込み、ステップＳ３では、読み込んだ各種データに基づいて図２〜図４のような各種ビューワ画面をＬＣＤモニタ５２に表示する。

次に、ステップＳ５で、ラベルおよび特徴ベクトルの２成分を指定する操作をキー入力装置５４を通じて受け付け、ステップＳ７では、指定されたラベルおよびセンサデータに対して特徴抽出処理を行い、特徴ベクトルＸおよび時刻ベクトルＴを求める。ステップＳ９では、特徴ベクトルＸに対して正準相関変換処理を施して、正準ベクトルＣを求める。そしてステップＳ１１で、散布図ウィンドウＷ１内に、求めた正準ベクトルＣの指定２成分（に対応する点）をプロット表示する（図５，図６参照）。

次に、ステップＳ１３で、キー入力装置５４の操作に基づいてパラメータの設定を行う。これによって、“ｃｌａｓｓ”には対象クラスが、“α”には外れ値係数が、“Ｆｌａｇ”には時間的近接性考慮フラグが、そして“ｄｔ”には時間的近接性に関する閾値が、それぞれ設定される。ステップＳ１５では、正準ベクトルＣ，時刻ベクトルＴおよびパラメータ（ｃｌａｓｓ，α，Ｆｌａｇ，ｄｔ）に基づいて外れ値処理（図１３参照：後述）を行い、“Ｏｕｔｌｉｅｒ”および“Ｃｏｎｔｉｎｕｉｔｙ”を求める。ここで、“Ｏｕｔｌｉｅｒ”は外れ値となる正準ベクトルの配列であり、“Ｃｏｎｔｉｎｕｉｔｙ”は外れ値の時間的近接性の有無（Ｔｒｕｅ／Ｆａｌｓｅ）に関する配列である。ステップＳ１７では、“Ｏｕｔｌｉｅｒ”を“Ｃｏｎｔｉｎｕｉｔｙ”がＴｒｕｅのもの（“Ｏｕｔｌｉｅｒ＿ｃｏｎｔ”）とＦａｌｓｅのもの（“Ｏｕｔｌｉｅｒ＿ｄｉｓｃｏｎｔ”）とに分類する。そしてステップＳ１９で、“Ｏｕｔｌｉｅｒ＿ｃｏｎｔ”および“Ｏｕｔｌｉｅｒ＿ｄｉｓｃｏｎｔ”を互いに異なる態様（大きさや色）でハイライト表示する。

次に、ステップＳ２１で、散布図ウィンドウＷ１内のいずれかの点を指定する操作をキー入力装置５４を通じて受け付け（図５（Ａ）参照）、ステップＳ２３では、指定された点に対応する時刻を算出する。ステップＳ２５では、各種ビューワの画面（図２〜図４参照）を算出した時刻のものに更新表示する。センサデータビューワ画面およびアノテーションデータビューワ画面で当該時間区間をハイライト表示してもよい。ステップＳ２７では、キー入力装置５４を通じて、先に指定した点を対象とする外れ値削除操作を受け付ける。そして、ステップＳ２９で外れ値削除操作の有無を判別し、ＮＯであればステップＳ１３に戻って同様の処理を繰り返す。

ステップＳ２９でＹＥＳであれば、ステップＳ３１で当該点に対応する正準ベクトルＣひいては特徴ベクトルＸを削除する。ステップＳ３３では散布図ウィンドウＷ１を更新表示し、ステップＳ３５ではアノテーションＤＢ１６ｂおよび辞書ＤＢ１６ｃを更新し、ステップＳ３７では各種ビューワ画面を更新表示する。そしてステップＳ３９で終了するか否かの判定を行い、ＮＯであればステップＳ５に戻って同様の処理を繰り返す。キー入力装置５４による終了操作が行われると、ステップＳ３９でＹＥＳと判定し、この処理を終了する。

上記ステップＳ１５の外れ値処理は、図１３のサブルーチンに従って実行される。ステップＳ５１では、正準ベクトルＣのうち“ｃｌａｓｓ”で指定されたサンプルに相当する正準サンプルベクトルＣ*＝Ｃ＿ｓ．ｔ．（クラスレベル＝ｃｌａｓｓ）について、その平均ベクトルμｉ（１≦ｉ≦ｄ）と、共分散行列の対角成分σｉ（１≦ｉ≦ｄ）つまり［σ１，σ２，…，σｄ］＝ｄｉａｇ（Ｃｏｖ（Ｃ*））とを求める。また、Ｃ*のサンプル数（つまり正準ベクトルＣのうち“ｃｌａｓｓ”で指定したラベルを持つサンプルの数）を求め、これを“Ｋ”とする。さらに、平均ベクトルμｉの近傍にあるサンプルベクトルの時刻の平均を求め、これを“Ｔ*”とする。

ステップＳ５３では、カウンタを初期化する（ｋ＝１）。ステップＳ５５では、全データについて処理が終了したか否か（ｋ＞Ｋ？）を判別する。ここでＹＥＳであれば上位層のルーチンに復帰し、ＮＯであればステップＳ５７に進む。ステップＳ５７では、正準サンプルベクトルＣ*（ｋ）の各要素Ｃ*（ｋ）ｉについて平均ベクトルμｉとの差Ｄｉを計算する（Ｄｉ＝｜Ｃ*（ｋ）ｉ−μｉ｜）。ステップＳ５９では、計算結果のうちＤｉ＞α×σｉとなる要素があるか否かを判別し、ＹＥＳであれば（１つでもあれば）ステップＳ７１に進む一方、ＮＯであれば（１つもなければ）ステップＳ６１に進む。

ステップＳ６１では、“Ｏｕｔｌｉｅｒ”にｋを追加する。ステップＳ６３では、時間的近接性を考慮するか否かを“Ｆｌａｇ”により判別する。Ｆｌａｇ＝ＴｒｕｅであればＹＥＳと判別してステップＳ７１に進む一方、Ｆｌａｇ＝ＦａｌｓｅであればＮＯと判別してステップＳ６５に進む。

ステップＳ６５では、時刻Ｔ（ｋ）と時刻Ｔ*との絶対値差分が先に指定した閾値つまり“ｄｔ”を超えている否か（｜Ｔ（ｋ）−Ｔ*｜＞ｄｔ？）を判別する。ここでＹＥＳであれば、ステップＳ６７で“Ｃｏｎｔｉｎｕｉｔｙ［ｋ］”に“Ｔｒｕｅ”をセットした後、ステップＳ７１に進む。一方、ＮＯであれば、ステップＳ６９で“Ｃｏｎｔｉｎｕｉｔｙ［ｋ］”に“Ｆａｌｓｅ”をセットした後、ステップＳ７１に進む。

ステップＳ７１では、カウンタをインクリメントし（ｋ＝ｋ＋１）、その後、ステップＳ５５に戻って同様の処理を繰り返す。

図１４を参照して、会話的ラベル付加プログラム６２が起動されると、ＣＰＵ５０は、まず、ステップＳ８１で各種ＤＢ１６ａ〜１６ｄから各種データを各種データ領域７０〜７８に読み込み、ステップＳ８３では、読み込んだ各種データに基づいて図２〜図４のような各種ビューワ画面をＬＣＤモニタ５２に表示する。

次に、ステップＳ８５で、ラベルおよび特徴ベクトルの２成分を指定する操作をキー入力装置５４を通じて受け付け、ステップＳ８７では、指定されたラベルおよびセンサデータに対して特徴抽出処理を行い、特徴ベクトルＸおよび時刻ベクトルＴを求める。ステップＳ８９では、特徴ベクトルＸに対して主成分分析処理を施して、主成分ベクトルＰを求める。そしてステップＳ９１で、散布図ウィンドウＷ２内に、求めた主成分ベクトルＰの指定２成分（に対応する点）をプロット表示する（図７参照）。

次に、ステップＳ９３で、キー入力装置５４の操作に基づいてパラメータの設定を行う。これによって、“ｐａｒａｍ”にはクラスタリングパラメータが、“Ｆｌａｇ”には時間的近接性考慮フラグが、そして“ｄｔ”には時間的近接性に関する閾値が、それぞれ設定される。ステップＳ９５では、主成分ベクトルＣ，時刻ベクトルＴおよびパラメータ（ｐａｒａｍ，Ｆｌａｇ，ｄｔ）に基づいてクラスタリング処理を行い、“Ｃｌｕｓｔｅｒ”および“Ｃｏｎｔｉｎｕｉｔｙ”を求める。ここで、“Ｃｌｕｓｔｅｒ”はクラスタリング処理の結果であるクラスタの配列であり、“Ｃｏｎｔｉｎｕｉｔｙ”はクラスタの時間的近接性の有無（Ｔｒｕｅ／Ｆａｌｓｅ）に関する配列である。クラスタリング処理には、多変量混合正規分布を仮定したＥＭ(Expectation Maximization)アルゴリズムによるクラスタリング手法や、標準的クラスタリング手法であるＫ平均法（ｋ−ｍｅａｎｓ）などを用いることができる。

ステップＳ９７では、“Ｃｌｕｓｔｅｒ”を“Ｃｏｎｔｉｎｕｉｔｙ”がＴｒｕｅのも（“Ｃｌｕｓｔｅｒ＿ｃｏｎｔ”）とＦａｌｓｅのもの（“Ｃｌｕｓｔｅｒ＿ｄｉｓｃｏｎｔ”）とに分類する。そしてステップＳ９９で、“Ｃｌｕｓｔｅｒ＿ｃｏｎｔ”および“Ｏｕｔｌｉｅｒ＿ｄｉｓｃｏｎｔ”を互いに異なる態様（大きさや色）でハイライト表示する。

次に、ステップＳ１０１で、散布図ウィンドウＷ２内のいずれかのクラスタを指定するカーソルＣの操作をキー入力装置５４を通じて受け付け（図７参照）、ステップＳ１０３では、指定されたクラスタに対応する時間区間を算出する。ステップＳ１０５では、各種ビューワの画面（図２〜図４参照）を算出した時間区間のものに更新表示する。センサデータビューワ画面およびアノテーションデータビューワ画面で当該時間区間をハイライト表示してもよい。ステップＳ１０７では、図８のようなラベル候補ウィンドウＷ３をＬＣＤモニタ５２に表示して、先に指定したクラスタを対象とするラベル付与操作をキー入力装置５４を通じて受け付ける。具体的には、実験者がラベル候補ウィンドウＷ３に示されたラベルの１つをカーソル操作により選択するか、またはラベル候補ウィンドウＷ３にない新規のラベルを文字キー操作で入力する。そして、ステップＳ１０９でラベル付与操作の有無を判別し、ＮＯであればステップＳ９３に戻って同様の処理を繰り返す。

ステップＳ１０９でＹＥＳであれば、ステップＳ１１１で当該クラスタに対応する主成分ベクトルＰひいては特徴ベクトルＸに対してラベルを付加する。ステップＳ１１３では散布図ウィンドウＷ２を更新表示し、ステップＳ１１５ではアノテーションＤＢ１６ｂを更新し、ステップＳ１１７では各種ビューワ画面を更新表示する。そしてステップＳ１１９で終了するか否かの判定を行い、ＮＯであればステップＳ８５に戻って同様の処理を繰り返す。キー入力装置５４による終了操作が行われると、ステップＳ１１９でＹＥＳと判定し、この処理を終了する。

以上から明らかなように、この実施例の行動識別システム１００はＰＣ１０を含み、ＰＣ１０はセンサＤＢ１６ａ，辞書ＤＢ１６ｃ，行動識別エンジン１４，アノテーションＤＢ１６ｂ，会話的外れ値削除アプリケーション１８，データビューワ２０および会話的ラベル付加アプリケーション２２の各機能を実現する。センサＤＢ１６ａはセンサ１２からのセンサ情報および時計１２Ｔからの時刻情報を蓄積している。辞書ＤＢ１６ｃは被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積している。行動識別エンジン１４は、センサ情報および時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と辞書ＤＢ１６ｃの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を時刻情報に基づいて特定し、そして抽出した特徴，選択したラベルおよび特定した時間を示す行動情報を出力する。アノテーションＤＢ１６ｂは、行動識別エンジンから出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積する。データビューワ２０は、センサＤＢ１６ａに基づくセンサデータ画面にアノテーションＤＢ１６ｂに基づくアノテーション情報を時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面（図２）をＬＣＤモニタ５２に表示する。

そして、会話的削除アプリケーション１８は、行動識別エンジン１４から出力される行動情報が示す特徴，ラベルおよび時間を、ＬＣＤモニタ５２に表示されたアノテーション付きセンサデータ画面を参照しつつキー入力装置５４で行われる外れ値削除操作に応じて、辞書ＤＢ１６ｃおよびアノテーションＤＢ１６ｂから削除する（Ｓ１〜Ｓ３９，Ｓ５１〜Ｓ７１）。こうして、センサＤＢ１６ａおよびアノテーションＤＢ１６ｂから外れ値を会話的に削除することができる。

一方、会話的ラベル付加アプリケーション２２は、行動識別エンジン１４から出力される行動情報が示す特徴，ラベルおよび時間を、ＬＣＤモニタ５２に表示されたアノテーション付きセンサデータ画面を参照しつつキー入力装置５４で行われるラベル付加操作に応じて、辞書ＤＢ１６ｃおよびアノテーションＤＢ１６ｂに追加する（Ｓ８１〜Ｓ１１９）。こうして、センサ情報に基づくラベル付加、および付加したラベルのセンサＤＢ１６ａおよびアノテーションＤＢ１６ｂへの登録を、事後的かつ会話的に行える。

なお、この実施例では、行動識別エンジン１４へは、センサＤＢ１６ａに蓄積されているセンサ情報を入力したが、センサ１２から出力されるセンサ情報をリアルタイムに入力してもよい。

また、この実施例では、センサ１２として４個の３軸加速度センサを用いたが、これに加えて、赤外線送受信機を利用した位置センサや、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュールなどを利用した近接センサを用いてもよい。この場合、位置センサや近接センサの各時計もＰＣ１０の時計１０Ｔと同期しており、センサＤＢ１６ａは、位置センサからの位置情報や近接センサからの近接情報も時刻情報と共に蓄積する。行動識別エンジン１４は、主として加速度情報に基づいて、位置情報や近接情報も適宜参照しつつ、行動識別を行う。

以上では、看護業務への適用例を説明したが、この発明は、たとえば製造，物流など他の業務にも適用できる。

１０ …ＰＣ
１２ …センサ（３軸加速度センサ×４）
１４ …行動識別エンジン
１６ …データマネージャ
１８ …会話的外れ値削除アプリケーション
２０ …データビューワ
２２ …会話的ラベル付加アプリケーション
２４ …ビデオカメラ
５０ …ＣＰＵ
５２ …ＬＣＤモニタ
５４ …キー入力装置
５６ …メインメモリ
１０Ｔ，１２Ｔ，２４Ｔ …時計
１６ａ …センサＤＢ
１６ｂ …アノテーションＤＢ
１６ｃ …辞書ＤＢ
１６ｄ …ビデオＤＢ
１００ …行動識別システム

Claims (11)

1. 被験者の行動をセンサからのセンサ情報および時計からの時刻情報に基づいて識別する行動識別システムであって、
   前記センサ情報および前記時刻情報を蓄積したセンサＤＢ、
   前記被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積した辞書ＤＢ、
   前記センサ情報および前記時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と前記辞書ＤＢの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を前記時刻情報に基づいて特定し、そして抽出した特徴，選択したラベルおよび特定した時間を示す行動情報を出力する、行動識別手段、
   前記行動識別手段から出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積するアノテーションＤＢ、
   前記センサＤＢに基づくセンサデータ画面に前記アノテーションＤＢに基づくアノテーション情報を前記時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面をモニタに表示する第１表示手段、および
   前記行動識別手段から出力される行動情報が示す特徴を第１ベクトルに変換して各前記第１ベクトルの散布状態を示す第１散布図画像を前記モニタに表示する第２表示手段と、前記モニタに表示された第１散布図画像を参照しつつ入力装置で行われる外れ値削除操作を受け付ける第１受付手段とを含み、前記行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、前記外れ値削除操作に応じて、前記辞書ＤＢおよび前記アノテーションＤＢから削除する、会話的削除手段を備える、行動識別システム。
2. 前記第１受付手段は、前記モニタに表示された第１散布図画像を参照しつつ前記入力装置で行われる外れ値選択操作を前記外れ値削除操作の前に受け付け、
   前記第１表示手段は、前記アノテーション付きセンサデータ画面内の前記外れ値選択操作に対応する部分をハイライト表示し、
   前記外れ値削除操作はさらに前記アノテーション付きセンサデータ画面内のハイライト表示された部分も参照しつつ行われる、請求項１記載の行動識別システム。
3. 前記第２表示手段は、各前記第１ベクトルに外れ値判定処理を施して判定結果が外れ値を示す第１ベクトルを外れ値候補としてハイライト表示する、請求項１記載の行動識別システム。
4. 前記第２表示手段はさらに、各前記第１ベクトルについて時間的近接性の有無を判別し、当該判別結果が時間的近接性ありを示す第１ベクトルと時間的近接性なしを示す第１ベクトルとで前記ハイライト表示の態様を異ならせる、請求項３記載の行動識別システム。
5. 前記行動識別手段から出力される行動情報が示す特徴を第２ベクトルに変換して各前記第２ベクトルをクラスタ化し、各前記第２ベクトルの散布状態をクラスタリング情報と共に示す第２散布図画像を前記モニタに表示する第３表示手段と、前記モニタに表示された第２散布図画像を参照しつつ前記入力装置で行われるラベル付加操作を受け付ける第２受付手段とを含み、前記行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、前記ラベル付加操作に応じて、前記辞書ＤＢおよび前記アノテーションＤＢに追加する、会話的追加手段をさらに備える、請求項１ないし４のいずれかに記載の行動識別システム。
6. 前記会話的追加手段は、前記第２散布図画像に含まれるクラスタに関するラベル候補画像を前記モニタに表示する第４表示手段をさらに含み、前記ラベル付加操作はさらに前記ラベル候補画像も参照しつつ行われる、請求項５記載の行動識別システム。
7. 前記第３表示手段はさらに、各前記クラスタについて時間的近接性の有無を判別し、当該判別結果が時間的近接性ありを示すクラスタをラベル付加候補としてハイライト表示する、請求項５記載の行動識別システム。
8. 被験者の行動をセンサからのセンサ情報および時計からの時刻情報に基づいて識別する行動識別システムであって、
   前記センサ情報および前記時刻情報を蓄積したセンサＤＢ、
   前記被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積した辞書ＤＢ、
   前記センサ情報および前記時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と前記辞書ＤＢの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を前記時刻情報に基づいて特定し、そして抽出した特徴，選択したラベルおよび特定した時間を示す行動情報を出力する、行動識別手段、
   前記行動識別手段から出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積するアノテーションＤＢ、
   前記センサＤＢに基づくセンサデータ画面に前記アノテーションＤＢに基づくアノテーション情報を前記時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面をモニタに表示する、第１表示手段、および
   前記行動識別手段から出力される行動情報が示す特徴をベクトルに変換して各前記ベクトルをクラスタ化し、各前記ベクトルの散布状態をクラスタリング情報と共に示す散布図画像を前記モニタに表示する第２表示手段と、前記モニタに表示された散布図画像を参照しつつ入力装置で行われるラベル付加操作を受け付ける受付手段とを含み、前記行動識別手段から出力される行動情報が示す特徴，ラベルおよび時間を、前記ラベル付加操作に応じて、前記辞書ＤＢおよび前記アノテーションＤＢに追加する、会話的追加手段を備える、行動識別システム。
9. 前記会話的追加手段は、前記散布図画像に含まれるクラスタに関するラベル候補画像を前記モニタに表示する第３表示手段をさらに含み、前記ラベル付加操作はさらに前記ラベル候補画像も参照しつつ行われる、請求項８記載の行動識別システム。
10. 前記第２表示手段はさらに、各前記クラスタについて時間的近接性の有無を判別し、当該判別結果が時間的近接性ありを示すクラスタをラベル付加候補としてハイライト表示する、請求項８記載の行動識別システム。
11. ビデオカメラからのビデオ映像情報および前記時計と同期した第２時計からの時刻情報を蓄積したビデオＤＢをさらに備え、
    前記第１表示手段は前記ビデオ映像情報および前記時刻情報に基づくビデオ映像を前記モニタにさらに表示し、前記外れ値削除操作および／または前記ラベル付加操作はさらに前記ビデオ映像も参照しつつ行われる、請求項１ないし１０のいずれかに記載の行動識別システム。

Images