Nothing Special   »   [go: up one dir, main page]

JP2010227326A - 行動識別システム - Google Patents

行動識別システム Download PDF

Info

Publication number
JP2010227326A
JP2010227326A JP2009078730A JP2009078730A JP2010227326A JP 2010227326 A JP2010227326 A JP 2010227326A JP 2009078730 A JP2009078730 A JP 2009078730A JP 2009078730 A JP2009078730 A JP 2009078730A JP 2010227326 A JP2010227326 A JP 2010227326A
Authority
JP
Japan
Prior art keywords
information
label
sensor
annotation
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009078730A
Other languages
English (en)
Other versions
JP5544508B2 (ja
Inventor
Futoshi Naya
太 納谷
Masakazu Miyamae
雅一 宮前
Haruo Noma
春生 野間
Kiyoshi Kogure
潔 小暮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR Advanced Telecommunications Research Institute International
Original Assignee
ATR Advanced Telecommunications Research Institute International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR Advanced Telecommunications Research Institute International filed Critical ATR Advanced Telecommunications Research Institute International
Priority to JP2009078730A priority Critical patent/JP5544508B2/ja
Publication of JP2010227326A publication Critical patent/JP2010227326A/ja
Application granted granted Critical
Publication of JP5544508B2 publication Critical patent/JP5544508B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】DBからの外れ値削除を会話的に行い、センサ情報に基づくラベル付加およびDB登録を事後的かつ会話的に行う。
【解決手段】行動識別システム100はPC10を含み、PC10は会話的外れ値削除アプリケーション18および会話的ラベル付加アプリケーション22等の機能を実現する。会話的外れ値削除アプリケーション18は、行動識別エンジン14から出力される行動情報が示す特徴,ラベルおよび時間を、モニタ(52)に表示されたアノテーション付きセンサデータ画面を参照しつつ入力装置(54)で行われる外れ値削除操作に応じて、辞書DB16cおよびアノテーションDB16bから削除する。会話的ラベル付加アプリケーション22は、同様の特徴,ラベルおよび時間を同様に行われるラベル付加操作に応じて辞書DB16cおよびアノテーションDB16bに追加する。
【選択図】図1

Description

この発明は、行動識別システムに関し、特にたとえば、医療現場において看護師が行う行動を、センサからのセンサ情報および時計からの時刻情報に基づいて識別する、行動識別システムに関する。
従来のこの種のシステムとしては、特許文献1に記載されたものが知られている。この背景技術では、被験者(看護師)に加速度センサを装着して加速度データを収集する一方、実験者が被験者に随伴して行動の時間(開始時刻および終了時刻)とラベル(識別情報)とを記録する。たとえば、被験者が歩行すると、実験者は、その時間を特定して“歩行”というラベルを付与する。こうして実験者が特定した時間および付与したラベルが、加速度センサで収集された加速度データと共にサーバに入力され、サーバは、当該加速度データから当該時間に属する部分を切り出してその特徴を計算し、当該特徴および当該ラベルを互いに関連付けてデータベース(以下“DB”)に記録する。
このような処理を繰り返すことで、DB内に特徴およびラベルの間の対応関係を示す情報(辞書情報)が蓄積されていく。サーバは、こうして生成された辞書DBを参照することで、加速度データに基づいて看護師の行動を識別することができる。
特開2009−39466号公報
しかし、背景技術では、たとえば“手洗い”というラベルを付された行動の特徴が手洗いとは異なる行動の特徴(外れ値)をも含んでいて、辞書DBの精度が低下する場合があった。
また、背景技術は、実験者が被験者に随伴して時間特定およびラベル付与を行うものであり、加速度データに基づいて事後的にこれらを行うことはできなかった。
それゆえに、この発明の主たる目的は、新規な行動識別システムを提供することである。
この発明の他の目的は、辞書等のDBから外れ値を会話的に(実験者に情報を提示してその指示に応じて)削除することができる、行動識別システムを提供することである。
この発明のその他の目的は、加速度などのセンサ情報に基づくラベル付加、および付加したラベルのDBへの登録を、事後的かつ会話的に行うことができる、行動識別システムを提供することである。
本発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明などは、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、本発明を何ら限定するものではない。
第1の発明は、被験者の行動をセンサからのセンサ情報および時計からの時刻情報に基づいて識別する行動識別システムであって、センサ情報および時刻情報を蓄積したセンサDB、被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積した辞書DB、センサ情報および時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と辞書DBの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を時刻情報に基づいて特定し、そして抽出した特徴,選択したラベルおよび特定した時間を示す行動情報を出力する行動識別手段、行動識別手段から出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積するアノテーションDB、センサDBに基づくセンサデータ画面にアノテーションDBに基づくアノテーション情報を時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面をモニタに表示する第1表示手段、および行動識別手段から出力される行動情報が示す特徴,ラベルおよび時間を、モニタに表示されたアノテーション付きセンサデータ画面を参照しつつ入力装置で行われる外れ値削除操作に応じて、辞書DBおよびアノテーションDBから削除する、会話的削除手段を備える。
第1の発明では、行動識別システム(100)は、センサDB(16a)、辞書DB(16c)、行動識別手段(14)、アノテーションDB(16b)、第1表示手段(20)および会話的削除手段(18,S1〜S39,S51〜S71)を備える。センサDBは、センサ(12)からのセンサ情報および時計(12T)からの時刻情報を蓄積している。辞書DBは、被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積している。行動識別手段は、センサ情報および時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と辞書DBの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を時刻情報に基づいて特定し、そして抽出した特徴,選択したラベルおよび特定した時間を示す行動情報を出力する。アノテーションDBは、行動識別手段から出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積する。第1表示手段は、センサDBに基づくセンサデータ画面にアノテーションDBに基づくアノテーション情報を時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面(図2)をモニタ(52)に表示する。会話的削除手段は、行動識別手段から出力される行動情報が示す特徴,ラベルおよび時間を、モニタに表示されたアノテーション付きセンサデータ画面を参照しつつ入力装置(54)で行われる外れ値削除操作に応じて、辞書DBおよびアノテーションDBから削除する。
第1の発明によれば、辞書データDBおよびアノテーションDBから外れ値を会話的に削除することができる。
第2の発明は、第1の発明に従属する行動識別システムであって、会話的削除手段は、行動識別手段から出力される行動情報が示す特徴を第1ベクトルに変換して各第1ベクトルの散布状態を示す第1散布図画像をモニタに表示する第2表示手段を含み、外れ値削除操作はさらに第1散布図画像も参照しつつ行われる。
第2の発明では、会話的削除手段は第2表示手段(S5〜S19)を含む。第2表示手段は、行動識別手段から出力される行動情報が示す特徴を第1ベクトルに変換して、各第1ベクトルの散布状態を示す第1散布図画像(W1:図5(A),図5(B),図6(A),図6(B))をモニタに表示する。外れ値削除操作は、さらに第1散布図画像も参照しつつ行われる。
第2の発明によれば、各第1ベクトルの散布状態を表示することで、実験者は各第1ベクトルが外れ値であるか否かの判断を各第1ベクトルの間の位置関係に基づいて行える。
第3の発明は、第2の発明に従属する行動識別システムであって、第2表示手段は、各第1ベクトルに外れ値判定処理を施して判定結果が外れ値を示す第1ベクトルを外れ値候補としてハイライト表示する(図6(A),図6(B))。
第3の発明によれば、外れ値候補をハイライト表示することで、実験者は各第1ベクトルが外れ値であるか否かの判断を容易に行える。
第4の発明は、第3の発明に従属する行動識別システムであって、第2表示手段はさらに、各第1ベクトルについて時間的近接性の有無を判別し、当該判別結果が時間的近接性ありを示す第1ベクトルと時間的近接性なしを示す第1ベクトルとでハイライト表示の態様を異ならせる(図6(B))。
第4の発明によれば、ハイライト表示の態様(色,明るさ,点滅周期,形状,大きさなど)を時間的近接性の有無により異ならせるので、実験者は各第1ベクトルが外れ値であるか否かの判断をいっそう容易に行える。
第5の発明は、第1ないし第4のいずれかの発明に従属する行動識別システムであって、行動識別手段から出力される行動情報が示す特徴,ラベルおよび時間を、モニタに表示されたアノテーション付きセンサデータ画面を参照しつつ入力装置で行われるラベル付加操作に応じて、辞書DBおよびアノテーションDBに追加する、会話的追加手段をさらに備える。
第5の発明では、行動識別システムは会話的追加手段(22,S81〜S119)をさらに備える。会話的追加手段は、行動識別手段から出力される行動情報が示す特徴,ラベルおよび時間を、モニタに表示されたアノテーション付きセンサデータ画面を参照しつつ入力装置で行われるラベル付加操作に応じて、辞書DBおよびアノテーションDBに追加する。
第5の発明によれば、センサ情報に基づくラベル付加、および付加したラベルのアノテーションDBおよび辞書DBへの登録を、事後的かつ会話的に行うことができる。
第6の発明は、第5の発明に従属する行動識別システムであって、会話的追加手段は、行動識別手段から出力される行動情報が示す特徴を第2ベクトルに変換して各第2ベクトルをクラスタ化し、各第2ベクトルの散布状態をクラスタリング情報と共に示す第2散布図画像をモニタに表示する第3表示手段をさらに含み、ラベル付加操作はさらに第2散布図画像も参照しつつ行われる。
第6の発明では、会話的追加手段は第3表示手段(S85〜S99)を含む。第3表示手段は、行動識別手段から出力される行動情報が示す特徴を第2ベクトルに変換して各第2ベクトルをクラスタ化し、各第2ベクトルの散布状態をクラスタリング情報と共に示す第2散布図画像(W2:図7)をモニタに表示する。ラベル付加操作は、さらに第2散布図画像も参照しつつ行われる。
第6の発明によれば、各第2ベクトルの散布状態をクラスタリング情報と共に表示することで、実験者は、各第2ベクトルの間の位置関係およびクラスタリング情報に基づいて、各第2ベクトルが示す行動をクラスタとして認識できる。
第7の発明は、第6の発明に従属する行動識別システムであって、第3表示手段はさらに、各クラスタについて時間的近接性の有無を判別し、当該判別結果が時間的近接性ありを示すクラスタをラベル付加候補としてハイライト表示する。
第7の発明によれば、時間的近接性のあるクラスタをラベル付加候補としてハイライト表示するので、実験者はラベルを付加すべき行動に対応するクラスタを容易に認識できる。
第8の発明は、被験者の行動をセンサからのセンサ情報および時計からの時刻情報に基づいて識別する行動識別システムであって、センサ情報および時刻情報を蓄積したセンサDB、被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積した辞書DB、センサ情報および時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と辞書DBの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を時刻情報に基づいて特定し、そして抽出した特徴,選択したラベルおよび特定した時間を示す行動情報を出力する行動識別手段、行動識別手段から出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積するアノテーションDB、センサDBに基づくセンサデータ画面にアノテーションDBに基づくアノテーション情報を時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面をモニタに表示する、第1表示手段、および行動識別手段から出力される行動情報が示す特徴,ラベルおよび時間を、モニタに表示されたアノテーション付きセンサデータ画面を参照しつつ入力装置で行われるラベル付加操作に応じて、辞書DBおよびアノテーションDBに追加する、会話的追加手段を備える。
第8の発明では、行動識別システム(100)は、センサDB(16a)、辞書DB(16c)、行動識別手段(14)、アノテーションDB(16b)、第1表示手段(20)および会話的追加手段(22,S81〜S119)を備える。センサDBは、センサ(12)からのセンサ情報および時計(12T)からの時刻情報を蓄積している。辞書DBは、被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積している。行動識別手段は、センサ情報および時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と辞書DBの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を時刻情報に基づいて特定し、そして抽出した特徴,選択したラベルおよび特定した時間を示す行動情報を出力する。アノテーションDBは、行動識別手段から出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積する。第1表示手段は、センサDBに基づくセンサデータ画面にアノテーションDBに基づくアノテーション情報を時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面(図2)をモニタ(52)に表示する。会話的追加手段は、行動識別手段から出力される行動情報が示す特徴,ラベルおよび時間を、モニタに表示されたアノテーション付きセンサデータ画面を参照しつつ入力装置(54)で行われるラベル付加操作に応じて、辞書DBおよびアノテーションDBに追加する。
第8の発明によれば、センサ情報に基づくラベル付加、および付加したラベルのアノテーションDBおよび辞書DBへの登録を、事後的かつ会話的に行うことができる。
第9の発明は、第8の発明に従属する行動識別システムであって、会話的追加手段は、行動識別手段から出力される行動情報が示す特徴をベクトルに変換して各ベクトルをクラスタ化し、各ベクトルの散布状態をクラスタリング情報と共に示す散布図画像をモニタに表示する第2表示手段を含み、ラベル付加操作はさらに散布図画像も参照しつつ行われる。
第9の発明では、会話的追加手段は第2表示手段(S85〜S99)を含む。第2表示手段は、行動識別手段から出力される行動情報が示す特徴をベクトルに変換して各ベクトルをクラスタ化し、各ベクトルの散布状態をクラスタリング情報と共に示す散布図画像(図7)をモニタに表示する。ラベル付加操作は、さらに散布図画像も参照しつつ行われる。
第9の発明によれば、各ベクトルの散布状態をクラスタリング情報と共に表示することで、実験者は、各ベクトルの間の位置関係およびクラスタリング情報に基づいて、各ベクトルが示す行動をクラスタとして認識できる。
第10の発明は、第9の発明に従属する行動識別システムであって、第2表示手段はさらに、各クラスタについて時間的近接性の有無を判別し、当該判別結果が時間的近接性ありを示すクラスタをラベル付加候補としてハイライト表示する。
第10の発明によれば、時間的近接性のあるクラスタをラベル付加候補としてハイライト表示するので、実験者はラベルを付加すべき行動に対応するクラスタを容易に認識できる。
第11の発明は、第1ないし第10のいずれかの発明に従属する行動識別システムであって、ビデオカメラからのビデオ映像情報および時計と同期した第2時計からの時刻情報を蓄積したビデオDBをさらに備え、第1表示手段はビデオ映像情報および時刻情報に基づくビデオ映像をモニタにさらに表示し、外れ値削除操作および/またはラベル付加操作はさらにビデオ映像も参照しつつ行われる。
第11の発明では、行動識別システムはビデオDB(16d)をさらに備える。ビデオDBは、ビデオカメラ(24)からのビデオ映像情報および時計と同期した第2時計(24T)からの時刻情報を蓄積している。第1表示手段はビデオ映像情報および時刻情報に基づくビデオ映像(図4)をモニタにさらに表示し、外れ値削除操作および/またはラベル付加操作はさらにビデオ映像も参照しつつ行われる。
第11の発明によれば、実験者は、ビデオ映像も参照することで、外れ値削除やラベル付加に関する判断をよりいっそう容易に行える。
この発明によれば、DBから外れ値を会話的に削除できる、行動識別システムが実現される。また、センサ情報に基づくラベル付加、および付加したラベルのDB登録を、事後的かつ会話的に行える、行動識別システムが実現される。この結果、精度の高いDBを容易に構築できるようになり、行動識別システムの識別精度を高めることができる。
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
この発明の一実施例である行動識別システムの構成を示すブロック図である。 センサデータ(加速度データ)ビューワ画面の一例を示す図解図である。 アノテーションデータビューワ画面の一例を示す図解図である。 ビデオ映像ビューワ画面の一例を示す図解図である。 (A)は散布図ウィンドウの一例を示す図解図であり、(B)は散布図ウィンドウの他の一例を示す図解図である。 (A)は散布図ウィンドウのその他の一例を示す図解図であり、(B)は散布図ウィンドウのさらにその他の一例を示す図解図である。 散布図ウィンドウの他の一例を示す図解図である。 ラベル候補ウィンドウの一例を示す図解図である。 PCの構成例を示すブロック図である。 PCのメインメモリのメモリマップを示す図解図である。 PCのCPU動作の一部を示すフロー図である。 PCのCPU動作の他の一部を示すフロー図である。 PCのCPU動作のその他の一部を示すフロー図である。 PCのCPU動作のさらにその他の一部を示すフロー図である。 PCのCPU動作の他の一部を示すフロー図である。
図1を参照して、この発明の一実施例である行動識別システム100(以下“システム100”)は、PC10,センサ12およびビデオカメラ24を備える。センサ12およびビデオカメラ24には時計12Tおよび24Tがそれぞれ設けられており、各時計12Tおよび24TはPC10側の時計10T(図9参照:後述)と同期している。センサ12およびビデオカメラ24にはさらに無線LANモジュール12Lおよび24Lが設けられており、各無線LANモジュール12Lおよび24LはPC10側の無線LANモジュール10L(図9参照:後述)との間で無線LAN通信を行う。
センサ12は、たとえば4個の3軸加速センサで構成され、各3軸加速センサは被験者(看護師など)の左上腕,右上腕,胸および腰にそれぞれ装着される。センサ12からは、これら4個の3軸加速センサに基づく計12成分の加速度データが、時計12Tに基づくタイムスタンプと共に、無線LANモジュール12Lを通してPC10へと送信される。すなわち、センサ12が出力するセンサデータは、12成分の加速度データとタイムスタンプとを含む。
ビデオカメラ24は、被験者が所定の行動たとえば手洗いを行うシンクの近傍などに設置される。ビデオカメラ24からは、設置場所の近傍を捉えた映像データが、時計24Tに基づくタイムスタンプと共に、無線LANモジュール24Lを通してPC10へと送信される。すなわち、ビデオカメラ24が出力する映像データにもタイムスタンプが含まれる。
なお、ここで示すシステム100の構成は一例に過ぎず、様々に変更可能である。たとえば、センサ12の構成要素として、位置計測のための赤外線センサや、被験者の近接対象(患者や看護機材など)を特定するための近接センサ(Bluetooth(登録商標)モジュールなど)を追加してもよい。また、PC10とセンサ12およびビデオカメラ24との間の各接続には、BluetoothやZigBee(登録商標)といった、無線LAN以外の近距離無線通信方式を用いてもよい。PC10とビデオカメラ24との間は有線接続でもよい。
PC10は、行動識別エンジン14,データマネージャ16,会話的外れ値削除アプリケーション18,データビューワ20および会話的ラベル付加アプリケーション22を備える。データマネージャ16は、センサDB16a,アノテーションDB16b,辞書DB16cおよびビデオDB16dを含む。なお、これらの構成要素(14〜22,16a〜16d)の機能は、図9に示すハードウェア資源、つまり時計10T,無線LANモジュール10L,CPU50,LCDモニタ52,キー入力装置54およびメインメモリ56と、メインメモリ56に格納されたソフトウェア資源(図10にその一部が示されている)とによって実現される。
センサ12からのセンサデータおよびビデオカメラ24からの映像データはデータマネージャ16に与えられ、データマネージャ16は、与えられたセンサデータおよび映像データをセンサDB16aおよびビデオDB16dにそれぞれ記録する。したがって、センサDB16aにはタイムスタンプ付きの加速度データ(以下“加速度データ”)が、ビデオDB16dにはタイムスタンプ付きの映像データ(以下“映像データ”)が、それぞれ蓄積されていく。
センサDB16aに蓄積された加速度データは、データマネージャ16を通じて行動識別エンジン14に与えられ、行動識別エンジン14は、与えられた加速度データを辞書DB16cと比較して被験者の行動を識別し、識別結果を示す行動データをデータマネージャ16に返す。行動データには、認識した行動について特徴,ラベルおよび時間(開始時刻および終了時刻)が記述されている。
より詳しくは、辞書DB16cには、被験者が行い得る各行動について特徴およびラベルを示す辞書データが格納されている。ここで、特徴は、行動識別エンジン14が過去の加速度データから抽出した各行動の特徴であり、たとえば波形データの態様を有する。一方、ラベルは、抽出された各行動の特徴に対して、実験者が会話的ラベル付加アプリケーション22(後述)を介して付与した識別情報であり、たとえば“手洗い”,“手拭き”のような文字データの態様を有する。
行動識別エンジン14は、与えられた加速度データに対して特徴抽出を行い、抽出した特徴で辞書DB16cを検索してそこから当該特徴に対応するラベルを取得する一方、抽出した特徴に対応する時間を加速度データに付されたタイムスタンプを参照して特定する。そして、抽出した特徴,取得したラベルおよび特定した時間を、与えられた加速度データに関する識別結果(行動データ)として出力する。
データマネージャ16は、行動識別エンジン14からの行動データに含まれるラベルおよび時間を、センサDB16a内の加速度データに対するアノテーション(注釈)データとして、アノテーションDB16bに記録する。アノテーションデータと加速度データとは、タイムスタンプを介して関連付けられている。
データマネージャ16はまた、こうしてアノテーションDB16bに登録されたラベルおよび特徴のうち辞書DB16cに存在しないものがあれば、会話的ラベル付加アプリケーション22(後述)を介して当該ラベルおよび特徴を示す辞書データを辞書DB16cに追記する。
データビューワ20は、データマネージャ16を介して各種DB16a〜16dからデータを取得して可視化する。具体的には、主としてセンサDB16aからのセンサデータに基づいて図2に示すようなセンサデータビューワ画面を表示し、アノテーションDB16bからのアノテーションデータに基づいて図3に示すようなアノテーションデータビューワ画面を表示し、そしてビデオDB16dからのビデオ映像データに基づいて図4に示すようなビデオ映像ビューワ画面を表示する。辞書DB16cに登録されたラベルを、図8に示すようなラベル候補ウィンドウW3として表示することも可能である。
図2のセンサデータ画面には、前述した計12成分の加速度波形が共通の時間軸に沿って描画される。このセンサデータ画面にはまた、アノテーションDB16bからのアノテーションデータに基づくアノテーション情報、つまりラベルを示す文字や、時間を示す帯および数字なども描画されている。
図3のアノテーションデータビューワ画面には、時間の始点または終点を示す“時刻”と、“手洗い:開始”,“手洗い:終了”,“手拭き:開始”といった包括的な行動を示す上位ラベルである“ラベル1”と、“手濡らし:開始”,“手濡らし:終了”,“手のひら洗い:開始”といった詳細な行動を示す下位ラベルである“ラベル2”とが一覧表示されている。なお、他の実施例では、ラベルを3層以上に階層化してもよく、何ら階層化しなくてもよい。
図4のビデオ映像ビューワ画面には、被験者が手を洗っている場面のビデオ映像と、タイムスタンプを示す数字とが表示されている。図8のラベル候補ウィンドウW3には、辞書DB16cの登録ラベルのうち一部を示す文字が、階層を示すインデント(“・”または“・・”)付きで表示されている。
会話的外れ値削除アプリケーション18は、図5および図6に示すような散布図ウィンドウW1を通して会話的に、アノテーションDB16bおよび辞書DB16cから外れ値に対応するデータを除去する。詳しくは、散布図ウィンドウW1は、ユーザがセンサDB16aのセンサデータに関して1つ以上のラベルおよび特徴ベクトルの2成分を指定するのに応じて表示される。図5および図6のいずれの散布図ウィンドウW1でも、ラベルについては“手拭き”,“手洗い”,“手袋”,“消毒”が指定されている。2成分としては、図5(A)の散布図ウィンドウW1では“1”および“2”が、図5(B),図6(A)および図6(B)では“1”および“3”が、それぞれ指定されている。
会話的外れ値削除アプリケーション18は、センサDB16aからセンサデータを取得して、取得したセンサデータから指定ラベルに対応する部分を切り出す。そして、切り出したセンサデータに対して特徴抽出処理を施し、これにより抽出された特徴に対応する点を、ラベル毎に異なる態様(ここでは形状:丸,四角,三角など)で、散布図ウィンドウW1内にプロット表示する。
図5,図6を参照して、散布図ウィンドウW1内の各点は、ラベル毎にクラスタを形成する。ただし、抽出された特徴に外れ値が含まれていると、図6のようにクラスタから孤立した点が現れる。会話的外れ値削除アプリケーション18は、クラスタから孤立した点については、外れ値候補として、クラスタ内の各点と区別するべくハイライト表示(たとえば輝度を高める,点滅させる等)する。
そして、このような孤立点には、クラスタに対して時間的近接性を有するものと有さないものとがあり、会話的外れ値削除アプリケーション18は、図6(B)のように、各孤立点を時間的近接性の有無によって異なる態様(たとえば大きさ,色など)でハイライト表示することもできる。
図6(A)のように外れ値候補を単にハイライト表示するか、図6(B)のように外れ値候補を時間的近接性の有無によって異なる態様(ここでは異なる大きさ)でハイライト表示するかは、実験者の選択に基づいて決められる。
一方、実験者が散布図ウィンドウW1内の任意の点を、たとえば図5(A)に示すようにカーソルCで選択すると、図2〜図4に示した各種ビューワ画面が当該点に対応する時間のものに更新表示される。なお、更新後のセンサデータビューワ画面および更新後のアノテーションデータビューワ画面では、当該点に対応する部分(図2および図3の点線枠部分)がハイライトされてもよい。
さらに、実験者がこの選択した点について削除操作を行うと、当該点に対応するデータがアノテーションDB16bおよび辞書DB16cから削除され、これに伴ってセンサデータビューワ画面およびアノテーションデータビューワ画面もさらに更新される。すなわち、図2のセンサデータビューワ画面からは“手指交差洗い”が削除され、図3のアノテーションデータビューワ画面からは“09:02:20:800”および“手指交差洗い:開始”ならびに“09:02:21:700”および“手指交差洗い:終了”が削除される。
従って、実験者は、図5,図6に示した散布図ウィンドウW1を通じて外れ値候補(孤立点)の有無を確認し、もし外れ値候補があれば、その孤立点に対応するセンサデータやビデオ映像を図2〜図4に示した各種ビューワ画面で確認して、必要ならこのようなセンサデータやビデオ映像を孤立点とクラスタ内の点との間で比較して、その孤立点が実際に外れ値かどうかを判断した上で、削除操作を行うことができる。
会話的ラベル付加アプリケーション22は、図7に示すような散布図ウィンドウW2および図8に示すようなラベル候補ウィンドウW3を通して、会話的にアノテーションDB16bおよび辞書DB16cに新たなデータを追記する。詳しくは、散布図ウィンドウW2およびラベル候補ウィンドウW3は、ユーザがセンサDB16aのセンサデータに関して1つ以上のラベルおよび特徴ベクトルの2成分を指定するのに応じて表示される。
図7の散布図ウィンドウW2では、図5(A)のそれと同様、ラベルとして“手拭き”,“手洗い”,“手袋”,“消毒”が、2成分としては“1”および“2”がそれぞれ指定されており、これら指定されたラベルおよび成分に対応する特徴を示す点がプロットされている。ここでも各点はラベル毎にクラスタを形成しているが、図5(A)のそれとは異なり、各クラスタから孤立した点(星型)も多数存在している。そして、これら孤立点のうち時間的近接性を有するものが新たなクラスタを形成しており、この新たな“時間的近接性のあるクラスタ”がラベル付加候補としてハイライト表示されている。
図7のような散布図ウィンドウW2内でラベル付加候補としてハイライト表示されているクラスタの1つが実験者によって指定されると、会話的ラベル付加アプリケーション22は、図8に示すようなラベル候補ウィンドウW3を表示する。このラベル候補ウィンドウW3には、指定ラベル(つまり“手拭き”,“手洗い”,…)およびその下位ラベル(たとえば“手濡らし”,“手のひら洗い”,…,“ペーパータオル取り”,…など)が表示される。
図8のようなラベル候補ウィンドウW3に表示されているラベル候補のうち1つを実験者が指定すると、会話的ラベル付加アプリケーション22は、先に散布図ウィンドウW2で指定されたクラスタに含まれる点に対応する特徴(つまり未知の特徴)に対し、ここで指定されたラベルを付加すると共に、特徴に対応する時間を特定する。そして、これら特徴および時間を示すアノテーションデータをアノテーションDB16bに追記する一方、これら特徴およびラベルを示す辞書データを辞書DB16cに追記する。
以上のようなシステム100の動作のうち、特に会話的外れ値削除アプリケーション18および会話的ラベル付加アプリケーション22を実現するために、PC10が行う情報処理について、次に説明する。
PC10は、図9に示すように、無線LANモジュール10L,時計10T,CPU50,LCDモニタ52,キー入力装置54およびメインメモリ56を含む。無線LANモジュール10Lは、CPU50の制御下で、センサ12およびビデオカメラ24にそれぞれ設けられた無線LANモジュール12Lおよび24Lと無線LAN通信を行う。時計10Tは、センサ12およびビデオカメラ24にそれぞれ設けられた時計12Tおよび24Tと同期しており、CPU50に必要な時刻情報を与える。
LCDモニタ52は、CPU50の制御下で、図2〜図8のような画像を表示する。キー入力装置54は、実験者の操作を受け、対応するコマンドをCPU50に与える。メインメモリ56には、CPU50が処理を行うためのプログラムおよびデータが記憶される。詳しくは、図10に示すように、メインメモリ56にはプログラム領域56aおよびデータ領域56bが形成され、プログラム領域56aには会話的外れ値削除プログラム60,会話的ラベル付加プログラム62,表示制御プログラム64および通信制御プログラム66などが格納されている。
会話的外れ値削除プログラム60は、会話的外れ値削除アプリケーション18を実現するためのメインプログラムであり、これに対応するフローチャートが図11〜図13に示されている。会話的ラベル付加プログラム62は、会話的ラベル付加アプリケーション22を実現するためのメインプログラムであり、これに対応するフローチャートが図14〜図15に示されている。表示制御プログラム64は、会話的外れ値削除プログラム60および会話的ラベル付加プログラム62によって利用されるサブプログラムであり、これにより図2〜図8のような画像の表示が実現される。通信制御プログラム66は、会話的外れ値削除プログラム60および会話的ラベル付加プログラム62によって利用されるサブプログラムであり、これによってPC10とセンサ12やビデオカメラ24との無線通信が実現される。
データ領域56bは、センサデータ領域70,アノテーションデータ領域72,辞書データ領域74,ビデオ映像データ領域76および変数/パラメータ領域78などを含む。各種データ領域70〜78は、各種DB16a〜16dから読み込まれた各種データを記憶するための領域である。変数/パラメータ領域74は、プログラムで使用される各種の変数(特徴ベクトルX,時刻ベクトルT,正準ベクトルC,主成分ベクトルP,…)やパラメータ(class,α,Flag,dt,param,…)を記憶するための領域である。
図11を参照して、会話的外れ値削除プログラム60が起動されると、CPU50は、まず、ステップS1で各種DB16a〜16dから各種データを各種データ領域70〜78に読み込み、ステップS3では、読み込んだ各種データに基づいて図2〜図4のような各種ビューワ画面をLCDモニタ52に表示する。
次に、ステップS5で、ラベルおよび特徴ベクトルの2成分を指定する操作をキー入力装置54を通じて受け付け、ステップS7では、指定されたラベルおよびセンサデータに対して特徴抽出処理を行い、特徴ベクトルXおよび時刻ベクトルTを求める。ステップS9では、特徴ベクトルXに対して正準相関変換処理を施して、正準ベクトルCを求める。そしてステップS11で、散布図ウィンドウW1内に、求めた正準ベクトルCの指定2成分(に対応する点)をプロット表示する(図5,図6参照)。
次に、ステップS13で、キー入力装置54の操作に基づいてパラメータの設定を行う。これによって、“class”には対象クラスが、“α”には外れ値係数が、“Flag”には時間的近接性考慮フラグが、そして“dt”には時間的近接性に関する閾値が、それぞれ設定される。ステップS15では、正準ベクトルC,時刻ベクトルTおよびパラメータ(class,α,Flag,dt)に基づいて外れ値処理(図13参照:後述)を行い、“Outlier”および“Continuity”を求める。ここで、“Outlier”は外れ値となる正準ベクトルの配列であり、“Continuity”は外れ値の時間的近接性の有無(True/False)に関する配列である。ステップS17では、“Outlier”を“Continuity”がTrueのもの(“Outlier_cont”)とFalseのもの(“Outlier_discont”)とに分類する。そしてステップS19で、“Outlier_cont”および“Outlier_discont”を互いに異なる態様(大きさや色)でハイライト表示する。
次に、ステップS21で、散布図ウィンドウW1内のいずれかの点を指定する操作をキー入力装置54を通じて受け付け(図5(A)参照)、ステップS23では、指定された点に対応する時刻を算出する。ステップS25では、各種ビューワの画面(図2〜図4参照)を算出した時刻のものに更新表示する。センサデータビューワ画面およびアノテーションデータビューワ画面で当該時間区間をハイライト表示してもよい。ステップS27では、キー入力装置54を通じて、先に指定した点を対象とする外れ値削除操作を受け付ける。そして、ステップS29で外れ値削除操作の有無を判別し、NOであればステップS13に戻って同様の処理を繰り返す。
ステップS29でYESであれば、ステップS31で当該点に対応する正準ベクトルCひいては特徴ベクトルXを削除する。ステップS33では散布図ウィンドウW1を更新表示し、ステップS35ではアノテーションDB16bおよび辞書DB16cを更新し、ステップS37では各種ビューワ画面を更新表示する。そしてステップS39で終了するか否かの判定を行い、NOであればステップS5に戻って同様の処理を繰り返す。キー入力装置54による終了操作が行われると、ステップS39でYESと判定し、この処理を終了する。
上記ステップS15の外れ値処理は、図13のサブルーチンに従って実行される。ステップS51では、正準ベクトルCのうち“class”で指定されたサンプルに相当する正準サンプルベクトルC*=C_s.t.(クラスレベル=class)について、その平均ベクトルμi(1≦i≦d)と、共分散行列の対角成分σi(1≦i≦d)つまり[σ1,σ2,…,σd]=diag(Cov(C*))とを求める。また、C*のサンプル数(つまり正準ベクトルCのうち“class”で指定したラベルを持つサンプルの数)を求め、これを“K”とする。さらに、平均ベクトルμiの近傍にあるサンプルベクトルの時刻の平均を求め、これを“T*”とする。
ステップS53では、カウンタを初期化する(k=1)。ステップS55では、全データについて処理が終了したか否か(k>K?)を判別する。ここでYESであれば上位層のルーチンに復帰し、NOであればステップS57に進む。ステップS57では、正準サンプルベクトルC*(k)の各要素C*(k)iについて平均ベクトルμiとの差Diを計算する(Di=|C*(k)i−μi|)。ステップS59では、計算結果のうちDi>α×σiとなる要素があるか否かを判別し、YESであれば(1つでもあれば)ステップS71に進む一方、NOであれば(1つもなければ)ステップS61に進む。
ステップS61では、“Outlier”にkを追加する。ステップS63では、時間的近接性を考慮するか否かを“Flag”により判別する。Flag=TrueであればYESと判別してステップS71に進む一方、Flag=FalseであればNOと判別してステップS65に進む。
ステップS65では、時刻T(k)と時刻T*との絶対値差分が先に指定した閾値つまり“dt”を超えている否か(|T(k)−T*|>dt?)を判別する。ここでYESであれば、ステップS67で“Continuity[k]”に“True”をセットした後、ステップS71に進む。一方、NOであれば、ステップS69で“Continuity[k]”に“False”をセットした後、ステップS71に進む。
ステップS71では、カウンタをインクリメントし(k=k+1)、その後、ステップS55に戻って同様の処理を繰り返す。
図14を参照して、会話的ラベル付加プログラム62が起動されると、CPU50は、まず、ステップS81で各種DB16a〜16dから各種データを各種データ領域70〜78に読み込み、ステップS83では、読み込んだ各種データに基づいて図2〜図4のような各種ビューワ画面をLCDモニタ52に表示する。
次に、ステップS85で、ラベルおよび特徴ベクトルの2成分を指定する操作をキー入力装置54を通じて受け付け、ステップS87では、指定されたラベルおよびセンサデータに対して特徴抽出処理を行い、特徴ベクトルXおよび時刻ベクトルTを求める。ステップS89では、特徴ベクトルXに対して主成分分析処理を施して、主成分ベクトルPを求める。そしてステップS91で、散布図ウィンドウW2内に、求めた主成分ベクトルPの指定2成分(に対応する点)をプロット表示する(図7参照)。
次に、ステップS93で、キー入力装置54の操作に基づいてパラメータの設定を行う。これによって、“param”にはクラスタリングパラメータが、“Flag”には時間的近接性考慮フラグが、そして“dt”には時間的近接性に関する閾値が、それぞれ設定される。ステップS95では、主成分ベクトルC,時刻ベクトルTおよびパラメータ(param,Flag,dt)に基づいてクラスタリング処理を行い、“Cluster”および“Continuity”を求める。ここで、“Cluster”はクラスタリング処理の結果であるクラスタの配列であり、“Continuity”はクラスタの時間的近接性の有無(True/False)に関する配列である。クラスタリング処理には、多変量混合正規分布を仮定したEM(Expectation Maximization)アルゴリズムによるクラスタリング手法や、標準的クラスタリング手法であるK平均法(k−means)などを用いることができる。
ステップS97では、“Cluster”を“Continuity”がTrueのも(“Cluster_cont”)とFalseのもの(“Cluster_discont”)とに分類する。そしてステップS99で、“Cluster_cont”および“Outlier_discont”を互いに異なる態様(大きさや色)でハイライト表示する。
次に、ステップS101で、散布図ウィンドウW2内のいずれかのクラスタを指定するカーソルCの操作をキー入力装置54を通じて受け付け(図7参照)、ステップS103では、指定されたクラスタに対応する時間区間を算出する。ステップS105では、各種ビューワの画面(図2〜図4参照)を算出した時間区間のものに更新表示する。センサデータビューワ画面およびアノテーションデータビューワ画面で当該時間区間をハイライト表示してもよい。ステップS107では、図8のようなラベル候補ウィンドウW3をLCDモニタ52に表示して、先に指定したクラスタを対象とするラベル付与操作をキー入力装置54を通じて受け付ける。具体的には、実験者がラベル候補ウィンドウW3に示されたラベルの1つをカーソル操作により選択するか、またはラベル候補ウィンドウW3にない新規のラベルを文字キー操作で入力する。そして、ステップS109でラベル付与操作の有無を判別し、NOであればステップS93に戻って同様の処理を繰り返す。
ステップS109でYESであれば、ステップS111で当該クラスタに対応する主成分ベクトルPひいては特徴ベクトルXに対してラベルを付加する。ステップS113では散布図ウィンドウW2を更新表示し、ステップS115ではアノテーションDB16bを更新し、ステップS117では各種ビューワ画面を更新表示する。そしてステップS119で終了するか否かの判定を行い、NOであればステップS85に戻って同様の処理を繰り返す。キー入力装置54による終了操作が行われると、ステップS119でYESと判定し、この処理を終了する。
以上から明らかなように、この実施例の行動識別システム100はPC10を含み、PC10はセンサDB16a,辞書DB16c,行動識別エンジン14,アノテーションDB16b,会話的外れ値削除アプリケーション18,データビューワ20および会話的ラベル付加アプリケーション22の各機能を実現する。センサDB16aはセンサ12からのセンサ情報および時計12Tからの時刻情報を蓄積している。辞書DB16cは被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積している。行動識別エンジン14は、センサ情報および時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と辞書DB16cの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を時刻情報に基づいて特定し、そして抽出した特徴,選択したラベルおよび特定した時間を示す行動情報を出力する。アノテーションDB16bは、行動識別エンジンから出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積する。データビューワ20は、センサDB16aに基づくセンサデータ画面にアノテーションDB16bに基づくアノテーション情報を時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面(図2)をLCDモニタ52に表示する。
そして、会話的削除アプリケーション18は、行動識別エンジン14から出力される行動情報が示す特徴,ラベルおよび時間を、LCDモニタ52に表示されたアノテーション付きセンサデータ画面を参照しつつキー入力装置54で行われる外れ値削除操作に応じて、辞書DB16cおよびアノテーションDB16bから削除する(S1〜S39,S51〜S71)。こうして、センサDB16aおよびアノテーションDB16bから外れ値を会話的に削除することができる。
一方、会話的ラベル付加アプリケーション22は、行動識別エンジン14から出力される行動情報が示す特徴,ラベルおよび時間を、LCDモニタ52に表示されたアノテーション付きセンサデータ画面を参照しつつキー入力装置54で行われるラベル付加操作に応じて、辞書DB16cおよびアノテーションDB16bに追加する(S81〜S119)。こうして、センサ情報に基づくラベル付加、および付加したラベルのセンサDB16aおよびアノテーションDB16bへの登録を、事後的かつ会話的に行える。
なお、この実施例では、行動識別エンジン14へは、センサDB16aに蓄積されているセンサ情報を入力したが、センサ12から出力されるセンサ情報をリアルタイムに入力してもよい。
また、この実施例では、センサ12として4個の3軸加速度センサを用いたが、これに加えて、赤外線送受信機を利用した位置センサや、Bluetooth(登録商標)モジュールなどを利用した近接センサを用いてもよい。この場合、位置センサや近接センサの各時計もPC10の時計10Tと同期しており、センサDB16aは、位置センサからの位置情報や近接センサからの近接情報も時刻情報と共に蓄積する。行動識別エンジン14は、主として加速度情報に基づいて、位置情報や近接情報も適宜参照しつつ、行動識別を行う。
以上では、看護業務への適用例を説明したが、この発明は、たとえば製造,物流など他の業務にも適用できる。
10 …PC
12 …センサ(3軸加速度センサ×4)
14 …行動識別エンジン
16 …データマネージャ
18 …会話的外れ値削除アプリケーション
20 …データビューワ
22 …会話的ラベル付加アプリケーション
24 …ビデオカメラ
50 …CPU
52 …LCDモニタ
54 …キー入力装置
56 …メインメモリ
10T,12T,24T …時計
16a …センサDB
16b …アノテーションDB
16c …辞書DB
16d …ビデオDB
100 …行動識別システム

Claims (11)

  1. 被験者の行動をセンサからのセンサ情報および時計からの時刻情報に基づいて識別する行動識別システムであって、
    前記センサ情報および前記時刻情報を蓄積したセンサDB、
    前記被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積した辞書DB、
    前記センサ情報および前記時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と前記辞書DBの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を前記時刻情報に基づいて特定し、そして抽出した特徴,選択したラベルおよび特定した時間を示す行動情報を出力する、行動識別手段、
    前記行動識別手段から出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積するアノテーションDB、
    前記センサDBに基づくセンサデータ画面に前記アノテーションDBに基づくアノテーション情報を前記時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面をモニタに表示する第1表示手段、および
    前記行動識別手段から出力される行動情報が示す特徴,ラベルおよび時間を、前記モニタに表示された前記アノテーション付きセンサデータ画面を参照しつつ入力装置で行われる外れ値削除操作に応じて、前記辞書DBおよび前記アノテーションDBから削除する、会話的削除手段を備える、行動識別システム。
  2. 前記会話的削除手段は、前記行動識別手段から出力される行動情報が示す特徴を第1ベクトルに変換して各前記第1ベクトルの散布状態を示す第1散布図画像を前記モニタに表示する第2表示手段を含み、前記外れ値削除操作はさらに前記第1散布図画像も参照しつつ行われる、請求項1記載の行動識別システム。
  3. 前記第2表示手段は、各前記第1ベクトルに外れ値判定処理を施して判定結果が外れ値を示す第1ベクトルを外れ値候補としてハイライト表示する、請求項2記載の行動識別システム。
  4. 前記第2表示手段はさらに、各前記第1ベクトルについて時間的近接性の有無を判別し、当該判別結果が時間的近接性ありを示す第1ベクトルと時間的近接性なしを示す第1ベクトルとで前記ハイライト表示の態様を異ならせる、請求項3記載の行動識別システム。
  5. 前記行動識別手段から出力される行動情報が示す特徴,ラベルおよび時間を、前記モニタに表示されたアノテーション付きセンサデータ画面を参照しつつ前記入力装置で行われるラベル付加操作に応じて、前記辞書DBおよび前記アノテーションDBに追加する、会話的追加手段をさらに備える、請求項1ないし4のいずれかに記載の行動識別システム。
  6. 前記会話的追加手段は、前記行動識別手段から出力される行動情報が示す特徴を第2ベクトルに変換して各前記第2ベクトルをクラスタ化し、各前記第2ベクトルの散布状態をクラスタリング情報と共に示す第2散布図画像を前記モニタに表示する第3表示手段を含み、前記ラベル付加操作はさらに前記第2散布図画像も参照しつつ行われる、請求項5記載の行動識別システム。
  7. 前記第3表示手段はさらに、各前記クラスタについて時間的近接性の有無を判別し、当該判別結果が時間的近接性ありを示すクラスタをラベル付加候補としてハイライト表示する、請求項6記載の行動識別システム。
  8. 被験者の行動をセンサからのセンサ情報および時計からの時刻情報に基づいて識別する行動識別システムであって、
    前記センサ情報および前記時刻情報を蓄積したセンサDB、
    前記被験者が行い得る各行動について特徴およびラベルを示す辞書情報を蓄積した辞書DB、
    前記センサ情報および前記時刻情報が入力され、当該センサ情報から特徴を抽出し、抽出した特徴と前記辞書DBの比較に基づいて当該特徴に対応するラベルを選択し、抽出した特徴に対応する時間を前記時刻情報に基づいて特定し、そして抽出した特徴,選択したラベルおよび特定した時間を示す行動情報を出力する、行動識別手段、
    前記行動識別手段から出力される行動情報が示すラベルおよび時間をアノテーション情報として蓄積するアノテーションDB、
    前記センサDBに基づくセンサデータ画面に前記アノテーションDBに基づくアノテーション情報を前記時刻情報に基づいて付加して、当該アノテーション付きセンサデータ画面をモニタに表示する、第1表示手段、および
    前記行動識別手段から出力される行動情報が示す特徴,ラベルおよび時間を、前記モニタに表示されたアノテーション付きセンサデータ画面を参照しつつ前記入力装置で行われるラベル付加操作に応じて、前記辞書DBおよび前記アノテーションDBに追加する、会話的追加手段を備える、行動識別システム。
  9. 前記会話的追加手段は、前記行動識別手段から出力される行動情報が示す特徴をベクトルに変換して各前記ベクトルをクラスタ化し、各前記ベクトルの散布状態をクラスタリング情報と共に示す散布図画像を前記モニタに表示する第2表示手段を含み、前記ラベル付加操作はさらに前記散布図画像も参照しつつ行われる、請求項8記載の行動識別システム。
  10. 前記第2表示手段はさらに、各前記クラスタについて時間的近接性の有無を判別し、当該判別結果が時間的近接性ありを示すクラスタをラベル付加候補としてハイライト表示する、請求項9記載の行動識別システム。
  11. ビデオカメラからのビデオ映像情報および前記時計と同期した第2時計からの時刻情報を蓄積したビデオDBをさらに備え、
    前記第1表示手段は前記ビデオ映像情報および前記時刻情報に基づくビデオ映像を前記モニタにさらに表示し、前記外れ値削除操作および/または前記ラベル付加操作はさらに前記ビデオ映像も参照しつつ行われる、請求項1ないし10のいずれかに記載の行動識別システム。
JP2009078730A 2009-03-27 2009-03-27 行動識別システム Active JP5544508B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009078730A JP5544508B2 (ja) 2009-03-27 2009-03-27 行動識別システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009078730A JP5544508B2 (ja) 2009-03-27 2009-03-27 行動識別システム

Publications (2)

Publication Number Publication Date
JP2010227326A true JP2010227326A (ja) 2010-10-14
JP5544508B2 JP5544508B2 (ja) 2014-07-09

Family

ID=43043814

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009078730A Active JP5544508B2 (ja) 2009-03-27 2009-03-27 行動識別システム

Country Status (1)

Country Link
JP (1) JP5544508B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017010191A (ja) * 2015-06-19 2017-01-12 矢崎エナジーシステム株式会社 走行情報解析装置及びコンピュータプログラム
WO2018117218A1 (ja) * 2016-12-22 2018-06-28 日本電信電話株式会社 データ処理システムおよびデータ処理方法
JP2020077977A (ja) * 2018-11-07 2020-05-21 株式会社テックコーポレーション 手洗監視システム
WO2020100667A1 (ja) * 2018-11-16 2020-05-22 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP2020524346A (ja) * 2018-04-17 2020-08-13 平安科技(深▲せん▼)有限公司Ping An Technology (Shenzhen) Co.,Ltd. 短期利益を予測する方法、装置、コンピューターデバイス、プログラムおよび記憶媒体
CN111712840A (zh) * 2018-03-13 2020-09-25 欧姆龙株式会社 注释方法、注释装置、注释程序以及识别系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000245713A (ja) * 1999-02-26 2000-09-12 Sanyo Electric Co Ltd 行動認識装置
JP2003323502A (ja) * 2002-05-07 2003-11-14 Casio Comput Co Ltd 行動記録装置及び行動記録プログラム
JP2006092356A (ja) * 2004-09-24 2006-04-06 Sanyo Electric Co Ltd 推定システム、推定装置およびセンシング装置
JP2007093433A (ja) * 2005-09-29 2007-04-12 Hitachi Ltd 歩行者の動態検知装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000245713A (ja) * 1999-02-26 2000-09-12 Sanyo Electric Co Ltd 行動認識装置
JP2003323502A (ja) * 2002-05-07 2003-11-14 Casio Comput Co Ltd 行動記録装置及び行動記録プログラム
JP2006092356A (ja) * 2004-09-24 2006-04-06 Sanyo Electric Co Ltd 推定システム、推定装置およびセンシング装置
JP2007093433A (ja) * 2005-09-29 2007-04-12 Hitachi Ltd 歩行者の動態検知装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017010191A (ja) * 2015-06-19 2017-01-12 矢崎エナジーシステム株式会社 走行情報解析装置及びコンピュータプログラム
WO2018117218A1 (ja) * 2016-12-22 2018-06-28 日本電信電話株式会社 データ処理システムおよびデータ処理方法
JPWO2018117218A1 (ja) * 2016-12-22 2019-03-28 日本電信電話株式会社 データ処理システムおよびデータ処理方法
US11514083B2 (en) 2016-12-22 2022-11-29 Nippon Telegraph And Telephone Corporation Data processing system and data processing method
CN111712840A (zh) * 2018-03-13 2020-09-25 欧姆龙株式会社 注释方法、注释装置、注释程序以及识别系统
CN111712840B (zh) * 2018-03-13 2023-11-03 欧姆龙株式会社 注释方法、注释装置、存储介质以及识别系统
US12048528B2 (en) 2018-03-13 2024-07-30 Omron Corporation Annotation method, annotation device, storage medium, and identification system
JP2020524346A (ja) * 2018-04-17 2020-08-13 平安科技(深▲せん▼)有限公司Ping An Technology (Shenzhen) Co.,Ltd. 短期利益を予測する方法、装置、コンピューターデバイス、プログラムおよび記憶媒体
JP2020077977A (ja) * 2018-11-07 2020-05-21 株式会社テックコーポレーション 手洗監視システム
JP7370516B2 (ja) 2018-11-07 2023-10-30 株式会社テックコーポレーション 手洗監視システム
WO2020100667A1 (ja) * 2018-11-16 2020-05-22 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム

Also Published As

Publication number Publication date
JP5544508B2 (ja) 2014-07-09

Similar Documents

Publication Publication Date Title
JP5544508B2 (ja) 行動識別システム
CN110780707B (zh) 信息处理设备、信息处理方法与计算机可读介质
US9875394B2 (en) Skin analysis method, skin analysis device, and method for controlling skin analysis device
JP6895276B2 (ja) 行動認識システムおよび行動認識方法
JP2008108008A (ja) 移動パターン特定装置、移動パターン特定方法、移動パターン特定プログラム、およびこれを記録した記録媒体
CN111917918B (zh) 基于增强现实的事件提醒管理方法、装置以及存储介质
JP2008287690A (ja) グループ可視化システム及びセンサネットワークシステム
KR102241804B1 (ko) 상담 대상자의 드로잉 과정을 통해 심리 상태를 판단하는 방법 및 컴퓨터 프로그램
CN103201710A (zh) 图像处理系统、图像处理方法以及存储图像处理程序的存储介质
Ruminski et al. The data exchange between smart glasses and healthcare information systems using the HL7 FHIR standard
EP3574832B1 (en) Mental state measurement system
JP6334767B1 (ja) 情報処理装置、プログラム、及び情報処理方法
CN110580489B (zh) 一种数据对象的分类系统、方法以及设备
Joshua et al. Selection of accelerometer location on bricklayers using decision trees
JP2016112024A (ja) 情報処理装置の制御方法および画像処理方法
JP2020091801A (ja) 作業分析システムおよび作業分析方法
KR20220062197A (ko) 인지 기능 평가 시스템 및 인지 기능 평가 방법
US20210125518A1 (en) Skill evaluation device, skill evaluation method, and storage medium
CN112052349B (zh) 内容选择方法、内容选择装置以及记录介质
CN108009620A (zh) 一种大礼拜计数方法、系统和装置
JP2019046304A (ja) イベント系列抽出装置、イベント系列抽出方法およびイベント抽出プログラム
Fernández et al. ErgoExplorer: Interactive Ergonomic Risk Assessment from Video Collections
CN110494862B (zh) 序列产生装置及其控制方法
JP6722505B2 (ja) 画像制御方法、装置、及びプログラム
WO2023037616A1 (ja) 経路生成表示装置および経路生成表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140409

R150 Certificate of patent or registration of utility model

Ref document number: 5544508

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250