JPWO2016143404A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】ユーザの多様な動作を検出してその結果を利用して有用な情報を生成する。【解決手段】ユーザの反復的かつ非周期的な一連の動作を検出する動作検出部と、上記一連の動作に関連する情報を生成する情報生成部とを備える情報処理装置が提供される。プロセッサが、ユーザの反復的かつ非周期的な一連の動作を検出することと、上記一連の動作に関連する情報を生成することとを含む情報処理方法が提供される。ユーザの反復的かつ非周期的な一連の動作を検出する機能と、上記一連の動作に関連する情報を生成する機能とをコンピュータに実現させるためのプログラムが提供される。【選択図】図２

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。

近年、各種センシング技術を用いて取得されたセンサ情報からユーザの動作行動を認識する技術が提案されている。例えば、特許文献１では、このような技術を利用して、小型センサ内蔵記録装置によって記録された行動ログをユーザにわかりやすく提示するための表現手法が提案されている。

特開２０１３−３６４９号公報

上記の特許文献１に記載されたような技術も、ユーザが継続的にセンサ装置を装着し、例えば生活の中で発生する様々な行動をセンサデータに基づいて検出することを意図している。しかしながら、センサの小型化や省電力化がさらに進行したことによって、例えばリストウェアやネックウェア、アイウェアなど様々な形のウェアラブル装置にセンサを搭載することが可能になり、それに伴って、ユーザの動作を検出するために利用可能なセンサデータなどのソースも多様化している。そのような中、既に利用されていたセンサデータも含め、ユーザの動作を検出してその結果を利用して情報を生成するための技術には、なおも改良の余地があると考えられる。

そこで、本開示では、ユーザの多様な動作を検出してその結果を利用して有用な情報を生成することを可能にする、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。

本開示によれば、ユーザの反復的かつ非周期的な一連の動作を検出する動作検出部と、上記一連の動作に関連する情報を生成する情報生成部とを備える情報処理装置が提供される。

また、本開示によれば、プロセッサが、ユーザの反復的かつ非周期的な一連の動作を検出することと、上記一連の動作に関連する情報を生成することとを含む情報処理方法が提供される。

また、本開示によれば、ユーザの反復的かつ非周期的な一連の動作を検出する機能と、上記一連の動作に関連する情報を生成する機能とをコンピュータに実現させるためのプログラムが提供される。

以上説明したように本開示によれば、ユーザの多様な動作を検出してその結果を利用して有用な情報を生成することができる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係るシステムの概略的な構成を示す図である。 本開示の一実施形態において、一連の処理が単一の装置内で完結する場合の機能構成の例を示すブロック図である。 図２に示した例における処理の例を示すフローチャートである。 本開示の一実施形態において、一連の処理が複数の装置に分散して実行される場合の機能構成の例を示すブロック図である。 本開示の一実施形態において食事の動作を検出する例について説明するための図である。 本開示の一実施形態において食事の動作を検出する例についての実験結果を示す図である。 本開示の一実施形態においてビリヤードのプレイを検出する例について説明するための図である。 本開示の一実施形態においてタイピングを検出する例について説明するための図である。 本開示の一実施形態においてショッピングを検出する例について説明するための図である。 本開示の一実施形態においてサッカーのプレイを検出する例について説明するための図である。 本開示の一実施形態において、複数の検出対象動作がある場合の構成の第１の例を示す図である。 本開示の一実施形態において、複数の検出対象動作がある場合の構成の第２の例を示す図である。 本開示の一実施形態において動作の検出前に情報を生成する例を示すフローチャートである。 図１３に示した例において出力される情報の第１の例を示す図である。 図１３に示した例において出力される情報の第２の例を示す図である。 本開示の一実施形態において動作の検出中に情報を生成する例を示すフローチャートである。 図１６に示した例において出力される情報の第１の例を示す図である。 図１６に示した例において出力される情報の第２の例を示す図である。 本開示の一実施形態において動作の検出後に情報を生成する例を示すフローチャートである。 図１９に示した例において出力される情報の第１の例を示す図である。 図１９に示した例において出力される情報の第２の例を示す図である。 本開示の一実施形態において食事の動作を検出する場合に提供されうる情報のバリエーションを示す図である。 本開示の一実施形態において食事の動作を検出する場合に提供されうる情報のバリエーションを示す図である。 本開示の一実施形態において食事の動作を検出する場合に提供されうる情報のバリエーションを示す図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．システム構成
２．機能構成
２−１．単一の装置内で完結する構成の例
２−２．複数の装置に分散した構成の例
３．検出される動作の例
４．複数の検出対象動作がある場合の構成
５．情報生成の例
５−１．動作の検出前に情報を生成する例
５−２．動作の検出中に情報を生成する例
５−３．動作の検出後に情報を生成する例
５−４．その他の例
６．ハードウェア構成
７．補足

（１．システム構成）
図１は、本開示の一実施形態に係るシステムの概略的な構成を示す図である。図１を参照すると、システム１０は、センサ装置１００を含む。後述するように、センサ装置１００は、情報処理装置としても機能し、センサ装置１００の内部で一連の処理を完結させることが可能であってもよい。

また、システム１０は、センサ装置１００と通信する端末装置２００を含んでもよい。端末装置２００は、より具体的には例えばスマートフォン、タブレット、パーソナルコンピュータなどの各種の情報処理装置でありうる。端末装置２００は、センサ装置１００と協働して一連の処理を実行する。なお、上記のように、センサ装置１００の内部で一連の処理が完結する場合、センサ装置１００と端末装置２００とは、一体化しているとみなすこともできる（センサ装置１００が情報処理装置としても機能する場合と、端末装置２００がセンサを備えてセンサ装置としても機能する場合とは等価である）。

さらに、システム１０は、端末装置２００とネットワークを介して通信するサーバ３００を含んでもよい。サーバ３００は、単一の情報処理装置、または複数の情報処理装置の集合体によって実現される。上記のようにセンサ装置１００と端末装置２００とが一体化しているとみなしうる場合、サーバ３００はセンサ装置１００と通信するともいえる。また、センサ装置１００と端末装置２００とが別個に存在する場合、サーバ３００は、センサ装置１００および端末装置２００のそれぞれと通信可能であってもよい。

図示された例において、センサ装置１００は、アイウェア１００ａ、ネックウェア１００ｂ、およびリストウェア１００ｃとして例示されている。これらのウェアラブル装置は、ユーザの身体に装着されて、ユーザの身体に発生する加速度などのセンサデータを取得することができる。センサ装置１００は、そのようなセンサデータを取得するために、少なくとも１つのセンサを含む。センサは、より具体的には、例えば加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、気圧センサ、および／または位置センサ（例えばＧＮＳＳ受信機またはＷｉ−Ｆｉ通信装置などによって実現されうる）を含む。センサ装置１００は、取得されたセンサデータを、内部で処理してもよい。あるいは、センサ装置１００は、取得されたセンサデータを端末装置２００に送信してもよい。センサ装置１００と端末装置２００とは、例えばＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉによる無線通信を実行する。

また、センサ装置１００は、内部での処理によって生成された情報、または端末装置２００もしくはサーバ３００での処理によって生成された情報を出力するための出力装置を備えてもよい。図示された例において、アイウェア１００ａは、出力装置としてシースルーディスプレイ１４０ａを有する。シースルーディスプレイ１４０ａは、ユーザが視認している実空間の像に画像を透過的に重畳する。また、ネックウェア１００ｂは、出力装置としてイヤフォン１４０ｂを有する。リストウェア１００ｃは、出力装置としてディスプレイ１４０ｃを有する。なお、例えば端末装置２００が有する出力装置（図示された例におけるディスプレイ２４０）が利用可能であるような場合や、生成される情報が専らログとして蓄積されてリアルタイムでは出力されない場合、センサ装置１００は必ずしも出力装置を備えなくてもよい。また、センサ装置１００が出力装置を有する場合であっても、本実施形態に係る一連の処理によって生成された情報が当該出力装置から出力されなくてもよい。

なお、センサ装置１００は、図示されたアイウェア１００ａ、ネックウェア１００ｂ、またはリストウェア１００ｃのいずれかであってもよく、他の種類のウェアラブル装置であってもよい。また、スマートフォンなどのモバイル装置がセンサ装置１００として機能してもよい。この場合、当該モバイル装置はセンサ装置１００および端末装置２００の両方として機能してもよいし、さらに別の装置が端末装置２００として機能してもよい。なお、センサ装置１００は、上述したようなウェアラブル装置またはモバイル装置のうちのいずれか１つであってもよいし、複数のウェアラブル装置および／またはモバイル装置がセンサ装置１００に含まれてもよい。センサ装置１００が単一の装置である場合も、当該装置が有する複数のセンサによって、複数のセンサデータが取得されてもよい。これらの構成は、例えばセンシング対象またはセンシング方法が異なる複数のセンサデータを取得するために利用されうる。

上記のようなシステム１０の構成要素のうち、端末装置２００およびサーバ３００を構成する１または複数の情報処理装置は、例えば後述する情報処理装置のハードウェア構成によって実現される。センサ装置１００についても、情報処理装置として機能して一連の処理を完結させる場合はもちろん、そうでない場合も取得されたセンサデータを端末装置２００に送信するための処理を実行する処理回路（プロセッサ）を有するため、後述する情報処理装置のハードウェア構成によって実現されるといえる。

（２．機能構成）
（２−１．単一の装置内で完結する構成の例）
図２は、本開示の一実施形態において、一連の処理が単一の装置内で完結する場合の機能構成の例を示すブロック図である。図２に示した例において、センサ装置１００は、加速度センサ１１０、動作検出部１２０、および情報生成部１３０を含む。動作検出部１２０および情報生成部１３０は、例えばＣＰＵなどのプロセッサがプログラムに従って動作することによって実現されるソフトウェア的な構成要素である。以下、それぞれの構成要素について、さらに説明する。

加速度センサ１１０では、一軸加速度１１２および三軸加速度１１４のセンサデータを取得することが可能である。加速度センサ１１０は、これらのセンサデータを取得するための別個の加速度センサ（つまり、一軸加速度センサと三軸加速度センサ）を含んでもよいし、同じ加速度センサによるセンシング方法（加速度センサから出力されたデータの前処理を含む）を変更することによって上記のそれぞれのセンサデータを取得してもよい。なお、加速度センサはユーザの動作を検出するためのセンサデータを取得するためのセンサの一例として説明されており、例えばジャイロセンサ、地磁気センサ、光センサ、音センサ、気圧センサ、および／または位置センサが併用されたり、また加速度センサ１１０がこれらのセンサによって代替されたりしてもよい。

動作検出部１２０は、加速度センサ１１０から提供されるセンサデータに基づいてユーザの動作を検出する。図示された例において、加速度センサ１１０から提供されるセンサデータは、一軸加速度１１２および三軸加速度１１４のセンサデータを含む。上記の通り、これらのセンサデータは、センシング対象が異なる（加速度センサ１１０が一軸加速度センサと三軸加速度センサとを別個に含む場合）、またはセンシング方法が異なる（加速度センサ１１０が同じ加速度センサのセンシング方法の変更によって一軸加速度および三軸加速度のセンサデータを取得する場合）複数のセンサデータの例である。図示された例において、一軸加速度１１２のセンサデータ（以下、第１のセンサデータともいう）は動作検出部１２０に含まれるプレフィルタ１２２（第１の動作検出部）に入力され、三軸加速度１１４のセンサデータ（以下、第２のセンサデータともいう）は動作検出部１２０に含まれるメインアナライザ１２４（第２の動作検出部）に入力される。

このような構成によって、動作検出部１２０では、第１のセンサデータが検出対象の動作に対応する第１の条件を満たす区間が発生したか否かをプレフィルタ１２２が判定し、そのような区間が発生したと判定された場合に、当該区間において第２のセンサデータが検出対象の動作に対応する第２の条件を満たすか否かをメインアナライザ１２４が判定することが可能である。従って、例えば、プレフィルタ１２２によって第１の条件が満たされる区間が発生したと判定されるまでは、メインアナライザ１２４の処理、および加速度センサ１１０がメインアナライザ１２４に三軸加速度１１４のセンサデータを提供する処理を休止することができる。これによって、例えば、動作検出部１２０を実現するプロセッサの消費電力を節減することができる。また、例えば加速度センサ１１０が一軸加速度センサと三軸加速度センサとを別個に含む場合に三軸加速度センサを休止させたり、加速度センサ１１０が（一軸加速度と三軸加速度とで共通の）加速度センサによって出力されたデータから三軸加速度を抽出するための処理回路を休止させたりすることによって、加速度センサ１１０での消費電力を節減することもできる。

本実施形態において、動作検出部１２０は、例えば後述する食事やビリヤード、タイピング、ショッピング、サッカーのような、ユーザの反復的かつ非周期的な一連の動作を検出する。ここで、ユーザの反復的な一連の動作には、例えば歩行や走行のような周期的な動作と、そうではない非周期的な動作とが含まれる。動作検出部１２０は、上記のような非周期的な動作とともに、またはこれに代えて、周期的な動作を検出可能であってもよい。また、動作検出部１２０は、反復的ではない一過性の動作を検出可能であってもよい。なお、このような動作（反復的でない、または反復的であっても周期的な動作）の検出については、例えば特開２０１３−３６４９号公報のような文献に記載された公知の様々な手法を適宜利用することが可能であるため、ここでは詳細な説明を省略する。

情報生成部１３０は、動作検出部１２０によって検出された動作（ユーザの反復的かつ非周期的な一連の動作を含みうる）に関連する情報を生成する。図示された例において、情報生成部１３０はリアルタイム情報生成部１３２およびログ生成部１３４の処理を実行している。リアルタイム情報生成部１３２は、検出された動作との前後関係に応じて情報を生成する。リアルタイム情報生成部１３２によって生成される情報は、例えばディスプレイなどの出力装置１４０を介して出力される情報を含みうる。このような情報は、より具体的には、ユーザの行動に関する推薦情報やリマインダ情報などでありうる。また、リアルタイム情報生成部１３２によって生成される情報は、例えばカメラなどの被制御装置１５０の制御情報を含みうる。制御情報は、より具体的には、被制御装置１５０に含まれるカメラなどの記録装置に記録を実行させる制御情報を含みうる。一方、ログ生成部１３４は、動作の検出後にログ情報を生成する。ログ情報は、例えばデータベース１６０に蓄積され、後の解析や出力に利用される。

なお、情報生成部１３０は、例えば上記の例のうちのいずれか１つの種類の情報を生成してもよいし、複数の種類の情報を生成してもよい。従って、情報生成部１３０の処理には、リアルタイム情報生成部１３２およびログ生成部１３４の両方が含まれてもよいし、いずれか一方が含まれてもよい。また、情報生成部１３０が生成する情報は上記の例には限られず、動作の検出中または検出後に動作の発生を前提として当該情報を生成することによってユーザにより適切な情報を提供することが可能になるようなものであれば、どのような種類の情報であってもよい。また、情報生成部１３０は、上述したような情報とともに、またはこれに代えて、動作検出部１２０による動作の検出結果を利用するものの、必ずしも動作の発生を前提とするわけではない、他の種類の情報を生成してもよい。

また、図２において、情報生成部１３０によって生成された情報の出力先である出力装置１４０、被制御装置１５０、およびデータベース１６０は、センサ装置１００に含まれてもよいし、センサ装置１００の外部にあってもよいように図示されている。これは、これらの出力先が、例えばセンサ装置１００が有するディスプレイやカメラ、ストレージなどであってもよいし、センサ装置１００の外部にある、例えば端末装置２００が有するディスプレイやカメラ、ストレージなどであってもよいことを意味している。なお、データベース１６０に関しては、端末装置２００には限らず、サーバ３００のストレージによって実現されてもよい。情報生成部１３０によって生成された情報がセンサ装置１００の外部に出力される場合、生成された情報は、センサ装置１００が有する通信装置から、例えばＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉによる無線通信を介して端末装置２００に送信される。端末装置２００は、受信された情報を、ネットワーク通信によってサーバ３００に転送してもよい。あるいは、生成された情報は、センサ装置１００が有する通信装置から、ネットワーク通信によって直接的にサーバ３００に送信されてもよい。

図３は、図２に示した例における処理の例を示すフローチャートである。図３には、主にセンサ装置１００の動作検出部１２０および情報生成部１３０が実行する処理が示されている。

まず、動作検出部１２０において、プレフィルタ１２２が、加速度センサ１１０から提供される一軸加速度１１２のセンサデータにおいて、継続的な一軸加速度の変化が観測されているか否かを判定する（Ｓ１０１）。ここで、継続的な一軸加速度の変化が観測されていない場合（ＮＯ）、処理は一旦終了し、例えば所定の時間の経過後に再度実行される。一方、継続的な一軸加速度の変化が観測されている場合（ＹＥＳ）、プレフィルタ１２２は、一軸加速度の条件判定を実施する（Ｓ１０３）。この判定は、上述した、第１のセンサデータが検出対象の動作に対応する第１の条件を満たす区間が発生しているか否かの判定に対応する。

上記の判定において用いられる第１の条件は、例えば、対象動作が発生している場合に観測される可能性がある第１のセンサデータ（図示された例では一軸加速度）の特徴を、可能な限り広く表現する条件でありうる。後述するように、対象動作が発生しているか否かはメインアナライザ１２４によって最終的に判定される。従って、プレフィルタ１２２による判定では、実際に対象動作が発生している区間について高い精度で第１の条件が満たされると判定されるのであれば、それに伴って実際には対象動作が発生していない区間の一部でも第１の条件が満たされると判定されたとしても問題はない。それゆえ、プレフィルタ１２２が実行する第１の条件についての判定処理は、処理速度の向上や消費電力の節減を可能にする、より軽い処理にすることが可能である。

Ｓ１０３の判定において、第１の条件が満たされると判定された場合（ＹＥＳ）、動作検出部１２０ではメインアナライザ１２４が起動される（Ｓ１０５）。このとき、加速度センサ１１０に含まれる加速度センサ、またはセンサを用いて三軸加速度のセンサデータを取得するための処理回路が、併せて起動されてもよい。メインアナライザ１２４は、加速度センサ１１０から提供される三軸加速度１１４のセンサデータを用いて、三軸加速度の条件判定を実施する（Ｓ１０７）。この判定は、上述した、第２のセンサデータが検出対象の動作に対応する第２の条件を満たすか否かの判定に対応する。

上記の判定において用いられる第２の条件は、例えば、対象動作が発生している場合に観測される可能性がある第２のセンサデータ（図示された例では三軸加速度）の特徴を、可能な限り正確に表現する条件でありうる。メインアナライザ１２４は、対象動作が発生しているか否かを最終的に判定するため、第２の条件が満たされると判定される区間は、実際に対象動作が発生している区間に可能な限り近い方が望ましい。それゆえ、メインアナライザ１２４が実行する第２の条件についての判定処理は、上記の目的が達成される限りにおいて、処理速度の低下や消費電力の増大を伴う複雑な処理であってもよい。そのような場合でも、プレフィルタ１２２によって対象動作が発生していない区間の少なくとも一部が処理対象から除外されているため、例えば全区間で第２の条件についての判定を実施するような場合に比べて、処理速度の低下や消費電力の増大を抑制することができる。

Ｓ１０７の判定において、第２の条件が満たされると判定された場合（ＹＥＳ）、情報生成部１３０による情報の生成が実行される（Ｓ１０９）。既に説明したように、生成される情報には、出力装置１４０を介して出力されるユーザの行動に関する何らかの推薦情報やリマインダ情報、カメラなどの被制御装置１５０の制御情報、またはデータベース１６０に蓄積されるログ情報などが含まれうる。

情報の生成後は、再び上記のＳ１０１以下の動作に関する判定処理が実行される。再度実行された判定処理でも対象動作が発生していると判定された場合（Ｓ１０７のＹＥＳ）、情報生成処理（Ｓ１０９）では、対象動作が継続していることを前提として情報が生成されてもよい。また、図示していないが、再度実行された判定処理では対象動作が発生していないと判定された場合（Ｓ１０１、Ｓ１０３、またはＳ１０７のＮＯ）、対象動作が終了したことを前提とした情報の生成が、情報生成部１３０によって実行されてもよい。

以上、本開示の一実施形態において、一連の処理がセンサ装置の内部で完結する場合の構成の例について説明した。なお、システム構成について既に説明したように、一連の処理は、センサ装置１００と一体化した端末装置２００の内部で完結してもよい。この場合、上記の説明において、センサ装置１００は端末装置２００と読み替えられる。この場合、端末装置２００は、上記のように加速度センサ１１０（他の種類のセンサでもよい）を備えて自らセンサデータを取得するとともに、他のセンサ装置から無線通信などによってセンサデータを受信してもよい。端末装置２００がセンサ装置１００からセンサデータを受信する構成については、次の例でさらに説明する。

（２−２．複数の装置に分散した構成の例）
図４は、本開示の一実施形態において、一連の処理が複数の装置に分散して実行される場合の機能構成の例を示すブロック図である。なお、上記で図２および図３を参照して説明した例と同様の構成要素については、共通の符号を付することによって重複した説明を省略する。

図示された例では、センサ装置１００が、加速度センサ１１０と、センサ制御部１７０と、送信部１８０とを含む。センサ制御部１７０は、例えばＣＰＵなどのプロセッサ（より単純な処理回路であってもよい）がプログラムに従って動作することによって実現されるソフトウェア的な構成要素である。送信部１８０は、センサ装置１００が有する、端末装置２００との間でＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉによる無線通信を実行する通信装置によって実現される。

センサ制御部１７０は、加速度センサ１１０から提供されるセンサデータに基づいて送信部１８０の動作を制御する。より具体的には、センサ制御部１７０はプレフィルタ１２２を含み、加速度センサ１１０から提供される一軸加速度１１２のセンサデータについてプレフィルタ１２２が実行する判定処理において、一軸加速度（第１のセンサデータ）が検出対象の動作に対応する第１の条件を満たす区間が発生したと判定された場合に、センサ制御部１７０が送信部１８０を起動させる。起動された送信部１８０は、加速度センサ１１０から提供される三軸加速度１１４のセンサデータを、端末装置２００に送信する。起動されるまで、送信部１８０は、端末装置２００との間の通信を休止していてもよい。このとき、さらに、センサ制御部１７０は、加速度センサ１１０に含まれる三軸加速度センサ、またはセンサを用いて三軸加速度のセンサデータを取得するための処理回路を起動させてもよい。起動されるまで、これらのセンサまたは処理回路は休止していてもよい。このような構成によって、送信部１８０を実現する通信装置の消費電力や、加速度センサ１１０での消費電力を節減することができる。

一方、図示された例において、端末装置２００は、受信部２１０と、動作検出部２２０と、情報生成部１３０とを含む。受信部２１０は、端末装置２００が有する、センサ装置１００との間でＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉによる無線通信を実行する通信装置によって実現される。動作検出部２２０および情報生成部１３０は、例えばＣＰＵなどのプロセッサがプログラムに従って動作することによって実現されるソフトウェア的な構成要素である。

受信部２１０は、センサ装置１００から送信されたセンサデータを受信する。上記のように、送信されるセンサデータには、センサ装置１００が有する加速度センサ１１０から提供される三軸加速度１１４のセンサデータが含まれる。上記の通り、センサ装置１００では、一軸加速度（第１のセンサデータ）が検出対象の動作に対応する第１の条件を満たす区間が発生したとプレフィルタ１２２において判定された場合にセンサデータが送信される。従って、受信部２１０は、そのような場合に限ってセンサデータを受信することになる。受信部２１０によってセンサデータが受信された場合、動作検出部２２０においてメインアナライザ１２４が起動し、三軸加速度１１４のセンサデータについての判定処理を実行する。ここで実行される判定処理は、三軸加速度（第２のセンサデータ）が検出対象の動作に対応する第２の条件を満たすか否かの判定でありうる。受信部２１０によってセンサデータが受信されていない間は、動作検出部２２０におけるメインアナライザ１２４の処理は休止される。これによって、例えば、動作検出部２２０を実現するプロセッサの消費電力を節減することができる。

上記で図２および図３を参照して説明した例と同様に、本実施形態において、動作検出部２２０は、ユーザの反復的かつ非周期的な一連の動作を検出する。なお、動作検出部２２０は、上記のような非周期的な動作とともに、またはこれに代えて、周期的な動作を検出可能であってもよい。また、動作検出部２２０は、反復的ではない一過性の動作を検出可能であってもよい。このような動作の検出については、既に述べたように公知の様々な手法を適宜利用することが可能である。

情報生成部１３０は、動作検出部２２０によって対象動作（例えば、ユーザの反復的かつ非周期的な一連の動作）が検出された場合に、その検出中または検出後に、動作の発生を前提として情報を生成する。情報生成部１３０の詳細な構成については、上記で図２および図３を参照して説明した例と同様であるため詳細な説明を省略する。

なお、端末装置２００に含まれる情報生成部１３０の場合、生成された情報の出力先は出力装置２４０、被制御装置２５０、および／またはデータベース２６０である。これらの出力先は、端末装置２００に含まれてもよいし、端末装置２００の外部にあってもよいように図示されている。これは、これらの出力先が、例えば端末装置２００が有するディスプレイやカメラ、ストレージなどであってもよいし、端末装置２００の外部にある、例えば別の端末装置（センサ装置１００であってもよい）が有するディスプレイやカメラ、ストレージなどであってもよいことを意味している。なお、データベース２６０に関しては、サーバ３００のストレージによって実現されてもよい。情報生成部１３０によって生成された情報が端末装置２００の外部に出力される場合、生成された情報は、センサ装置１００が有する通信装置から、例えばＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉによる無線通信を介して他の端末装置（センサ装置１００であってもよい）に送信される。あるいは、生成された情報は、ネットワーク通信によって外部（他の端末装置、またはサーバ３００）に送信されてもよい。

以上、本開示の一実施形態において、一連の処理が複数の装置に分散して実行される場合の構成の例について説明した。この場合、一連の処理は、センサ制御部１７０（プレフィルタ１２２）を含むセンサ装置１００と、それ以外の装置との間で分散される。上記の例ではセンサ装置１００と端末装置２００とに処理が分散される場合について説明したが、センサ装置１００とサーバ３００との間で処理が分散されてもよい。この場合、サーバ３００が、上記で端末装置２００の構成要素として説明された受信部２１０、動作検出部２２０、および情報生成部１３０を含む。端末装置２００は、センサ装置１００からサーバ３００へのセンサデータの送信を中継してもよい。あるいは、センサ装置１００がネットワークを介して直接的にサーバ３００にセンサデータを送信してもよい。

あるいは、上記の例において、一連の処理は、センサ装置１００と、それ以外の複数の装置との間で分散されてもよい。例えば、センサ装置１００と、端末装置２００と、サーバ３００とにそれぞれ処理が分散されてもよい。この場合、例えば、端末装置２００が受信部２１０および動作検出部２２０を含み、サーバ３００が情報生成部１３０を含んでもよい。あるいは、情報生成部１３０が分割して実装されてもよい。より具体的には、例えば、リアルタイム情報生成部１３２は端末装置２００で実行され、ログ生成部１３４はサーバ３００で実行されてもよい。

さらに別の例として、センサ装置１００がセンサ制御部１７０を含まなくてもよい。この場合、センサ装置１００は、加速度センサ１１０において取得される一軸加速度１１２および三軸加速度１１４のセンサデータを送信部１８０によって端末装置２００に送信する。端末装置２００は、受信部２１０で受信されたセンサデータを、動作検出部２２０で処理する。この場合、動作検出部２２０は、図２に示した例の動作検出部１２０と同様の構成をとりうる。つまり、動作検出部２２０には、メインアナライザ１２４だけではなく、プレフィルタ１２２も含まれうる。この場合、センサ装置１００における加速度センサ１１０および送信部１８０の消費電力は節減されないものの、端末装置２００において動作検出部２２０を実現するプロセッサの消費電力は節減される。ここで、センサ装置１００における消費電力も節減するために、端末装置２００にセンサ制御部１７０を含めてもよい。この場合、プレフィルタ１２２は、動作検出部２２０とセンサ制御部１７０との間で共有されうる。端末装置２００は、センサ制御部１７０に含まれるプレフィルタ１２２の判定結果に従って、通信装置（受信部２１０を実現する通信装置と同じものでありうる）を介してセンサ装置１００の加速度センサ１１０を遠隔制御する。

（３．検出される動作の例）
次に、本開示の一実施形態において検出される動作の例について説明する。上述の通り、本実施形態において、動作検出部１２０（動作検出部２２０であってもよい。以下同様）は、ユーザの反復的かつ非周期的な一連の動作を検出することが可能でありうる（必ずしもそうでなくてもよく、専ら反復的かつ周期的な動作および／または反復的ではない一過性の動作を検出してもよいことは既に述べた通りである）。以下では、動作検出部１２０がユーザの反復的かつ非周期的な一連の動作を検出する場合について、その具体的ないくつかの例を挙げながらさらに説明する。

図５は、本開示の一実施形態において食事の動作を検出する例について説明するための図である。図５では、食事（Mealtime）を含む区間について、ユーザの首に装着された加速度センサ（例えば、図１に示したネックウェア１００ｂが有する加速度センサ）によって取得される加速度（ＮＡ：Neck Acceleration）と、ユーザの左手および右手にそれぞれ装着された加速度センサ（例えば、図１に示したリストウェア１００ｃが有する加速度センサ）によってそれぞれ取得される加速度（ＬＷＡ：Left Wrist AccelerationおよびＲＷＡ：Right Wrist Acceleration）の波形が示されている。図示された区間のうち、区間Ｐ１１は食事の区間であり、区間Ｐ１２は食事後の雑談の区間である。

本実施形態では、例えば上記のような場合において、ＮＡとＬＷＡとに基づいて食事の動作が発生した区間が検出される。なお、以下の例（食事以外の動作を検出する例も含む）では、右利きのユーザが利き手ではない方の手首にリストウェア１００ｃを装着することを想定して動作区間の検出にＬＷＡを用いているにすぎない。従って、例えばユーザが利き手の手首にリストウェア１００ｃを装着したり、左利きであるような場合は、ＬＷＡに代えてＲＷＡを用いてもよい。

上記で図２〜図４を参照して説明した例に即していえば、この例において、動作検出部１２０のプレフィルタ１２２は、ネックウェア１００ｂが有する加速度センサによって取得される一軸加速度１１２のセンサデータ（図５では三軸の加速度が示されているが、このうち一軸の加速度が取得されればよい）に基づいて判定を実施する。また、メインアナライザ１２４は、リストウェア１００ｃが有する加速度センサによって取得される三軸加速度１１４のセンサデータに基づいて判定を実施する。プレフィルタ１２２およびメインアナライザ１２４の判定器は、例えば実際の食事の区間におけるそれぞれのセンサデータを教師データとして与えて機械学習を実施することによって生成される。あるいは、食事の区間におけるユーザの首や手首の動きを（例えば画像なども用いて）解析することによって、ルールベースで判定器を生成してもよい。

ＮＡでは、区間Ｐ１１において、姿勢がほぼ変化しないものの検出値が小刻みに変化するという特徴的な波形が観察されている。従って、プレフィルタ１２２は、この区間を、食事に対応する第１の条件を満たす区間として検出することができる。ここで、同様のＮＡの波形は、区間Ｐ１２の一部においても観察されている。従って、プレフィルタ１２２の段階では、区間Ｐ１１だけではなく、区間Ｐ１２の一部も、第１の条件を満たす区間として検出されうる。区間Ｐ１２の残りの部分や、区間Ｐ１１よりも前の区間については、ＮＡの波形が上記のような特徴を示していないため、プレフィルタ１２２の時点で食事に対応する条件を満たさないものとしてメインアナライザ１２４による判定の対象から除外することができる。

一方、ＬＷＡでは、区間Ｐ１１と区間Ｐ１２との間で波形の特徴に明確な相違がある。図示された例では、ユーザが箸を使って食事をしているが、食事区間である区間Ｐ１１の一部では、左手で茶碗を持ち上げて口元に運ぶという、反復的かつ非周期的な動作に対応する波形が観察されている。一方、区間Ｐ１２ではユーザは雑談しているため、そのようなＬＷＡの波形は観察されない。従って、メインアナライザ１２４は、この区間において、ＬＷＡに基づいて食事に対応する第２の条件が満たされるか否かを判定することができる。なお、ＲＷＡについても、右手で箸を持って食物を口に運ぶ動作が発生しており、こちらも反復的かつ非周期的な動作といえる。従って、上述のように、ユーザによるセンサの装着状態などに応じて、ＬＷＡに代えてＲＷＡを用いて食事区間を検出することも可能である。

図６は、本開示の一実施形態において食事の動作を検出する例についての実験結果を示す図である。実験では、図５に示した例を含む数十例について、ユーザが実際に食事をした区間とそれ以外の区間とにおけるセンサデータを、実際の食事（Mealtime）区間と食事ではない（Non-mealtime）区間が１：９の割合になるように収集した。ユーザは、ネックウェア１００ｂおよびリストウェア１００ｃを装着して生活するとともに、実際の食事の開始時点および終了時点を記録するための入力操作を実施した。図６では、各区間におけるプレフィルタ１２２およびメインアナライザ１２４のそれぞれの判定結果が、食事区間を１００、食事ではない区間を９００とした場合の割合によって示されている。なお、プレフィルタ１２２およびメインアナライザ１２４の判定器は、特開２０１０−１９８５９５号に記載された技術によって生成した。

図示された結果では、まず、プレフィルタ１２２の判定において、食事ではない区間のうち６３０／９００が（食事の）条件を満たさない区間として除外された。その一方で、実際の食事区間の２５／１００も除外された（プレフィルタ１２２における検出漏れ）。残りの区間３４５／１０００（食事区間７５と食事ではない区間２７０を含む）は、プレフィルタ１２２を通過した。

さらに、メインアナライザ１２４の判定（Result）では、プレフィルタ１２２を通過した実際の食事区間のうち、６８／７５が食事区間であると判定された。残りの７／７５は食事ではない区間と検出された（メインアナライザ１２４における検出漏れ）。ただし、実際には食事区間の中でも比較的長い食事動作の中断（例えば短い会話による中断）が発生しうることを考慮すれば、上記で検出漏れとして説明された区間のうちの少なくとも一部はこのような中断の区間に対応しており、必ずしもすべてが全くの検出漏れとはいえないものと推定される。
一方、プレフィルタ１２２を通過した実際には食事ではない区間のうち、２６２／２７０は食事ではない区間と判定された。残りの８／２７０は食事区間と検出された（誤検出）。

以上の結果において、実際の食事区間を１００％とした場合、実際の食事区間が最終的に食事区間であると判定される割合（検出率）は６８％、食事ではない区間であると判定される割合（検出漏れ率）は３２％であった。このうち、プレフィルタ１２２における検出漏れが２５％、メインアナライザ１２４における検出漏れが７％であった。また、実際には食事ではない区間が動作検出部１２０において食事区間であると判定される割合（誤検出率）は、食事区間と食事ではない区間が１：９の割合である場合において、食事区間１００に対して８の割合で発生した。

上記の検出結果のうち、メインアナライザ１２４において発生した検出漏れや誤検出は、判定器の精度に起因するものであり、仮にすべての区間でメインアナライザ１２４による判定を実施したとしても生じたと考えられる。これに対して、プレフィルタ１２２において発生した検出漏れ（実際の食事区間の２５％）は、プレフィルタ１２２を設けずにすべての区間でメインアナライザ１２４による判定を実施していたら生じなかった可能性があるため、プレフィルタ１２２による判定を実施したことのデメリットともいえる。ただし、上記の通り、検出漏れとして説明された区間でも、必ずしもすべてが全くの検出漏れではなく、例えば食事動作の短い中断の区間に対応している可能性がある。その一方で、プレフィルタ１２２による判定を実施したことのメリットとして、実際に食事ではない区間の７０％においてメインアナライザ１２４による判定が省略され、その分の消費電力などが節減されている。これらの欠損を補間するために、後段に頻度が高い部分は間を埋めるような処理をおいてもよい。

このように、本実施形態におけるプレフィルタ１２２およびメインアナライザ１２４を利用した動作の検出では、プレフィルタ１２２を設けたことによる検出漏れ（図６の例では実際の食事区間の２５％）が生じる可能性がある一方で、多くの区間（図６の例では実際には食事ではない区間の７０％）でメインアナライザ１２４による判定の省略による効果を得ることもできる（なお、検出漏れなどの割合は、検出の対象動作やセンサデータの品質などによって異なる）。従って、例えば、プレフィルタ１２２を設けたことによる検出漏れが生じなかったり、生じても許容できる程度であるような場合には、本実施形態は有効である。また、上記で説明した以外の検出方法による対象動作の検出が併用され、プレフィルタ１２２を設けたことによる検出漏れが他の検出方法によってカバーできるような場合にも、本実施形態が有効でありうる。

図７は、本開示の一実施形態においてビリヤードのプレイを検出する例について説明するための図である。図７では、ビリヤードのプレイを含む区間について、ユーザの首に装着された加速度センサによって取得される加速度（ＮＡ）、およびユーザの右手首（上記の通り、利き手の手首）に装着された加速度センサによって取得される加速度（ＲＷＡ）の波形が示されている（約５分間）。図示された区間のうち、区間Ｐ２１，Ｐ２２，Ｐ２３がビリヤードのショットを含む区間である。この例において、動作検出部１２０のプレフィルタ１２２は、例えばネックウェア１００ｂが有する加速度センサによって取得されるＮＡのセンサデータに基づいて判定を実施する。また、メインアナライザ１２４は、例えばリストウェア１００ｃが有する加速度センサによって取得されるＲＷＡのセンサデータに基づいて判定を実施する。

区間Ｐ２１，Ｐ２２，Ｐ２３では、いずれも、ＮＡにおいてユーザがショットのために特定の姿勢（同じユーザであれば、ショットごとのばらつきは小さい）で静止したことによる特徴的な波形が観測されている。従って、プレフィルタ１２２は、これらの区間を、ビリヤードのショットに対応する第１の条件を満たす区間として検出することができる。さらに、これらの区間の中では、ＲＷＡにおいて、ユーザが右手でキュースティックを突いたことによる特徴的な波形が観測されている（図示していないが、ユーザは左手でキュースティックを支えるため、ＬＷＡでも同様に特徴的な波形が観測されうる）。従って、メインアナライザ１２４は、この波形の特徴を、ビリヤードのショットに対応する第２の条件として用いて判定を実行することができる。この結果として、ショットが反復的かつ非周期的な動作として発生するビリヤードのプレイ区間を検出することができる。

図８は、本開示の一実施形態においてタイピングを検出する例について説明するための図である。図８では、タイピングを含む区間について、ユーザの首に装着された加速度センサによって取得される加速度（ＮＡ）、およびユーザの左手首に装着された加速度センサによって取得された加速度（ＬＷＡ）の波形が示されている（約５分間）。図示された区間のうち、区間Ｐ３２がタイピングの区間である。区間Ｐ３１および区間Ｐ３３は、ノートに筆記をしていた区間である。この例において、動作検出部１２０のプレフィルタ１２２は、例えばネックウェア１００ｂが有する加速度センサによって取得されるＮＡのセンサデータに基づいて判定を実施する。また、メインアナライザ１２４は、例えばリストウェア１００ｃが有する加速度センサによって取得されるＬＷＡのセンサデータに基づいて判定を実施する。

区間Ｐ３１，Ｐ３２，Ｐ３３では、いずれも、ユーザが机に座っているためにＮＡの変化は小さい。従って、プレフィルタ１２２は、これらの区間を、タイピングに対応する第１の条件を満たす区間として検出することができる。なお、図示された範囲の外では、例えばユーザが机から立ち上がって歩いたりしている区間もありうる。プレフィルタ１２２は、こうした区間については上記のような第１の条件を満たさないものとしてメインアナライザ１２４による判定の対象から除外することができる。

一方、ＬＷＡでは、区間Ｐ３２と区間Ｐ３１および区間Ｐ３３との間で波形の特徴に明確な相違がある。タイピングの区間である区間Ｐ３２では、図中に矢印で示すように、反復的かつ非周期的な、キーストロークによる加速度の波形が観察されている。一方、区間Ｐ３１および区間Ｐ３３では、ユーザは左手でノートを押さえているだけであるため、そのようなＬＷＡの波形は観察されない。従って、メインアナライザ１２４は、このような波形の特徴を、タイピングに対応する第２の条件として用いて判定を実行することができる。なお、ＲＷＡについても区間Ｐ３２ではＬＷＡと同様の波形が観察されうるものの、区間Ｐ３１および区間Ｐ３３においてユーザは右手にペンを持って筆記するため、ＲＷＡではこれらの区間においても反復的かつ非周期的な加速度の波形が観察され、区間Ｐ３２との違いがわかりにくい。従って、タイピングの検出にＲＷＡを用いる場合は、メインアナライザ１２４での処理がＬＷＡとは異なる可能性がある。

図９は、本開示の一実施形態においてショッピングを検出する例について説明するための図である。図９では、ショッピング中の区間について、ユーザの右手首に装着された加速度センサによって取得された加速度（ＲＷＡ）、およびユーザの腰に装着された加速度センサによって取得された加速度（ＬＡ：Loins Acceleration）の波形が示されている（約５分間）。図示された区間のうち、区間Ｐ４１，Ｐ４２，Ｐ４３が、ショッピングにおいてユーザが商品に手を伸ばす動作をした区間である。この例において、動作検出部１２０のプレフィルタ１２２は、例えばセンサ装置１００として機能する（端末装置２００としても機能しうる）スマートフォンが有する加速度センサによって取得されるＬＡのセンサデータに基づいて判定を実施する。また、メインアナライザ１２４は、例えばリストウェア１００ｃが有する加速度センサによって取得されるＲＷＡのセンサデータに基づいて判定を実施する。

区間Ｐ４１および区間Ｐ４３では、いずれも、ＬＡにおいてユーザが商品に手を伸ばすために立ち止まったことによる特徴的な波形が観測されている。従って、プレフィルタ１２２は、これらの区間を、ショッピングに対応する第１の条件を満たす区間として検出することができる。一方、区間Ｐ４２では、ＬＡにおいて、ユーザが商品に手を伸ばすために立ち止まっただけではなく屈んだことによる特徴的な波形が観察されている。プレフィルタ１２２は、これらの区間を、ショッピングに対応する別の第１の条件を満たす区間として検出してもよい。あるいは、動作検出部１２０においてこれらの区間（区間Ｐ４１および区間Ｐ４３と、区間Ｐ４２と）には別々の動作を示すラベルが付けられ、プレフィルタ１２２はそれぞれの区間を別々の動作にそれぞれ対応する第１の条件を満たす区間として検出してもよい。

一方、区間Ｐ４１，Ｐ４２，Ｐ４３では、いずれも、ＲＷＡにおいて、ユーザが商品に手を伸ばしたことによる特徴的な波形が観察されている。従って、メインアナライザ１２４は、これらの波形の特徴を、ショッピングに対応する第２の条件として用いて判定を実行することができる。このとき、区間Ｐ４１および区間Ｐ４３（ユーザが立ち止まった区間）と区間Ｐ４２（ユーザが立ち止まるだけではなく屈んだ区間）とについて、共通のメインアナライザ１２４が用いられてもよいし、それぞれについて別々のメインアナライザ１２４が用いられてもよい。この結果として、ユーザが立ち止まったり屈んだりして商品に手を伸ばす動作が反復的かつ非周期的に発生するショッピングの区間を検出することができる。

図１０は、本開示の一実施形態においてサッカーのプレイを検出する例について説明するための図である。図１０では、サッカーのプレイを含む期間について、ユーザの首に装着された加速度センサによって取得される加速度（ＮＡ）、およびユーザの右足首（利き足の足首）に装着された加速度センサによって取得される加速度（ＲＡＡ：Right Ankle Acceleration）の波形が示されている（約１分間）。図示された区間のうち、区間Ｐ５１，Ｐ５２が、サッカーのキックを含む区間である。この例において、動作検出部１２０のプレフィルタ１２２は、例えばネックウェア１００ｂが有する加速度センサによって取得されるＮＡのセンサデータに基づいて判定を実施する。また、メインアナライザ１２４は、例えば足首に装着するタイプのウェアラブル装置が有する加速度センサによって取得されるＲＡＡのセンサデータに基づいて判定を実施する。

区間Ｐ５１，Ｐ５２では、いずれも、ＮＡにおいてユーザがキック動作をすることによる特徴的な波形が観測されている従って、プレフィルタ１２２は、これらの区間を、サッカーのキックに対応する第１の条件を満たす区間として検出することができる。さらに、これらの区間の中では、ＲＡＡにおいて、ユーザがボールをキックしたことによる特徴的な波形（衝撃）が観測されている。従って、メインアナライザ１２４は、この波形の特徴を、サッカーのキックに対応する第２の条件として用いて判定を実行することができる。この結果として、キックが反復的かつ非周期的な動作として発生するサッカーのプレイ区間を検出することができる。

以上、本実施形態において検出されうるユーザの反復的かつ非周期的な一連の動作について説明した。本実施形態において、動作検出部１２０は、例えば図５に示した食事の例や図８に示したタイピングの例のように、反復的かつ非周期的な一連の動作（例えば左手でフォークを使う動作や、キーストロークなど）を含む区間を一括して検出してもよい。あるいは、動作検出部１２０は、例えば図７に示したビリヤードの例や、図９に示したショッピングの例、図１０に示したサッカーの例のように、非周期的な個々の動作（例えばビリヤードのショットや、商品に手を伸ばす動作、サッカーのキックなど）の区間をそれぞれ検出した上で、そのような動作が反復されている区間を、検出対象の動作（ビリヤードのプレイ、ショッピング、またはサッカーのプレイ）の区間として認識してもよい。

上記のようにして認識されるユーザの反復的かつ非周期的な一連の動作は、例示したものには限らず、ユーザの日常生活において他にも多く発生しうる。このような動作は、反復的であるという点で特徴的ではあるものの、周期的ではないために、区間の特定が容易ではない場合がある。そのような場合に、例えばプレフィルタ１２２による判定に基づいて動作が発生した可能性がある区間をある程度絞り込めれば、メインアナライザ１２４による判定によって対象動作の発生を精度よく検出できる。また、プレフィルタ１２２で条件が満たされたと判定された場合に限って、メインアナライザ１２４による判定や該判定に用いられるセンサデータの取得などを実行することで消費電力などを節減できうることは、既に説明した通りである。

なお、本開示の他の実施形態において、ユーザの反復的かつ非周期的な一連の動作を検出する場合、動作検出部は必ずしもプレフィルタ（第１の動作検出部）とメインアナライザ（第２の動作検出部）とを含む構成をとらなくてもよい。例えば、対象動作が発生した可能性がある区間を適切に絞り込むプレフィルタを構築することが困難な場合や、プレフィルタを設けることによる消費電力などの節減が必要とされない場合、動作検出部はプレフィルタを含まず、すべての区間についてメインアナライザによる判定を実施してもよい。つまり、本開示の実施形態において、反復的かつ非周期的な一連の動作を検出することは、プレフィルタとメインアナライザとを設けることとは独立している。

また、既に述べたように、本実施形態において、ユーザの反復的かつ非周期的な一連の動作は必ずしも検出されなくてもよく、代わりに反復的かつ周期的な動作や、反復的ではない一過性の動作が検出されてもよい。このような動作を検出する場合でも、動作検出部がプレフィルタとメインアナライザとを含むことによって消費電力などの節減ができうることは、反復的かつ非周期的な動作を検出する場合と同様である。

（４．複数の検出対象動作がある場合の構成）
図１１は、本開示の一実施形態において、複数の検出対象動作がある場合の構成の第１の例を示す図である。本実施形態では、例えば上記で図５〜図１０を参照した例のような複数の動作を、それぞれ検出することが可能でありうる。また、例えば、同じラベルが与えられる動作であっても、その中に複数の検出対象が含まれる場合もありうる。例えば、図５を参照して説明した食事の検出の例では、食器の使い方（フォークおよびナイフを使う場合、スプーンを使う場合、箸を使う場合など）によって、それぞれ検出される加速度の特徴（例えば左手の動作によって発生するＬＷＡの特徴）が異なりうる。また、例えば、食物の種類（米飯、パン、麺、スープなど）によっても、検出される加速度の特徴は異なりうる。従って、例えば食事の検出にあたっては、このような検出対象を統合して１回の食事としてもよい（１回の食事の中で食器の使い方が変わったり、複数の種類の食物を順番または交互に摂食したりすることがありうる）。

図示された例では、それぞれの検出対象動作に対応するプレフィルタ１２２ａ，１２２ｂ，・・・と、同様にそれぞれの検出対象動作に対応するメインアナライザ１２４ａ，１２４ｂ，・・・とが設けられている。さらに、それぞれの検出対象動作に対応する情報生成部１３０ａが設けられてもよい。一軸加速度１１２のセンサデータはプレフィルタ１２２ａ，１２２ｂ，・・・のそれぞれに入力され、三軸加速度１１４のセンサデータはメインアナライザ１２４ａ，１２４ｂ，・・・のそれぞれに入力される。プレフィルタ１２２ａ，１２２ｂ，・・・の判定結果に従って対応するメインアナライザ１２４ａ，１２４ｂ，・・・が起動される。より具体的には、例えば、プレフィルタ１２２ａで第１の検出対象動作に対応する条件が満たされる区間が発生したと判定された場合に、メインアナライザ１２４ａが起動される。このとき、プレフィルタ１２２ｂで同様に第２の検出対象動作に対応する条件が満たされる区間が発生したと判定されていなければ、メインアナライザ１２４ｂは起動されない。例えば、各検出対象動作における一軸加速度１１２のセンサデータの特徴の相違が大きく、プレフィルタ１２２ａ，１２２ｂ，・・・によって各検出対象動作を識別できるような場合には、上記のような構成が有効でありうる。

図１２は、本開示の一実施形態において、複数の検出対象動作がある場合の構成の第２の例を示す図である。図示された例では、複数の検出対象動作に共通のプレフィルタ１２２と、それぞれの検出対象動作に対応するメインアナライザ１２４ａ，１２４ｂ，・・・とが設けられている。一軸加速度１１２のセンサデータはプレフィルタ１２２に入力され、三軸加速度１１４のセンサデータはメインアナライザ１２４ａ，１２４ｂ，・・・のそれぞれに入力される。プレフィルタ１２２の判定結果に従ってメインアナライザ１２４ａ，１２４ｂ，・・・が起動される。より具体的には、例えば、プレフィルタ１２２で各検出対象動作に共通の条件が満たされる区間が発生したと判定された場合に、メインアナライザ１２４ａ，１２４ｂ，・・・のそれぞれが起動される。例えば、各検出対象動作での一軸加速度１１２のセンサデータの特徴の相違が小さく、プレフィルタ１２２で各検出対象動作を識別することが合理的ではないような場合には、上記のような構成が有効でありうる。

ここまでの部分では、本開示の一実施形態における動作の検出に関する構成の例について説明してきた。ここで説明された例に限らず、本開示の実施形態では動作の検出に関して様々な変形例が可能である。例えば、センサ装置は、上記の例のようなアイウェア、ネックウェア、およびリストウェアには限られず、ユーザの腕や足首、衣服、歯などに装着されてもよい。また、センサ装置は、必ずしもユーザに装着されなくてもよく、ユーザによって使用される道具、例えば食事に使用される食器（端や皿など）に装着または内蔵されてもよい。また、センサ装置に含まれ、動作検出部による動作の検出に用いられるセンサデータは、上記の例における加速度のセンサデータには限られず、ジャイロセンサによって取得される角速度や、地磁気、気圧などであってもよい。センサデータは、カメラなどに含まれるイメージセンサによって取得される画像データや、マイクロフォン（音センサ）によって取得される音声データを含んでもよい。また、センサデータは、ＧＮＳＳ受信機またはＷｉ−Ｆｉ通信装置など（位置センサであるといえる）によって取得される位置データを含んでもよい。

ここで、上記のようなセンサデータの組み合わせについて、例えば、食事の動作を検出する場合であれば、食事をする可能性のある場所は自宅やレストランなどに限られているため、位置データに基づいたフィルタリングを実施することによって検出の精度が向上しうる。既に食事をしたことが検出されている場所については食事の動作が検出されやすくする（プレフィルタ１２２を通過しやすくする）など、パーソナライズされたＰＯＩ（Point of Interest）が利用されてもよい。なお、位置データを利用して食事の動作を検出することは、認識の精度を高める一方で、位置データへの依存は動作を検出するにあたっての制約にもなりうる。例えば、位置データとともに加速度のセンサデータを用いた食事動作の検出を繰り返す過程で機械学習などの技術を用いることでパラメータを自動的に調整し、加速度に基づく判定器の精度を十分に向上させることができれば、必ずしも位置データが取得されていない、または取得することが難しい場合であっても、食事の動作を十分な精度で検出することができるようになる。また、位置データに依存せずに食事の動作を検出できれば、例えば自宅から出ることが少ない（食事の時間帯とそれ以外の時間帯とで位置データの変化が少ない）高齢者についても、食事をしたかどうかや、食事の内容などを精度よく検出することができる。

また、例えば、動作検出部１２０が他の動作、例えば周期的な動作として検出される歩行や走行などを検出可能である場合、これらの他の動作の検出結果が、食事の動作の検出に利用されてもよい。より具体的には、歩行や走行（その他の移動も含まれうる）が検出されている間は、基本的には食事はされないと考えられることから、食事の動作が検出されないようにしてもよい。あるいは、歩行中などに食事をすることはあまり行儀がよくないことから、歩行中に検出された食事の動作を通常の食事の動作とは別に扱い、歩行中に食事をするのを止めるように促す情報を出力してもよい。

（５．情報生成の例）
（５−１．動作の検出前に情報を生成する例）
図１３は、本開示の一実施形態において動作の検出前に情報を生成する例を示すフローチャートである。なお、本実施形態では、動作検出部１２０が実際に発生した動作を検出するため、動作検出前の情報の生成は、例えば動作の検出中および検出後に情報の生成を抑制することによって実現される。図１３に示された例では、動作検出部１２０が例えば上記で図５および図６を参照して説明したような食事検出の処理を実行する（Ｓ２０１）。ここで、情報生成部１３０は、ユーザが食事中または食事後であるか否かを判定する（Ｓ２０３）。例えば、ユーザが食事中である状態は、センサデータがプレフィルタ１２２による判定を通過し、さらにメインアナライザ１２４によって反復的かつ非周期的な摂食動作が検出されている状態でありうる。なお、この例においては、ユーザが食事中であるか食事後であるかを判定する必要はないため、情報生成部１３０は、ユーザが一旦食事中の状態になった後、所定の時間（例えば一般的な食事の間隔に対応しうる）が経過するまでは、ユーザが食事中または食事後であると判定することができる。

上記のＳ２０３の判定において、ユーザが食事中または食事後であると判定された場合（ＹＥＳ）、情報生成部１３０は、情報を生成せずに処理を終了する。一方、ユーザが食事中または食事後ではない（つまり、食事前である可能性が高い）と判定された場合（ＮＯ）、情報生成部１３０は、レストランの推薦情報を生成する（Ｓ２０５〜Ｓ２０９）。より具体的には、リアルタイム情報生成部１３２が、ユーザの位置情報を取得し（Ｓ２０５）、位置情報に基づいてユーザの近くにあるレストランの推薦情報を生成する（Ｓ２０７）。ユーザの位置情報は、例えばセンサ装置１００が有する位置センサによって取得されてもよいし、端末装置２００として機能するモバイル装置によって取得されてもよい。また、推薦情報の生成にあたっては、例えばユーザの嗜好の反映などの公知の技術を適宜利用することが可能である。レストランの推薦情報は、食事の場所または内容に関する推薦情報といえる。このような推薦情報の例については、続く部分で図１４および図１５を参照してさらに説明する。生成された推薦情報は、出力装置１４０から出力される（Ｓ２０９）。上述の通り、出力装置１４０は、例えば、図１に示した例においてアイウェア１００ａが有するシースルーディスプレイ１４０ａ、ネックウェア１００ｂが有するイヤフォン１４０ｂ、リストウェア１００ｃが有するディスプレイ１４０ｃ、または端末装置２００が有するディスプレイ２４０などでありえ、推薦情報は例えば画像や音声などによって出力される。
上記のような情報は、例えば、ユーザが食事前であるか否かだけではなく、さらに、例えば他の行動認識結果に基づいて、ユーザが情報を受け取るのに適した状態にあるか否かに応じて提示されてもよい。この場合、例えば、ユーザが食事前であっても、まだ仕事中であることが（例えば他の行動認識処理によって）検出されている場合には、レストランの推薦情報は出力されない。その後、ユーザが仕事を終え、歩き出したことが（例えば他の行動認識処理によって）検出されると、レストランの推薦情報が生成され、ユーザに提示される。さらに、ユーザが目的のレストランを決定して歩き始めた場合には、レストランまでのナビゲーションが提供されてもよい。

図１４は、図１３に示した例において出力される情報の第１の例を示す図である。図示された例では、アイウェア１００ａが有するシースルーディスプレイ１４０ａによって、レストランの推薦情報が出力されている。シースルーディスプレイ１４０ａによって実空間の像１４０１に透過的に重畳される画像は、レストランの所在を示すアイコン１４０３を含む。

図１５は、図１３に示した例において出力される情報の第２の例を示す図である。図示された例では、リストウェア１００ｃが有するディスプレイ１４０ｃによって、レストランの推薦情報が出力されている。ディスプレイ１４０ｃに表示される画像は、ユーザの位置近傍のマップ１４０５と、マップ上に配置され現在地を示すアイコン１４０７と、レストランの所在を示すアイコン１４０９とを含む。

上記の例では、動作検出部１２０によって食事の動作が検出され、情報生成部１３０が食事の動作の検出後（食事中および食事後）はレストランの推薦情報の生成を抑制している。このように、検出対象の動作発生前に限って情報を生成する例は、例えば、情報生成部１３０によって動作に関する推薦情報（例えば、その動作をする場所などが推薦される）が生成される場合に有効でありうる。ユーザが既に動作を開始した場合に推薦情報の生成が抑制される（より具体的には、例えば、ユーザが既に食事を始めた後や食事を終えた後には、レストランの推薦情報を提供しない）ことによって、ユーザにとって不要な推薦情報が出力されるのを防止することができる。

（５−２．動作の検出中に情報を生成する例）
図１６は、本開示の一実施形態において動作の検出中に情報を生成する例を示すフローチャートである。図１６に示された例では、動作検出部１２０が例えば上記で図５および図６を参照して説明したような食事検出の処理を実行する（Ｓ２０１）。ここで、情報生成部１３０は、ユーザが食事中であるか否かを判定する（Ｓ２２１）。例えば、ユーザが食事中である状態は、センサデータがプレフィルタ１２２による判定を通過し、さらにメインアナライザ１２４によって反復的かつ非周期的な摂食動作が検出されている状態でありうる。後述する通り、この例ではユーザが摂っている食事の画像を反復的に撮像してその変化を検出することが目的である。従って、例えば、反復的に実行されるＳ２０１の食事検出処理において、前回の検出以降に１回でも摂食動作が検出されていれば、ユーザが食事中であると判定されてもよい。また、Ｓ２０１の食事検出処理において摂食動作が検出されないことが所定の時間続いた場合や、センサデータがプレフィルタ１２２による判定を通過しなくなった場合には、ユーザはもはや食事中ではないと判定されてもよい。

上記のＳ２２１の判定において、ユーザが食事中であると判定された場合（ＹＥＳ）、情報生成部１３０では、リアルタイム情報生成部１３２が制御情報を生成する（Ｓ２２３）。より具体的には、制御情報は、この例において被制御装置１５０として機能するカメラに撮像を実行させるための情報である。カメラは、検出された動作に関する記録装置の例である。Ｓ２２３で生成された制御情報に従って、カメラは食事画像の撮像を実行する（Ｓ２２５）。撮像された食事画像について、例えば端末装置２００またはサーバ３００のプロセッサが画像解析の処理を実行し、食事内容を認識する（Ｓ２２７）。リアルタイム情報生成部１３２は、さらに、認識された食事内容に基づくユーザへのアドバイスを生成してもよい。生成された情報は、上記の図１３の例と同様に、各種の出力装置１４０によって、画像や音声などとして出力される。なお、このようなアドバイスの例については、続く部分で図１７および図１８を参照してさらに説明する。例えば、食事画像の認識結果に基づいてユーザが料理を食べる順序や速さなどを検出するような場合、所定の周期で食事検出（Ｓ２０１）が再度実行される。なお、このようなアドバイスは、例えばユーザ自身に向けたものであってもよいし、ユーザとは異なる他人、例えば子供の食生活を管理する親、高齢者の介護者、栄養士、医師などに向けたものであってもよい。

図１７は、図１６に示した例において出力される情報の第１の例を示す図である。図示された例では、アイウェア１００ａが有するシースルーディスプレイ１４０ａによって、ユーザが食事中に料理を食べる順序に関する情報が出力されている。シースルーディスプレイ１４０ａによって実空間の像１４２１（図示された例では、ユーザが食べている料理の皿が含まれている）に重畳される画像は、次に食べることが推薦される料理を示すターゲットアイコン１４２３、およびこれまで推薦に従って料理を食べることを続けられた回数の表示１４２５を含む。

図１８は、図１６に示した例において出力される情報の第２の例を示す図である。図示された例では、リストウェア１００ｃが有するディスプレイ１４０ｃによって、ユーザが食事中に料理を食べる順序に関する情報が出力されている。ディスプレイ１４０ｃに表示される画像は、次に食べることが推薦される料理（の種類）を示すターゲット表示１４２７、およびこれまで推薦に従って料理を食べることを続けられた回数の表示１４２９を含む。

上記の例では、動作検出部１２０によって食事の動作が検出され、情報生成部１３０が食事の動作の検出中（食事中）に記録装置の制御情報を生成している。これによって、食事中に限定して記録装置を動作させ、例えばカメラで食事画像を取得することができる。この場合、動作検出部１２０の検出結果を利用して、食事の動作が発生していることを前提として撮像が実行されるため、例えば食事画像を解析して食事内容を認識するにあたり、画像が食事画像ではない可能性を排除でき、認識の精度を向上させたり、処理負荷を低減したりすることができる。なお、食事内容の認識に限らず、例えば動作の検出中に動作に関する記録を実行したい場合（より具体的には、単純に動作を画像で記録するような場合でもよい）には、上記のような構成が有効でありうる。

（５−３．動作の検出後に情報を生成する例）
図１９は、本開示の一実施形態において動作の検出後に情報を生成する例を示すフローチャートである。図１９に示された例では、動作検出部１２０が例えば上記で図５および図６を参照して説明したような食事検出の処理を実行する（Ｓ２０１）。ここで、情報生成部１３０は、ユーザが食事後であるか否かを判定する（Ｓ２４１）。例えば、ユーザが食事後である状態は、メインアナライザ１２４によって反復的かつ非周期的な摂食動作が検出されなくなった状態でありうる。情報生成部１３０は、Ｓ２０１の食事検出処理において摂食動作が検出されないことが所定の時間続いた場合や、センサデータがプレフィルタ１２２による判定を通過しなくなった場合に、ユーザが食事後であると判定することができる。後述するように、この例では食事後にユーザにリマインダ情報を出力することが目的である。従って、Ｓ２４１において一旦食事後であると判定され、リマインダ情報が生成された（Ｓ２４３，Ｓ２４５）場合には、その後再び食事の動作（反復的かつ非周期的な摂食動作）が検出されるまで、ユーザは食事前である（つまり、食事後ではない）と判定することができる。

上記のＳ２４１の判定において、ユーザが食事後であると判定された場合（ＹＥＳ）、情報生成部１３０では、リアルタイム情報生成部１３２がリマインダ情報を生成する（Ｓ２４３）。図示された例において、リマインダ情報は、食事後に予定されている動作をリマインドするための情報である。リマインドされる動作は、例えば食事後の服薬を含む。この場合、リマインダ情報の生成にあたって、ユーザが登録した服薬予定が参照されてもよい。また、リアルタイム情報生成部１３２は、同様にして他の種類のリマインダ情報を生成してもよい。例えば、リアルタイム情報生成部１３２は、ユーザのスケジュールを参照して、食事後のユーザの予定のリマインダ情報を生成してもよい。なお、このようなリマインダ情報の例については、続く部分で図２０および図２１を参照してさらに説明する。生成されたリマインダ情報は、上記の図１３の例と同様に、各種の出力装置１４０によって、画像や音声などとして出力される。（Ｓ２４５）。一方、Ｓ２４１の判定においてユーザが食事後ではない（食事中である、または食事前である）と判定された場合、所定の周期で食事検出（Ｓ２０１）が再度実行される。

図２０は、図１９に示した例において出力される情報の第１の例を示す図である。図示された例では、アイウェア１００ａが有するシースルーディスプレイ１４０ａによってリマインダ情報が出力されている。シースルーディスプレイ１４０ａによって実空間の像１４４１（図示された例では、ユーザが食べ終わった料理の皿が含まれている）に重畳される画像は、食事後の服薬（胃薬）のリマインダ情報１４４３、および食事後のユーザの予定のリマインダ情報へのリンク１４４５を含む。

図２１は、図１９に示した例において出力される情報の第２の例を示す図である。図示された例では、リストウェア１００ｃが有するディスプレイ１４０ｃによって、食事後の服薬（胃薬）のリマインダ情報１４４７と、食事後のユーザの予定のリマインダ情報１４４９とが交互に出力されている。

上記の例では、動作検出部１２０によって食事の動作が検出され、情報生成部１３０が食事の動作の検出後にリマインダ情報を生成している。このように、検出対象の動作発生後に情報を生成する例は、例えば、検出対象の動作との前後関係が特定されている別の動作（上記の例では、食事に対する服薬の動作）があるような場合に有効でありうる。ユーザが動作（例えば食事）を終えて初めて情報が出力されることによって、ユーザにとって効果的なタイミングでリマインダなどの情報が提供されることになる。

なお、ここまで説明された例では、専らリアルタイム情報生成部１３２が情報を生成したが、既に説明したように、ログ生成部１３４が各種の情報を生成してもよい。より具体的には、例えば、ログ生成部１３４は、食事の時間帯や食事の内容のログを生成してもよい。この場合、摂食動作の検出が反復的かつ非周期的に継続した区間を食事区間として事後的に特定することができる。また、食事の内容については、上記で図１６を参照して説明した例のように、食事の動作検出中に撮像された食事画像を利用して検出することができる。さらに、例えば、ログ生成部１３４は、センサ装置１００などが有するマイクロフォンを利用して食事区間における会話の量を検出し、会話の盛り上がりの指標として記録してもよい。また、ログ生成部１３４は、食事とともに（例えば摂食動作の間に）検出された身振り（食事以外の動作）の大きさを、会話の盛り上がり度の指標として記録してもよい。また、例えば、ログ生成部１３４は、マイクロフォンで検出された音から環境音やユーザ自身の発声などを検出し、食事の場がフォーマルな場か大衆的な場かを推定してもよい。

また、ログ生成部１３４は、例えば上記のような食事などの動作に関する指標を、絶対値ではなく相対値で表現するログを生成してもよい。例えば、食事の時間について、具体的な時間（３０分など）ではなく、いつもより長かったか、短かったかによって表現してもよい。また、例えば、会話の盛り上がりの指標について、ユーザが属する集団（例えば日本人、３０代男性、など）の平均に比べて盛り上がっていたか、盛り上がっていなかったかが表現されてもよい。このような相対的な表現は、例えば、端末装置２００またはサーバ３００のストレージに指標値に関する統計量の辞書を格納することによって可能になる。

（５−４．その他の例）
図２２〜図２４は、本開示の一実施形態において食事の動作を検出する場合に、動作の検出前（食事前）、検出中（食事中）、検出後（食事後）にそれぞれ提供されうる情報のバリエーションを示す図である。本開示の実施形態では、例えば食事以外の動作を検出する場合にも同様に、さまざまな内容の情報を生成することができる。また、食事を検出する場合にも、図示された内容には限らず、ユーザにとって有効な様々な種類の情報を生成することができる。

図２２に示された食事前の例では、例えば自宅で食事をする場合には、買い物、調理、支度などといった内容で情報を生成することができる。支度には、例えば食前の手洗いも含まれる。レストランやデリバリーで食事をする場合には、メニュー表示、メニュー選択、オーダーなどといった内容で情報を生成することができる。メニュー表示の場合には、レストランなどからのオススメを表示したり、選択しようとしているメニューに対して食べ合わせ指導や食事制限に関する警告が出力されたりしてもよい。また、メニュー選択の場合には、ユーザの過去の食事に関するデータが表示されてもよい。

図２３に示された食事中の例では、例えば食事のサーブに関して、そのタイミングを推薦する情報を生成することができる。また、食べる動作が発生している最中に、食べ過ぎを防ぐよう指導したり、食べる速さを適正な範囲に保つよう指導したり、食べる順序を指導したり、マナーを指導したりすることができる。ユーザは何かをしながら（例えば、テレビを観ながら、音楽を聞きながら、新聞を読みながら、仕事をしながら）食事をしていることが検出された場合には、ユーザが食事中であることを考慮した上で、それらのコンテンツ（テレビ、音楽、新聞、仕事など）に関する情報を生成してもよい。

また、食事中の例では、ユーザが他のユーザと食事をしているときに、食事が楽しくなるような情報提示をすることも可能である。より具体的には、例えば会話の話題を提供したり、会話の内容についての情報を提示したり、一緒に食事をしている相手の情報を提示したりすることができる。あるいは、食事がおいしくなるような情報が提示されてもよい。より具体的には、食事の内容についての情報、例えば食材の産地や、食材の特徴、料理に関する豆知識、オススメの食べ合わせメニューなどに関する情報が提示されてもよい。あるいは、食事をしている場所についての情報、例えば食事をしているレストランの歴史やトピック、人気メニュー、またはレストランがある周辺地域の情報などが提供されてもよい。なお、ユーザが他のユーザと食事をしている場合には、プライバシーに配慮し、例えば食べ合わせ指導や食事制限に関する警告、過去の食事に関するデータなどの情報は、出力しないか、他のユーザに認識されるような出力の仕方をしないなどといった制御がされてもよい。

図２４に示された食事後の例では、例えばユーザが食事の感想を発信する手段を持っている場合に、ブログやレビューサイトへのリンクを表示したり、ソーシャルメディアで感想を共有することを促したりしてもよい。また、食事管理の観点から、食べ終えた食事の内容をふまえた食事内容指導の情報が提示されてもよい。このとき、カロリー摂取量や、栄養摂取量が算出されてもよい。また、健康管理の観点から、食べ終えた食事の内容をふまえた運動指導の情報が提示されてもよい。このとき、運動によるカロリー消費量が算出され、食事でのカロリー摂取量と比較されてもよい。また、上記の例のように、薬の飲み忘れを防止するためのアラームが提供されてもよい。あるいは、食事後の行動に関しての情報提示が実施されてもよい。この場合、例えば、ユーザのスケジュールやＴｏＤｏリストに沿った情報提示がされてもよい。また、特にすることがない場合やユーザが休憩中である場合には、娯楽に関する情報が提示されてもよい。さらに、食事を終えたことに基づいて何らかの情報を提示するタイミングに、その他の行動ログ（例えば、他の行動認識処理によって生成されたログ）を用いてもよい。例えば、午後に間食が検出され、しかも食べ過ぎたことが検出された場合は、間食の終了後、帰宅を始めた時に歩くことを促す、翌日、コンビニエンスストアに向かっているときに間食をやめるようなアラートをだす、などの情報提示が実行されてもよい。

（６．ハードウェア構成）
次に、図２５を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図２５は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置９００は、例えば、上記の実施形態におけるセンサ装置、端末装置、および／またはサーバを実現しうる。

情報処理装置９００は、ＣＰＵ（Central Processing unit）９０１、ＲＯＭ（Read Only Memory）９０３、およびＲＡＭ（Random Access Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などの処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。

出力装置９１７は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカまたはヘッドフォンなどの音声出力装置、もしくはバイブレータなどでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、またはバイブレーションなどとして出力する。

ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置９１９は、例えばＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器を情報処理装置９００に接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。

通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などを含みうる。

撮像装置９３３は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）またはＣＣＤ（Charge Coupled Device）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

センサ９３５は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、または音センサ（マイクロフォン）などの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global Positioning System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳ受信機を含んでもよい。

以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

（７．補足）
本開示の実施形態は、例えば、上記で説明したような情報処理装置（センサ装置、端末装置、および／またはサーバ）、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）ユーザの反復的かつ非周期的な一連の動作を検出する動作検出部と、
前記一連の動作に関連する情報を生成する情報生成部と
を備える情報処理装置。
（２）前記動作検出部は、センシング対象またはセンシング方法が異なる複数のセンサデータに基づいて前記一連の動作を検出する、前記（１）に記載の情報処理装置。
（３）前記複数のセンサデータは、第１のセンサデータと第２のセンサデータとを含み、
前記動作検出部は、
前記第１のセンサデータが前記一連の動作に対応する第１の条件を満たす区間が発生したか否かを判定する第１の動作検出部と、
前記第１の条件を満たす区間が発生したと判定された場合に、当該区間において前記第２のセンサデータが前記一連の動作に対応する第２の条件を満たすか否かを判定する第２の動作検出部と
を含む、前記（２）に記載の情報処理装置。
（４）前記複数のセンサデータは、外部のセンサ装置において取得される第１のセンサデータと第２のセンサデータとを含み、
前記情報処理装置は、前記第１のセンサデータが前記一連の動作に対応する第１の条件を満たす区間が発生したと前記センサ装置において判定された場合に、前記センサ装置から送信される前記第２のセンサデータを受信する受信部をさらに含み、
前記動作検出部は、前記第１の条件を満たす区間において前記第２のセンサデータが前記一連の動作に対応する第２の条件を満たすか否かを判定する、前記（２）に記載の情報処理装置。
（５）前記情報は、前記一連の動作の検出との前後関係に応じて生成される情報を含む、前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（６）前記情報は、前記一連の動作の検出中に生成される第１の情報を含む、前記（５）に記載の情報処理装置。
（７）前記第１の情報は、前記一連の動作に関する記録装置の制御情報を含む、前記（６）に記載の情報処理装置。
（８）前記一連の動作は、食事に対応し、
前記記録装置は、前記制御情報に従って前記食事の内容を画像によって記録する、前記（７）に記載の情報処理装置。
（９）前記第１の情報は、さらに、前記食事の内容に基づく前記ユーザへのアドバイスまたは前記ユーザとは異なる他人へのアドバイスを含む、前記（８）に記載の情報処理装置。
（１０）前記情報は、前記一連の動作の検出との前後関係と、前記一連の動作とは異なる前記ユーザの行動認識結果とに応じて生成される、前記（５）〜（９）のいずれか１項に記載の情報処理装置。
（１１）前記情報は、前記一連の動作の検出後に生成される第２の情報を含む、前記（５）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）前記第２の情報は、前記一連の動作の後に予定されている動作のリマインダ情報を含む、前記（１１）に記載の情報処理装置。
（１３）前記情報は、前記一連の動作の検出中および検出後には生成が抑制される第３の情報を含む、前記（５）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）前記第３の情報は、前記一連の動作に関する推薦情報を含む、前記（１３）に記載の情報処理装置。
（１５）前記一連の動作は、食事に対応し、
前記推薦情報は、前記食事の場所または内容に関する推薦情報を含む、前記（１４）に記載の情報処理装置。
（１６）前記情報は、前記一連の動作の検出後に生成されるログ情報を含む、前記（１）〜（１５）のいずれか１項に記載の情報処理装置。
（１７）前記情報は、さらに、前記一連の動作の検出中に生成される、前記一連の動作に関する記録装置の制御情報を含み、
前記ログ情報は、前記記録装置が前記制御情報に従って記録した、前記一連の動作に関する記録を含む、前記（１６）に記載の情報処理装置。
（１８）前記一連の動作は、食事に対応し、
前記記録装置は、前記食事の内容を画像によって記録し、
前記ログ情報は、前記食事の時間帯と、前記食事の時間帯に記録された少なくとも１つの前記画像とを含む、前記（１７）に記載の情報処理装置。
（１９）プロセッサが、ユーザの反復的かつ非周期的な一連の動作を検出することと、
前記一連の動作に関連する情報を生成することと
を含む情報処理方法。
（２０）ユーザの反復的かつ非周期的な一連の動作を検出する機能と、
前記一連の動作に関連する情報を生成する機能と
をコンピュータに実現させるためのプログラム。

１０ システム
１００ センサ装置
１１０ センサ
１１２ 一軸加速度
１１４ 三軸加速度
１２０，２２０ 動作検出部
１２２ プレフィルタ
１２４ メインアナライザ
１３０ 情報生成部
１３２ リアルタイム情報生成部
１３４ ログ生成部
１４０，２４０ 出力装置
１５０，２５０ 被制御装置
１６０，２６０ データベース
１７０ センサ制御部
１８０ 送信部
２１０ 受信部
３００ サーバ

Claims (20)

1. ユーザの反復的かつ非周期的な一連の動作を検出する動作検出部と、
   前記一連の動作に関連する情報を生成する情報生成部と
   を備える情報処理装置。
2. 前記動作検出部は、センシング対象またはセンシング方法が異なる複数のセンサデータに基づいて前記一連の動作を検出する、請求項１に記載の情報処理装置。
3. 前記複数のセンサデータは、第１のセンサデータと第２のセンサデータとを含み、
   前記動作検出部は、
   前記第１のセンサデータが前記一連の動作に対応する第１の条件を満たす区間が発生したか否かを判定する第１の動作検出部と、
   前記第１の条件を満たす区間が発生したと判定された場合に、当該区間において前記第２のセンサデータが前記一連の動作に対応する第２の条件を満たすか否かを判定する第２の動作検出部と
   を含む、請求項２に記載の情報処理装置。
4. 前記複数のセンサデータは、外部のセンサ装置において取得される第１のセンサデータと第２のセンサデータとを含み、
   前記情報処理装置は、前記第１のセンサデータが前記一連の動作に対応する第１の条件を満たす区間が発生したと前記センサ装置において判定された場合に、前記センサ装置から送信される前記第２のセンサデータを受信する受信部をさらに含み、
   前記動作検出部は、前記第１の条件を満たす区間において前記第２のセンサデータが前記一連の動作に対応する第２の条件を満たすか否かを判定する、請求項２に記載の情報処理装置。
5. 前記情報は、前記一連の動作の検出との前後関係に応じて生成される情報を含む、請求項１に記載の情報処理装置。
6. 前記情報は、前記一連の動作の検出中に生成される第１の情報を含む、請求項５に記載の情報処理装置。
7. 前記第１の情報は、前記一連の動作に関する記録装置の制御情報を含む、請求項６に記載の情報処理装置。
8. 前記一連の動作は、食事に対応し、
   前記記録装置は、前記制御情報に従って前記食事の内容を画像によって記録する、請求項７に記載の情報処理装置。
9. 前記第１の情報は、さらに、前記食事の内容に基づく前記ユーザへのアドバイスまたは前記ユーザとは異なる他人へのアドバイスを含む、請求項８に記載の情報処理装置。
10. 前記情報は、前記一連の動作の検出との前後関係と、前記一連の動作とは異なる前記ユーザの行動認識結果とに応じて生成される、請求項５に記載の情報処理装置。
11. 前記情報は、前記一連の動作の検出後に生成される第２の情報を含む、請求項５に記載の情報処理装置。
12. 前記第２の情報は、前記一連の動作の後に予定されている動作のリマインダ情報を含む、請求項１１に記載の情報処理装置。
13. 前記情報は、前記一連の動作の検出中および検出後には生成が抑制される第３の情報を含む、請求項５に記載の情報処理装置。
14. 前記第３の情報は、前記一連の動作に関する推薦情報を含む、請求項１３に記載の情報処理装置。
15. 前記一連の動作は、食事に対応し、
    前記推薦情報は、前記食事の場所または内容に関する推薦情報を含む、請求項１４に記載の情報処理装置。
16. 前記情報は、前記一連の動作の検出後に生成されるログ情報を含む、請求項１に記載の情報処理装置。
17. 前記情報は、さらに、前記一連の動作の検出中に生成される、前記一連の動作に関する記録装置の制御情報を含み、
    前記ログ情報は、前記記録装置が前記制御情報に従って記録した、前記一連の動作に関する記録を含む、請求項１６に記載の情報処理装置。
18. 前記一連の動作は、食事に対応し、
    前記記録装置は、前記食事の内容を画像によって記録し、
    前記ログ情報は、前記食事の時間帯と、前記食事の時間帯に記録された少なくとも１つの前記画像とを含む、請求項１７に記載の情報処理装置。
19. プロセッサが、ユーザの反復的かつ非周期的な一連の動作を検出することと、
    前記一連の動作に関連する情報を生成することと
    を含む情報処理方法。
20. ユーザの反復的かつ非周期的な一連の動作を検出する機能と、
    前記一連の動作に関連する情報を生成する機能と
    をコンピュータに実現させるためのプログラム。

Images