JP6411168B2 - チューイング検出装置 - Google Patents

Description

この発明は、人間が行う咀嚼動作（チューイング）を検出するための装置に関する。

咀嚼動作（チューイング）を検出するための装置は、従来よりいくつか提案されている。
特許文献１に開示の装置は、人が食物等を咀嚼すると、顎の動きに伴って外耳道の筋肉が動くので、この筋肉の動きによる外耳道内の圧力変化を外耳道内に挿入した圧力センサーで検出し、圧力変化の回数を咀嚼回数として計測するものである。

特許文献２に開示された装置も、同様の原理で咀嚼回数を計測するものであるが、圧力センサーとして、微圧センサー、圧電センサー、押圧センサーを用いることが記載されている。
特許文献３に提案された入力デバイスは、表情の状態の認識をする装置であるが、外耳に装着された光学式センサーの出力に基づいて咀嚼動作（チューイング）も検出可能と説明されている。

特開平７−２１３５１０号公報 特開平１１−３１８８６２号公報 特許第５５４３９２９号公報

従来提案されている咀嚼を検出する装置には、それぞれ、次のような問題がある。
特許文献１および２に記載の装置は、外耳道の動きを検知するために圧力センサーを使用するため、センサーが大型化するとともに、気密的に装着する必要があり、長時間の装着が困難である。
一方、特許文献３に提案されている装置のセンサーは、光学式センサーであり、特許文献１および２で提案された装置のような問題はないが、光学式センサーで得られる信号には多くのノイズが含まれており、咀嚼動作（チューイング）を正しく検出できないという問題がある。

この発明は、このような従来装置が有する問題点を解決するためになされたものであり、主たる目的は、長時間の装着が可能で、かつ、正確に咀嚼動作（チューイング）を検出できるチューイング検出装置を提供することである。

請求項１記載の発明は、人間の行う咀嚼動作（チューイング）を検出するための装置であって、発光素子および受光素子の組を有し、発光素子が外耳道内へ発した光の反射光を受光素子が受光して、受光量に応じた電圧信号を出力するイヤホン型外耳道センサーと、前記イヤホン型外耳道センサーの出力信号を顎の動作と関連付け、顎がチューイングを行った旨のチューイング信号を出力する関連付処理手段と、前記イヤホン型外耳道センサーの出力が顎の動作に基づくもの（チューイング区間内）か否かを判別して、顎の動作に基づかないとき（チューイング区間外）の前記関連付処理手段の出力を無効化するチューイング区間検知手段と、を含むことを特徴とするチューイング検出装置である。

請求項２記載の発明は、前記イヤホン型外耳道センサーの出力をデジタル信号に変換するコンバータを備え、当該コンバータは、所定時間に所定個数のサンプル値を出力するように信号変換を行うことを特徴とする、請求項１に記載のチューイング検出装置である。
請求項３記載の発明は、前記イヤホン型外耳道センサー、関連付処理手段、チューイング区間検知手段およびコンバータは、左耳用および右耳用として、それぞれ一対設けられていることを特徴とする、請求項２に記載のチューイング検出装置である。

請求項４記載の発明は、前記チューイング区間検知手段は、予め定める検知区間内に前記コンバータから入力される一定個数のサンプル値のうちの一定割合（所定個数）以上のサンプル値が有意値であるときはチューイング区間と判別し、一定割合（所定個数）未満のサンプル値が有意値であるときはチューイング区間外と判別する判別検知アルゴリズムを有することを特徴とする、請求項２または３に記載のチューイング検出装置である。

請求項５記載の発明は、前記チューイング区間検知手段は、前記検知区間内の最小のサンプル値および／または最大のサンプル値に基づいたしきい値を設定する手段と、サンプル値が前記しきい値を超えているときは、当該サンプル値が有意値と判定する手段と、を含むことを特徴とする、請求項４に記載のチューイング検出装置である。
請求項６記載の発明は、前記しきい値を設定する手段は、使用者毎にしきい値をキャリブレーションする手段を含むことを特徴とする、請求項５に記載のチューイング検出装置である。

請求項７記載の発明は、前記関連付処理手段の論理和出力に基づいて、チューイングおよびその回数を計数して出力する手段をさらに有することを特徴とする、請求項３〜６のいずれか一項に記載のチューイング検出装置である。
請求項８記載の発明は、前記出力する手段は、予め定める時間よりも短い間隔でチューイング信号が与えられたとき、当該チューイング信号を除外する不感時間設定手段を含むことを特徴とする、請求項７に記載のチューイング検出装置である。

請求項９記載の発明は、前記出力する手段は、予め定める間隔で連続したチューイング信号が所定数与えられたとき、予め定めるコマンド信号を生成して外部へ出力するコマンド生成手段を含むことを特徴とする、請求項７または８に記載のチューイング検出装置である。
請求項１０記載の発明は、前記連続したチューイング信号の数が２であることを特徴とする、請求項９に記載のチューイング検出装置である。

請求項１１記載の発明は、前記イヤホン型外耳道センサーは、外耳道に装着されるボディと、前記ボディの先端に、ボディの内方と外方との間を空気が通過可能に配置された発光素子および受光素子の組と、前記ボディの内方に配置され、ボディ内方から外方へ向けて音声を出力する音声発信素子と、前記ボディの後端に組み込まれ、前記受光素子が受光機能を行うことに連動して点灯するＬＥＤと、を含むことを特徴とする、請求項１〜１０のいずれか一項に記載のチューイング検出装置である。

この発明によれば、装着中の負荷が少なく、長時間の装着が可能で、装着中の咀嚼動作（チューイング）を正確に検出できるチューイング検出装置を提供することができる。
また、チューイングを正確に検出できるため、意図的に行われたチューイングに基づき、種々のコマンド信号を出力する装置としても利用可能である。特に、外耳道センサーにイヤホン機能を併設した場合、イヤホンにより聴取している音楽等を提供している装置に対し、操作コマンドを与えることができ、いわゆるハンズフリー操作を可能にできる。

図１は、この発明の一実施形態に係るチューイング検出装置１０の構成を示すブロック図である。 図２は、この発明の一実施形態に係るチューイング検出装置１０の構成を示すブロック図である。 図３は、外耳道センサー１１の構成を説明するための図解図である。 図４は、この実施形態に係るチューイング検出装置１０の構成例を示す回路ブロック図である。 図５は、チューイング区間検知部５２で行われる検知アルゴリズムを説明する図である。 図６は、チューイング区間検知部５２において行われる検知アルゴリズムの他の例を示す図である。 図７は、ダブルクリックの定義を証明する図である。

以下には、図面を参照して、この発明の一実施形態について具体的に説明をする。
図１は、この発明の一実施形態に係るチューイング検出装置１０の構成を示すブロック図である。チューイング検出装置１０は、イヤホン型外耳道センサー（右耳用）１１と、イヤホン型外耳道センサー（左耳用）１２と、本体ハウジング１３とを備えている。外耳道センサー１１，１２と本体ハウジング１３とは、信号ライン１４，１５によって接続されている。

本体ハウジング１３には、ＭＣＵ（Ｍｅｍｏｒｙ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）等の情報処理ユニット１６、ＢＬＥ等の無線通信ユニット１７、バッテリーユニット１８およびステレオジャック１９が内蔵されている。
このため、チューイング検出装置１０は、ステレオジャック１９およびステレオオーディオケーブル２１を利用して、たとえば携帯音楽プレーヤ２０を接続し、当該携帯音楽プレーヤ２０から提供される音楽等を中継する中継器機能を備えている。

また、携帯音楽プレーヤ２０が、たとえばスマートフォンのようなコンピュータ機能を有するものの場合、本体ハウジング１３と携帯音楽プレーヤ２０との間で、無線通信機能（たとえばＢｌｕｅｔｏｏｔｈ（登録商標））２２による通信を行うこともできる。
さらに、チューイング検出装置１０には、図２に示すように、本体ハウジング１３内に図示しないコネクタ（たとえばマイクロＵＳＢ端子）が備えられており、外部のパソコン２３を信号ケーブル２４を介して接続することができる。

この実施形態では、図１および図２に示すように、本体ハウジング１３と外耳道センサー１１，１２とは、それぞれ、信号ライン１４，１５で接続された構成を示したが、信号ライン１４，１５を省略して、本体ハウジング１３と外耳道センサー１１，１２とを無線通信で接続することも可能である。
図３は、外耳道センサー１１の構成を説明するための図解図である。ここでは、外耳道センサー１１の構成を例にとって説明するが、外耳道センサー１２の構成も同一である。

外耳道センサー１１は、外耳道に装着されるボディ３０を有する。ボディ３０は、基部３１と基部３１から前方に向かって先すぼみのテーパ状に突出する突部３２とを有しており、その内部は空間３３となっている。突部３２の先端には１組の発光素子３４および受光素子３５が備えられている。発光素子３４は、たとえば赤外光発光ダイオードで構成されている。

受光素子３５は、たとえばフォトトランジスタで構成されている。発光素子３４が発した光は外耳道で反射され、その反射光を受光素子３５が受光できるように、発光素子３４および受光素子３５は近接して、かつ互いに所定の位置関係および角度関係になるように配置されている。
突部３２の先端側には、空間３３内の空気が前方外側へ通過可能なように、窓３６が開けられている。

そして、突部３２の先端部は、窓３６ならびに発光素子３４および受光素子３５が、弾性材で形成された耳パッド３７で被われている。
ボディ３０の空間３３内には、基部３１内を中心に回路基板３８および回路基板３８に実装された小型スピーカ３９が備えられている。小型スピーカ３９は音声発信素子として機能し、音楽等を出力できる。

基部３１内には、その後端側に基板４０に実装されたＬＥＤ４１が組み込まれている。ＬＥＤ４１の上端は基部３１の後端面に形成された孔４２から外方に臨んでいる。よってＬＥＤ４１の発光は、ボディ３１の外側（後方側）から視認することができる。さらに、ＬＥＤ４１の周囲を囲むように円板状導光板４３が、基部３１に組み込まれている。よって、ボディ３０の側面側からも、導光板４３を通してＬＥＤ４１の点灯を視認することができる。

この実施例では、外耳道センサー１１に備えられたＬＥＤ４１は、受光素子３５が受光機能を実行していることに連動して点灯するように構成されている。
図４は、この実施形態に係るチューイング検出装置１０の構成例を示す回路ブロック図である。
図４を参照して、チューイング検出装置１０は、外耳道センサー（右耳用）１１および外耳道センサー（左耳用）１２を有する。これら一対の外耳道センサー１１，１２は、それぞれ、発光素子３４および受光素子３５を有している。そして、発光素子３４が発した光は外耳道内で反射され、その反射光を受光素子３５が受光して、受光素子３５は受光量に応じた電圧信号を出力する。

出力される電圧信号は、アナログ信号であり、コンバータ５０に与えられる。コンバータは、入力するアナログ電圧信号をたとえば１０ビットのデジタル信号に変換する。コンバータの変換能力はたとえば５０サンプル／秒とされている。よってコンバータ５０からは、１秒あたり５０個のサンプル値が出力される。
コンバータ５０の出力は、関連付処理部５１およびチューイング区間検知部５２へ並列的に与えられる。関連付処理部５１は、コンバータ５０の出力を顎の動作と関連付け、顎がチューイングを行った旨のチューイング信号（たとえばパルス信号）を出力する。

一方、チューイング区間検知部５２は、コンバータ５０の出力が顎の動作に基づくもの（チューイング区間内）か否かを判別して、コンバータ５０の出力が顎の動作に基づかないとき（チューイング区間外）には、関連付処理部５１から出力されるチューイング信号を無効にする処理部である。図４の回路ブロック図では、チューイング区間検知部５２はスイッチ５３を操作する構成としている。スイッチ５３が閉じなければ、関連付処理部５１のチューイング信号は後段に送られず、出力（チューイング信号）が無効化される。

次に、チューイング区間検知部５２で行われるチューイング区間内か、チューイング区間外かの判別の仕方につき、具体的に説明をする。
図５は、チューイング区間検知部５２で行われる検知アルゴリズムを説明する図である。チューイング区間検知部５２では、コンバータ５０から与えられる連続する２５個のサンプル値に基づいて、その次に与えられるサンプル値は、顎の動作に基づくサンプル値、すなわちチューイング区間内のサンプル値か、そうでないかを判別する。

具体的には、チューイング区間検知部５２には、０．５秒間に、コンバータ５０から２５個のサンプル値が入力する。そこでこれら２５個のサンプル値の中の最小値ｂｕｆｍｉｎに所定の下限値ΔＶｍｉｎおよび所定の上限値ΔＶｍａｘを加えた範囲内に、２５個のサンプル値のうちのいくつのサンプル値が存在するかを調べる。そしてこの範囲内にあるサンプル値が１６個以上（６４％以上）であれば、その次にコンバータ５０から与えられるサンプル値は、顎の動作に基づくサンプル値、すなわちチューイング区間内のサンプル値であると判別する。

一方、０．５秒間に入力する連続した２５個のサンプル値のうち、１６個未満のサンプル値しか上記の範囲内にない場合には、それに続いて入力するサンプル値は、顎の動作に基づかない、すなわちチューイング区間外に検出されたサンプル値であると判別して、そのタイミングで無効化処理（図４においてスイッチ５３を開く処理）を行う。
このように、この実施形態では、チューイング区間検知部５２は、コンバータ５０から出力されるサンプル値がチューイング区間内のサンプル値であるか否かを、当該サンプル値の出力直前５００ミリ秒間に与えられた２５個のサンプル値の値に基づいて判別する検知アルゴリズムを採用した。

かかる検知アルゴリズムを採用したことにより、ノイズが多く含まれる外耳道センサー１１，１２の出力を良好にフィルタリングすることができ、実際のチューイングに起因する信号（サンプル値）だけを正しく抽出して、精度の高いチューイング検出を行うことができる。
より具体的に言えば、このチューイング検出装置１０を装着したユーザが、たとえば歩行動作を行い頭が揺れてチューイングを行っていないにもかかわらず外耳道センサー１１，１２から得られるサンプル値や、あるいは、ユーザがチューイングではなくたとえば歌を歌ったり話したりしている時に検知される外耳道センサー１１，１２のサンプル値を、チューイング区間外のサンプル値であると適正に判別し、チューイング区間のサンプル値のみを良好に抽出することができる。よって、実用的で誤動作のない装置を実現することができる。

なお、チューイング区間の検知は、０．５秒間を基準に行うものに限らず、任意の単位時間を設定し、その単位時間を基準に行えばよい。
図５の検知アルゴリズムの説明図において、有効範囲の下限値ΔＶｍｉｎおよび上限値ΔＶｍａｘは、使用者（ユーザ）毎にキャリブレーションできるようにするのが、より精度の高いチューイング区間検知を行う上で有効である。

図６は、チューイング区間検知部５２において行われる検知アルゴリズムの他の例を示す図である。コンバータ５０から出力されるサンプル値の変化波形は、図５に示すように、必ずしも下寄りになるとは限らず、上寄りの変化波形になる場合もある。
従って、検知のための区間（直前５００ミリ秒）の中の最小値ｂｕｆｍｉｎを基準に下限値ΔＶｍｉｎおよび上限値ΔＶｍａｘを設定するものと、区間中の最大値ｂｕｆｍａｘを基に下限値ΔＶｍｉｎおよび上限値ΔＶｍａｘを定め、これら検知アルゴリズムで得られる出力の論理和をチューイング区間検知判別出力としてもよい。

図４を再び参照して、関連付処理部５１の構成および動作について説明をする。関連付処理部５１は、前述したように、外耳道センサー１１（または外耳道センサー１２）の出力信号を顎の動作と関連付け、顎がチューイングを行った旨のチューイング信号を出力する回路である。この実施例では、関連付処理部５１は、加算器５４、しきい値素子５５および立ち上り検知素子５６の直列接続によって実現されている。加算器５４では、コンバータ５０から出力されるサンプル値からチューイング区間検知部５２から与えられる区間中の最小値が減算（マイナス加算）される。そして加算後のサンプル値はしきい値素子５５において所定のしきい値と比較されて、０または１の２値データに変換される。立ち上り検知回路５６は、しきい値素子５５から出力される２値データが０から１に変化するタイミング、すなわち立ち上りタイミングを検知して出力をする。

関連付処理部５１で行われるこれらの処理は、いわば顎の動作に関連して得られる連続したサンプル値で表わされる波形の谷から山への変化点を検出して、チューイング信号を出力するという処理である。
外耳道センサー（左耳用）１２で検出される信号も、同じように処理がさる。そして両回路からのチューイング信号はＯＲゲート５７を介して出力部６０へ与えられる。

この実施形態では、出力部６０には、不感時間による頻度制限部６１が備えられている。頻度制限部６１は、不感時間設定手段として機能するものであり、予め定める時間、たとえば０．５秒よりも短い間隔でチューイング信号が与えられたとき、そのような短い時間間隔のチューイング信号は除外する役目をする。
この実施形態では、左右両方の外耳道センサー１１，１２の出力に基づいてチューイングを検出するが、人によっては左右の信号がずれて出力されることがあり、実際のチューイング回数以上にチューイング信号が出力される場合があることが、実験的に検証された。そこで、不感時間による頻度制限部６１を設け、誤検知のないようにして、より正確にチューイング回数を検出できるようにした。

なお、不感時間による頻度制限部６１を省略した構成とすることも、もちろん可能である。
出力部６０には、さらに、コマンド生成部６２が備えられていてもよい。コマンド生成部６２は、たとえば、ユーザの意思によって行われた所定の時間間隔の複数回のチューイングを検出して、当該複数回のチューイング検出に基づいて特定のコマンド信号を生成する回路である。

図７は、ダブルクリックの定義を証明する図である。図７に示すように、０．５秒〜１秒の時間間隔で行われる２回のチューイングを、ダブルクリックと定義する。そしてこのダブルクリックが検出されたときに、コマンド生成部６２は、ダブルクリックに基づいて、所定のコマンド信号を生成し、それを外部機器等へ出力する構成とすることができる。このコマンド信号は、たとえば図１のように携帯音楽プレーヤ２０を利用している場合において、携帯音楽プレーヤ２０のスタート信号、停止信号等である。

コマンド生成部６２は、上述のダブルクリックを検出した場合以外に、たとえばトリプルクリック（所定時間間隔で連続して行われる３回のチューイング）を検知したときに、所定の操作コマンド信号を生成するようにしてもよい。
この実施形態に係るチューイング検出装置１０は、上述の構成であるから、外耳道センサー１１，１２を装着した場合に、装着負荷が低く、長時間装着することができる。

そして、これら外耳道センサー１１，１２から得られる検出信号を適切にフィルタリングして、極めて精度良く咀嚼動作（チューイング）およびその回数を検出することができる。
この発明は、以上説明した実施形態に限定されるものではなく、請求項記載の範囲内において種々の変更が可能である。また、この発明により得られるチューイングおよびその回数は、正確に検出されるものであるから、各種の用途に広範囲に利用可能である。

正確なチューイング検出を行える、実用性および応用範囲の広いチューイング検出装置を提供することができるので、産業上の利用可能性が高い。

１０ チューイング検出装置
１１，１２ 外耳道センサー
１３ 本体ハウジング
１４，１５ 信号ライン
１６ 情報処理ユニット
１７ 無線通信ユニット
１８ バッテリーユニット
１９ ステレオジャック
２０ 携帯音楽プレーヤ
２１ ステレオオーディオケーブル
２２ 無線通信機能
２３ パソコン
２４ 信号ケーブル
３０ ボディ
３１ 基部
３２ 突部
３３ 空間
３４ 発光素子
３５ 受光素子
３６ 窓
３７ 耳パッド
３８ 回路基板
３９ スピーカ
４０ 基板
４１ ＬＥＤ
４２ 孔
４３ 導光板
５０ コンバータ
５１ 関連付処理部
５２ チューイング区間検知部
５３ スイッチ
５４ 加算器
５５ しきい値素子
５６ 立ち上り検知素子
５７ ＯＲゲート
６０ 出力部
６１ 頻度制限部
６２ コマンド生成部

Claims (11)

1. 人間の行う咀嚼動作（チューイング）を検出するための装置であって、
   発光素子および受光素子の組を有し、発光素子が外耳道内へ発した光の反射光を受光素子が受光して、受光量に応じた電圧信号を出力するイヤホン型外耳道センサーと、
   前記イヤホン型外耳道センサーの出力信号を顎の動作と関連付け、顎がチューイングを行った旨のチューイング信号を出力する関連付処理手段と、
   前記イヤホン型外耳道センサーの出力が顎の動作に基づくもの（チューイング区間内）か否かを判別して、顎の動作に基づかないとき（チューイング区間外）の前記関連付処理手段の出力を無効化するチューイング区間検知手段と、
   を含むことを特徴とするチューイング検出装置。
2. 前記イヤホン型外耳道センサーの出力をデジタル信号に変換するコンバータを備え、
   当該コンバータは、所定時間に所定個数のサンプル値を出力するように信号変換を行うことを特徴とする、請求項１に記載のチューイング検出装置。
3. 前記イヤホン型外耳道センサー、関連付処理手段、チューイング区間検知手段およびコンバータは、左耳用および右耳用として、それぞれ一対設けられていることを特徴とする、請求項２に記載のチューイング検出装置。
4. 前記チューイング区間検知手段は、予め定める検知区間内に前記コンバータから入力される一定個数のサンプル値のうちの一定割合（所定個数）以上のサンプル値が有意値であるときはチューイング区間と判別し、一定割合（所定個数）未満のサンプル値が有意値であるときはチューイング区間外と判別する判別検知アルゴリズムを有することを特徴とする、請求項２または３に記載のチューイング検出装置。
5. 前記チューイング区間検知手段は、前記検知区間内の最小のサンプル値および／または最大のサンプル値に基づいたしきい値を設定する手段と、
   サンプル値が前記しきい値を超えているときは、当該サンプル値が有意値と判定する手段と、
   を含むことを特徴とする、請求項４に記載のチューイング検出装置。
6. 前記しきい値を設定する手段は、使用者毎にしきい値をキャリブレーションする手段を含むことを特徴とする、請求項５に記載のチューイング検出装置。
7. 前記関連付処理手段の論理和出力に基づいて、チューイングおよびその回数を計数して出力する手段をさらに有することを特徴とする、請求項３〜６のいずれか一項に記載のチューイング検出装置。
8. 前記出力する手段は、予め定める時間よりも短い間隔でチューイング信号が与えられたとき、当該チューイング信号を除外する不感時間設定手段を含むことを特徴とする、請求項７に記載のチューイング検出装置。
9. 前記出力する手段は、予め定める間隔で連続したチューイング信号が所定数与えられたとき、予め定めるコマンド信号を生成して外部へ出力するコマンド生成手段を含むことを特徴とする、請求項７または８に記載のチューイング検出装置。
10. 前記連続したチューイング信号の数が２であることを特徴とする、請求項９に記載のチューイング検出装置。
11. 前記イヤホン型外耳道センサーは、
    外耳道に装着されるボディと、
    前記ボディの先端に、ボディの内方と外方との間を空気が通過可能に配置された発光素子および受光素子の組と、
    前記ボディの内方に配置され、ボディ内方から外方へ向けて音声を出力する音声発信素子と、
    前記ボディの後端に組み込まれ、前記受光素子が受光機能を行うことに連動して点灯するＬＥＤと、
    を含むことを特徴とする、請求項１〜１０のいずれか一項に記載のチューイング検出装置。

Images