JP6952299B2 - 睡眠深度判定システム、睡眠深度判定装置及び睡眠深度判定方法 - Google Patents

Description

本発明は、人の睡眠時の動画像に基づいて睡眠深度を判定する睡眠深度判定システム、睡眠深度判定装置及び睡眠深度判定方法に関する。

睡眠は人間にとって必要不可欠なものであり、脳と身体機能を維持するために重要である。近年、健康意識が高まる中、一般の家庭において自己の日常的な睡眠の状態を把握し、日々の睡眠を管理することにより、睡眠を改善して健康管理に努めたいというニーズがある。

人の睡眠の状態は、一晩を通じて一様ではなく、大きくは、レム睡眠とノンレム睡眠とに大別される。ノンレム睡眠は、ステージ１〜４の４つの段階があり、ノンレム睡眠の中でも、ステージ１〜２の眠りが浅い状態の浅睡眠（Shallow sleep）と、ステージ３〜４の眠りが深い状態の徐波睡眠（Slow wave sleep）とに分けられる。

人は、覚醒状態から眠りにつくと、一般的に、レム睡眠、浅睡眠、徐波睡眠と睡眠が深くなるように移行し、その後、浅睡眠、レム睡眠と睡眠が浅くなるように移行するというサイクルを通常約９０分で繰り返す。ただし、覚醒状態から眠りについた入眠直後は、一般的にはレム睡眠の段階をスキップして浅睡眠へ移行し、徐波睡眠へと移行する。また、徐波睡眠は眠りはじめに多い一方、レム睡眠は朝の覚醒に近づくに連れて多くなる。この睡眠時の睡眠深度の変化を調べることにより、人の睡眠の状態を把握することが可能である。

従来、睡眠深度を推定する方法として、睡眠ポリグラフ（ＰＳＧ）法が知られている。睡眠ポリグラフ法は、例えば脳波、眼球運動、顎筋電、心電などを同時に測定し、これらの測定データを分析して睡眠深度を判定することで、睡眠の状態を評価する方法であり、測定データの種類が多く測定精度も高いので、評価の信頼性は高い。しかしながら、睡眠ポリグラフ法は、装置が大がかりであるうえ、病院などの計測設備を備えた場所でしか利用できないため、健康機器のように家庭で日常的に使用するには不向きである。また、睡眠ポリグラフ法では、複数の電極を人に装着しなければならないため、人にとっての負担やストレスが大きく、その拘束感や接触感から睡眠を妨げることが多いので、正確な睡眠深度を測定することは難しいという問題もある。さらに、睡眠ポリグラフ法は、医師などの専門家によらなければ、睡眠深度を正確に評価することができないため、装置さえあればよいと言う訳にもいかない。

そこで、睡眠深度を無拘束、非接触ながらも精度よく判定することができる技術が提案されている（例えば特許文献１を参照）。特許文献１には、ビデオカメラにより睡眠時の人の動画像を撮影し、撮影した動画像に基づき、人の睡眠時の体の動き（体動）に関するデータを解析して、睡眠深度を判定することが開示されている。特許文献１に記載の技術では、人をセンサ類で拘束せず、かつセンサ類が接触しないので、負担やストレスのない状態で睡眠深度を判定することができる。また、装置も大がかりでないため、一般の家庭においても使用することができる。

一方で、特許文献２には、ドップラレーダセンサーやカメラなどにより就寝者の体動を検知し、体動回数が規定の期間、所定値以下だった場合に入眠したと判断する、 あるいは体動回数が所定値以下のときを規定の回数カウントした場合に入眠したと判断することが開示されている。

また、特許文献３では、赤外線カメラにより利用者（就寝者）に対する赤外線の投射位置の深度情報を検知し、深度情報に基づいて利用者の睡眠中の寝相や位置などの体勢の情報（静的情報）、及び頭の動きや寝返りなどの活動量の情報（動的情報）を算出・判定する。活動量の情報（動的情報）を算出する場合は、過去の画像フレームにおいて算出した体勢の情報（静的情報）との比較により判定することが開示されている。

さらに、特許文献４では、被験者の脈拍間隔を検出する脈拍間隔検出手段と、被験者の画像を撮像する撮像手段を備え前記撮像手段による撮像画像の時間変化に基づいて、前記脈波間隔を検出する。撮像手段としてはカメラが使用され、布団上の画像を撮影し、画像差分演算部は該画像の時間差分画像を得る。布団は、被験者の呼吸や心拍に同期して微妙に変位するので、時間方向でフレームごとの差分をとり、画素ごとの合計を計算すると、変位量に応じた値を得ることができる。また、同様に体動が起きればそれに対応した変化が得られる。なお、差分画像は、これら呼吸や体動などが重畳したものである。そこで、体動計測部により、体動計測に適した帯域のフィルタにより体動データを分離抽出することが開示されている。

特開２０１２−３７５号公報 特開２０１２−１５９２５０号公報 特開２０１４−１５１１２０号公報 特開２００８−６００５号公報

しかしながら、特許文献１に記載の技術は、睡眠深度を、覚醒状態、浅睡眠（レム睡眠を含む）及び徐波睡眠の３段階で判定可能であるが、レム睡眠を判別することができないという課題がある。

また、特許文献２に記載の技術では、睡眠状態を体動が多いときには覚醒に近く、体動が少ないときは深い睡眠である、と推定しているに過ぎず、レム睡眠やノンレム睡眠（浅睡眠及び徐波睡眠に分かれる）といった詳細に判定可能なものではない。

また、特許文献３に記載の技術では、頭の動きや、寝返りの有無、寝相・体勢や寝ている位置、いびき、寝言の有無などを監視するものであり、睡眠状態をレム睡眠やノンレム睡眠（浅睡眠及び徐波睡眠に分かれる）といった詳細に判定可能なものではない。

さらに、特許文献４に記載の技術では、睡眠状態を検出するのはあくまでも脈拍間隔検出手段によっており、人の睡眠時の動画像は利用していない。

本発明は、上記した問題に着目してなされたもので、無拘束、非接触で睡眠深度を判定することができ、かつ、睡眠深度を、覚醒状態、レム睡眠、浅睡眠及び徐波睡眠の４段階に判定することができる睡眠深度判定システム、睡眠深度判定装置及び睡眠深度判定方法を提供することを目的とする。

本発明の前記目的は、睡眠時の人の動画像を撮影可能な撮影手段と、人の睡眠時の動画像に基づいてその睡眠深度を判定する睡眠深度判定装置と、を備え、睡眠深度判定装置は、プロセッサ及び前記プロセッサの制御下にあるメモリを含むコンピュータを備え、前記コンピュータが、前記動画像を、前記動画像を構成する複数のフレーム間隔に変換する画像変換部と、前記複数のフレーム画像がグレースケール画像でない場合にグレースケール画像に変換するグレー変換部と、グレースケールの前記複数のフレーム画像を所定のフレーム間隔で差分処理することにより、差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出する差分処理部と、差分処理により検出された濃度値が変化したピクセルの数を計数し、計数結果から所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する体動データ算出部と、算出した前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定する判定部と、して機能する、睡眠深度判定システムにより達成される。

本発明の睡眠深度判定システムにおいては、前記体動データ算出部は、前記エポック毎に前記体動量、前記体動持続時間及び前記静止持続時間について移動平均処理を行い、前記判定部は、移動平均処理された前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定することが好ましい。

また、本発明の睡眠深度判定システムにおいては、差分処理の前記フレーム間隔は、特に限定されるものではなく、動きの速い細体動を精度よく検出可能なフレーム間隔及び動きの遅い粗体動を精度よく検出可能なフレーム間隔のいずれかを任意に設定することができる。例えば、差分処理の前記フレーム間隔は、０．２秒以上４．０秒以下の範囲から設定され、動きの速い細体動を精度よく検出するにはフレーム間隔を０．２秒以上１．０秒以下の範囲から設定することが好ましく、動きの遅い粗体動を精度よく検出するには２．０秒以上４．０秒以下の範囲から設定されることが好ましい。

また、本発明の睡眠深度判定システムにおいては、前記判定部は、機械学習によって前記エポック毎の人の睡眠深度を判定することが好ましい。

また、本発明の睡眠深度判定システムにおいては、前記判定部は、前記エポック毎の人の睡眠深度について、覚醒状態及び睡眠状態のいずれかに分類し、その後、睡眠状態に分類された状態について、レム睡眠、浅睡眠及び徐波睡眠のいずれかに分類することが好ましい。

また、本発明の睡眠深度判定システムにおいては、前記判定部は、覚醒状態及び睡眠状態のいずれかの分類に線形判別分析を用いることが好ましい。また、前記判定部は、レム睡眠、浅睡眠及び徐波睡眠のいずれかの分類にサポートベクターマシンのような非線形の判別分析を用いることが好ましい。ただし、前記判定部は、レム睡眠、浅睡眠及び徐波睡眠のいずれかの分類に線形判別分析を用いることもできる。

また、本発明の睡眠深度判定システムにおいては、前記コンピュータが、差分処理により検出された濃度値が変化したピクセルに対して少なくとも１回の膨張処理及び膨張処理回数より多い回数の収縮処理を行うノイズ処理部としてさらに機能することが好ましい。

また、本発明の睡眠深度判定システムにおいては、前記差分処理部は、前記複数のフレーム画像を、所定の第１フレーム間隔で差分処理することにより、前記第１フレーム間隔で差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出するとともに、前記第１フレーム間隔よりも長い所定の第２フレーム間隔で差分処理することにより、前記第２フレーム間隔で差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出し、前記体動データ算出部は、前記第１フレーム間隔での差分処理及び前記第２フレーム間隔での差分処理により検出された濃度値が変化したピクセルの数をそれぞれ計数し、各計数結果から所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間をそれぞれ算出し、前記判定部は、前記第１フレーム間隔での差分処理によるピクセルの計数結果及び前記第２フレーム間隔での差分処理によるピクセルの計数結果からそれぞれ算出された前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定することが好ましい。

本発明の前記目的は、人の睡眠時の動画像に基づいてその睡眠深度を判定する睡眠深度判定装置であって、プロセッサ及び前記プロセッサの制御下にあるメモリを含むコンピュータを備え、前記コンピュータが、前記動画像を、前記動画像を構成する複数のフレーム間隔に変換する画像変換部と、前記複数のフレーム画像がグレースケール画像でない場合にグレースケール画像に変換するグレー変換部と、グレースケールの前記複数のフレーム画像を所定のフレーム間隔で差分処理することにより、差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出する差分処理部と、差分処理により検出された濃度値が変化したピクセルの数を計数し、計数結果から所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する体動データ算出部と、算出した前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定する判定部と、して機能する、睡眠深度判定装置によっても達成される。

本発明の前記目的は、人の睡眠時の動画像に基づいてその睡眠深度を判定する睡眠深度判定方法であって、前記動画像を、前記動画像を構成する複数のフレーム間隔に変換する画像変換工程と、前記複数のフレーム画像がグレースケール画像でない場合にグレースケール画像に変換するグレー変換工程と、グレースケール化された前記複数のフレーム画像を所定のフレーム間隔で差分処理することにより、差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出する差分処理工程と、差分処理により検出された濃度値が変化したピクセルの数を計数し、計数結果から所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する体動データ算出工程と、算出した前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定する判定工程と、を実行する睡眠深度判定方法によっても達成される。

本発明の前記目的は、プロセッサ及び前記プロセッサの制御下にあるメモリを含むコンピュータに、前記動画像を、前記動画像を構成する複数のフレーム間隔に変換する画像変換処理と、前記複数のフレーム画像がグレースケール画像でない場合にグレースケール画像に変換するグレー変換処理と、グレースケール化された前記複数のフレーム画像を所定のフレーム間隔で差分処理することにより、差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出する差分処理と、差分処理により検出された濃度値が変化したピクセルの数を計数し、計数結果からから所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する体動データ算出処理と、算出した前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定する判定処理と、を実行させるコンピュータプログラムによっても達成される。

本発明によれば、人の睡眠深度を、無拘束、非接触で判定することができ、かつ、覚醒状態、レム睡眠、浅睡眠及び徐波睡眠の４段階に判定することができる。

本発明の一実施形態の睡眠深度判定システムの概略構成を示す説明図である。 本発明の一実施形態の睡眠深度判定システムの概略構成を示すブロック図である。 本発明の一実施形態の睡眠深度判定方法の流れを示すフロー図である。 フレーム画像の差分処理に関する説明図である。 人の睡眠時のフレーム間隔ｔ２での体動データと睡眠ポリグラフ法による睡眠深度の実測データを比較したグラフである。 図５の体動の時系列データから算出される人の睡眠時の各エポックの体動量、体動持続時間、静止持続時間が、覚醒状態（ＷＡＫＥ）、レム睡眠（ＲＥＭ）、浅睡眠（ＬＩＧＨＴ）及び徐波睡眠（ＤＥＥＰ）においてどのように分布しているかを表すグラフである。 図５の体動の時系列データを用いて本発明の一実施形態に係る睡眠深度判定装置により判定される睡眠深度の判定結果と、睡眠ポリグラフ法による睡眠深度の実測データとの一致率を示した表である。 人の睡眠時のフレーム間隔ｔ３での体動データと睡眠ポリグラフ法による睡眠深度の実測データを比較したグラフである。 図８の体動の時系列データから算出される人の睡眠時の各エポックの体動量、体動持続時間、静止持続時間が、覚醒状態（ＷＡＫＥ）、レム睡眠（ＲＥＭ）、浅睡眠（ＬＩＧＨＴ）及び徐波睡眠（ＤＥＥＰ）においてどのように分布しているかを表すグラフである。 図８の体動の時系列データを用いて本発明の一実施形態に係る睡眠深度判定装置により判定される睡眠深度の判定結果と、睡眠ポリグラフ法による睡眠深度の実測データとの一致率を示した表である。 本発明の他の実施形態の睡眠深度判定方法の流れを示すフロー図である。

以下、本発明の実施の形態について添付図面を参照して説明する。本発明に係る睡眠深度判定システムは、暗い寝室でも撮影が可能な赤外線カメラなどの撮影手段により人の睡眠時の動画像を撮影し、この動画像を解析して、頭の動き、寝返り、四肢の動きなどの睡眠時の体動の時系列データを取得し、この体動の時系列データに基づき人の睡眠深度を判定するものである。

図１は、本発明の一実施形態に係る睡眠深度判定システム１０の概略構成を示す。図１に示すように、睡眠深度判定システム１０は、睡眠時の人の動画像を撮影可能な撮影手段１と、人の睡眠時の動画像に基づいてその睡眠深度を判定する睡眠深度判定装置２と、を備える。

撮影手段１は、睡眠深度判定装置２（コンピュータ３）に通信インターフェイス（図示せず）を介して接続され、睡眠時の人の動画像を撮影し、撮影した動画像を睡眠深度判定装置２のコンピュータ３に出力する。出力された動画像は睡眠深度判定装置２のコンピュータ３に格納される。撮影手段１は、例えばビデオカメラ、ウェブカメラ、カメラ機能を有する携帯電話（例えばスマートフォン）など、睡眠時の人の動画像を撮影できるものであれば種々のものを用いることができる。なお、夜間や暗闇においても撮影することが可能な赤外線撮影機能を備えていることが好ましい。動画像のフレームレートは、少なくとも１ｆｐｓ以上、好ましくは２ｆｐｓ以上であることが好ましいが、睡眠時においては、人の体動による動きは少なく、人の体動を検出するためには、１ｆｐｓ以上３ｆｐｓ以下のフレームレートで十分であり、本実施形態では２ｆｐｓ（フレーム間隔で０．５秒）である。

睡眠深度判定装置２は、図２に示すように、各種演算処理を実行するコンピュータ３と、キーボード、マウス、タッチパネル装置などの入力手段４と、液晶ディスプレイなどの表示手段５と、を備える。入力手段４及び表示手段５は、コンピュータ３と別個の機器であってもよいが、一つのユニットであってもよい。睡眠深度判定装置２は、例えばパーソナルコンピュータ（デスクトップ、ノートブック、スマートフォン、携帯情報端末（例えばタブレットＰＣ）など）で構成することができ、特に限定されるものではない。

コンピュータ３は、ハードウェア構成として、プロセッサ（ＣＰＵ）、ＣＰＵの制御下にあるメモリ（ＲＯＭ、ＲＡＭ）、補助記憶装置（ＨＤＤ）、他の装置（入力手段４、表示手段５、撮影手段１）との各インターフェイス（入出力インターフェイス、画像出力インターフェイス、通信インターフェイス）、インターネット接続のためのインターフェイスなどを有している。ＨＤＤは、コンピュータ３内に含まれていてもよいし、コンピュータ３の外部装置として置かれてもよい。ＣＰＵは、演算処理装置及び制御装置として機能し、ＲＯＭやＨＤＤに記憶されている各種コンピュータプログラムをＲＡＭに読み出して実行することにより、各種演算処理を実行する。なお、撮影手段１により撮影された動画像は、当該動画像を記録したコンピュータ読み取り可能な可搬型記録媒体（フラッシュメモリ、ＳＤカード、ＣＤ−ＲＯＭなど）を介して睡眠深度判定装置２のコンピュータ３に供給してもよい。

コンピュータ３は、記憶部３０の他、機能ブロックとして、動画像取得部３１と、画像変換部３２と、グレー変換部３３と、差分処理部３４と、ノイズ処理部３５と、体動データ算出部３６と、判定部３７と、を備えている。各機能ブロックは、ＣＰＵがコンピュータプログラムを実行することによりソフトウェア的に実現される。

以下、睡眠深度判定に関するコンピュータプログラムに基づき、コンピュータ３の各機能ブロックにより実行される睡眠深度判定方法について、図２及び図３を参照して説明する。

動画像取得部３１は、撮影手段１から出力される人の睡眠時の動画像を取得する（動画像取得工程ＳＴ１）。画像取得部３１は、取得した動画像を時系列に記憶部３０に記憶してもよい。

次に、画像変換部３２は、取得した動画像を、動画像を構成する複数のフレーム画像（静止画像）に変換する処理を行う（画像変換工程ＳＴ２）。なお、撮影手段１で撮影された動画像のフレームレートが、３ｆｐｓよりも大きい場合は、１ｆｐｓ以上３ｆｐｓ以下、好ましくは２ｆｐｓ（フレーム間隔ｔ１が０．５秒）にリサンプリングする。これにより、睡眠深度判定装置２のコンピュータ３に記憶される情報量を減らすことができる。

グレー変換部３３は、全てのフレーム画像をグレースケール化してグレースケール画像に変換する処理を行う（グレー変換工程ＳＴ３）。これにより、人の睡眠時の動画像から、ベッドなどの背景物の影響を受けることなく、人の睡眠時の体動を検出することができる。

具体的に、本発明では、詳細は後述するが、人の睡眠時の体動を、動画像を構成する複数のフレーム画像（静止画像）を差分処理することで検出している。つまり、フレーム画像の画像サイズは、ｘ方向（横）ｎ個、ｙ方向（縦）ｍ個の合計ｎ×ｍ個（例えば横６４０個×縦４８０個）のピクセルで構成されるが、睡眠時に体動が起こると、動く前のフレーム画像と動いた後のフレーム画像との間で、動く元の座標位置（ｘ１，ｙ１）のピクセルは濃度値（輝度）が減少し、動いた先の座標位置（ｘ２，ｙ２）のピクセルは濃度値（輝度）が増加する。よって、連続する複数のフレーム画像の差分を取り、濃度値（輝度）の変化したピクセルを検出することで、体動を検出できる。ここで、各フレーム画像において、人とベッドなどの背景物とが同色で現わされると、背景物と重なる部分では体動が生じてもピクセルの濃度変化が生じないため、体動を検出することができない。しかし、動画像をグレースケール画像に変換して、人と背景物とが異なる色（濃度）で現わされることで、背景物と重なる部分においても体動によるピクセルの濃度値変化を検出できるため、体動を検出することが可能である。

グレースケール画像への変換方法は、特に限定されず、既知の方法で行うことができる。グレースケール画像への変換では、２５６階調に設定するのが好ましい。グレー変換部３３は、グレースケール化した動画像を時系列に記憶部３０に記憶してもよい。

なお、撮影手段１として、グレースケールで動画を撮影できる機能を備えた機器を用いれば、グレー変換部３３及びグレー変換工程ＳＴ３は省略することができる。

次に、差分処理部３４は、全てのフレーム画像について差分処理を行い、差分をとったフレーム画像との間で濃度値が変化したピクセルを検出する処理を行う（差分処理工程ＳＴ４）。ここで、差分をとる２枚のフレーム画像のフレーム間隔は、特に限定されるものではないが、本実施形態では、図４に示すように、連続する複数のフレーム画像の隣り合う２枚（フレーム間隔ｔ１（本実施形態では０．５秒））のフレーム画像ではなく、フレーム間隔ｔ１よりも長いフレーム間隔ｔ２をあけた２枚のフレーム画像としている。つまり、例えば、Ｎ枚目のフレーム画像と差分を取るフレーム画像は、１枚前のＮ−１枚目のフレーム画像ではなく、ａ（＝ｔ２／ｔ１）枚前のＮ−ａ枚目のフレーム画像となる。フレーム間隔ｔ２としては、例えば２．０秒以上４．０秒以下の範囲から設定することができ、好ましくは２．５秒以上３．５秒以下の範囲から設定することができ、本実施形態では３．０秒である。よって、本実施形態では、Ｎ枚目のフレーム画像は、６枚前のＮ−６枚目のフレーム画像との間で差分を取り、Ｎ＋１枚目のフレーム画像は、Ｎ−５枚目のフレーム画像との間で差分を取り、Ｎ＋２枚目のフレーム画像は、Ｎ−４枚目のフレーム画像との間で差分を取る。

このように、時間間隔の長いフレーム間隔ｔ２でフレーム画像の差分処理を行う理由として、人の睡眠時の体動には、主に、寝返りなどの動きの遅い大きな粗体動と、四肢の動きなどの動きの速い小さな細体動とがある。ここで、動きの遅い粗体動は、フレーム間隔が短いと、差分処理する２枚（Ｎ枚目及びＮ−１枚目）のフレーム画像の比較で体動に伴う差が表れにくく、フレーム画像間で濃度値が変化するピクセルが少数であるため、これを出可能ではあるが、検出精度は良好でない。これに対して、フレーム間隔が長いと、差分処理する２枚（Ｎ枚目及びＮ−ａ枚目）のフレーム画像の比較で体動に伴う差が大きく表れ、フレーム画像間で濃度値が変化するピクセルが多数となるため、これを精度よく検出することが可能となる。なお、動きの速い細体動については、差分処理する２枚のフレーム画像のフレーム間隔が短い方がより精度よく検出することができるが、フレーム間隔ｔ２が２．０秒以上４．０秒以下の範囲であれば、フレーム間隔ｔ２でも細体動を検出することは可能である。

次に、ノイズ処理部３５は、差分処理により検出された濃度値が変化したピクセルに対して、膨張処理及び膨張処理後の収縮処理を行う（ノイズ処理工程ＳＴ５）。本実施形態では、膨張処理を少なくとも１回行った後、収縮処理を膨張処理回数よりも多い回数行う。例えば、膨張処理を１回、収縮処理を２回行う。収縮処理のみを例えば１回だけ行うと、差分処理により検出された細体動がノイズとともに除去されるおそれがある。しかし、膨張処理後、膨張処理より多い回数の収縮処理を行うことで、差分処理により体動として検出される、連続・結合した各ピクセルの濃度値変化はノイズ処理後もそのまま残り、差分処理によりノイズとして検出される、非連続・分散した各ピクセルの濃度値変化はノイズ処理後により除去することができる。よって、ノイズだけを効果的に除去することができる。膨張処理及び収縮処理は、既知の方法で行うことができる。ノイズ処理部３５は、ノイズ処理した差分処理により検出された濃度値が変化したピクセルの画像を時系列に記憶部３０に記憶してもよい。

なお、撮影手段１に高性能のカメラを用いる場合など、撮影した動画像に発生するノイズが少ない場合には、このノイズ処理部３５及びノイズ処理工程ＳＴ５は省略することができる。

次に、体動データ算出部３６は、上記方法で差分処理を行った全てのフレーム画像について、差分をとったフレーム画像との間で濃度値が変化したピクセルの数を計数することで、人の睡眠時の体動の時系列データを計測する処理を行う。体動データ算出部３６は、計測した体動の時系列データを記憶部３０に記憶してもよい。

図５は、人の睡眠時のフレーム間隔ｔ２における体動データ（下段）を示す。図５において、横軸が時間［sec］、縦軸が体動として計数されたピクセル数［pixel］であり、ピクセル数が大きいほど、大きな体動があることを意味する。なお、図５には、睡眠深度との比較のために、睡眠ポリグラフ法により判定した睡眠深度の実測データ（上段）も示している。

上記の通り、本発明では、睡眠時に現れる細体動に加え、粗体動を精度よく計測することにより、詳細は後述するが、睡眠時の睡眠深度を、覚醒状態、レム睡眠、浅睡眠及び徐波睡眠の４段階に判別することが可能となる。

そして、体動データ算出部３６は、計測した前記体動の時系列データから、所定時間Ｔよりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する処理を行う（体動データ算出工程ＳＴ６）。

具体的には、体動量は、１エポックの間に算出された濃度値が変化したピクセルの数の総計である。例えば１エポックの所定時間Ｔを３０秒とすると、撮影手段１によって得られた動画像が、例えば２ｆｐｓ（０．５秒／１フレーム）であれば、１エポックには６０枚（Ｔ／ｔ１）のフレーム画像が含まれ、各フレーム画像には、合計ｎ×ｍ個（例えば横６４０個×縦４８０個）のピクセルが存在する。その中で差分を取った２枚のフレーム画像間で濃度値が変化したピクセルが体動の大きさとしてカウントされるため、体動量は、１エポックに含まれる６０枚（Ｔ／ｔ１枚）のフレーム画像の差分処理でカウントされたピクセル数の合計値により表わされる。

また、体動持続時間は、１エポックの中で体動が検出されたフレーム画像の数の総計であり、これを時間に換算したものである。つまり、例えば１エポックの所定時間Ｔを３０秒とすると、撮影手段１によって得られた動画像が、例えば２ｆｐｓ（０．５秒／１フレーム）であれば、１エポックには６０枚（Ｔ／ｔ１）のフレーム画像が含まれるため、体動持続時間は、１エポックに含まれる６０枚（Ｔ／ｔ１）のフレーム画像の差分処理の結果、１エポック（６０枚のフレーム画像）の中で体動が検出された（濃度値が変化したピクセルの数が０でない）フレーム画像の数を算出し、算出されたフレーム画像の数にフレーム間隔ｔ１（例えば０．５秒）を掛けた時間により表わされる。

また、静止持続時間は、任意のエポックにおいて、最後に体動を検出してからどれだけ静止が続いているかの持続時間である。あるエポックにおける静止持続時間を算出する場合、該エポックよりも前のエポックであって最後に体動が検出された（濃度値が変化したピクセルの数が０でない）エポックが該エポックの何個前のエポックであるかを検出する。例えばｂ個（例えば６個）前のエポックで体動が検出されたとすれば、間のｂ−１個（例えば５個）のエポックでは体動が発生していない。そのため、静止持続時間は、（ｂ−１）×Ｔ（１エポックの所定時間）として表される。

上述した算出方法に基づき、全てのエポックについて、体動データから、体動量、体動持続時間及び静止持続時間が算出される。

さらに、体動データ算出部３６は、本実施形態では、全てのエポックの体動量、体動持続時間及び静止持続時間について、それぞれ、直近のｃ個のエポックの体動量、体動持続時間及び静止持続時間との単純平均値を算出する移動平均処理を行う（移動平均処理工程ＳＴ７）。例えば、Ｍ番目のエポックにおいては、Ｍ−ｃ番目のエポック〜Ｍ番目のエポックの平均値となり、Ｍ＋１番目のエポックにおいては、Ｍ＋１−ｃ番目のエポック〜Ｍ＋１番目のエポックの平均値となる。本実施形態では、１５分（３０エポック）の移動平均処理を行っている。このように、各エポックの体動量、体動持続時間及び静止持続時間の移動平均値を算出したのは、各エポックにおける睡眠深度は、それ以前のエポックにおける体動情報に依存するという知見に基づくものであり、以前のエポックの体動情報を考慮することで、各エポックにおける睡眠深度の判定を精度よく行うことが可能になる。

例えば、体動量を例に説明すると、ケースＡでは、あるエポックに３０００の体動量が計測されたが，そのエポックから１５分前までは一切体動がなかったのに対して、ケースＢでは、あるエポックに同じく３０００の体動量が計測され、そのエポックから１５分前のエポックに２７０００の体動があった場合、体動量（移動平均処理なし）では、ケースＡとＢとであるエポックにおいて同じく３０００となるので、睡眠深度は同じに見える。ただし、体動量（移動平均処理あり）では、ケースＡにおいては３０００／６０エポック（１５分）＝５０になるのに対して、ケースＢにおいては（３０００＋２７０００）／６０＝５００となる。そのため、ケースＡとＢとであるエポックを異なる睡眠深度と分類することができる。このように、以前のエポックで体動があったエポックでは移動平均処理なしの体動量でも睡眠深度の分類に用いることができる、以前のエポックで体動がないエポックでは移動平均処理ありの体動量を用いて、以前のエポックの体動情報を含めることで、睡眠深度の分類精度を向上させることができる。

なお、移動平均処理の対象範囲は、必ずしも１５分に限られるものではなく、例えば、１０分以上２０分以下の間で好ましく設定することができる。

次に、判定部３７は、体動データから算出されたエポック毎の体動量（移動平均処理なし）、体動持続時間（移動平均処理なし）及び静止持続時間（移動平均処理なし）、さらには、体動量（移動平均処理あり）、体動持続時間（移動平均処理あり）及び静止持続時間（移動平均処理あり）の６つのパラメータに基づいて、人の睡眠時の睡眠深度が、覚醒状態（ＷＡＫＥ）、レム睡眠（ＲＥＭ）、浅睡眠（ＬＩＧＨＴ）及び徐波睡眠（ＤＥＥＰ）のいずれかに分類されるのかを判定する処理を行う（判定工程ＳＴ８）。

ここで、人の睡眠時においては、覚醒状態（ＷＡＫＥ）では、動きの大きな粗体動が頻発するのに対して、眠りが深くなるにつれて、すなわち、レム睡眠、浅睡眠、徐波睡眠と続くにつれて粗体動の出現頻度は低下する。そのため、覚醒状態（ＷＡＫＥ）と睡眠状態（ＳＬＥＥＰ）とでは、体動量に顕著な差があり、覚醒状態（ＷＡＫＥ）では睡眠状態（ＳＬＥＥＰ）よりも体動量が大きい。よって、上記で算出したパラメータのうち、体動量に着目することで、睡眠深度を、まず、覚醒状態（ＷＡＫＥ）と睡眠状態（ＳＬＥＥＰ）とに分類することができる。

また、睡眠状態（ＳＬＥＥＰ）の中でも、レム睡眠（ＲＥＭ）では、動きの小さな細体動が起こりやすい一方、粗体動はほとんど起こらない。また、レム睡眠（ＲＥＭ）自体が長時間継続しないために静止持続時間も長い値をとらない。浅睡眠（ＬＩＧＨＴ）では、細体動及び粗体動のいずれも起こる。徐波睡眠（ＤＥＥＰ）では、細体動及び粗体動のいずれもほとんど起こらない。よって、まず、徐波睡眠（ＤＥＥＰ）は、レム睡眠（ＲＥＭ）及び浅睡眠（ＬＩＧＨＴ）よりも体動持続時間が短く、体動量も小さいため、上記で算出したパラメータのうち、体動持続時間及び体動量に着目することで、レム睡眠（ＲＥＭ）及び浅睡眠（ＬＩＧＨＴ）と分類することができる。また、浅睡眠（ＬＩＧＨＴ）は、レム睡眠（ＲＥＭ）及び徐波睡眠（ＤＥＥＰ）よりも体動量が大きいため、体動量に着目することで、レム睡眠（ＲＥＭ）及び徐波睡眠（ＤＥＥＰ）と分類することができる。最後に、レム睡眠（ＲＥＭ）は、浅睡眠（ＬＩＧＨＴ）及び徐波睡眠（ＤＥＥＰ）よりも静止持続時間が短く、かつ、体動持続時間が浅睡眠（ＬＩＧＨＴ）よりも短いため、静止持続時間及び体動持続時間に着目することで、浅睡眠（ＬＩＧＨＴ）及び徐波睡眠（ＤＥＥＰ）と分類することができる。

図６に、図５の体動データから算出された人の睡眠時の（ａ）体動量（移動平均処理なし）、（ｂ）体動持続時間（移動平均処理なし）、（ｃ）静止持続時間（移動平均処理なし）、（ｄ）体動量（移動平均処理あり）、（ｅ）体動持続時間（移動平均処理あり）及び（ｆ）静止持続時間（移動平均処理あり）の各パラメータが、覚醒状態（ＷＡＫＥ）、レム睡眠（ＲＥＭ）、浅睡眠（ＬＩＧＨＴ）及び徐波睡眠（ＤＥＥＰ）においてそれぞれどのように分布しているかを表すグラフである。

図６において、体動量（移動平均処理あり）は、覚醒状態（ＷＡＫＥ）が他より大きく分布しており、覚醒状態（ＷＡＫＥ）と他との分類に寄与していることが読み取れる。体動量（移動平均処理なし）は、浅睡眠（ＬＩＧＨＴ）がレム睡眠（ＲＥＭ）及び徐波睡眠（ＤＥＥＰ）より大きく分布しており、浅睡眠（ＬＩＧＨＴ）とレム睡眠（ＲＥＭ）及び徐波睡眠（ＤＥＥＰ）との分類に寄与していることが読み取れる。体動持続時間（移動平均処理なし）及び体動持続時間（移動平均処理あり）は、徐波睡眠（ＤＥＥＰ）がレム睡眠（ＲＥＭ）及び浅睡眠（ＬＩＧＨＴ）より小さく分布しており、徐波睡眠（ＤＥＥＰ）とレム睡眠（ＲＥＭ）及び浅睡眠（ＬＩＧＨＴ）との分類に寄与していることが読み取れる。静止持続時間（移動平均処理なし）及び静止持続時間（移動平均処理あり）は、ＲＥＭ睡眠（ＲＥＭ）が徐波睡眠（ＤＥＥＰ）及び浅睡眠（ＬＩＧＨＴ）より小さく分布しており、ＲＥＭ睡眠（ＲＥＭ）と徐波睡眠（ＤＥＥＰ）及び浅睡眠（ＬＩＧＨＴ）との分類に寄与していることが読み取れる。また、静止持続時間（移動平均処理なし）及び静止持続時間（移動平均処理あり）については、覚醒状態（ＷＡＫＥ）が他より小さく分布しており、覚醒状態（ＷＡＫＥ）と他との分類に寄与していることも読み取れる。

このように、本実施形態では、体動量（移動平均処理なし）、体動持続時間（移動平均処理なし）、静止持続時間（移動平均処理なし）、体動量（移動平均処理あり）、体動持続時間（移動平均処理あり）及び静止持続時間（移動平均処理あり）が睡眠深度に大きく関係があることに鑑みて、人の睡眠時の体動データから、各エポックそれぞれについて、睡眠深度と関係性の強い体動に関する上記パラメータを抽出することで、エポック毎に、覚醒状態（ＷＡＫＥ）、レム睡眠（ＲＥＭ）、浅睡眠（ＬＩＧＨＴ）及び徐波睡眠（ＤＥＥＰ）の４段階の判別が可能となっている。以下、睡眠深度を判定する方法について具体的に説明する。

本実施形態では、判定部３７は、人の睡眠時の睡眠深度が、まず、覚醒状態（ＷＡＫＥ）及び睡眠状態（ＳＬＥＥＰ）のいずれに分類されるかを判定し、睡眠状態（ＳＬＥＥＰ）であればレム睡眠（ＲＥＭ）、浅睡眠（ＬＩＧＨＴ）及び徐波睡眠（ＤＥＥＰ）のいずれかに分類されるのかを判定する。

覚醒状態（ＷＡＫＥ）と睡眠状態（ＳＬＥＥＰ）との判定には、体動量（移動平均処理あり）をパラメータとし用い、例えば体動量（移動平均処理あり）が所定の閾値を超えているかどうかで、各エポックを覚醒状態（ＷＡＫＥ）及び睡眠状態（ＳＬＥＥＰ）のいずれかに分類する（ＳＴ８０）。この閾値は、図６（ｄ）に示すように、事前に確認された体動量（移動平均処理あり）のパラメータが、覚醒状態（ＷＡＫＥ）、レム睡眠（ＲＥＭ）、浅睡眠（ＬＩＧＨＴ）及び徐波睡眠（ＤＥＥＰ）においてどのように分布しているかを表す教師データから設定することができる。体動量（移動平均処理あり）が閾値を超えていれば覚醒状態（ＷＡＫＥ）と判定し（ＳＴ８１）、閾値以下であれば睡眠状態（ＳＬＥＥＰ）と判定する（ＳＴ８２）。本実施形態では、機械学習の一つである線形判別を用い、体動量（移動平均処理あり）をパラメータとして各エポックを覚醒状態（ＷＡＫＥ）及び睡眠状態（ＳＬＥＥＰ）の２つの判別群に分類する閾値を算出して分類している。なお、覚醒状態（ＷＡＫＥ）及び睡眠状態（ＳＬＥＥＰ）の分類については、体動量（移動平均処理あり）の他、静止持続時間（移動平均処理なし）又は静止持続時間（移動平均処理あり）をパラメータとしても所定の閾値を超えているかどうかで各エポックを分類することもできる。さらに、体動量（移動平均処理あり）、静止持続時間（移動平均処理なし）及び静止持続時間（移動平均処理あり）の少なくとも２つのパラメータを用いた機械学習（線形判別など）によっても各エポックを覚醒状態（ＷＡＫＥ）及び睡眠状態（ＳＬＥＥＰ）の２つの判別群に分類することができる。

次に、判定部３７は、睡眠状態（ＳＬＥＥＰ）に分類された各エポックを、体動量、体動持続時間及び静止持続時間をパラメータとして用いて、レム睡眠（ＲＥＭ）、浅睡眠（ＬＩＧＨＴ）及び徐波睡眠（ＤＥＥＰ）のいずれかに分類する（ＳＴ８３）。なお、パラメータとしては、体動量（移動平均処理なし）、体動持続時間（移動平均処理なし）、静止持続時間（移動平均処理なし）、体動量（移動平均処理あり）、体動持続時間（移動平均処理あり）及び静止持続時間（移動平均処理あり）の６つ全てを用いることが精度良く分類することができるので好ましいが、体動量（移動平均処理なし）、体動持続時間（移動平均処理なし）及び静止持続時間（移動平均処理なし）の３つだけを用いてもよいし、体動量（移動平均処理あり）、体動持続時間（移動平均処理あり）及び静止持続時間（移動平均処理あり）の３つだけを用いてもよい。

本実施形態では、体動量（移動平均処理なし）、体動持続時間（移動平均処理なし）、静止持続時間（移動平均処理なし）、体動量（移動平均処理あり）、体動持続時間（移動平均処理あり）及び静止持続時間（移動平均処理あり）の６つのパラメータを用いた機械学習によって各エポックを徐波睡眠（ＤＥＥＰ）、浅睡眠（ＬＩＧＨＴ）及びレム睡眠（ＲＥＭ）の３つの判別群に分類している（ＳＴ８４〜ＳＴ８６）。機械学習には、ＳＶＭ（サポートベクターマシン）を好適に用いることができるが、線形判別、マハラノビス距離、二次式判別など既存の分類手法を用いることもできる。

なお、睡眠状態（ＳＬＥＥＰ）に分類された各エポックを、体動量（移動平均処理なし）、体動持続時間（移動平均処理なし）、静止持続時間（移動平均処理なし）、体動量（移動平均処理あり）、体動持続時間（移動平均処理あり）及び静止持続時間（移動平均処理あり）の６つのパラメータの全部または一部を用いて、まず、レム睡眠（ＲＥＭ）及び浅睡眠（ＬＩＧＨＴ）と、徐波睡眠（ＤＥＥＰ）との２つの判別群に機械学習などで分類した後、レム睡眠（ＲＥＭ）及び浅睡眠（ＬＩＧＨＴ）に分類された各エポックを、レム睡眠（ＲＥＭ）と浅睡眠（ＬＩＧＨＴ）との２つの判別群に機械学習などで分類してもよい。

こうして得られた睡眠深度の判定データは、例えば、睡眠深度の時間遷移の軌跡が生成されて、表示手段５に表示される。

図７（ａ）（ｂ）は、図５の体動データから判定された人の睡眠深度の判定結果と、睡眠ポリグラフ法により測定した睡眠深度の実測データとの一致表を表している。図７（ａ）を参照すると、睡眠ポリグラフ法により睡眠状態（ＳＬＥＥＰ）と判定された８７７個のエポックのうち８７５個（９９．８％）が本発明の睡眠深度判定装置２によって睡眠状態（ＳＬＥＥＰ）と判定されており、また、睡眠ポリグラフ法により覚醒状態（ＷＡＫＥ）と判定された４４個のエポックのうち２９個（６５．９％）が本発明の睡眠深度判定装置２によっても覚醒状態（ＷＡＫＥ）と判定されている。本実施形態では、本発明の睡眠深度判定装置２で睡眠状態（ＳＬＥＥＰ）と判定された８７５個のエポックの半分である４３８個のエポックを機械学習の教師データとし、もう半分の４３７個のエポックを引判定データとした。図７（ｂ）を参照すると、本発明の睡眠深度判定装置２により睡眠状態（ＳＬＥＥＰ）と判定された４３７個のエポックについて、さらに、睡眠ポリグラフ法により徐波睡眠（ＤＥＥＰ）と判定された１１０個のエポックのうち７３個（６６．４％）が本発明の睡眠深度判定装置２によっても徐波睡眠（ＤＥＥＰ）と判定されており、また、睡眠ポリグラフ法により浅睡眠（ＬＩＧＨＴ）と判定された２６２個のエポックのうち２２６個（８６．３％）が本発明の睡眠深度判定装置２によっても浅睡眠（ＬＩＧＨＴ）と判定されており、また、睡眠ポリグラフ法によりレム睡眠（ＲＥＭ）と判定された６７個のエポックのうち５３個（７９．１％）が本発明の睡眠深度判定装置２によってもレム睡眠（ＲＥＭ）と判定されている。このように、本発明の睡眠深度判定装置２によると、概ね良好な精度で睡眠深度を覚醒状態（ＷＡＫＥ）、レム睡眠（ＲＥＭ）、浅睡眠（ＬＩＧＨＴ）及び徐波睡眠（ＤＥＥＰ）の４段階に分類することができているといえる。

このように、本発明の睡眠深度判定システム１０、睡眠深度判定装置２及び睡眠深度判定方法によれば、撮影手段１により撮影した人の睡眠時の動画像から体動データを計測して、その睡眠深度を判定しているので、装置が大がかりとなることがなく、一般の家庭における睡眠深度判定装置として好適である。また、人をセンサ類で拘束することも接触させることもない完全な無拘束かつ非接触状態で睡眠深度の判定ができるので、人にとって何ら負担がなく睡眠深度を判定することができる。さらに、レム睡眠と浅睡眠とを分類して４段階の判定ができるので、精度よく睡眠深度を判定し、睡眠サイクルを導出することができる。これにより、睡眠サイクルに基づいた快眠のための環境制御（空調制御や照明制御、音響制御、温度制御など）が可能にできる。

また、人の睡眠深度を覚醒状態、レム睡眠、浅睡眠及び徐波睡眠の４段階に分類することが可能であることから、睡眠に関する各種情報、例えば、寝つきまでの時間、睡眠効率、レム睡眠の占有率、徐波睡眠の占有率などを表示手段５に表示したり、レポートをプリンタ（図示せず）などから出力することができる。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。

例えば、本実施形態では、差分処理部３４が全てのフレーム画像を差分処理する際に、時間間隔の長いフレーム間隔ｔ２（２．０秒以上４．０秒以下）で差分処理を行い、そして、フレーム間隔ｔ２での差分処理結果に基づき、体動データ算出部３６が体動（濃度値が変化したピクセルの数）を検出しているが、差分処理部３４がフレーム間隔ｔ２よりも短いフレーム間隔ｔ３で全てのフレーム画像の差分処理を行い、ノイズ処理部３４によるノイズ処理の後、体動データ算出部３６がフレーム間隔ｔ２での差分処理結果に基づいて体動（濃度値が変化したピクセルの数）を検出してもよい。フレーム間隔ｔ３としては、撮影手段１によって得られる動画像のｆｐｓにも依存するが、例えば０．２秒以上１．０秒以下の範囲から設定することができ、好ましくは０．５秒である。

フレーム間隔ｔ３を０．５秒とすると、差分処理部３４による全てのフレーム画像の差分処理は、撮影手段１によって得られる動画像が２ｆｐｓの場合、図４に示すように、隣り合う２枚のフレーム画像間で行われる。つまり、例えば、Ｎ枚目のフレーム画像と差分を取るフレーム画像は、１枚前のＮ−１枚目のフレーム画像となり、Ｎ＋１枚目のフレーム画像は、Ｎ枚目のフレーム画像との間で差分を取り、Ｎ＋２枚目のフレーム画像は、Ｎ＋１枚目のフレーム画像との間で差分を取る。

このように、フレーム間隔ｔ２よりも短いフレーム間隔ｔ３でフレーム画像の差分処理を行う場合には、フレーム間隔ｔ２の際に検出できなかった動きの速い細体動を検出することができる。フレーム間隔が短いことで、差分処理する２枚（Ｎ枚目及びＮ−１枚目）のフレーム画像の比較で細体動に伴う差が大きく表れ、フレーム画像間で濃度値が変化するピクセルが多数となるため、これを精度よく検出することが可能となる。

図８は、同様の方法で、人の睡眠時のフレーム間隔ｔ３における体動の時系列データを計測した結果（下段）を示す。図８において、横軸が時間［sec］、縦軸が体動として検出されたピクセル数［pixel］であり、ピクセル数が大きいほど、大きな体動があることを意味する。なお、図８には、睡眠深度との比較のために、睡眠ポリグラフ法により判定した睡眠深度の実測データ（上段）も示している。

この実施形態では、睡眠時に現れる粗体動に加え、細体動を精度よく計測することにより、睡眠時の睡眠深度を、覚醒状態、レム睡眠、浅睡眠及び徐波睡眠の４段階に判別することを可能としている。

図９は、同様の方法で、図８の体動データから算出された人の睡眠時の（ａ）体動量（移動平均処理なし）、（ｂ）体動持続時間（移動平均処理なし）、（ｃ）静止持続時間（移動平均処理なし）、（ｄ）体動量（移動平均処理あり）、（ｅ）体動持続時間（移動平均処理あり）及び（ｆ）静止持続時間（移動平均処理あり）の各パラメータが、覚醒状態（ＷＡＫＥ）、レム睡眠（ＲＥＭ）、浅睡眠（ＬＩＧＨＴ）及び徐波睡眠（ＤＥＥＰ）においてそれぞれどのように分布しているかを表すグラフである。

図９においても、体動量（移動平均処理あり）は、覚醒状態（ＷＡＫＥ）が他より大きく分布しており、覚醒状態（ＷＡＫＥ）と他との分類に寄与していることが読み取れる。体動量（移動平均処理なし）は、浅睡眠（ＬＩＧＨＴ）がレム睡眠（ＲＥＭ）及び徐波睡眠（ＤＥＥＰ）より大きく分布しており、浅睡眠（ＬＩＧＨＴ）とレム睡眠（ＲＥＭ）及び徐波睡眠（ＤＥＥＰ）との分類に寄与していることが読み取れる。体動持続時間（移動平均処理なし）及び体動持続時間（移動平均処理あり）は、徐波睡眠（ＤＥＥＰ）がレム睡眠（ＲＥＭ）及び浅睡眠（ＬＩＧＨＴ）より小さく分布しており、徐波睡眠（ＤＥＥＰ）とレム睡眠（ＲＥＭ）及び浅睡眠（ＬＩＧＨＴ）との分類に寄与していることが読み取れる。静止持続時間（移動平均処理なし）及び静止持続時間（移動平均処理あり）は、ＲＥＭ睡眠（ＲＥＭ）が徐波睡眠（ＤＥＥＰ）及び浅睡眠（ＬＩＧＨＴ）より小さく分布しており、ＲＥＭ睡眠（ＲＥＭ）と徐波睡眠（ＤＥＥＰ）及び浅睡眠（ＬＩＧＨＴ）との分類に寄与していることが読み取れる。また、静止持続時間（移動平均処理なし）及び静止持続時間（移動平均処理あり）については、覚醒状態（ＷＡＫＥ）が他より小さく分布しており、覚醒状態（ＷＡＫＥ）と他との分類に寄与していることも読み取れる。

図１０（ａ）（ｂ）は、同様の方法で、図８の体動データから判定された人の睡眠深度の判定結果を、睡眠ポリグラフ法により測定した睡眠深度の実測データとの比較を表している。図１０（ａ）を参照すると、睡眠ポリグラフ法により睡眠状態（ＳＬＥＥＰ）と判定された８７７個のエポックのうち８７５個（９９．８％）が本発明の睡眠深度判定装置２によって睡眠状態（ＳＬＥＥＰ）と判定されており、また、睡眠ポリグラフ法により覚醒状態（ＷＡＫＥ）と判定された４４個のエポックのうち２９個（６５．９％）が本発明の睡眠深度判定装置２によっても覚醒状態（ＷＡＫＥ）と判定されている。本実施形態では、本発明の睡眠深度判定装置２で睡眠状態（ＳＬＥＥＰ）と判定された８７５個のエポックの半分である４３８個のエポックを機械学習の教師データとし、もう半分の４３７個のエポックを引判定データとした。図１０（ｂ）を参照すると、本発明の睡眠深度判定装置２により睡眠状態（ＳＬＥＥＰ）と判定された４３７個のエポックについて、さらに、睡眠ポリグラフ法により徐波睡眠（ＤＥＥＰ）と判定された１１０個のエポックのうち６５個（５９．１％）が本発明の睡眠深度判定装置２によっても徐波睡眠（ＤＥＥＰ）と判定されており、また、睡眠ポリグラフ法により浅睡眠（ＬＩＧＨＴ）と判定された２６２個のエポックのうち２４３個（８９．３％）が本発明の睡眠深度判定装置２によっても浅睡眠（ＬＩＧＨＴ）と判定されており、また、睡眠ポリグラフ法によりレム睡眠（ＲＥＭ）と判定された６７個のエポックのうち５０個（７４．６％）が本発明の睡眠深度判定装置２によってもレム睡眠（ＲＥＭ）と判定されている。このように、本発明の睡眠深度判定装置２によると、概ね良好な精度で睡眠深度を覚醒状態（ＷＡＫＥ）、レム睡眠（ＲＥＭ）、浅睡眠（ＬＩＧＨＴ）及び徐波睡眠（ＤＥＥＰ）の４段階に分類することができているといえる。

また、上記実施形態では、差分処理部３４が全てのフレーム画像を差分処理する際に、フレーム間隔ｔ２あるいはフレーム間隔ｔ３で差分処理を行い、そして、フレーム間隔ｔ２あるいはフレーム間隔ｔ３での差分処理結果に基づき、体動データ算出部３６が体動（濃度値が変化したピクセルの数）を検出しているが、差分処理部３４が異なる２種類のフレーム間隔ｔ２（第１フレーム間隔ｔ２）及びフレーム間隔ｔ３（第２フレーム間隔ｔ３）で全てのフレーム画像の差分処理を行い、ノイズ処理部３４によるノイズ処理の後、体動データ算出部３６がそれぞれ第１フレーム間隔ｔ２及び第２フレーム間隔ｔ３での差分処理結果に基づいて、体動（濃度値が変化したピクセルの数）を検出してもよい。

具体的には、図１１において、差分処理部３４は、図３の動画像取得工程ＳＴ１〜グレー変換工程ＳＴ３と同様の方法により取得された全てのフレーム画像に対して、第１フレーム間隔ｔ２で差分処理を行って差分をとったフレーム画像との間で濃度値が変化したピクセルを検出する処理を行うとともに（画像処理工程ＳＴ４−１）、第２フレーム間隔ｔ３で差分処理を行って差分をとったフレーム画像との間で濃度値が変化したピクセルを検出する処理を行う（画像処理工程ＳＴ４−２）。これにより、第１フレーム間隔ｔ２での体動の時系列データと、第２フレーム間隔ｔ３での体動の時系列データとの２種類のデータが計測される。

そして、フレーム間隔ｔ２での差分処理及びフレーム間隔ｔ３での差分処理のそれぞれから検出された濃度値が変化したピクセルについて、ノイズ処理部３５がノイズ処理をそれぞれ行った後（ノイズ処理工程ＳＴ５−１，ＳＴ５−２）、体動データ算出部３６が、該ピクセルの数を計数して、各計数結果から、所定時間Ｔよりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する処理を行う（体動データ算出工程ＳＴ６−１，ＳＴ６−２）。また、体動データ算出部３６は、全てのエポックの体動量、体動持続時間及び静止持続時間について、それぞれ移動平均処理を行う（移動平均処理工程ＳＴ７−１，ＳＴ７−２）。なお、差分処理の方法、ノイズ処理の方法、体動量、体動持続時間及び静止持続時間の算出方法及び移動平均処理の方法は、図３の差分処理工程ＳＴ４〜移動平均処理工程ＳＴ７と同様の方法で行われる。

最後に、判定部３７は、第１フレーム間隔ｔ２での差分処理及び第２フレーム間隔ｔ３での差分処理に基づく体動の時系列データのそれぞれから算出されたエポック毎の体動量（移動平均処理なし）、体動持続時間（移動平均処理なし）及び静止持続時間（移動平均処理なし）、さらには、体動量（移動平均処理あり）、体動持続時間（移動平均処理あり）及び静止持続時間（移動平均処理あり）の１２つのパラメータに基づいて、人の睡眠時の睡眠深度が、覚醒状態（ＷＡＫＥ）、レム睡眠（ＲＥＭ）、浅睡眠（ＬＩＧＨＴ）及び徐波睡眠（ＤＥＥＰ）のいずれかに分類されるのかを判定する（ＳＴ８）。なお、判定は、図３のＳＴ８と同様に、機械学習などを用いて行われる。

この実施形態では、睡眠時に現れる粗体動及び細体動を精度よく計測することにより、睡眠時の睡眠深度を、覚醒状態、レム睡眠、浅睡眠及び徐波睡眠の４段階に判別することを可能としている。

また、睡眠深度判定装置２のコンピュータ３に内蔵されるＣＰＵ、ＲＯＭ及びＲＡＭなどのハードウェアを、上記の睡眠深度判定装置２の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

１ 撮影手段
２ 睡眠深度判定装置
３ コンピュータ
３２ 画像変換部
３３ グレー変換部
３４ 差分処理部
３５ ノイズ処理部
３６ 体動データ算出部
３７ 判定部

Claims (8)

1. 睡眠時の人の動画像を撮影可能な撮影手段と、
   人の睡眠時の動画像に基づいてその睡眠深度を判定する睡眠深度判定装置と、を備え、
   睡眠深度判定装置は、プロセッサ及び前記プロセッサの制御下にあるメモリを含むコンピュータを備え、
   前記コンピュータが、
   前記動画像を、前記動画像を構成する複数のフレーム画像に変換する画像変換部と、
   前記複数のフレーム画像がグレースケール画像でない場合にグレースケール画像に変換するグレー変換部と、
   グレースケールの前記複数のフレーム画像を所定のフレーム間隔で差分処理することにより、差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出する差分処理部と、
   差分処理により検出された濃度値が変化したピクセルの数を計数し、計数結果から所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する体動データ算出部と、
   算出した前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を機械学習によって判定する判定部と、して機能し、
   前記判定部は、前記エポック毎の人の睡眠深度について、覚醒状態及び睡眠状態のいずれかに分類し、その後、睡眠状態に分類された状態について、レム睡眠、浅睡眠及び徐波睡眠のいずれかに分類する、睡眠深度判定システム。
2. 前記体動データ算出部は、前記エポック毎に前記体動量、前記体動持続時間及び前記静止持続時間について移動平均処理を行い、
   前記判定部は、移動平均処理された前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定する、請求項１に記載の睡眠深度判定システム。
3. 差分処理の前記フレーム間隔は、２．０秒以上４．０秒以下の範囲から設定される、請求項１又は２に記載の睡眠深度判定システム。
4. 前記判定部は、覚醒状態及び睡眠状態のいずれかの分類に線形判別を用い、レム睡眠、浅睡眠及び徐波睡眠のいずれかの分類にサポートベクターマシンを用いる、請求項１〜３のいずれかに記載の睡眠深度判定システム。
5. 前記コンピュータが、差分処理により検出された濃度値が変化したピクセルに対して少なくとも１回の膨張処理及び膨張処理回数より多い回数の収縮処理を行うノイズ処理部としてさらに機能する、請求項１〜４のいずれかに記載の睡眠深度判定システム。
6. 前記差分処理部は、前記複数のフレーム画像を、所定の第１フレーム間隔で差分処理することにより、前記第１フレーム間隔で差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出するとともに、前記第１フレーム間隔よりも長い所定の第２フレーム間隔で差分処理することにより、前記第２フレーム間隔で差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出し、
   前記体動データ算出部は、前記第１フレーム間隔での差分処理及び前記第２フレーム間隔での差分処理により検出された濃度値が変化したピクセルの数をそれぞれ計数し、各計数結果から所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間をそれぞれ算出し、
   前記判定部は、前記第１フレーム間隔での差分処理によるピクセルの計数結果及び前記第２フレーム間隔での差分処理によるピクセルの計数結果からそれぞれ算出された前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定する、請求項１に記載の睡眠深度判定システム。
7. 人の睡眠時の動画像に基づいてその睡眠深度を判定する睡眠深度判定装置であって、
   プロセッサ及び前記プロセッサの制御下にあるメモリを含むコンピュータを備え、
   前記コンピュータが、
   前記動画像を、前記動画像を構成する複数のフレーム画像に変換する画像変換部と、
   前記複数のフレーム画像がグレースケール画像でない場合にグレースケール画像に変換するグレー変換部と、
   グレースケールの前記複数のフレーム画像を所定のフレーム間隔で差分処理することにより、差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出する差分処理部と、
   差分処理により検出された濃度値が変化したピクセルの数を計数し、計数結果から所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する体動データ算出部と、
   算出した前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を機械学習によって判定する判定部と、して機能し、
   前記判定部は、前記エポック毎の人の睡眠深度について、覚醒状態及び睡眠状態のいずれかに分類し、その後、睡眠状態に分類された状態について、レム睡眠、浅睡眠及び徐波睡眠のいずれかに分類する、睡眠深度判定装置。
8. 人の睡眠時の動画像に基づいてその睡眠深度を判定する睡眠深度判定方法であって、
   前記動画像を、前記動画像を構成する複数のフレーム画像に変換する画像変換工程と、
   前記複数のフレーム画像がグレースケール画像でない場合にグレースケール画像に変換するグレー変換工程と、
   グレースケール化された前記複数のフレーム画像を所定のフレーム間隔で差分処理することにより、差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出する差分処理工程と、
   差分処理により検出された濃度値が変化したピクセルの数を計数し、計数結果から所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する体動データ算出工程と、
   算出した前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を機械学習によって判定する判定工程と、を実行し、
   前記判定工程は、前記エポック毎の人の睡眠深度について、覚醒状態及び睡眠状態のいずれかに分類し、その後、睡眠状態に分類された状態について、レム睡眠、浅睡眠及び徐波睡眠のいずれかに分類する、睡眠深度判定方法。

Images