Nothing Special   »   [go: up one dir, main page]

JP2018164615A - 睡眠深度判定システム、睡眠深度判定装置及び睡眠深度判定方法 - Google Patents

睡眠深度判定システム、睡眠深度判定装置及び睡眠深度判定方法 Download PDF

Info

Publication number
JP2018164615A
JP2018164615A JP2017063257A JP2017063257A JP2018164615A JP 2018164615 A JP2018164615 A JP 2018164615A JP 2017063257 A JP2017063257 A JP 2017063257A JP 2017063257 A JP2017063257 A JP 2017063257A JP 2018164615 A JP2018164615 A JP 2018164615A
Authority
JP
Japan
Prior art keywords
sleep
duration
body motion
sleep depth
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017063257A
Other languages
English (en)
Other versions
JP6952299B2 (ja
Inventor
雅子 谷池
Masako Taniike
雅子 谷池
光覚 後野
Teruaki Nochino
光覚 後野
隆史 加藤
Takashi Kato
隆史 加藤
優子 大野
Yuko Ono
優子 大野
志麻 岡田
Shima Okada
志麻 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Osaka University NUC
Original Assignee
Osaka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osaka University NUC filed Critical Osaka University NUC
Priority to JP2017063257A priority Critical patent/JP6952299B2/ja
Publication of JP2018164615A publication Critical patent/JP2018164615A/ja
Application granted granted Critical
Publication of JP6952299B2 publication Critical patent/JP6952299B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】人の睡眠深度を無拘束、非接触で、かつ、覚醒状態、レム睡眠、浅睡眠及び徐波睡眠の4段階に判別する。【解決手段】睡眠深度判定システムは撮影手段1及び睡眠深度判定装置2を備え、睡眠深度判定装置2はコンピュータ3を備え、コンピュータ3が、動画像を複数のフレーム間隔に変換する画像変換部32と、各フレーム画像をグレースケール画像に変換するグレー変換部33と、グレースケール化された各フレーム画像を所定のフレーム間隔で差分処理し、フレーム画像間で濃度値が変化したピクセルを検出する差分処理部34と、濃度値が変化したピクセルの数を計数し、計数結果からエポック毎に、体動量、体動持続時間及び静止持続時間を算出する体動データ算出部36と、前記体動量、前記体動持続時間及び前記静止持続時間に基づき前記エポック毎の睡眠深度を判定する判定部37と、して機能する。【選択図】図2

Description

本発明は、人の睡眠時の動画像に基づいて睡眠深度を判定する睡眠深度判定システム、睡眠深度判定装置及び睡眠深度判定方法に関する。
睡眠は人間にとって必要不可欠なものであり、脳と身体機能を維持するために重要である。近年、健康意識が高まる中、一般の家庭において自己の日常的な睡眠の状態を把握し、日々の睡眠を管理することにより、睡眠を改善して健康管理に努めたいというニーズがある。
人の睡眠の状態は、一晩を通じて一様ではなく、大きくは、レム睡眠とノンレム睡眠とに大別される。ノンレム睡眠は、ステージ1〜4の4つの段階があり、ノンレム睡眠の中でも、ステージ1〜2の眠りが浅い状態の浅睡眠(Shallow sleep)と、ステージ3〜4の眠りが深い状態の徐波睡眠(Slow wave sleep)とに分けられる。
人は、覚醒状態から眠りにつくと、一般的に、レム睡眠、浅睡眠、徐波睡眠と睡眠が深くなるように移行し、その後、浅睡眠、レム睡眠と睡眠が浅くなるように移行するというサイクルを通常約90分で繰り返す。ただし、覚醒状態から眠りについた入眠直後は、一般的にはレム睡眠の段階をスキップして浅睡眠へ移行し、徐波睡眠へと移行する。また、徐波睡眠は眠りはじめに多い一方、レム睡眠は朝の覚醒に近づくに連れて多くなる。この睡眠時の睡眠深度の変化を調べることにより、人の睡眠の状態を把握することが可能である。
従来、睡眠深度を推定する方法として、睡眠ポリグラフ(PSG)法が知られている。睡眠ポリグラフ法は、例えば脳波、眼球運動、顎筋電、心電などを同時に測定し、これらの測定データを分析して睡眠深度を判定することで、睡眠の状態を評価する方法であり、測定データの種類が多く測定精度も高いので、評価の信頼性は高い。しかしながら、睡眠ポリグラフ法は、装置が大がかりであるうえ、病院などの計測設備を備えた場所でしか利用できないため、健康機器のように家庭で日常的に使用するには不向きである。また、睡眠ポリグラフ法では、複数の電極を人に装着しなければならないため、人にとっての負担やストレスが大きく、その拘束感や接触感から睡眠を妨げることが多いので、正確な睡眠深度を測定することは難しいという問題もある。さらに、睡眠ポリグラフ法は、医師などの専門家によらなければ、睡眠深度を正確に評価することができないため、装置さえあればよいと言う訳にもいかない。
そこで、睡眠深度を無拘束、非接触ながらも精度よく判定することができる技術が提案されている(例えば特許文献1を参照)。特許文献1には、ビデオカメラにより睡眠時の人の動画像を撮影し、撮影した動画像に基づき、人の睡眠時の体の動き(体動)に関するデータを解析して、睡眠深度を判定することが開示されている。特許文献1に記載の技術では、人をセンサ類で拘束せず、かつセンサ類が接触しないので、負担やストレスのない状態で睡眠深度を判定することができる。また、装置も大がかりでないため、一般の家庭においても使用することができる。
一方で、特許文献2には、ドップラレーダセンサーやカメラなどにより就寝者の体動を検知し、体動回数が規定の期間、所定値以下だった場合に入眠したと判断する、 あるいは体動回数が所定値以下のときを規定の回数カウントした場合に入眠したと判断することが開示されている。
また、特許文献3では、赤外線カメラにより利用者(就寝者)に対する赤外線の投射位置の深度情報を検知し、深度情報に基づいて利用者の睡眠中の寝相や位置などの体勢の情報(静的情報)、及び頭の動きや寝返りなどの活動量の情報(動的情報)を算出・判定する。活動量の情報(動的情報)を算出する場合は、過去の画像フレームにおいて算出した体勢の情報(静的情報)との比較により判定することが開示されている。
さらに、特許文献4では、被験者の脈拍間隔を検出する脈拍間隔検出手段と、被験者の画像を撮像する撮像手段を備え前記撮像手段による撮像画像の時間変化に基づいて、前記脈波間隔を検出する。撮像手段としてはカメラが使用され、布団上の画像を撮影し、画像差分演算部は該画像の時間差分画像を得る。布団は、被験者の呼吸や心拍に同期して微妙に変位するので、時間方向でフレームごとの差分をとり、画素ごとの合計を計算すると、変位量に応じた値を得ることができる。また、同様に体動が起きればそれに対応した変化が得られる。なお、差分画像は、これら呼吸や体動などが重畳したものである。そこで、体動計測部により、体動計測に適した帯域のフィルタにより体動データを分離抽出することが開示されている。
特開2012−375号公報 特開2012−159250号公報 特開2014−151120号公報 特開2008−6005号公報
しかしながら、特許文献1に記載の技術は、睡眠深度を、覚醒状態、浅睡眠(レム睡眠を含む)及び徐波睡眠の3段階で判定可能であるが、レム睡眠を判別することができないという課題がある。
また、特許文献2に記載の技術では、睡眠状態を体動が多いときには覚醒に近く、体動が少ないときは深い睡眠である、と推定しているに過ぎず、レム睡眠やノンレム睡眠(浅睡眠及び徐波睡眠に分かれる)といった詳細に判定可能なものではない。
また、特許文献3に記載の技術では、頭の動きや、寝返りの有無、寝相・体勢や寝ている位置、いびき、寝言の有無などを監視するものであり、睡眠状態をレム睡眠やノンレム睡眠(浅睡眠及び徐波睡眠に分かれる)といった詳細に判定可能なものではない。
さらに、特許文献4に記載の技術では、睡眠状態を検出するのはあくまでも脈拍間隔検出手段によっており、人の睡眠時の動画像は利用していない。
本発明は、上記した問題に着目してなされたもので、無拘束、非接触で睡眠深度を判定することができ、かつ、睡眠深度を、覚醒状態、レム睡眠、浅睡眠及び徐波睡眠の4段階に判定することができる睡眠深度判定システム、睡眠深度判定装置及び睡眠深度判定方法を提供することを目的とする。
本発明の前記目的は、睡眠時の人の動画像を撮影可能な撮影手段と、人の睡眠時の動画像に基づいてその睡眠深度を判定する睡眠深度判定装置と、を備え、睡眠深度判定装置は、プロセッサ及び前記プロセッサの制御下にあるメモリを含むコンピュータを備え、前記コンピュータが、前記動画像を、前記動画像を構成する複数のフレーム間隔に変換する画像変換部と、前記複数のフレーム画像がグレースケール画像でない場合にグレースケール画像に変換するグレー変換部と、グレースケールの前記複数のフレーム画像を所定のフレーム間隔で差分処理することにより、差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出する差分処理部と、差分処理により検出された濃度値が変化したピクセルの数を計数し、計数結果から所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する体動データ算出部と、算出した前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定する判定部と、して機能する、睡眠深度判定システムにより達成される。
本発明の睡眠深度判定システムにおいては、前記体動データ算出部は、前記エポック毎に前記体動量、前記体動持続時間及び前記静止持続時間について移動平均処理を行い、前記判定部は、移動平均処理された前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定することが好ましい。
また、本発明の睡眠深度判定システムにおいては、差分処理の前記フレーム間隔は、特に限定されるものではなく、動きの速い細体動を精度よく検出可能なフレーム間隔及び動きの遅い粗体動を精度よく検出可能なフレーム間隔のいずれかを任意に設定することができる。例えば、差分処理の前記フレーム間隔は、0.2秒以上4.0秒以下の範囲から設定され、動きの速い細体動を精度よく検出するにはフレーム間隔を0.2秒以上1.0秒以下の範囲から設定することが好ましく、動きの遅い粗体動を精度よく検出するには2.0秒以上4.0秒以下の範囲から設定されることが好ましい。
また、本発明の睡眠深度判定システムにおいては、前記判定部は、機械学習によって前記エポック毎の人の睡眠深度を判定することが好ましい。
また、本発明の睡眠深度判定システムにおいては、前記判定部は、前記エポック毎の人の睡眠深度について、覚醒状態及び睡眠状態のいずれかに分類し、その後、睡眠状態に分類された状態について、レム睡眠、浅睡眠及び徐波睡眠のいずれかに分類することが好ましい。
また、本発明の睡眠深度判定システムにおいては、前記判定部は、覚醒状態及び睡眠状態のいずれかの分類に線形判別分析を用いることが好ましい。また、前記判定部は、レム睡眠、浅睡眠及び徐波睡眠のいずれかの分類にサポートベクターマシンのような非線形の判別分析を用いることが好ましい。ただし、前記判定部は、レム睡眠、浅睡眠及び徐波睡眠のいずれかの分類に線形判別分析を用いることもできる。
また、本発明の睡眠深度判定システムにおいては、前記コンピュータが、差分処理により検出された濃度値が変化したピクセルに対して少なくとも1回の膨張処理及び膨張処理回数より多い回数の収縮処理を行うノイズ処理部としてさらに機能することが好ましい。
また、本発明の睡眠深度判定システムにおいては、前記差分処理部は、前記複数のフレーム画像を、所定の第1フレーム間隔で差分処理することにより、前記第1フレーム間隔で差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出するとともに、前記第1フレーム間隔よりも長い所定の第2フレーム間隔で差分処理することにより、前記第2フレーム間隔で差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出し、前記体動データ算出部は、前記第1フレーム間隔での差分処理及び前記第2フレーム間隔での差分処理により検出された濃度値が変化したピクセルの数をそれぞれ計数し、各計数結果から所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間をそれぞれ算出し、前記判定部は、前記第1フレーム間隔での差分処理によるピクセルの計数結果及び前記第2フレーム間隔での差分処理によるピクセルの計数結果からそれぞれ算出された前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定することが好ましい。
本発明の前記目的は、人の睡眠時の動画像に基づいてその睡眠深度を判定する睡眠深度判定装置であって、プロセッサ及び前記プロセッサの制御下にあるメモリを含むコンピュータを備え、前記コンピュータが、前記動画像を、前記動画像を構成する複数のフレーム間隔に変換する画像変換部と、前記複数のフレーム画像がグレースケール画像でない場合にグレースケール画像に変換するグレー変換部と、グレースケールの前記複数のフレーム画像を所定のフレーム間隔で差分処理することにより、差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出する差分処理部と、差分処理により検出された濃度値が変化したピクセルの数を計数し、計数結果から所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する体動データ算出部と、算出した前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定する判定部と、して機能する、睡眠深度判定装置によっても達成される。
本発明の前記目的は、人の睡眠時の動画像に基づいてその睡眠深度を判定する睡眠深度判定方法であって、前記動画像を、前記動画像を構成する複数のフレーム間隔に変換する画像変換工程と、前記複数のフレーム画像がグレースケール画像でない場合にグレースケール画像に変換するグレー変換工程と、グレースケール化された前記複数のフレーム画像を所定のフレーム間隔で差分処理することにより、差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出する差分処理工程と、差分処理により検出された濃度値が変化したピクセルの数を計数し、計数結果から所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する体動データ算出工程と、算出した前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定する判定工程と、を実行する睡眠深度判定方法によっても達成される。
本発明の前記目的は、プロセッサ及び前記プロセッサの制御下にあるメモリを含むコンピュータに、前記動画像を、前記動画像を構成する複数のフレーム間隔に変換する画像変換処理と、前記複数のフレーム画像がグレースケール画像でない場合にグレースケール画像に変換するグレー変換処理と、グレースケール化された前記複数のフレーム画像を所定のフレーム間隔で差分処理することにより、差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出する差分処理と、差分処理により検出された濃度値が変化したピクセルの数を計数し、計数結果からから所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する体動データ算出処理と、算出した前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定する判定処理と、を実行させるコンピュータプログラムによっても達成される。
本発明によれば、人の睡眠深度を、無拘束、非接触で判定することができ、かつ、覚醒状態、レム睡眠、浅睡眠及び徐波睡眠の4段階に判定することができる。
本発明の一実施形態の睡眠深度判定システムの概略構成を示す説明図である。 本発明の一実施形態の睡眠深度判定システムの概略構成を示すブロック図である。 本発明の一実施形態の睡眠深度判定方法の流れを示すフロー図である。 フレーム画像の差分処理に関する説明図である。 人の睡眠時のフレーム間隔t2での体動データと睡眠ポリグラフ法による睡眠深度の実測データを比較したグラフである。 図5の体動の時系列データから算出される人の睡眠時の各エポックの体動量、体動持続時間、静止持続時間が、覚醒状態(WAKE)、レム睡眠(REM)、浅睡眠(LIGHT)及び徐波睡眠(DEEP)においてどのように分布しているかを表すグラフである。 図5の体動の時系列データを用いて本発明の一実施形態に係る睡眠深度判定装置により判定される睡眠深度の判定結果と、睡眠ポリグラフ法による睡眠深度の実測データとの一致率を示した表である。 人の睡眠時のフレーム間隔t3での体動データと睡眠ポリグラフ法による睡眠深度の実測データを比較したグラフである。 図8の体動の時系列データから算出される人の睡眠時の各エポックの体動量、体動持続時間、静止持続時間が、覚醒状態(WAKE)、レム睡眠(REM)、浅睡眠(LIGHT)及び徐波睡眠(DEEP)においてどのように分布しているかを表すグラフである。 図8の体動の時系列データを用いて本発明の一実施形態に係る睡眠深度判定装置により判定される睡眠深度の判定結果と、睡眠ポリグラフ法による睡眠深度の実測データとの一致率を示した表である。 本発明の他の実施形態の睡眠深度判定方法の流れを示すフロー図である。
以下、本発明の実施の形態について添付図面を参照して説明する。本発明に係る睡眠深度判定システムは、暗い寝室でも撮影が可能な赤外線カメラなどの撮影手段により人の睡眠時の動画像を撮影し、この動画像を解析して、頭の動き、寝返り、四肢の動きなどの睡眠時の体動の時系列データを取得し、この体動の時系列データに基づき人の睡眠深度を判定するものである。
図1は、本発明の一実施形態に係る睡眠深度判定システム10の概略構成を示す。図1に示すように、睡眠深度判定システム10は、睡眠時の人の動画像を撮影可能な撮影手段1と、人の睡眠時の動画像に基づいてその睡眠深度を判定する睡眠深度判定装置2と、を備える。
撮影手段1は、睡眠深度判定装置2(コンピュータ3)に通信インターフェイス(図示せず)を介して接続され、睡眠時の人の動画像を撮影し、撮影した動画像を睡眠深度判定装置2のコンピュータ3に出力する。出力された動画像は睡眠深度判定装置2のコンピュータ3に格納される。撮影手段1は、例えばビデオカメラ、ウェブカメラ、カメラ機能を有する携帯電話(例えばスマートフォン)など、睡眠時の人の動画像を撮影できるものであれば種々のものを用いることができる。なお、夜間や暗闇においても撮影することが可能な赤外線撮影機能を備えていることが好ましい。動画像のフレームレートは、少なくとも1fps以上、好ましくは2fps以上であることが好ましいが、睡眠時においては、人の体動による動きは少なく、人の体動を検出するためには、1fps以上3fps以下のフレームレートで十分であり、本実施形態では2fps(フレーム間隔で0.5秒)である。
睡眠深度判定装置2は、図2に示すように、各種演算処理を実行するコンピュータ3と、キーボード、マウス、タッチパネル装置などの入力手段4と、液晶ディスプレイなどの表示手段5と、を備える。入力手段4及び表示手段5は、コンピュータ3と別個の機器であってもよいが、一つのユニットであってもよい。睡眠深度判定装置2は、例えばパーソナルコンピュータ(デスクトップ、ノートブック、スマートフォン、携帯情報端末(例えばタブレットPC)など)で構成することができ、特に限定されるものではない。
コンピュータ3は、ハードウェア構成として、プロセッサ(CPU)、CPUの制御下にあるメモリ(ROM、RAM)、補助記憶装置(HDD)、他の装置(入力手段4、表示手段5、撮影手段1)との各インターフェイス(入出力インターフェイス、画像出力インターフェイス、通信インターフェイス)、インターネット接続のためのインターフェイスなどを有している。HDDは、コンピュータ3内に含まれていてもよいし、コンピュータ3の外部装置として置かれてもよい。CPUは、演算処理装置及び制御装置として機能し、ROMやHDDに記憶されている各種コンピュータプログラムをRAMに読み出して実行することにより、各種演算処理を実行する。なお、撮影手段1により撮影された動画像は、当該動画像を記録したコンピュータ読み取り可能な可搬型記録媒体(フラッシュメモリ、SDカード、CD−ROMなど)を介して睡眠深度判定装置2のコンピュータ3に供給してもよい。
コンピュータ3は、記憶部30の他、機能ブロックとして、動画像取得部31と、画像変換部32と、グレー変換部33と、差分処理部34と、ノイズ処理部35と、体動データ算出部36と、判定部37と、を備えている。各機能ブロックは、CPUがコンピュータプログラムを実行することによりソフトウェア的に実現される。
以下、睡眠深度判定に関するコンピュータプログラムに基づき、コンピュータ3の各機能ブロックにより実行される睡眠深度判定方法について、図2及び図3を参照して説明する。
動画像取得部31は、撮影手段1から出力される人の睡眠時の動画像を取得する(動画像取得工程ST1)。画像取得部31は、取得した動画像を時系列に記憶部30に記憶してもよい。
次に、画像変換部32は、取得した動画像を、動画像を構成する複数のフレーム画像(静止画像)に変換する処理を行う(画像変換工程ST2)。なお、撮影手段1で撮影された動画像のフレームレートが、3fpsよりも大きい場合は、1fps以上3fps以下、好ましくは2fps(フレーム間隔t1が0.5秒)にリサンプリングする。これにより、睡眠深度判定装置2のコンピュータ3に記憶される情報量を減らすことができる。
グレー変換部33は、全てのフレーム画像をグレースケール化してグレースケール画像に変換する処理を行う(グレー変換工程ST3)。これにより、人の睡眠時の動画像から、ベッドなどの背景物の影響を受けることなく、人の睡眠時の体動を検出することができる。
具体的に、本発明では、詳細は後述するが、人の睡眠時の体動を、動画像を構成する複数のフレーム画像(静止画像)を差分処理することで検出している。つまり、フレーム画像の画像サイズは、x方向(横)n個、y方向(縦)m個の合計n×m個(例えば横640個×縦480個)のピクセルで構成されるが、睡眠時に体動が起こると、動く前のフレーム画像と動いた後のフレーム画像との間で、動く元の座標位置(x1,y1)のピクセルは濃度値(輝度)が減少し、動いた先の座標位置(x2,y2)のピクセルは濃度値(輝度)が増加する。よって、連続する複数のフレーム画像の差分を取り、濃度値(輝度)の変化したピクセルを検出することで、体動を検出できる。ここで、各フレーム画像において、人とベッドなどの背景物とが同色で現わされると、背景物と重なる部分では体動が生じてもピクセルの濃度変化が生じないため、体動を検出することができない。しかし、動画像をグレースケール画像に変換して、人と背景物とが異なる色(濃度)で現わされることで、背景物と重なる部分においても体動によるピクセルの濃度値変化を検出できるため、体動を検出することが可能である。
グレースケール画像への変換方法は、特に限定されず、既知の方法で行うことができる。グレースケール画像への変換では、256階調に設定するのが好ましい。グレー変換部33は、グレースケール化した動画像を時系列に記憶部30に記憶してもよい。
なお、撮影手段1として、グレースケールで動画を撮影できる機能を備えた機器を用いれば、グレー変換部33及びグレー変換工程ST3は省略することができる。
次に、差分処理部34は、全てのフレーム画像について差分処理を行い、差分をとったフレーム画像との間で濃度値が変化したピクセルを検出する処理を行う(差分処理工程ST4)。ここで、差分をとる2枚のフレーム画像のフレーム間隔は、特に限定されるものではないが、本実施形態では、図4に示すように、連続する複数のフレーム画像の隣り合う2枚(フレーム間隔t1(本実施形態では0.5秒))のフレーム画像ではなく、フレーム間隔t1よりも長いフレーム間隔t2をあけた2枚のフレーム画像としている。つまり、例えば、N枚目のフレーム画像と差分を取るフレーム画像は、1枚前のN−1枚目のフレーム画像ではなく、a(=t2/t1)枚前のN−a枚目のフレーム画像となる。フレーム間隔t2としては、例えば2.0秒以上4.0秒以下の範囲から設定することができ、好ましくは2.5秒以上3.5秒以下の範囲から設定することができ、本実施形態では3.0秒である。よって、本実施形態では、N枚目のフレーム画像は、6枚前のN−6枚目のフレーム画像との間で差分を取り、N+1枚目のフレーム画像は、N−5枚目のフレーム画像との間で差分を取り、N+2枚目のフレーム画像は、N−4枚目のフレーム画像との間で差分を取る。
このように、時間間隔の長いフレーム間隔t2でフレーム画像の差分処理を行う理由として、人の睡眠時の体動には、主に、寝返りなどの動きの遅い大きな粗体動と、四肢の動きなどの動きの速い小さな細体動とがある。ここで、動きの遅い粗体動は、フレーム間隔が短いと、差分処理する2枚(N枚目及びN−1枚目)のフレーム画像の比較で体動に伴う差が表れにくく、フレーム画像間で濃度値が変化するピクセルが少数であるため、これを出可能ではあるが、検出精度は良好でない。これに対して、フレーム間隔が長いと、差分処理する2枚(N枚目及びN−a枚目)のフレーム画像の比較で体動に伴う差が大きく表れ、フレーム画像間で濃度値が変化するピクセルが多数となるため、これを精度よく検出することが可能となる。なお、動きの速い細体動については、差分処理する2枚のフレーム画像のフレーム間隔が短い方がより精度よく検出することができるが、フレーム間隔t2が2.0秒以上4.0秒以下の範囲であれば、フレーム間隔t2でも細体動を検出することは可能である。
次に、ノイズ処理部35は、差分処理により検出された濃度値が変化したピクセルに対して、膨張処理及び膨張処理後の収縮処理を行う(ノイズ処理工程ST5)。本実施形態では、膨張処理を少なくとも1回行った後、収縮処理を膨張処理回数よりも多い回数行う。例えば、膨張処理を1回、収縮処理を2回行う。収縮処理のみを例えば1回だけ行うと、差分処理により検出された細体動がノイズとともに除去されるおそれがある。しかし、膨張処理後、膨張処理より多い回数の収縮処理を行うことで、差分処理により体動として検出される、連続・結合した各ピクセルの濃度値変化はノイズ処理後もそのまま残り、差分処理によりノイズとして検出される、非連続・分散した各ピクセルの濃度値変化はノイズ処理後により除去することができる。よって、ノイズだけを効果的に除去することができる。膨張処理及び収縮処理は、既知の方法で行うことができる。ノイズ処理部35は、ノイズ処理した差分処理により検出された濃度値が変化したピクセルの画像を時系列に記憶部30に記憶してもよい。
なお、撮影手段1に高性能のカメラを用いる場合など、撮影した動画像に発生するノイズが少ない場合には、このノイズ処理部35及びノイズ処理工程ST5は省略することができる。
次に、体動データ算出部36は、上記方法で差分処理を行った全てのフレーム画像について、差分をとったフレーム画像との間で濃度値が変化したピクセルの数を計数することで、人の睡眠時の体動の時系列データを計測する処理を行う。体動データ算出部36は、計測した体動の時系列データを記憶部30に記憶してもよい。
図5は、人の睡眠時のフレーム間隔t2における体動データ(下段)を示す。図5において、横軸が時間[sec]、縦軸が体動として計数されたピクセル数[pixel]であり、ピクセル数が大きいほど、大きな体動があることを意味する。なお、図5には、睡眠深度との比較のために、睡眠ポリグラフ法により判定した睡眠深度の実測データ(上段)も示している。
上記の通り、本発明では、睡眠時に現れる細体動に加え、粗体動を精度よく計測することにより、詳細は後述するが、睡眠時の睡眠深度を、覚醒状態、レム睡眠、浅睡眠及び徐波睡眠の4段階に判別することが可能となる。
そして、体動データ算出部36は、計測した前記体動の時系列データから、所定時間Tよりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する処理を行う(体動データ算出工程ST6)。
具体的には、体動量は、1エポックの間に算出された濃度値が変化したピクセルの数の総計である。例えば1エポックの所定時間Tを30秒とすると、撮影手段1によって得られた動画像が、例えば2fps(0.5秒/1フレーム)であれば、1エポックには60枚(T/t1)のフレーム画像が含まれ、各フレーム画像には、合計n×m個(例えば横640個×縦480個)のピクセルが存在する。その中で差分を取った2枚のフレーム画像間で濃度値が変化したピクセルが体動の大きさとしてカウントされるため、体動量は、1エポックに含まれる60枚(T/t1枚)のフレーム画像の差分処理でカウントされたピクセル数の合計値により表わされる。
また、体動持続時間は、1エポックの中で体動が検出されたフレーム画像の数の総計であり、これを時間に換算したものである。つまり、例えば1エポックの所定時間Tを30秒とすると、撮影手段1によって得られた動画像が、例えば2fps(0.5秒/1フレーム)であれば、1エポックには60枚(T/t1)のフレーム画像が含まれるため、体動持続時間は、1エポックに含まれる60枚(T/t1)のフレーム画像の差分処理の結果、1エポック(60枚のフレーム画像)の中で体動が検出された(濃度値が変化したピクセルの数が0でない)フレーム画像の数を算出し、算出されたフレーム画像の数にフレーム間隔t1(例えば0.5秒)を掛けた時間により表わされる。
また、静止持続時間は、任意のエポックにおいて、最後に体動を検出してからどれだけ静止が続いているかの持続時間である。あるエポックにおける静止持続時間を算出する場合、該エポックよりも前のエポックであって最後に体動が検出された(濃度値が変化したピクセルの数が0でない)エポックが該エポックの何個前のエポックであるかを検出する。例えばb個(例えば6個)前のエポックで体動が検出されたとすれば、間のb−1個(例えば5個)のエポックでは体動が発生していない。そのため、静止持続時間は、(b−1)×T(1エポックの所定時間)として表される。
上述した算出方法に基づき、全てのエポックについて、体動データから、体動量、体動持続時間及び静止持続時間が算出される。
さらに、体動データ算出部36は、本実施形態では、全てのエポックの体動量、体動持続時間及び静止持続時間について、それぞれ、直近のc個のエポックの体動量、体動持続時間及び静止持続時間との単純平均値を算出する移動平均処理を行う(移動平均処理工程ST7)。例えば、M番目のエポックにおいては、M−c番目のエポック〜M番目のエポックの平均値となり、M+1番目のエポックにおいては、M+1−c番目のエポック〜M+1番目のエポックの平均値となる。本実施形態では、15分(30エポック)の移動平均処理を行っている。このように、各エポックの体動量、体動持続時間及び静止持続時間の移動平均値を算出したのは、各エポックにおける睡眠深度は、それ以前のエポックにおける体動情報に依存するという知見に基づくものであり、以前のエポックの体動情報を考慮することで、各エポックにおける睡眠深度の判定を精度よく行うことが可能になる。
例えば、体動量を例に説明すると、ケースAでは、あるエポックに3000の体動量が計測されたが,そのエポックから15分前までは一切体動がなかったのに対して、ケースBでは、あるエポックに同じく3000の体動量が計測され、そのエポックから15分前のエポックに27000の体動があった場合、体動量(移動平均処理なし)では、ケースAとBとであるエポックにおいて同じく3000となるので、睡眠深度は同じに見える。ただし、体動量(移動平均処理あり)では、ケースAにおいては3000/60エポック(15分)=50になるのに対して、ケースBにおいては(3000+27000)/60=500となる。そのため、ケースAとBとであるエポックを異なる睡眠深度と分類することができる。このように、以前のエポックで体動があったエポックでは移動平均処理なしの体動量でも睡眠深度の分類に用いることができる、以前のエポックで体動がないエポックでは移動平均処理ありの体動量を用いて、以前のエポックの体動情報を含めることで、睡眠深度の分類精度を向上させることができる。
なお、移動平均処理の対象範囲は、必ずしも15分に限られるものではなく、例えば、10分以上20分以下の間で好ましく設定することができる。
次に、判定部37は、体動データから算出されたエポック毎の体動量(移動平均処理なし)、体動持続時間(移動平均処理なし)及び静止持続時間(移動平均処理なし)、さらには、体動量(移動平均処理あり)、体動持続時間(移動平均処理あり)及び静止持続時間(移動平均処理あり)の6つのパラメータに基づいて、人の睡眠時の睡眠深度が、覚醒状態(WAKE)、レム睡眠(REM)、浅睡眠(LIGHT)及び徐波睡眠(DEEP)のいずれかに分類されるのかを判定する処理を行う(判定工程ST8)。
ここで、人の睡眠時においては、覚醒状態(WAKE)では、動きの大きな粗体動が頻発するのに対して、眠りが深くなるにつれて、すなわち、レム睡眠、浅睡眠、徐波睡眠と続くにつれて粗体動の出現頻度は低下する。そのため、覚醒状態(WAKE)と睡眠状態(SLEEP)とでは、体動量に顕著な差があり、覚醒状態(WAKE)では睡眠状態(SLEEP)よりも体動量が大きい。よって、上記で算出したパラメータのうち、体動量に着目することで、睡眠深度を、まず、覚醒状態(WAKE)と睡眠状態(SLEEP)とに分類することができる。
また、睡眠状態(SLEEP)の中でも、レム睡眠(REM)では、動きの小さな細体動が起こりやすい一方、粗体動はほとんど起こらない。また、レム睡眠(REM)自体が長時間継続しないために静止持続時間も長い値をとらない。浅睡眠(LIGHT)では、細体動及び粗体動のいずれも起こる。徐波睡眠(DEEP)では、細体動及び粗体動のいずれもほとんど起こらない。よって、まず、徐波睡眠(DEEP)は、レム睡眠(REM)及び浅睡眠(LIGHT)よりも体動持続時間が短く、体動量も小さいため、上記で算出したパラメータのうち、体動持続時間及び体動量に着目することで、レム睡眠(REM)及び浅睡眠(LIGHT)と分類することができる。また、浅睡眠(LIGHT)は、レム睡眠(REM)及び徐波睡眠(DEEP)よりも体動量が大きいため、体動量に着目することで、レム睡眠(REM)及び徐波睡眠(DEEP)と分類することができる。最後に、レム睡眠(REM)は、浅睡眠(LIGHT)及び徐波睡眠(DEEP)よりも静止持続時間が短く、かつ、体動持続時間が浅睡眠(LIGHT)よりも短いため、静止持続時間及び体動持続時間に着目することで、浅睡眠(LIGHT)及び徐波睡眠(DEEP)と分類することができる。
図6に、図5の体動データから算出された人の睡眠時の(a)体動量(移動平均処理なし)、(b)体動持続時間(移動平均処理なし)、(c)静止持続時間(移動平均処理なし)、(d)体動量(移動平均処理あり)、(e)体動持続時間(移動平均処理あり)及び(f)静止持続時間(移動平均処理あり)の各パラメータが、覚醒状態(WAKE)、レム睡眠(REM)、浅睡眠(LIGHT)及び徐波睡眠(DEEP)においてそれぞれどのように分布しているかを表すグラフである。
図6において、体動量(移動平均処理あり)は、覚醒状態(WAKE)が他より大きく分布しており、覚醒状態(WAKE)と他との分類に寄与していることが読み取れる。体動量(移動平均処理なし)は、浅睡眠(LIGHT)がレム睡眠(REM)及び徐波睡眠(DEEP)より大きく分布しており、浅睡眠(LIGHT)とレム睡眠(REM)及び徐波睡眠(DEEP)との分類に寄与していることが読み取れる。体動持続時間(移動平均処理なし)及び体動持続時間(移動平均処理あり)は、徐波睡眠(DEEP)がレム睡眠(REM)及び浅睡眠(LIGHT)より小さく分布しており、徐波睡眠(DEEP)とレム睡眠(REM)及び浅睡眠(LIGHT)との分類に寄与していることが読み取れる。静止持続時間(移動平均処理なし)及び静止持続時間(移動平均処理あり)は、REM睡眠(REM)が徐波睡眠(DEEP)及び浅睡眠(LIGHT)より小さく分布しており、REM睡眠(REM)と徐波睡眠(DEEP)及び浅睡眠(LIGHT)との分類に寄与していることが読み取れる。また、静止持続時間(移動平均処理なし)及び静止持続時間(移動平均処理あり)については、覚醒状態(WAKE)が他より小さく分布しており、覚醒状態(WAKE)と他との分類に寄与していることも読み取れる。
このように、本実施形態では、体動量(移動平均処理なし)、体動持続時間(移動平均処理なし)、静止持続時間(移動平均処理なし)、体動量(移動平均処理あり)、体動持続時間(移動平均処理あり)及び静止持続時間(移動平均処理あり)が睡眠深度に大きく関係があることに鑑みて、人の睡眠時の体動データから、各エポックそれぞれについて、睡眠深度と関係性の強い体動に関する上記パラメータを抽出することで、エポック毎に、覚醒状態(WAKE)、レム睡眠(REM)、浅睡眠(LIGHT)及び徐波睡眠(DEEP)の4段階の判別が可能となっている。以下、睡眠深度を判定する方法について具体的に説明する。
本実施形態では、判定部37は、人の睡眠時の睡眠深度が、まず、覚醒状態(WAKE)及び睡眠状態(SLEEP)のいずれに分類されるかを判定し、睡眠状態(SLEEP)であればレム睡眠(REM)、浅睡眠(LIGHT)及び徐波睡眠(DEEP)のいずれかに分類されるのかを判定する。
覚醒状態(WAKE)と睡眠状態(SLEEP)との判定には、体動量(移動平均処理あり)をパラメータとし用い、例えば体動量(移動平均処理あり)が所定の閾値を超えているかどうかで、各エポックを覚醒状態(WAKE)及び睡眠状態(SLEEP)のいずれかに分類する(ST80)。この閾値は、図6(d)に示すように、事前に確認された体動量(移動平均処理あり)のパラメータが、覚醒状態(WAKE)、レム睡眠(REM)、浅睡眠(LIGHT)及び徐波睡眠(DEEP)においてどのように分布しているかを表す教師データから設定することができる。体動量(移動平均処理あり)が閾値を超えていれば覚醒状態(WAKE)と判定し(ST81)、閾値以下であれば睡眠状態(SLEEP)と判定する(ST82)。本実施形態では、機械学習の一つである線形判別を用い、体動量(移動平均処理あり)をパラメータとして各エポックを覚醒状態(WAKE)及び睡眠状態(SLEEP)の2つの判別群に分類する閾値を算出して分類している。なお、覚醒状態(WAKE)及び睡眠状態(SLEEP)の分類については、体動量(移動平均処理あり)の他、静止持続時間(移動平均処理なし)又は静止持続時間(移動平均処理あり)をパラメータとしても所定の閾値を超えているかどうかで各エポックを分類することもできる。さらに、体動量(移動平均処理あり)、静止持続時間(移動平均処理なし)及び静止持続時間(移動平均処理あり)の少なくとも2つのパラメータを用いた機械学習(線形判別など)によっても各エポックを覚醒状態(WAKE)及び睡眠状態(SLEEP)の2つの判別群に分類することができる。
次に、判定部37は、睡眠状態(SLEEP)に分類された各エポックを、体動量、体動持続時間及び静止持続時間をパラメータとして用いて、レム睡眠(REM)、浅睡眠(LIGHT)及び徐波睡眠(DEEP)のいずれかに分類する(ST83)。なお、パラメータとしては、体動量(移動平均処理なし)、体動持続時間(移動平均処理なし)、静止持続時間(移動平均処理なし)、体動量(移動平均処理あり)、体動持続時間(移動平均処理あり)及び静止持続時間(移動平均処理あり)の6つ全てを用いることが精度良く分類することができるので好ましいが、体動量(移動平均処理なし)、体動持続時間(移動平均処理なし)及び静止持続時間(移動平均処理なし)の3つだけを用いてもよいし、体動量(移動平均処理あり)、体動持続時間(移動平均処理あり)及び静止持続時間(移動平均処理あり)の3つだけを用いてもよい。
本実施形態では、体動量(移動平均処理なし)、体動持続時間(移動平均処理なし)、静止持続時間(移動平均処理なし)、体動量(移動平均処理あり)、体動持続時間(移動平均処理あり)及び静止持続時間(移動平均処理あり)の6つのパラメータを用いた機械学習によって各エポックを徐波睡眠(DEEP)、浅睡眠(LIGHT)及びレム睡眠(REM)の3つの判別群に分類している(ST84〜ST86)。機械学習には、SVM(サポートベクターマシン)を好適に用いることができるが、線形判別、マハラノビス距離、二次式判別など既存の分類手法を用いることもできる。
なお、睡眠状態(SLEEP)に分類された各エポックを、体動量(移動平均処理なし)、体動持続時間(移動平均処理なし)、静止持続時間(移動平均処理なし)、体動量(移動平均処理あり)、体動持続時間(移動平均処理あり)及び静止持続時間(移動平均処理あり)の6つのパラメータの全部または一部を用いて、まず、レム睡眠(REM)及び浅睡眠(LIGHT)と、徐波睡眠(DEEP)との2つの判別群に機械学習などで分類した後、レム睡眠(REM)及び浅睡眠(LIGHT)に分類された各エポックを、レム睡眠(REM)と浅睡眠(LIGHT)との2つの判別群に機械学習などで分類してもよい。
こうして得られた睡眠深度の判定データは、例えば、睡眠深度の時間遷移の軌跡が生成されて、表示手段5に表示される。
図7(a)(b)は、図5の体動データから判定された人の睡眠深度の判定結果と、睡眠ポリグラフ法により測定した睡眠深度の実測データとの一致表を表している。図7(a)を参照すると、睡眠ポリグラフ法により睡眠状態(SLEEP)と判定された877個のエポックのうち875個(99.8%)が本発明の睡眠深度判定装置2によって睡眠状態(SLEEP)と判定されており、また、睡眠ポリグラフ法により覚醒状態(WAKE)と判定された44個のエポックのうち29個(65.9%)が本発明の睡眠深度判定装置2によっても覚醒状態(WAKE)と判定されている。本実施形態では、本発明の睡眠深度判定装置2で睡眠状態(SLEEP)と判定された875個のエポックの半分である438個のエポックを機械学習の教師データとし、もう半分の437個のエポックを引判定データとした。図7(b)を参照すると、本発明の睡眠深度判定装置2により睡眠状態(SLEEP)と判定された437個のエポックについて、さらに、睡眠ポリグラフ法により徐波睡眠(DEEP)と判定された110個のエポックのうち73個(66.4%)が本発明の睡眠深度判定装置2によっても徐波睡眠(DEEP)と判定されており、また、睡眠ポリグラフ法により浅睡眠(LIGHT)と判定された262個のエポックのうち226個(86.3%)が本発明の睡眠深度判定装置2によっても浅睡眠(LIGHT)と判定されており、また、睡眠ポリグラフ法によりレム睡眠(REM)と判定された67個のエポックのうち53個(79.1%)が本発明の睡眠深度判定装置2によってもレム睡眠(REM)と判定されている。このように、本発明の睡眠深度判定装置2によると、概ね良好な精度で睡眠深度を覚醒状態(WAKE)、レム睡眠(REM)、浅睡眠(LIGHT)及び徐波睡眠(DEEP)の4段階に分類することができているといえる。
このように、本発明の睡眠深度判定システム10、睡眠深度判定装置2及び睡眠深度判定方法によれば、撮影手段1により撮影した人の睡眠時の動画像から体動データを計測して、その睡眠深度を判定しているので、装置が大がかりとなることがなく、一般の家庭における睡眠深度判定装置として好適である。また、人をセンサ類で拘束することも接触させることもない完全な無拘束かつ非接触状態で睡眠深度の判定ができるので、人にとって何ら負担がなく睡眠深度を判定することができる。さらに、レム睡眠と浅睡眠とを分類して4段階の判定ができるので、精度よく睡眠深度を判定し、睡眠サイクルを導出することができる。これにより、睡眠サイクルに基づいた快眠のための環境制御(空調制御や照明制御、音響制御、温度制御など)が可能にできる。
また、人の睡眠深度を覚醒状態、レム睡眠、浅睡眠及び徐波睡眠の4段階に分類することが可能であることから、睡眠に関する各種情報、例えば、寝つきまでの時間、睡眠効率、レム睡眠の占有率、徐波睡眠の占有率などを表示手段5に表示したり、レポートをプリンタ(図示せず)などから出力することができる。
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。
例えば、本実施形態では、差分処理部34が全てのフレーム画像を差分処理する際に、時間間隔の長いフレーム間隔t2(2.0秒以上4.0秒以下)で差分処理を行い、そして、フレーム間隔t2での差分処理結果に基づき、体動データ算出部36が体動(濃度値が変化したピクセルの数)を検出しているが、差分処理部34がフレーム間隔t2よりも短いフレーム間隔t3で全てのフレーム画像の差分処理を行い、ノイズ処理部34によるノイズ処理の後、体動データ算出部36がフレーム間隔t2での差分処理結果に基づいて体動(濃度値が変化したピクセルの数)を検出してもよい。フレーム間隔t3としては、撮影手段1によって得られる動画像のfpsにも依存するが、例えば0.2秒以上1.0秒以下の範囲から設定することができ、好ましくは0.5秒である。
フレーム間隔t3を0.5秒とすると、差分処理部34による全てのフレーム画像の差分処理は、撮影手段1によって得られる動画像が2fpsの場合、図4に示すように、隣り合う2枚のフレーム画像間で行われる。つまり、例えば、N枚目のフレーム画像と差分を取るフレーム画像は、1枚前のN−1枚目のフレーム画像となり、N+1枚目のフレーム画像は、N枚目のフレーム画像との間で差分を取り、N+2枚目のフレーム画像は、N+1枚目のフレーム画像との間で差分を取る。
このように、フレーム間隔t2よりも短いフレーム間隔t3でフレーム画像の差分処理を行う場合には、フレーム間隔t2の際に検出できなかった動きの速い細体動を検出することができる。フレーム間隔が短いことで、差分処理する2枚(N枚目及びN−1枚目)のフレーム画像の比較で細体動に伴う差が大きく表れ、フレーム画像間で濃度値が変化するピクセルが多数となるため、これを精度よく検出することが可能となる。
図8は、同様の方法で、人の睡眠時のフレーム間隔t3における体動の時系列データを計測した結果(下段)を示す。図8において、横軸が時間[sec]、縦軸が体動として検出されたピクセル数[pixel]であり、ピクセル数が大きいほど、大きな体動があることを意味する。なお、図8には、睡眠深度との比較のために、睡眠ポリグラフ法により判定した睡眠深度の実測データ(上段)も示している。
この実施形態では、睡眠時に現れる粗体動に加え、細体動を精度よく計測することにより、睡眠時の睡眠深度を、覚醒状態、レム睡眠、浅睡眠及び徐波睡眠の4段階に判別することを可能としている。
図9は、同様の方法で、図8の体動データから算出された人の睡眠時の(a)体動量(移動平均処理なし)、(b)体動持続時間(移動平均処理なし)、(c)静止持続時間(移動平均処理なし)、(d)体動量(移動平均処理あり)、(e)体動持続時間(移動平均処理あり)及び(f)静止持続時間(移動平均処理あり)の各パラメータが、覚醒状態(WAKE)、レム睡眠(REM)、浅睡眠(LIGHT)及び徐波睡眠(DEEP)においてそれぞれどのように分布しているかを表すグラフである。
図9においても、体動量(移動平均処理あり)は、覚醒状態(WAKE)が他より大きく分布しており、覚醒状態(WAKE)と他との分類に寄与していることが読み取れる。体動量(移動平均処理なし)は、浅睡眠(LIGHT)がレム睡眠(REM)及び徐波睡眠(DEEP)より大きく分布しており、浅睡眠(LIGHT)とレム睡眠(REM)及び徐波睡眠(DEEP)との分類に寄与していることが読み取れる。体動持続時間(移動平均処理なし)及び体動持続時間(移動平均処理あり)は、徐波睡眠(DEEP)がレム睡眠(REM)及び浅睡眠(LIGHT)より小さく分布しており、徐波睡眠(DEEP)とレム睡眠(REM)及び浅睡眠(LIGHT)との分類に寄与していることが読み取れる。静止持続時間(移動平均処理なし)及び静止持続時間(移動平均処理あり)は、REM睡眠(REM)が徐波睡眠(DEEP)及び浅睡眠(LIGHT)より小さく分布しており、REM睡眠(REM)と徐波睡眠(DEEP)及び浅睡眠(LIGHT)との分類に寄与していることが読み取れる。また、静止持続時間(移動平均処理なし)及び静止持続時間(移動平均処理あり)については、覚醒状態(WAKE)が他より小さく分布しており、覚醒状態(WAKE)と他との分類に寄与していることも読み取れる。
図10(a)(b)は、同様の方法で、図8の体動データから判定された人の睡眠深度の判定結果を、睡眠ポリグラフ法により測定した睡眠深度の実測データとの比較を表している。図10(a)を参照すると、睡眠ポリグラフ法により睡眠状態(SLEEP)と判定された877個のエポックのうち875個(99.8%)が本発明の睡眠深度判定装置2によって睡眠状態(SLEEP)と判定されており、また、睡眠ポリグラフ法により覚醒状態(WAKE)と判定された44個のエポックのうち29個(65.9%)が本発明の睡眠深度判定装置2によっても覚醒状態(WAKE)と判定されている。本実施形態では、本発明の睡眠深度判定装置2で睡眠状態(SLEEP)と判定された875個のエポックの半分である438個のエポックを機械学習の教師データとし、もう半分の437個のエポックを引判定データとした。図10(b)を参照すると、本発明の睡眠深度判定装置2により睡眠状態(SLEEP)と判定された437個のエポックについて、さらに、睡眠ポリグラフ法により徐波睡眠(DEEP)と判定された110個のエポックのうち65個(59.1%)が本発明の睡眠深度判定装置2によっても徐波睡眠(DEEP)と判定されており、また、睡眠ポリグラフ法により浅睡眠(LIGHT)と判定された262個のエポックのうち243個(89.3%)が本発明の睡眠深度判定装置2によっても浅睡眠(LIGHT)と判定されており、また、睡眠ポリグラフ法によりレム睡眠(REM)と判定された67個のエポックのうち50個(74.6%)が本発明の睡眠深度判定装置2によってもレム睡眠(REM)と判定されている。このように、本発明の睡眠深度判定装置2によると、概ね良好な精度で睡眠深度を覚醒状態(WAKE)、レム睡眠(REM)、浅睡眠(LIGHT)及び徐波睡眠(DEEP)の4段階に分類することができているといえる。
また、上記実施形態では、差分処理部34が全てのフレーム画像を差分処理する際に、フレーム間隔t2あるいはフレーム間隔t3で差分処理を行い、そして、フレーム間隔t2あるいはフレーム間隔t3での差分処理結果に基づき、体動データ算出部36が体動(濃度値が変化したピクセルの数)を検出しているが、差分処理部34が異なる2種類のフレーム間隔t2(第1フレーム間隔t2)及びフレーム間隔t3(第2フレーム間隔t3)で全てのフレーム画像の差分処理を行い、ノイズ処理部34によるノイズ処理の後、体動データ算出部36がそれぞれ第1フレーム間隔t2及び第2フレーム間隔t3での差分処理結果に基づいて、体動(濃度値が変化したピクセルの数)を検出してもよい。
具体的には、図11において、差分処理部34は、図3の動画像取得工程ST1〜グレー変換工程ST3と同様の方法により取得された全てのフレーム画像に対して、第1フレーム間隔t2で差分処理を行って差分をとったフレーム画像との間で濃度値が変化したピクセルを検出する処理を行うとともに(画像処理工程ST4−1)、第2フレーム間隔t3で差分処理を行って差分をとったフレーム画像との間で濃度値が変化したピクセルを検出する処理を行う(画像処理工程ST4−2)。これにより、第1フレーム間隔t2での体動の時系列データと、第2フレーム間隔t3での体動の時系列データとの2種類のデータが計測される。
そして、フレーム間隔t2での差分処理及びフレーム間隔t3での差分処理のそれぞれから検出された濃度値が変化したピクセルについて、ノイズ処理部35がノイズ処理をそれぞれ行った後(ノイズ処理工程ST5−1,ST5−2)、体動データ算出部36が、該ピクセルの数を計数して、各計数結果から、所定時間Tよりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する処理を行う(体動データ算出工程ST6−1,ST6−2)。また、体動データ算出部36は、全てのエポックの体動量、体動持続時間及び静止持続時間について、それぞれ移動平均処理を行う(移動平均処理工程ST7−1,ST7−2)。なお、差分処理の方法、ノイズ処理の方法、体動量、体動持続時間及び静止持続時間の算出方法及び移動平均処理の方法は、図3の差分処理工程ST4〜移動平均処理工程ST7と同様の方法で行われる。
最後に、判定部37は、第1フレーム間隔t2での差分処理及び第2フレーム間隔t3での差分処理に基づく体動の時系列データのそれぞれから算出されたエポック毎の体動量(移動平均処理なし)、体動持続時間(移動平均処理なし)及び静止持続時間(移動平均処理なし)、さらには、体動量(移動平均処理あり)、体動持続時間(移動平均処理あり)及び静止持続時間(移動平均処理あり)の12つのパラメータに基づいて、人の睡眠時の睡眠深度が、覚醒状態(WAKE)、レム睡眠(REM)、浅睡眠(LIGHT)及び徐波睡眠(DEEP)のいずれかに分類されるのかを判定する(ST8)。なお、判定は、図3のST8と同様に、機械学習などを用いて行われる。
この実施形態では、睡眠時に現れる粗体動及び細体動を精度よく計測することにより、睡眠時の睡眠深度を、覚醒状態、レム睡眠、浅睡眠及び徐波睡眠の4段階に判別することを可能としている。
また、睡眠深度判定装置2のコンピュータ3に内蔵されるCPU、ROM及びRAMなどのハードウェアを、上記の睡眠深度判定装置2の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
1 撮影手段
2 睡眠深度判定装置
3 コンピュータ
32 画像変換部
33 グレー変換部
34 差分処理部
35 ノイズ処理部
36 体動データ算出部
37 判定部

Claims (10)

  1. 睡眠時の人の動画像を撮影可能な撮影手段と、
    人の睡眠時の動画像に基づいてその睡眠深度を判定する睡眠深度判定装置と、を備え、
    睡眠深度判定装置は、プロセッサ及び前記プロセッサの制御下にあるメモリを含むコンピュータを備え、
    前記コンピュータが、
    前記動画像を、前記動画像を構成する複数のフレーム間隔に変換する画像変換部と、
    前記複数のフレーム画像がグレースケール画像でない場合にグレースケール画像に変換するグレー変換部と、
    グレースケールの前記複数のフレーム画像を所定のフレーム間隔で差分処理することにより、差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出する差分処理部と、
    差分処理により検出された濃度値が変化したピクセルの数を計数し、計数結果から所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する体動データ算出部と、
    算出した前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定する判定部と、して機能する、睡眠深度判定システム。
  2. 前記体動データ算出部は、前記エポック毎に前記体動量、前記体動持続時間及び前記静止持続時間について移動平均処理を行い、
    前記判定部は、移動平均処理された前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定する、請求項1に記載の睡眠深度判定システム。
  3. 差分処理の前記フレーム間隔は、2.0秒以上4.0秒以下の範囲から設定される、請求項1又は2に記載の睡眠深度判定システム。
  4. 前記判定部は、機械学習によって前記エポック毎の人の睡眠深度を判定する、請求項1〜3のいずれかに記載の睡眠深度判定システム。
  5. 前記判定部は、前記エポック毎の人の睡眠深度について、覚醒状態及び睡眠状態のいずれかに分類し、その後、睡眠状態に分類された状態について、レム睡眠、浅睡眠及び徐波睡眠のいずれかに分類する、請求項4に記載の睡眠深度判定システム。
  6. 前記判定部は、覚醒状態及び睡眠状態のいずれかの分類に線形判別を用い、レム睡眠、浅睡眠及び徐波睡眠のいずれかの分類にサポートベクターマシンを用いる、請求項4又は5に記載の睡眠深度判定システム。
  7. 前記コンピュータが、差分処理により検出された濃度値が変化したピクセルに対して少なくとも1回の膨張処理及び膨張処理回数より多い回数の収縮処理を行うノイズ処理部としてさらに機能する、請求項1〜6のいずれかに記載の睡眠深度判定システム。
  8. 前記差分処理部は、前記複数のフレーム画像を、所定の第1フレーム間隔で差分処理することにより、前記第1フレーム間隔で差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出するとともに、前記第1フレーム間隔よりも長い所定の第2フレーム間隔で差分処理することにより、前記第2フレーム間隔で差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出し、
    前記体動データ算出部は、前記第1フレーム間隔での差分処理及び前記第2フレーム間隔での差分処理により検出された濃度値が変化したピクセルの数をそれぞれ計数し、各計数結果から所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間をそれぞれ算出し、
    前記判定部は、前記第1フレーム間隔での差分処理によるピクセルの計数結果及び前記第2フレーム間隔での差分処理によるピクセルの計数結果からそれぞれ算出された前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定する、請求項1に記載の睡眠深度判定システム。
  9. 人の睡眠時の動画像に基づいてその睡眠深度を判定する睡眠深度判定装置であって、
    プロセッサ及び前記プロセッサの制御下にあるメモリを含むコンピュータを備え、
    前記コンピュータが、
    前記動画像を、前記動画像を構成する複数のフレーム間隔に変換する画像変換部と、
    前記複数のフレーム画像がグレースケール画像でない場合にグレースケール画像に変換するグレー変換部と、
    グレースケールの前記複数のフレーム画像を所定のフレーム間隔で差分処理することにより、差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出する差分処理部と、
    差分処理により検出された濃度値が変化したピクセルの数を計数し、計数結果から所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する体動データ算出部と、
    算出した前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定する判定部と、して機能する、睡眠深度判定装置。
  10. 人の睡眠時の動画像に基づいてその睡眠深度を判定する睡眠深度判定方法であって、
    前記動画像を、前記動画像を構成する複数のフレーム間隔に変換する画像変換工程と、
    前記複数のフレーム画像がグレースケール画像でない場合にグレースケール画像に変換するグレー変換工程と、
    グレースケール化された前記複数のフレーム画像を所定のフレーム間隔で差分処理することにより、差分処理を行ったフレーム画像間で濃度値が変化したピクセルを検出する差分処理工程と、
    差分処理により検出された濃度値が変化したピクセルの数を計数し、計数結果から所定時間よりなるエポック毎に、体動量、体動持続時間及び静止持続時間を算出する体動データ算出工程と、
    算出した前記体動量、前記体動持続時間及び前記静止持続時間に基づいて、前記エポック毎の人の睡眠深度を判定する判定工程と、を実行する睡眠深度判定方法。
JP2017063257A 2017-03-28 2017-03-28 睡眠深度判定システム、睡眠深度判定装置及び睡眠深度判定方法 Active JP6952299B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017063257A JP6952299B2 (ja) 2017-03-28 2017-03-28 睡眠深度判定システム、睡眠深度判定装置及び睡眠深度判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017063257A JP6952299B2 (ja) 2017-03-28 2017-03-28 睡眠深度判定システム、睡眠深度判定装置及び睡眠深度判定方法

Publications (2)

Publication Number Publication Date
JP2018164615A true JP2018164615A (ja) 2018-10-25
JP6952299B2 JP6952299B2 (ja) 2021-10-20

Family

ID=63921820

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017063257A Active JP6952299B2 (ja) 2017-03-28 2017-03-28 睡眠深度判定システム、睡眠深度判定装置及び睡眠深度判定方法

Country Status (1)

Country Link
JP (1) JP6952299B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109730490A (zh) * 2019-03-04 2019-05-10 上海海事大学 一种安全便携式智能婴儿床
JP2020084573A (ja) * 2018-11-26 2020-06-04 アイシン精機株式会社 開閉体制御装置
JPWO2019146123A1 (ja) * 2018-01-29 2021-01-14 日本電気株式会社 覚醒度推定装置、覚醒度推定方法、及びプログラム
CN112535459A (zh) * 2020-11-24 2021-03-23 创新奇智(北京)科技有限公司 睡眠异常检测方法、装置、电子设备及可读存储介质
WO2022239415A1 (ja) * 2021-05-13 2022-11-17 株式会社島津製作所 睡眠時動画解析方法および睡眠時動画解析装置
WO2023195473A1 (ja) * 2022-04-06 2023-10-12 株式会社島津製作所 睡眠状態計測システム、睡眠状態計測方法、睡眠状態計測プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005000388A (ja) * 2003-06-11 2005-01-06 Sumitomo Osaka Cement Co Ltd 状態推移表示方法及びモニタ装置
US20080157956A1 (en) * 2006-12-29 2008-07-03 Nokia Corporation Method for the monitoring of sleep using an electronic device
JP2012000375A (ja) * 2010-06-21 2012-01-05 Ritsumeikan 睡眠状態判定装置
JP2012202659A (ja) * 2011-03-28 2012-10-22 Mitsubishi Electric Corp 睡眠状態検出装置およびこれを用いた空気調和機、ならびに、睡眠状態検出方法および空気調和機制御方法
JP2014073237A (ja) * 2012-10-04 2014-04-24 Toyota Motor Corp 睡眠モニタリングシステム
US20170079530A1 (en) * 2014-10-29 2017-03-23 Spectral Md, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005000388A (ja) * 2003-06-11 2005-01-06 Sumitomo Osaka Cement Co Ltd 状態推移表示方法及びモニタ装置
US20080157956A1 (en) * 2006-12-29 2008-07-03 Nokia Corporation Method for the monitoring of sleep using an electronic device
JP2012000375A (ja) * 2010-06-21 2012-01-05 Ritsumeikan 睡眠状態判定装置
JP2012202659A (ja) * 2011-03-28 2012-10-22 Mitsubishi Electric Corp 睡眠状態検出装置およびこれを用いた空気調和機、ならびに、睡眠状態検出方法および空気調和機制御方法
JP2014073237A (ja) * 2012-10-04 2014-04-24 Toyota Motor Corp 睡眠モニタリングシステム
US20170079530A1 (en) * 2014-10-29 2017-03-23 Spectral Md, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019146123A1 (ja) * 2018-01-29 2021-01-14 日本電気株式会社 覚醒度推定装置、覚醒度推定方法、及びプログラム
JP2020084573A (ja) * 2018-11-26 2020-06-04 アイシン精機株式会社 開閉体制御装置
JP7180318B2 (ja) 2018-11-26 2022-11-30 株式会社アイシン 開閉体制御装置
CN109730490A (zh) * 2019-03-04 2019-05-10 上海海事大学 一种安全便携式智能婴儿床
CN112535459A (zh) * 2020-11-24 2021-03-23 创新奇智(北京)科技有限公司 睡眠异常检测方法、装置、电子设备及可读存储介质
WO2022239415A1 (ja) * 2021-05-13 2022-11-17 株式会社島津製作所 睡眠時動画解析方法および睡眠時動画解析装置
JP7480914B2 (ja) 2021-05-13 2024-05-10 株式会社島津製作所 睡眠時動画解析方法および睡眠時動画解析装置
WO2023195473A1 (ja) * 2022-04-06 2023-10-12 株式会社島津製作所 睡眠状態計測システム、睡眠状態計測方法、睡眠状態計測プログラム

Also Published As

Publication number Publication date
JP6952299B2 (ja) 2021-10-20

Similar Documents

Publication Publication Date Title
JP6952299B2 (ja) 睡眠深度判定システム、睡眠深度判定装置及び睡眠深度判定方法
US11948401B2 (en) AI-based physical function assessment system
JP6588978B2 (ja) 人の向き及び/又は位置の自動検出のための装置、システム、及び方法
JP5991130B2 (ja) 睡眠モニタリングシステム
Metsis et al. Non-invasive analysis of sleep patterns via multimodal sensor input
CN103576857B (zh) 凝视跟踪系统的快速唤醒
JP4622702B2 (ja) 映像監視装置
JP6915421B2 (ja) 見守り支援システム及びその制御方法
EP2772828A1 (en) Individual body discrimination device and individual body discrimination method
KR20150061231A (ko) 웨어러블 디바이스 및 그 제어 방법
JP6822328B2 (ja) 見守り支援システム及びその制御方法
JPWO2016151966A1 (ja) 乳幼児監視装置、乳幼児監視方法、及び、乳幼児監視プログラム
Heinrich et al. Body movement analysis during sleep based on video motion estimation
JP2012000375A (ja) 睡眠状態判定装置
WO2020145380A1 (ja) 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法
CN111448589B (zh) 用于检测患者的身体移动的设备、系统和方法
Dai et al. A novel video-surveillance-based algorithm of fall detection
WO2018235628A1 (ja) 見守り支援システム及びその制御方法、及びプログラム
CN118338853A (zh) 计算机程序、信息处理方法及信息处理装置
JP7279812B2 (ja) ストレス推定装置、ストレス推定装置の作動方法、及び、プログラム
TW202143908A (zh) 多參數生理訊號量測方法
Chen et al. Vision-assisted human motion analysis for bed exit prediction model construction
JP2022031000A (ja) 生体情報モニタリングシステム、生体情報モニタリング方法及びプログラム
JP7568290B2 (ja) 精神疾患推定システム、精神疾患推定装置、精神疾患推定プログラム及び精神疾患推定方法
Hand et al. Detecting Bed Occupancy Using Thermal Sensing Technology: A Feasibility Study

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200221

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210915

R150 Certificate of patent or registration of utility model

Ref document number: 6952299

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250