Nothing Special   »   [go: up one dir, main page]

JP6638770B2 - 被監視者監視システムおよび該システムにおける被監視者監視方法 - Google Patents

被監視者監視システムおよび該システムにおける被監視者監視方法 Download PDF

Info

Publication number
JP6638770B2
JP6638770B2 JP2018126465A JP2018126465A JP6638770B2 JP 6638770 B2 JP6638770 B2 JP 6638770B2 JP 2018126465 A JP2018126465 A JP 2018126465A JP 2018126465 A JP2018126465 A JP 2018126465A JP 6638770 B2 JP6638770 B2 JP 6638770B2
Authority
JP
Japan
Prior art keywords
monitored person
unit
image data
physical condition
monitored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018126465A
Other languages
English (en)
Other versions
JP2018200698A (ja
Inventor
寿夫 糊田
寿夫 糊田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Publication of JP2018200698A publication Critical patent/JP2018200698A/ja
Application granted granted Critical
Publication of JP6638770B2 publication Critical patent/JP6638770B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/002Monitoring the patient using a local or closed circuit, e.g. in a room or building
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0026Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the transmission medium
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • A61B5/1117Fall detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438Sensor means for detecting
    • G08B21/0476Cameras to detect unsafe condition, e.g. video cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/746Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Business, Economics & Management (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Emergency Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Business, Economics & Management (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Alarm Systems (AREA)
  • Accommodation For Nursing Or Treatment Tables (AREA)
  • Emergency Alarm Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、監視すべき監視対象である被監視者を監視し、前記被監視者に所定の異常が生じたと判定される場合にその旨を通知する被監視者監視装置および被監視者監視方法ならびに被監視者監視システムに関する。
一例として、我が日本国は、戦後の高度経済成長に伴う生活水準の向上、衛生環境の改善および医療水準の向上等によって、高齢化社会、より詳しくは、総人口に対する65歳以上の人口の割合である高齢化率が21%を超える超高齢社会になっている。また、2005年では、総人口約1億2765万人に対し65歳以上の高齢者人口は、約2556万人であったのに対し、2020年では、総人口約1億2411万人に対し高齢者人口は、約3456万人となる予測もある。
このような高齢化社会では、高齢化社会ではない通常の社会で生じる、病気や怪我等による看護や介護を必要とする要看護者よりもその増加が見込まれる。
このような要看護者は、病院や、老人福祉施設(日本の法令では老人短期入所施設、養護老人ホームおよび特別養護老人ホーム等)等の施設に入所し、その看護や介護を受ける。このような病院や老人福祉施設等の施設では、要看護者が看護や介護を受けようとする場合に看護師や介護士を呼ぶために利用される、いわゆるナースコールシステムが、一般に設けられている。また、要看護者の状態をモニタ(監視)するための機器が、必要に応じて設けられる。
このナースコールシステムは、例えば、特許文献1に開示されている。この特許文献1に開示されたナースコールシステムは、病院、老人福祉施設等の病室毎の各病床に設置され被看護者が看護者を呼び出すためのベッド子機およびベッドサイドに設置され前記ベッド子機に着脱自在で接続されるプレート子機と、前記病室毎に設置され前記被看護者の映像を撮像するための呼出対応カメラ(30a、30b、・・・)と、ナースセンターに設置され前記ベッド子機からの呼び出しを検出して報知し、前記呼び出しを確認した前記看護者が応答して通話を成立するためのナースコール親機とを設け、前記ナースコール親機は、前記呼出対応カメラにて撮像された前記被看護者の映像を出画するための外付け呼出対応モニタが接続され、前記外付け呼出対応モニタは、前記呼出対応カメラが接続され、前記ベッド子機からの呼び出しを検出した前記ナースコール親機により制御され、前記呼出元のベッド子機が接続される前記プレート子機が有する子機番号に対応したカメラ番号を有する当該呼出対応カメラを選択するためのカメラ選択テーブルが記憶された記憶部と、前記記憶部から読み出される前記呼出元のベッド子機が接続される前記プレート子機が有する子機番号に対応したカメラ番号を有する当該呼出対応カメラを駆動して前記被看護者の映像を前記外付け呼出対応モニタに出画するためのカメラ駆動回路とを備える。
また、要看護者の状態を監視するシステムは、例えば、特許文献2に開示されている。この特許文献2に開示されたシステムは、目標身体の異常状態を監視する監視システムであって、生理学的信号を監視するよう構成された生理学的信号モニタと、前記生理学的信号モニタの出力信号を受信し、前記生理学的信号の異常発生を検出するよう構成されたプロセッサと、前記プロセッサの出力信号を受信し、前記異常状態を検出するため、前記プロセッサの出力信号に基づいて、前記目標身体の動きを監視するための選択された検出モードにおいて動作するよう結合された動き検出サブシステムと、を有する。前記生理学的信号は、ユーザの転倒の可能性の初期判定を実施するために、転倒を生じる要因に鑑みて連続して測定される(例えば[0021]段落参照)。より具体的には、前記生理学的信号は、心拍、血流パルス、血圧、ECG、EMG、SpOである(例えば[0026]段落参照)。そして、特許文献2には、目標身体の異常を検出するために、目標身体の加速度を検出する加速度計または目標身体の傾斜レベルを測定する傾斜センサを、監視システムは、さらに備えてもよく、また生理学的信号を考慮に入れつつ、加速時計または傾斜センサの出力信号から目標身体の異常を検出してもよいことが記載されている(例えば[0029]段落参照)。
特許第4989172号公報(特開2008−79800号公報) 特開2010−539617号公報
ところで、特許文献1に開示されたナースコールシステムでは、看護者は、呼出対応カメラによって撮像された被看護者(被監視者の一例)の映像を外付け呼出対応モニタで見ることによって、被看護者の居室に赴かなくても被看護者の状態を観察できる。しかしながら、被看護者によるベッド子機の操作に基づく被看護者の呼び出し(ナースコール)がなければ、呼出対応カメラによって撮像された被看護者の映像が出画されず、前記被看護者の映像を外付け呼出対応モニタで見ることはできない。そもそも被看護者によるベッド子機の操作に基づく被看護者の呼び出しがなければ、被看護者が看護等を必要としているか否かも看護者には分からない。
また、特許文献2に開示された監視システムでは、目標身体(被監視者の一例)の転倒を検出することができる。しかしながら、特許文献2に開示された監視システムは、目標身体の転倒を検出することで、検出モードを選択し、省電力化を図るシステムである。したがって、特許文献2に開示された監視システムは、目標身体の転倒を看護者等に知らせるために、目標身体の転倒を外部に通知するものではない。このため、特許文献2に開示された監視システムは、特許文献1に開示されたナースコールシステムと組み合わせることができない。
たとえ特許文献1に開示されたナースコールシステムと特許文献2に開示された監視システムとを組み合わせることができたとしても、特許文献2に開示された監視システムは、転倒の場合に加速度計や傾斜センサの出力を用いる点が記載されているものの、主に生理学的信号によってのみ目標身体の異常状態を判断しているので、誤判断してしまう場合もある。
なお、特許文献2には、光センサが言及されているが、この光センサは、目標身体が位置(存在)する環境の明暗を検出するものであり、イメージセンサではない。
また、前記高齢化社会の進展により、近年では、医療従事者が自宅等を訪問して患者に医療を行う在宅医療も徐々に増えつつあり、また、一人暮らしの老人世帯も増加しつつある。このため、このような在宅で療養している患者や独居者の監視が必要とされるようになるであろう。
本発明は、上述の事情に鑑みて為された発明であり、その目的は、被監視者の身体状態が異常状態であると判定する場合にその誤判定を低減し、前記被監視者に異常が生じたと判定される場合にその旨を自動的に通知できる被監視者監視システムおよび該システムにおける被監視者監視方法を提供することである。
本発明の一態様にかかる被監視者監視システムは、監視対象である被監視者の画像データを生成する画像データ生成部と、前記画像データ生成部と通信ネットワークを介して接続される被監視者監視装置と、前記被監視者を監視する監視者に対応し、前記被監視者監視装置から前記被監視者が異常状態である旨の通知を受信して表示する通信端末機と、を備え、前記被監視者を監視する被監視者監視システムであって、前記被監視者監視装置は、前記画像データ生成部によって生成された前記被監視者の画像データを入力するための画像データ入力部と、前記被監視者の生理学的データを入力するための生理学的データ入力部と、前記画像データ入力部から入力された前記被監視者の画像データに基づいて前記被監視者の位置を判定する第1身体状態判定部と、前記生理学的データ入力部から入力された前記被監視者の生理学的データに基づいて前記被監視者の第2身体状態を判定する第2身体状態判定部と、前記第2身体状態判定部によって判定された前記被監視者の第2身体状態を前記第1身体状態判定部によって検出された前記被監視者の位置に基づいて判定し、前記第2身体状態判定部によって前記被監視者の第2身体状態が異常状態であると判定された場合、前記被監視者が異常状態である旨を前記通信端末機に通知する通知制御部とを備え、前記画像データ生成部は、前記通信端末機の要求に応じて前記被監視者の画像データを前記通信端末機に直接配信し、前記通信端末機は、前記画像データ生成部から直接配信された前記被監視者の画像データに基づき、前記被監視者の画像を表示する。
他の一態様では、上述の被監視者監視システムにおいて、前記通知制御部は、前記第2身体状態判定部によって判定された前記被監視者の第2身体状態を前記第1身体状態判定部によって検出された前記被監視者の位置がベッド上である場合に有効と判定し、前記第2身体状態判定部によって判定された前記被監視者の第2身体状態を前記第1身体状態判定部によって検出された前記被監視者の位置がベッドの外である場合に無効と判定する。
他の一態様では、これら上述の被監視者監視システムにおいて、前記生理学的データは、前記被監視者にマイクロ波を照射することによって得られたドップラシフトした前記マイクロ波の反射波を表すデータである。
他の一態様では、これら上述の被監視者監視システムにおいて、前記通知制御部は、前記被監視者が異常状態である旨を監視者宛に電子メールで通知する。
他の一態様では、これら上述の被監視者監視システムにおいて、前記通知制御部は、前記被監視者が異常状態である旨として前記被監視者の画像を通知する、または、前記被監視者の画像をさらに通知する。
本発明の他の一態様にかかる被監視者監視方法は、監視対象である被監視者の画像データを生成する画像データ生成部と、前記画像データ生成部と通信ネットワークを介して接続される被監視者監視装置と、前記被監視者を監視する監視者に対応し、前記被監視者監視装置から前記被監視者が異常状態である旨の通知を受信して表示する通信端末機と、を備え、前記被監視者を監視する被監視者監視システムにおける被監視者監視方法であって、前記画像データ生成部によって生成された前記被監視者の画像データを入力するための画像データ入力工程と、前記被監視者の生理学的データを入力するための生理学的データ入力工程と、前記画像データ入力工程から入力された前記被監視者の画像データに基づいて前記被監視者の位置を判定する第1身体状態判定工程と、前記生理学的データ入力工程から入力された前記被監視者の生理学的データに基づいて前記被監視者の第2身体状態を判定する第2身体状態判定工程と、前記第2身体状態判定工程によって判定された前記被監視者の第2身体状態を前記第1身体状態判定工程によって検出された前記被監視者の位置に基づいて判定し、前記第2身体状態判定工程によって前記被監視者の第2身体状態が異常状態であると判定された場合、前記被監視者が異常状態である旨を前記通信端末機に通知する通知制御工程と、前記画像データ生成部が、前記通信端末機の要求に応じて前記被監視者の画像データを前記通信端末機に直接配信する配信工程と、前記通信端末機が、前記画像データ生成部から直接配信された前記被監視者の画像データに基づき、前記被監視者の画像を表示する表示工程とを備える。
他の一態様では、これら上述の被監視者監視システムにおいて、前記被監視者の生理学的データを生成する生理学的データ生成部をさらに備え、前記生理学的データ生成部によって生成された前記被監視者の生理学的データが前記生理学的データ入力部に入力される。
本発明にかかる被監視者監視システムおよび該システムにおける被監視者監視方法は、被監視者の身体状態が異常状態であると判定する場合にその誤判定を低減し、前記被監視者に異常が生じたと判定される場合にその旨を自動的に通知できる。
上記並びにその他の本発明の目的、特徴及び利点は、以下の詳細な記載と添付図面から明らかになるであろう。
実施形態における被監視者監視システムの構成を示す図である。 図1に示す被監視者監視システムにおける被監視者監視装置の構成を示す図である。 図2に示す被監視者監視装置における第1身体状態判定部の構成を示す図である。 図2に示す被監視者監視装置における第2身体状態判定部の構成を示す図である。 図2に示す被監視者監視装置における通知制御部の構成を示す図である。 図1に示す被監視者監視システムにおける画像データ生成部の構成を示す図である。 図1に示す被監視者監視システムにおける生理学的データ生成部の構成を示す図である。 図3に示す第1身体状態判定部の動作を示すフローチャートである。 図1に示す被監視者監視システムの動作を示すフローチャートである。
以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
図1は、実施形態における被監視者監視システムの構成を示す図である。図2は、図1に示す被監視者監視システムにおける被監視者監視装置の構成を示す図である。図3は、図2に示す被監視者監視装置における第1身体状態判定部の構成を示す図である。図4は、図2に示す被監視者監視装置における第2身体状態判定部の構成を示す図である。図5は、図2に示す被監視者監視装置における通知制御部の構成を示す図である。図6は、図1に示す被監視者監視システムにおける画像データ生成部の構成を示す図である。図7は、図1に示す被監視者監視システムにおける生理学的データ生成部の構成を示す図である。
実施形態における被監視者監視システムMSは、監視対象(見守り対象)である被監視者(見守り対象者)を監視するものであり、例えば、図1に示すように、画像データ生成部MCと、生理学的データ生成部PIと、被監視者監視装置MDとを備える。そして、図1に示す例では、被監視者監視システムMSは、さらに、1または複数の通信端末機CTと、通信ネットワークNWとを備える。被監視者監視システムMSは、被監視者に応じて適宜な場所に配設される。被監視者(見守り対象者)は、例えば、病気や怪我等によって看護を必要とする者や、身体能力の低下等によって介護を必要とする者や、一人暮らしの独居者等の、例えば異常状態等の所定の不都合な状態が生じた場合にその発見を必要としている者である。このため、被監視者監視システムMSは、被監視者の種類に応じて、病院、老人福祉施設および住戸等の建物に好適に配設される。なお、被監視者監視システムMSは、病院や老人福祉施設等の、1個の建物に集中的に配設されてもよく、また、複数の住戸および監視センター等の、複数の建物に分散的に配設されてもよい。例えば、画像データ生成部MCおよび生理学的データ生成部PIは、1フロアにおける各病室また各ベッドに配設され、被監視者監視装置MDは、同じフロアにおけるナースステーションに配設される。また例えば、画像データ生成部MCおよび生理学的データ生成部PIは、各住戸に配設され、被監視者監視装置MDは、監視センターに配設される。なお、通信端末機CTは、例えば、監視者に携行され、または、監視者の居所に配設される。
通信ネットワークNWは、画像データ生成部MC、生理学的データ生成部PI、被監視者監視装置MDおよび通信端末機CTを相互に通信可能に接続する、例えば通信線、電話網、ディジタル通信網および無線通信網等の伝送路であり、所定の通信プロトコルを用いてデータが通信信号によって伝送される。通信ネットワークNWは、例えば、通信プロトコルにFTP(File Transfer Protocol)やTCP/IP(Transmission Control Protocol/Internet Protocol)等のいわゆるインターネットプロトコルが用いられてイントラネットやインターネットを構成する。本実施形態では、通信ネットワークNWは、有線ルータRT−1および無線ルータRT−2を含むローカルエリアネットワーク(LAN)であり、画像データ生成部MC、生理学的データ生成部PIおよび被監視者監視装置MDを相互に有線で通信可能に接続し、被監視者監視装置MDおよび通信端末機CTを相互に無線で通信可能に接続する。
有線ルータRT−1は、画像データ生成部MC、生理学的データ生成部PI、被監視者監視装置MDおよび無線ルータRT−2それぞれと通信線によって接続され、通信信号(通信パケット)の宛先に応じて通信ルートを選択し、この選択した通信ルートに向けて前記通信信号を中継する中継機である。本実施形態では、IEEE802.3af規格として標準化されたPoE(Power over Ethernet)(Ethernetは登録商標)が利用されており、PoE用の配線ケーブルが通信線として用いられる。有線ルータRT−1は、このPoEによって画像データ生成部MCに給電する。このため、画像データ生成部MCは、電源コンセントを利用できない、あるいは、利用し難い場所でも配設可能である。無線ルータRT−2は、通信線によって無線ルータRT−1と接続され、無線によって通信端末機CTと接続され、通信信号(通信パケット)の宛先に応じて通信ルートを選択し、この選択した通信ルートに向けて前記通信信号を中継する中継機である。なお、図1に示す例では、有線ルータRT−1と無線ルータRT−2とは、別体で構成したが、一体に構成されてもよい。すなわち、有線ルータRT−1は、無線ルータRT−2の機能を兼ね備えてよい。また、ルータは、通信ネットワークNWの規模に応じて適宜な個数が用いられる。
通信端末機CTは、通信機能および表示機能を備え、被監視者監視装置MDから、被監視者が異常状態である旨の通知を受信して表示する装置であり、例えば、携帯電話機CT−1、スマートフォンCT−2およびタブレット型コンピュータCT−3等である。本実施形態では、被監視者が異常状態である旨の通知を電子メールで受信するので、通信端末機CTは、電子メールの作成、送受信、保存および管理を行うメーラを備え、そして、被監視者の画像をストリーミング(streaming)によって受信するので、通信端末機CTは、ストリーミング機能を持つウェブブラウザを備える。被監視者の画像は、前記ウェブブラウザによってダウンロードしながら再生され、通信端末機CTにおける例えば液晶ディスプレイや有機ELディスプレイ等の表示部に表示される。
画像データ生成部MCは、被監視者の画像を表すデータである画像データを生成するための装置であり、例えば、いわゆるウェブカメラ(Web カメラ)等のデジタルカメラである。画像データ生成部MCは、被監視者が通常所在する空間を撮像できる適宜な方向に撮像方向を一致させて配設される。本実施形態では、通信ネットワークNWを介して被監視者の画像データを、被監視者監視装置MDへ伝送するので、画像データ生成部MCは、通信機能を持つ。このような画像データ生成部MCは、例えば、図6に示すように、撮像光学系61と、撮像部62と、画像処理部63と、通信インターフェース部(以下、「通信IF部」と略記する。)64とを備える。
撮像光学系61は、1または複数の光学素子(例えばレンズやプリズムやフィルタ等)を備え、物体(被写体)の光学像を撮像部62の受光面上に結像するものである。撮像部62は、撮像光学系61によって結像された物体の光学像における光量に応じてR(赤)、G(緑)、B(青)の各色成分の信号に光電変換して画像処理部63へ出力する装置である。撮像部62は、例えば、CCD型のイメージセンサや、CMOS型のイメージセンサ等を備える。画像処理部63は、撮像部62に接続され、撮像部62で得られたR(赤)、G(緑)、B(青)の各色成分の信号に対し、所定の画像処理を行って画像データを生成する回路であり、例えば、DSP(Digital Signal Processor)およびその周辺回路を備える。前記所定の画像処理は、例えば、撮像部62からのアナログ出力信号に対して行う増幅処理およびディジタル変換処理、画像全体に対して適正な黒レベルの決定処理、γ補正処理、ホワイトバランス調整(WB調整)処理、輪郭補正処理および色ムラ補正処理等の周知の画像処理である。通信IF部64は、画像処理部63に接続され、被監視者監視装置MDとの間で通信ネットワークNWを介して通信信号を送受信するためのインターフェースであり、例えば、LANカード等のネットワークカード等である。
このような画像データ生成部MCでは、物体の光学像は、撮像光学系61によってその光軸に沿って撮像部62の受光面まで導かれ、撮像部62によって前記物体の光学像が撮像される。そして、撮像された前記物体の光学像は、画像処理部63で画像処理されて画像データとなり、この画像データは、通信信号に格納され、被監視者の画像データとして通信IF部64によって被監視者監視装置MDへ送信される。
生理学的データ生成部PIは、被監視者の生理学的情報を表すデータである生理学的データを生成するための装置である。画像データ生成部MCは、被監視者の生理学的データを収集できるように配設される。本実施形態では、通信ネットワークNWを介して生理学的データを、被監視者監視装置MDへ伝送するので、生理学的データ生成部PIは、通信機能を持つ。生理学的情報は、例えば、呼吸数、心拍、血流パルス、血圧、ECG(Electrocardiogram,心電図)、EMG(Electromyogram、筋電図)、SpO(血中酸素濃度)等である。なお、前記特許文献2では、これらを「生理学的信号」と呼称しているが、ここでは、「通信信号」の「信号」との混同を避けるため、上述のように「生理学的情報」と呼称している。前記血圧は、血圧計によって測定され、心電図は、心電計によって測定され、筋電図は、筋電計によって測定され、血中酸素濃度は、パルスオキシメータによって測定され、そして、心拍は、前記血圧計やパルスオキシメータ等によって測定される。生理学的データ生成部PIは、このような血圧計、心電計、筋電計あるいはパルスオキシメータ等の装置であってよいが、本実施形態では、このような装置は、被監視者の生理学的な活動に基づく所定の物理量を測定して測定データを生成するプローブ部(センサ部)と、プローブ部で得られた測定データを信号処理することによって生理学的情報を得る信号処理部とに分けられ、生理学的データ生成部PIは、このようなプローブ部を備えて構成される。なお、前記信号処理部は、本実施形態では、後述の第2身体状態判定部43の一部として被監視者監視装置MDに組み込まれている。例えば、生理学的データ生成部PIは、血圧計におけるカフであり、圧力を測定し、前記信号処理部は、この測定した圧力から血圧値を求める。また例えば、生理学的データ生成部PIは、心電計における電極であり、心臓の活動電位を測定し、前記信号処理部は、この測定した活動電位から心電図を生成する。また例えば、生理学的データ生成部PIは、筋電計における電極であり、筋肉の活動電位を測定し、前記信号処理部は、この測定した活動電位から筋電図を生成する。また例えば、生理学的データ生成部PIは、パルスオキシメータにおけるプローブ部であり、このプローブ部は、被監視者に赤外光および赤色光を照射することによって得られた前記赤外光および赤色光の各反射光量(または各透過光量)の各光電脈波データを生成し、前記信号処理部は、この各光電脈波データから血中酸素濃度および心拍を求める。本実施形態では、生理学的データ生成部PIは、被監視者の体動や呼吸数を測定するために、被監視者にマイクロ波を照射することによって得られたドップラシフトした前記マイクロ波の反射波のドップラシフトデータを生成するマイクロ波ドップラセンサ等であり、前記信号処理部は、この測定したドップラシフトデータから体動および呼吸数を求める。このようなマイクロ波ドップラセンサは、例えば、特開2012−75861号公報や特開2012−97670号公報等に記載されている。このようなマイクロ波ドップラセンサを用いることによって、被監視者監視装置MDは、後述するように、被監視者の画像データおよび被監視者で反射したマイクロ波の反射波を表すドップラシフトデータそれぞれで被監視者の身体状態をそれぞれ判定するので、非接触で被監視者の身体状態を判定できる。
より具体的には、マイクロ波ドップラセンサを備えた生理学的データ生成部PIは、例えば、図7に示すように、被監視者にマイクロ波を照射するマイクロ波発信部71と、被監視者で反射した反射マイクロ波を受信するマイクロ波受信部72と、マイクロ波発信部71およびマイクロ波受信部72それぞれに接続され、マイクロ波発信部71から照射されたマイクロ波とマイクロ波受信部72で受信した反射マイクロ波とに基づいてドップラシフトデータに復調するマイクロ波復調部73と、マイクロ波復調部73に接続される通信IF部74とを備える。マイクロ波発信部71は、被監視者が通常所在する空間にマイクロ波を放射できる適宜な方向に放射方向を一致させて配設され、マイクロ波受信部72は、マイクロ波発信部71から前記空間に放射されたマイクロ波の反射波を受信できるように配設される。通信IF部74は、通信IF部64と同様に、被監視者監視装置MDとの間で通信ネットワークNWを介して通信信号を送受信するためのインターフェースである。このような生理学的データ生成部PIでは、マイクロ波は、マイクロ波発信部71によって前記空間に放射されることで被監視者MOに照射され、その一部が被監視者MOの体表で反射され、その一部が被監視者の内部に入って呼吸筋で反射される。被監視者MOで反射されたマイクロ波(反射マイクロ波)は、マイクロ波受信部72で受信される。そして、マイクロ波復調部73は、マイクロ波発信部71のマイクロ波とマイクロ波受信部72の反射マイクロ波とに基づいてドップラシフトデータを復調する。このドップラシフトデータは、通信信号に格納され、被監視者の生理学的データとして通信IF部74によって被監視者監視装置MDへ送信される。ここで、反射マイクロ波には、被監視者の体動と呼吸筋の動きに対応したドップラシフトが生じているので、ドップラシフトデータは、被監視者の体動と呼吸筋の動きに対応したものであり、ドップラシフトデータを後述するように情報処理することで、被監視者の体動と呼吸数とを求めることができる。なお、このドップラシフトデータから心拍も求めることも可能である。
図1に戻って、被監視者監視装置MDは、被監視者を監視し、画像データ生成部MCから受信した被監視者の画像データおよび生理学的データ生成部PIから受信した被監視者の生理学的データに基づいて被監視者の身体状態を判定し、被監視者の身体状態が異常状態であると判定された場合に、被監視者が異常状態である旨を通信端末機CTに通知するものである。異常状態は、他者によって被監視者を速やかに助ける必要があると認められる、被監視者の身体に生じた事象であり、被監視者の種類によって予め適宜に設定される。監視者は、通信端末機CTを参照することによって、被監視者が異常状態であると判定されたことを認識できる。本実施形態では、通信ネットワークNWを介して画像データおよび生理学的データを、画像データ生成部MCおよび生理学的データ生成部PIそれぞれから受信するので、被監視者監視装置MDは、通信機能を持つ。このような被監視者監視装置MDは、例えば、図2に示すように、通信IF部1、入力部2、出力部3、処理制御部4および記憶部5を備える。
通信IF部1は、処理制御部4に接続され、通信IF部64や通信IF部74と同様に、画像データ生成部MCとの間や生理学的データ生成部PIとの間で通信ネットワークNWを介して通信信号を送受信するためのインターフェースである。通信IF部1で受信された画像データ生成部MCからの被監視者の画像データは、通信IF部1から処理制御部4へ出力され、通信IF部1で受信された生理学的データ生成部PIからの被監視者の生理学的データは、通信IF部1から処理制御部4へ出力される。このように、本実施形態では、画像データ生成部MCで生成された被監視者の画像データが通信IF部1を介して被監視者監視装置MDに入力されることから、通信IF部1は、画像データ入力部の一例であり、そして、生理学的データ生成部PIで生成された被監視者の生理学的データが通信IF部1を介して被監視者監視装置MDに入力されることから、通信IF部1は、生理学的データ入力部の一例でもある。
なお、本実施形態では、被監視者監視装置MD、画像データ生成部MCおよび生理学的データ生成部PIは、通信ネットワークNWによって相互に通信可能に接続されたが、被監視者監視装置MDおよび画像データ生成部MCは、専用の配線ケーブルによって接続されてもよく、この場合、画像データ生成部MCとの間でデータの入出力を行うインターフェース回路が画像データ入力部の一例に相当し、また、被監視者監視装置MDおよび生理学的データ生成部PIは、専用の配線ケーブルによって接続されてもよく、この場合、生理学的データ生成部PIとの間でデータの入出力を行うインターフェース回路が生理学的データ入力部の一例に相当する。前記インターフェース回路は、例えば、シリアル通信方式であるRS−232Cのインターフェース回路や、USB(Universal Serial Bus)規格を用いたインターフェース回路等である。なお、このようなインターフェース回路を介することなく、処理制御部4が画像データ生成部MCで生成された被監視者の画像データを扱うことができる場合には、配線ケーブルを接続するための端子が画像データ入力部の一例に相当し、また、このようなインターフェース回路を介することなく、処理制御部4が生理学的データ生成部PIで生成された被監視者の生理学的データを扱うことができる場合には、配線ケーブルを接続するための端子が生理学的データ入力部の一例に相当する。
入力部2は、処理制御部4に接続され、例えば、監視の開始を指示するコマンド等の各種コマンド、および、例えば被監視者における識別子の入力や、身体状態が異常状態であるか否かを判定するために用いられる異常状態を示す異常データ等の、被監視者を監視する上で必要な各種データを被監視者監視装置MDに入力する機器であり、例えば、キーボードやマウス等である。出力部3は、処理制御部4に接続され、入力部2から入力されたコマンドやデータ、および、被監視者監視装置MDによって判定された被監視者の身体状態や被監視者の画像を出力する機器であり、例えばCRTディスプレイ、LCDおよび有機ELディスプレイ等の表示装置やプリンタ等の印刷装置等である。
なお、入力部2および出力部3からタッチパネルが構成されてもよい。このタッチパネルを構成する場合において、入力部2は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置であり、出力部3は、表示装置である。このタッチパネルでは、表示装置の表示面上に位置入力装置が設けられ、表示装置に入力可能な1または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置を触れると、位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として被監視者監視装置MDに入力される。このようなタッチパネルでは、ユーザは、入力操作を直感的に理解し易いので、ユーザにとって取り扱い易い被監視者監視装置MDが提供される。
記憶部5は、被監視者を監視する被監視者監視プログラム等の処理制御部4によって実行される種々のプログラムやその実行に必要なデータ等を予め記憶するROM(Read Only Memory)やEEPROM(Electrically Erasable Programmable Read Only Memory)等の不揮発性記憶素子、処理制御部4のいわゆるワーキングメモリとなるRAM(Random Access Memory)等の揮発性記憶素子およびその周辺回路を備えて構成される。なお、記憶部5は、比較的大容量の例えばハードディスク装置等の記憶装置を備えてもよい。そして、記憶部5には、機能的に、被監視者の画像データを後述の被監視者識別子ごとに記憶する画像データ記憶部51、被監視者における姿勢の履歴を記憶する姿勢履歴記憶部52、被監視者における落下の履歴を記憶する落下履歴記憶部53、被監視者における位置の履歴を記憶する位置履歴記憶部54、および、被監視者の生理学的データを被監視者識別子ごとに記憶する生理学的データ記憶部55が構成される。
より具体的には、姿勢履歴記憶部52は、被監視者を特定し識別するための被監視者識別子、前記被監視者の姿勢を判定した姿勢判定時刻、および、前記被監視者の姿勢を相互に対応付けて例えばテーブル形式で記憶する。例えば、被監視者における姿勢の履歴を登録するする姿勢履歴テーブルは、被監視者の被監視者識別子を登録する被監視者識別子フィールドと、前記被監視者識別子フィールドに登録された被監視者識別子に対応する被監視者の姿勢判定時刻を登録する姿勢判定時刻フィールドと、前記被監視者識別子フィールドに登録された被監視者識別子に対応する被監視者の姿勢を登録する姿勢フィールドとを備え、被監視者識別子および姿勢判定時刻それぞれごとにレコードが作成される。落下履歴記憶部53は、同様に、被監視者の被監視者識別子、前記被監視者の落下を判定した位置判定時刻、および、前記被監視者の落下の有無を相互に対応付けて例えばテーブル形式で記憶する。例えば、被監視者における落下の履歴を登録する落下履歴テーブルは、被監視者の被監視者識別子を登録する被監視者識別子フィールドと、前記被監視者識別子フィールドに登録された被監視者識別子に対応する被監視者の落下判定時刻を登録する落下判定時刻フィールドと、前記被監視者識別子フィールドに登録された被監視者識別子に対応する被監視者の落下の有無を登録する落下フィールドとを備え、被監視者識別子および落下判定時刻それぞれごとにレコードが作成される。位置履歴記憶部54は、同様に、被監視者の被監視者識別子、前記被監視者の位置を判定した位置判定時刻、および、前記被監視者の位置を相互に対応付けて例えばテーブル形式で記憶する。例えば、被監視者における位置の履歴を登録する位置履歴テーブルは、被監視者の被監視者識別子を登録する被監視者識別子フィールドと、前記被監視者識別子フィールドに登録された被監視者識別子に対応する被監視者の位置判定時刻を登録する位置判定時刻フィールドと、前記被監視者識別子フィールドに登録された被監視者識別子に対応する被監視者の位置を登録する位置フィールドとを備え、被監視者識別子および位置判定時刻それぞれごとにレコードが作成される。
なお、これら上述の画像データ記憶部51、姿勢履歴記憶部52、落下履歴記憶部53、位置履歴記憶部54および生理学的データ記憶部55において、前記被監視者識別子に代え、または、追加して、画像データ生成部MCを特定し識別するための画像データ生成部識別子が用いられてもよい。同様に、前記被監視者識別子に代え、または、追加して、生理学的データ生成部PIを特定し識別するための生理学的データ生成部識別子が用いられてもよい。前記被監視者識別子と前記画像データ生成部識別子との対応関係、および、前記被監視者識別子と前記生理学的データ生成部識別子との対応関係は、それぞれ、予め設定され、記憶される。また、処理制御部4は、後述するように、記憶部5に記憶されている被監視者における姿勢、位置および落下の各履歴を用いることによって被監視者の第1身体状態を判定しているので、記憶部5における姿勢履歴記憶部52、落下履歴記憶部53および位置履歴記憶部54の記憶容量は、過去数秒の各履歴を記憶できる容量でよい。
処理制御部4は、被監視者監視装置MDの各部を当該各部の機能に応じてそれぞれ制御することによって被監視者監視装置MDの全体制御を司るものである。なお、処理制御部4は、通信IF部1および通信ネットワークNWを介して画像データ生成部MCの撮像方向や画角を制御してもよい。そして、処理制御部4は、画像データ生成部MCから受信した被監視者の画像データおよび生理学的データ生成部PIから受信した被監視者の生理学的データに基づいて被監視者の身体状態を判定し、被監視者の身体状態が異常状態であると判定された場合に、被監視者が異常状態である旨を通信端末機CTに通知する。
このような処理制御部4は、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。そして、処理制御部4には、プログラムを実行することによって、機能的に、制御部41、第1身体状態判定部42、第2身体状態判定部43および通知制御部44が構成される。
制御部41は、被監視者を監視するために、被監視者監視装置MDの各部を当該各部の機能に応じてそれぞれ制御するものである。制御部41は、通信IF部1を介して画像データ生成部MCから画像データを受信すると、画像データを被監視者識別子と対応付けて画像データ記憶部51に記憶し、制御部41は、通信IF部1を介して生理学的データ生成部PIから生理学的データを受信すると、生理学的データを被監視者識別子と対応付けて生理学的データ記憶部55に記憶する。
第1身体状態判定部42は、画像データ入力部MCから通信ネットワークNWを介して入力された被監視者の画像データに基づいて前記被監視者の第1身体状態を判定するものである。第1身体状態判定部42は、前記画像データを画像データ記憶部51から取得してもよく、あるいは、画像データを受信した際に制御部41から取得してもよい。前記被監視者の第1身体状態は、動作を解析する公知の動作解析アルゴリズムを用いることによって被監視者の画像データに基づいて判定される被監視者の動作であり、例えば、被監視者がベッドから起床する起床動作や、被監視者がベッドから離床する離床動作や、被監視者がベッドから落下した転落動作や、被監視者が転倒した転倒動作等である。前記動作解析アルゴリズムとして、いわゆるOpenCV(Open Source Computer Vision Library)で公開されている公知の画像処理プログラム、モーション解析プログラム、物体追跡プログラムおよびパターン認識プログラム等が利用できる。このような第1身体状態判定部42は、より具体的には、例えば、図3に示すように、人物領域抽出部421と、姿勢検出部422と、落下検出部423と、位置検出部424と、第1判断部425とを備える。
人物領域抽出部421は、被監視者の画像データを取り込み、前記被監視者の画像データによる画像から人物領域を抽出するものである。前記人物領域は、人物の像を映した領域である。より具体的には、人物領域抽出部421は、例えば、被監視者の画像データによる画像と背景画像との差分画像から人物領域の候補領域を抽出する。また例えば、人物領域抽出部421は、被監視者の画像データによる画像に対し動体検出を行うことによって人物領域の候補領域を抽出する。そして、人物領域抽出部421は、この抽出した人物領域の候補領域における大きさ(サイズ)が、人物領域判定閾値以上であるか否かを判定する。前記人物領域判定閾値は、画像データ生成部MCの撮像光学系61の倍率等を考慮することによって実際の人物を撮像した場合に得られる画像における人物領域のサイズに応じて予め適宜に設定される。この判定の結果、人物領域の候補領域における大きさが前記人物領域判定閾値以上である場合には、人物領域抽出部421は、この人物領域の候補領域を人物領域とし、一方、前記判定の結果、人物領域の候補領域における大きさが前記人物領域判定閾値未満である場合には、人物領域抽出部421は、この人物領域の候補領域をノイズとする。このように人物領域を抽出すると、人物領域抽出部421は、この抽出した人物領域を姿勢検出部422、落下検出部423および位置検出部424それぞれに出力する。
姿勢検出部422は、人物領域抽出部421から入力された人物領域に基づいて被監視者の姿勢を検出するものである。より具体的には、姿勢検出部422は、人物領域抽出部421から入力された人物領域の輪郭を矩形近似または楕円近似し、この近似した人物領域の輪郭における縦方向(水平方向)の長さ、前記縦方向に直交する横方向(垂直方向)の長さおよび縦横比(=(縦方向の長さ)/(横方向の長さ))から被監視者の姿勢を判定する。例えば、画像データ生成部MCの位置および撮像方向、ならびに、被監視者の使用するベッドの位置および方向が予め既知であるとし、次のように被監視者の姿勢が判定できる。すなわち、例えば、縦方向の長さが横方向の長さより長く、かつ、縦横比が予め設定された第1姿勢判定閾値以上である場合、被監視者の姿勢は、立位(立っている状態)と判定される。また例えば、縦方向の長さが横方向の長さより短く、かつ、縦横比が前記第1姿勢判定閾値未満である場合、被監視者の姿勢は、横臥(寝ている状態)と判定される。また例えば、縦方向の長さと横方向の長さとが略同等であり、縦方向の長さ(または横方向の長さ)が予め設定された第2姿勢判定閾値以上であり、そして、縦横比が略1である場合、被監視者の姿勢は、座位(上体を起こして座っている状態)と判定される。また例えば、縦方向の長さと横方向の長さとが略同等であり、縦方向の長さ(または横方向の長さ)が前記第2姿勢判定閾値未満であり、そして、縦横比が略1である場合、被監視者の姿勢は、しゃがんでいる状態と判定される。なお、前記第1および第2姿勢判定閾値は、複数のサンプルを測定し、この測定結果を統計処理することによって、適宜な値に予め設定される。このように被監視者の姿勢を検出すると、姿勢検出部422は、この検出した被監視者の姿勢を、被監視者識別子(あるいは画像データ生成部識別子)および姿勢判定時刻と対応付けて姿勢履歴記憶部52に記憶し、そして、この検出した被監視者の姿勢を、被監視者識別子(あるいは画像データ生成部識別子)および姿勢判定時刻と対応付けて第1判断部425へ出力する。
落下検出部423は、人物領域抽出部421から入力された人物領域に基づいて被監視者の落下を検出するものである。より具体的には、画像データ生成部MCによる画像データの生成間隔(例えばフレームレート)が予め既知であるとし、落下検出部423は、例えば、今回の、人物領域抽出部421から入力された人物領域の位置と、前回の、人物領域抽出部421から入力された人物領域の位置とから、人物領域の移動方向と移動速度を求め、この求めた人物領域の移動方向が下方向であって移動速度が略自然落下速度である場合、被監視者が落下したと判定し、前記求めた人物領域の移動方向および移動速度が上述の場合ではない場合、被監視者が落下していないと判定する。なお、上述では、今回の人物領域の位置と前回の人物領域の位置とからその移動方向および移動速度が判定されたが、今回の人物領域の位置と過去の1つまたは複数の人物領域の位置(例えば、前回および前々回等)からその移動方向および移動速度が判定されてもよい。このように被監視者の落下の有無を検出すると、落下検出部423は、この検出した被監視者の落下の有無を、被監視者識別子(あるいは画像データ生成部識別子)および落下判定時刻と対応付けて落下履歴記憶部53に記憶し、そして、この検出した被監視者の落下の有無を、被監視者識別子(あるいは画像データ生成部識別子)および姿勢判定時刻と対応付けて第1判断部425へ出力する。
位置検出部424は、人物領域抽出部421から入力された人物領域に基づいて被監視者の位置を検出するものである。より具体的には、被監視者の使用するベッドの位置およびその大きさが予め既知であるとし、位置検出部424は、人物領域抽出部421から入力された人物領域がベッド領域上に有るか否かを判定することによって被監視者の位置を判定する。前記ベッド領域は、ベッドの像を映した領域である。前記人物領域が前記ベッド領域上である場合には、被監視者の位置は、ベッド上の位置であるとされ、前記人物領域が前記ベッド領域の境界上である場合には、被監視者の位置は、ベッド端部の位置で例えば足をベッドから下ろしている状態であるとされ、そして、前記人物領域が前記ベッド領域上ではない場合には、被監視者の位置は、ベッドから離れた位置(離床位置)であるとされる。このように被監視者の位置を検出すると、位置検出部424は、この検出した被監視者の位置を、被監視者識別子(あるいは画像データ生成部識別子)および位置判定時刻と対応付けて位置履歴記憶部54に記憶し、そして、この検出した被監視者の位置を、被監視者識別子(あるいは画像データ生成部識別子)および位置判定時刻と対応付けて第1判断部425へ出力する。
第1判断部425は、姿勢検出部422で検出された被監視者の姿勢、落下検出部423で検出された前記被監視者の落下の有無および位置検出部424で検出された前記被監視者の位置に基づいて前記被監視者の第1身体状態を判定するものである。より具体的には、第1判断部425は、被監視者における姿勢、落下の有無および位置の各履歴から、前記被監視者の第1身体状態として、起床、離床、転落、転倒および事象無しのいずれかを判定する。例えば、第1判断部425は、今回の、姿勢検出部422で検出された被監視者の姿勢、落下検出部423で検出された前記被監視者の落下の有無および位置検出部424で検出された前記被監視者の位置、ならびに、記憶部5における姿勢履歴記憶部52、落下履歴記憶部53および位置履歴記憶部54に記憶されている、前回の、姿勢検出部422で検出された被監視者の姿勢、落下検出部423で検出された前記被監視者の落下の有無および位置検出部424で検出された前記被監視者の位置から、前記被監視者の第1身体状態として、起床、離床、転落、転倒および事象無しのいずれかを判定する。そして、第1判断部425は、転落と判定した場合に、被監視者が異常状態であると判定し、転倒と判定した場合に、被監視者が異常状態であると判定する。そして、本実施形態では、第1判断部425は、上記を除く他の場合、前記被監視者が異常状態ではないと判定する。前記被監視者の第1身体状態を判定すると、第1判断部425は、その判定結果(本実施形態では起床、離床、転落、転倒および事象無しのいずれかおよび被管理者の異常状態の有無)を通知制御部44へ出力する。
第2身体状態判定部43は、生理学的データ生成部PIから通信ネットワークNWを介して入力された被監視者の生理学的データに基づいて前記被監視者の第2身体状態を判定するものである。第2身体状態判定部43は、前記生理学的データを生理学的データ記憶部55から取得してもよく、あるいは、生理学的データを受信した際に制御部41から取得してもよい。前記被監視者の第2身体状態は、公知の解析アルゴリズムを用いることによって被監視者の生理学的データに基づいて判定される被監視者の生理学的情報であり、例えば、本実施形態では、ドップラシフトデータから求められた被監視者の体動数および呼吸数である。ドップラシフトデータから体動数および呼吸数を求める解析アルゴリズムは、上述の特開2012−75861号公報や特開2012−97670号公報に記載されている。このような第2身体状態判定部43は、より具体的には、例えば、図4に示すように、微分処理部431と、体動検出部432と、高速フーリエ変換部(以下、「FFT部」と略記する。)433と、呼吸検出部434と、第2判断部435とを備える。
微分処理部431は、被監視者の生理学的データとしてのドップラシフトデータを取り込み、前記被監視者のドップラシフトデータを微分するものである。微分処理部431は、この微分したドップラシフトデータを体動検出部432へ出力する。体動検出部432は、前記微分したドップラシフトデータから被監視者の体動数を検出するものである。より具体的には、体動検出部432は、前記微分したドップラシフトデータが予め設定された+体動判定閾値以上である場合に1回の体動が有ったものとしてカウントし、そして、前記微分したドップラシフトデータが予め設定された−体動判定閾値以下である場合に1回の体動が有ったものとしてカウント(計数)し、これらカウントした体動回数の単位時間当たりの数を体動数とする。体動は、呼吸動作を除く、被監視者の動作である。なお、前記+体動判定閾値および−体動判定閾値それぞれは、複数のサンプルを測定し、この測定結果を統計処理することによって、適宜な値に予め設定される。体動数を求めると、体動検出部432は、この求めた体動数を第2判断部435へ出力する。
FFT部433は、被監視者の生理学的データとしてのドップラシフトデータを取り込み、前記被監視者のドップラシフトデータを所定時間蓄積し、この蓄積したドップラシフトデータを高速フーリエ変換し、ドップラシフトデータの周波数分布を求めるものである。FFT部433は、この求めたドップラシフトデータの周波数分布を呼吸検出部434へ出力する。呼吸検出部434は、前記求めたドップラシフトデータの周波数分布から被監視者の呼吸数を検出するものである。より具体的には、呼吸検出部434は、前記求めたドップラシフトデータの周波数分布における最も強度(ピーク)の大きい周波数成分を呼吸の基本波成分とし、この呼吸の基本波成分を60倍することで単位時間1分間当たりの呼吸数を求める。呼吸数を求めると、呼吸検出部434は、この求めた呼吸数を第2判断部435へ出力する。
第2判断部435は、体動検出部432で検出された被監視者の体動数および呼吸検出部434で検出された前記被監視者の呼吸数に基づいて前記被監視者の第2身体状態を判定するものである。より具体的には、第2判断部435は、例えば、被監視者の呼吸数から無呼吸状態(呼吸数が0である場合または呼吸数が2、3回と極めて少ない場合)と判定され、被監視者の体動数から体動があったと判定された場合に、被監視者が異常状態であると判定し、被監視者の呼吸数から比較的多数の呼吸状態(呼吸数が予め設定された呼吸異常閾値以上である場合)と判定され、被監視者の体動数から体動があったと判定された場合に、被監視者が異常状態であると判定する。そして、本実施形態では、第2判断部435は、上記を除く他の場合、被監視者が異常状態ではないと判定する。なお、前記呼吸異常閾値は、複数のサンプルを測定し、この測定結果を統計処理することによって、医学的な観点を考慮しつつ適宜な値に予め設定される。被監視者の第2身体状態を判定すると、第2判断部435は、その判定結果(本実施形態では体動数、呼吸数および被管理者の異常状態の有無)を通知制御部44へ出力する。
通知制御部44は、第1および第2身体状態判定部42、43の両方によって被監視者の第1および第2身体状態の両方が異常状態であると判定された場合、被監視者が異常状態である旨を通知し、第1および第2身体状態判定部42、43のいずれか一方によって被監視者の第1および第2身体状態のいずれか一方が異常状態ではないと判定された場合、前記一方に再判定させ、前記一方によって再判定された被監視者の第1および第2身体状態のうちの一方の判定結果に基づいて被監視者が異常状態である旨を通知するか否かを判断するものである。
そして、より具体的には、通知制御部44は、本実施形態では、第1および第2身体状態判定部42、43のうちの一方によって判定された被監視者の所定の第1異常状態に応じた第2異常状態が第1および第2身体状態判定部42、43のうちの他方によって判定された場合を、前記第1および第2身体状態判定部42、43の両方によって被監視者の身体状態が異常状態であると判定された場合とし、被監視者が異常状態である旨を通知する。通知制御部44は、本実施形態では、第1および第2身体状態判定部42、43のうちの一方によって判定された被監視者の第1異常状態に応じた第2異常状態を第1および第2身体状態判定部42、43のうちの他方によって判定されなかった場合を、第1および第2身体状態判定部42、43のいずれか一方によって被監視者の第1および第2身体状態のいずれか一方が異常状態ではないと判定された場合とし、第1および第2身体状態判定部42、43のうちの前記他方に、所定の期間または回数、被監視者の身体状態を再判定させることによって、被監視者が異常状態である旨を通知するか否かを判断し、前記所定の期間内または回数内に被監視者の身体状態が第2異常状態であると判定された場合に、被監視者が異常状態である旨を通知する。
そして、本実施形態では、第1身体状態判定部42は、被監視者の画像データに基づいて被監視者の位置をさらに検出し、通知制御部44は、被監視者が異常状態である旨を通知するか否かを判断する際に、第2身体状態判定部43によって判定された被監視者の第2身体状態をさらに第1身体状態判定部42によって検出された被監視者の位置に基づいて判定する。
そして、本実施形態では、被監視者監視装置MDは、メーラを備え、通知制御部44は、被監視者が異常状態である旨を監視者宛に電子メールで通知する。この電子メールには、被監視者が異常状態である旨を表すメッセージが記載される。また、この電子メールには、前記メッセージに追加して、あるいは、前記メッセージに代え、被監視者の画像をストリーミングで参照するためのリンク(URL)が設定されてもよい。
このように本実施形態では、被監視者監視装置MDは、被監視者が異常状態である旨を監視者宛に電子メールで通知するので、被監視者監視システムMSは、電子メールを配送するためのサーバコンピュータである図略のメールサーバを備える。なお、被監視者監視装置MDがこのメールサーバを兼ねてもよく、この場合では、記憶部5は、電子メールをユーザ(メールアドレス)ごとに保管する、図1に破線で示す電子メール記憶部57をさらに備え、処理制御部4は、例えばPOP(Post Office Protocol)およびSMTP(Simple Mail Transfer Protocol)を用いて電子メールを配信する、図1に破線で示す電子メール配信部46をさらに備える。また、被監視者の画像は、画像データ生成部MCが直接配信してもよく、また、図略の画像サーバが配信してもよい。前記画像サーバは、画像データ生成部MCから被監視者の画像を受信して保存し、クライアント端末の要求に応じて被監視者の画像データを配信するサーバコンピュータである。なお、被監視者監視装置MDがこの画像サーバを兼ねてもよく、この場合では、処理制御部4は、所定のプロトコルを用いて、記憶部5は、被監視者識別子(画像データ生成部識別子)ごとに画像データ記憶部51に保管されている被監視者の画像データを配信する、図1に破線で示す画像データ配信部47をさらに備える。
このような通知制御部44は、より具体的には、例えば、図5に示すように、第1確認部441と、第2確認部442と、通知部443とを備える。
第1確認部441は、第1および第2身体状態判定部42、43の第1および第2判断部425、435それぞれから入力された各判定結果に基づいて、被監視者が異常状態である旨を通知すべきか否かを判断するために、被監視者の第1身体状態が予め設定された所定の第A異常状態であるか否かを判断し、被監視者の第2身体状態が第A異常状態に応じた、予め設定された所定の第B異常状態であるか否かを判断する。第1確認部441は、第1身体状態判定部42によって被監視者の第1身体状態が第A異常状態であると判定され、第2身体状態判定部43によって被監視者の第2身体状態が第B異常状態であると判定さている場合、被監視者が異常状態である旨を通知部443へ出力する。第1確認部441は、第1身体状態判定部42によって被監視者の第1身体状態が第A異常状態であると判定されていない場合であって、かつ、第2身体状態判定部43によって被監視者の第2身体状態が第B異常状態であると判定されている場合、第1身体状態判定部42に、所定の期間または回数、前記被監視者の第1身体状態を判定させることによって、被監視者が異常状態である旨を通知するか否かを判断し、前記所定の期間内または回数内に被監視者の第1身体状態が第A異常状態であると判定された場合に、被監視者が異常状態である旨を通知部443へ出力する。
第2確認部442は、第1および第2身体状態判定部42、43の第1および第2判断部425、435それぞれから入力された各判定結果に基づいて、被監視者が異常状態である旨を通知すべきか否かを判断するために、被監視者の第2身体状態が予め設定された所定の第C異常状態であるか否かを判断し、被監視者の第1身体状態が第C異常状態に応じた、予め設定された所定の第D異常状態であるか否かを判断する。第2確認部442は、第2身体状態判定部43によって被監視者の第2身体状態が第C異常状態であると判定され、第1身体状態判定部42によって被監視者の第1身体状態が第D異常状態であると判定さている場合、被監視者が異常状態である旨を通知部443へ出力する。第1確認部441は、第2身体状態判定部43によって被監視者の第2身体状態が第C異常状態であると判定されていない場合であって、かつ、第1身体状態判定部42によって被監視者の第1身体状態が第D異常状態であると判定されている場合、第2身体状態判定部43に、所定の期間または回数、前記被監視者の第2身体状態を判定させることによって、被監視者が異常状態である旨を通知するか否かを判断し、前記所定の期間内または回数内に被監視者の第2身体状態が第C異常状態であると判定された場合に、被監視者が異常状態である旨を通知部443へ出力する。
そして、第2確認部442は、上述のように被監視者が異常状態である旨を通知するか否かを判断する際に、第2身体状態判定部43によって判定された被監視者の第2身体状態をさらに第1身体状態判定部42によって検出された被監視者の位置に基づいて判定する。
このように本実施形態では、第1および第2判断部425、435のうちの一方から被監視者が異常状態であると判定されていない場合には、被監視者が異常状態である旨の通知が保留され、画像データによる第1身体状態判定部42の判定および生理学的データによる第2身体状態判定部43の判定のうちの前記一方が前記所定の期間または回数だけ継続して実施される。
通知部443は、第1および第2確認部441、442の両方から被監視者が異常状態である旨を受け付けた場合に、被監視者が異常状態である旨を監視者宛の電子メールで通知するものである。そして、上述したように、通知部443は、被監視者が異常状態である旨を表すメッセージに追加して、あるいは、前記メッセージに代え、被監視者の画像をストリーミングで参照するためのリンク(URL)を前記電子メールに記載してもよい。
なお、通知部443は、被監視者が異常状態である旨を監視者宛の電子メールで通知する際に、被監視者が異常状態である旨に追加して、第1身体状態判定部42で判定した被監視者の第1身体状態(本実施形態では起床、離床、転落、転倒)および第2身体状態判定部43で判定した被監視者の第2身体状態(本実施形態では体動数、呼吸数)のうちの少なくとも一方を前記電子メールに記載してもよい。
そして、このような通信IF部1、入力部2、出力部3、処理制御部4および記憶部5は、例えば、コンピュータ、より具体的にはノート型やディスクトップ型等のパーソナルコンピュータ等によって構成可能である。
次に、本実施形態の動作について説明する。図8は、図3に示す第1身体状態判定部の動作を示すフローチャートである。図9は、図1に示す被監視者監視システムの動作を示すフローチャートである。
被監視者監視装置MDは、例えば、ユーザの操作によって入力部2から起動コマンドを受け付けると、被監視者監視プログラムを実行する。この被監視者監視プログラムの実行によって、処理制御部4に制御部41、第1身体状態判定部42、第2身体状態判定部43および通知制御部44が機能的に構成される。
そして、監視を開始すると、まず、被監視者監視装置MDは、通信ネットワークNWを介して画像データ生成部MCから画像データを所定の第1時間間隔で順次に取り込み、そして、通信ネットワークNWを介して生理学的データ生成部PIから生理学的データを所定の第2時間間隔で順次に取り込む。前記所定の第1時間間隔は、第1身体状態判定部42で転落を判定することができる時間であり、適宜に予め設定される。例えば、前記第1時間間隔は、0.1秒ないし0.3秒の範囲のうちのいずれかの時間である。なお、画像データ生成部MCは、この前記所定の時間間隔より短い時間間隔で画像データを生成して被監視者監視装置MDへ送信してもよく(例えば24fpsや30fpsや60fps等)、この場合では、被監視者監視装置MDは、画像データを適宜に間引いて利用してよい。通信ネットワークNWの通信容量や通信トラフィックを低減するために、本実施形態のように0.1秒ないし0.3秒の範囲のうちのいずれかの時間(例えば0.2秒(5fps))であることが好ましい。また、前記所定の第2時間間隔は、第2身体状態判定部43で体動や呼吸を判定することができる時間であり、適宜に予め設定される。
このように前記第1時間間隔で順次に被監視者の画像データが取り込まれると、被監視者監視装置MDの処理制御部4における第1身体状態判定部42は、画像データ入力部MCから通信ネットワークNWを介して入力された被監視者の画像データに基づいて前記被監視者の第1身体状態を判定する。
より具体的には、まず、第1身体状態判定部42の人物領域抽出部421は、上述のように、前記被監視者の画像データによる画像から人物領域を抽出し、この抽出した人物領域を姿勢検出部422、落下検出部423および位置検出部424それぞれへ出力する。次に、姿勢検出部422は、上述のように、人物領域抽出部421から入力された人物領域に基づいて被監視者の姿勢を検出し、落下検出部423は、上述のように、人物領域抽出部421から入力された人物領域に基づいて被監視者の落下の有無を検出し、そして、位置検出部424は、上述のように、人物領域抽出部421から入力された人物領域に基づいて被監視者の位置を検出する。次に、姿勢検出部422、落下検出部423および位置検出部424それぞれは、各検出結果を、被監視者識別子(あるいは画像データ生成部識別子)およびその判定時刻と対応付けて姿勢履歴記憶部52、落下履歴記憶部53および位置履歴記憶部54それぞれに記憶し、そして、この各検出結果を、被監視者識別子(あるいは画像データ生成部識別子)およびその判定時刻と対応付けて第1判断部425へ出力する。
そして、第1判断部425は、各検出部422、423、424それぞれ検出された被監視者における姿勢、落下の有無および位置に基づいて被監視者の第1身体状態を判定する。より具体的には、図8に示すように、まず、第1判断部425は、位置履歴記憶部54に記憶されている前回における被監視者の位置がベッド上であったか否かを判定する(S11)。この判定の結果、前回の被監視者の位置がベッド上であった場合(Yes)には、第1判断部425は、処理S12を実行し、一方、前回の被監視者の位置がベッド上ではなかった場合(No)には、第1判断部425は、処理S16を実行する。
この処理S12において、第1判断部425は、位置検出部424から入力された今回における被監視者の位置がベッド上であるか否かを判定する(S12)。この判定の結果、今回の被監視者の位置がベッド上であった場合(Yes)には、第1判断部425は、処理S13を実行し、一方、今回の被監視者の位置がベッド上ではなかった場合(No)には、第1判断部425は、処理S14を実行する。
この処理S13において、第1判断部425は、姿勢検出部422から入力された今回における被監視者の姿勢が座位(起きて座っている状態)であるか否かを判定する(S13)。この判定の結果、今回の被監視者の姿勢が座位であった場合(Yes)には、第1判断部425は、被監視者の第1身体状態が「起床」であると判定し、一方、今回の被監視者の姿勢が座位ではなかった場合(No)には、第1判断部425は、事象無し(検知無し)と判定する。
この処理S14において、第1判断部425は、姿勢検出部422から入力された今回における被監視者の姿勢が立位であるか否かを判定する(S14)。この判定の結果、今回の被監視者の姿勢が立位であった場合(Yes)には、第1判断部425は、被監視者の第1身体状態が「離床」であると判定し、一方、今回の被監視者の姿勢が立位ではなかった場合(No)には、第1判断部425は、処理S15を実行する。
この処理S15において、第1判断部425は、落下検出部423から入力された今回の検出結果(被監視者の落下)が落下有りであるか否かを判定する(S15)。この判定の結果、落下検出部423における今回の検出結果が落下有りである場合(Yes)には、第1判断部425は、被監視者の第1身体状態が「転落」であると判定し、一方、落下検出部における今回の検出結果が落下無しである場合(No)には、第1判断部425は、被監視者の第1身体状態に事象無し(検知無し)と判定する。
また、前記処理S16において、第1判断部425は、姿勢履歴記憶部52に記憶されている前回における被監視者の姿勢が立位であるか否かを判定する(S16)。この判定の結果、前回の被監視者の姿勢が立位であった場合(Yes)には、第1判断部425は、処理S17を実行し、一方、前回の被監視者の姿勢が立位ではなかった場合(No)には、第1判断部425は、処理S18を実行する。
この処理S17において、第1判断部425は、姿勢検出部422から入力された今回における被監視者の姿勢が立位であるか否かを判定する(S17)。この判定の結果、今回の被監視者の姿勢が立位であった場合(Yes)には、第1判断部425は、被監視者の第1身体状態に事象無し(検知無し)と判定し、一方、今回の被監視者の姿勢が立位ではなかった場合(No)には、第1判断部425は、処理S19を実行する。
この処理S19において、第1判断部425は、落下検出部423から入力された今回の検出結果(被監視者の落下)が落下有りであるか否かを判定する(S19)。この判定の結果、落下検出部423における今回の検出結果が落下有りである場合(Yes)には、第1判断部425は、被監視者の第1身体状態が「転倒」であると判定し、一方、落下検出部における今回の検出結果が落下無しである場合(No)には、第1判断部425は、被監視者の第1身体状態に事象無し(検知無し)と判定する。
前記処理S18において、第1判断部425は、姿勢検出部422から入力された今回における被監視者の姿勢が立位であるか否かを判定する(S18)。この判定の結果、今回の被監視者の姿勢が立位であった場合(Yes)には、第1判断部425は、被監視者の第1身体状態に事象無し(検知無し)と判定し、一方、今回の被監視者の姿勢が立位ではなかった場合(No)には、第1判断部425は、被監視者の第1身体状態が「転倒」と判定する。
そして、第1判断部425は、第1ケースとして、転落と判定した場合に、被監視者が異常状態であると判定し、第2ケースとして、転倒と判定した場合に、被監視者が異常状態であると判定する。例えば、医療機関における事故の中で、転倒および転落の割合は、比較的高く、転倒または転落が発生した場合、速やかに救護等の措置をとる必要がある。このため、本実施形態では、第1身体状態判定部42の第1判断部425によって転落と判定した場合および転倒と判定した場合それぞれが、被監視者が異常状態であると判定する場合に設定された。
このように各検出部422、423、424それぞれ検出された被監視者における姿勢、落下の有無および位置に基づいて前記被監視者の第1身体状態を判定すると、第1判断部425は、判定結果(本実施形態では起床、離床、転落、転倒および事象無しのいずれかおよび被管理者の異常状態の有無)を通知制御部44の第1および第2確認部441、442それぞれへ出力する。
このような画像データ成部MCからの画像データに基づく被監視者の第1身体状態が第1身体状態判定部42によって判定されると、あるいは、第1身体状態判定部42の判定と平行して、第2身体状態判定部43は、生理学的データ生成部PIからの生理学的データに基づいて被監視者の第2身体状態を判定する。
より具体的には、まず、第2身体状態判定部43の微分処理部431は、上述のように、被監視者の生理学的データとしてのドップラシフトデータを微分し、この微分したドップラシフトデータを体動検出部432へ出力する。次に、体動検出部432は、前記微分したドップラシフトデータが+体動判定閾値以上である場合、および、前記微分したドップラシフトデータが−体動判定閾値以下である場合をそれぞれ1回の体動が有ったものとしてカウント(計数)し、これらカウントした体動回数の単位時間当たりの数を体動数として求める。そして、体動検出部432は、この求めた体動数を第2判断部435へ出力する。
また、この体動数の算出処理と並行して、第2身体状態判定部43のFFT部433は、上述のように、前記被監視者の生理学的データとしてのドップラシフトデータを高速フーリエ変換し、ドップラシフトデータの周波数分布を求め、この求めたドップラシフトデータの周波数分布を呼吸検出部434へ出力する。次に、呼吸検出部434は、このドップラシフトデータの周波数分布における最も強度(ピーク)の大きい周波数成分を呼吸の基本波成分とし、この呼吸の基本波成分を60倍することで単位時間1分間当たりの呼吸数を求める。そして、呼吸検出部434は、この求めた呼吸数を第2判断部435へ出力する。
そして、第2判断部435は、各検出部432、434それぞれ検出された被監視者における体動数および呼吸数に基づいて被監視者の第2身体状態を判定する。すなわち、第2判断部435は、第3ケースとして、呼吸検出部434による被監視者の呼吸数から被監視者の呼吸が無呼吸状態であると判定され、かつ、体動検出部432による被監視者の体動数から体動があったと判定された場合に、被監視者が異常状態であると判定し、第4ケースとして、呼吸検出部434による被監視者の呼吸数から被監視者の呼吸が比較的多数の呼吸状態であると判定され、体動検出部432による被監視者の体動数から体動があったと判定された場合に、被監視者が異常状態であると判定する。
そして、このように各検出部432、434それぞれ検出された被監視者における呼吸数および体動数に基づいて被監視者の第2身体状態を判定すると、第2判断部435は、判定結果を通知制御部44の第1および第2確認部441、442それぞれへ出力する。
第1身体状態判定部42の第1判断部425から被監視者の第1身体状態の判定結果が入力され、第2身体状態判定部43の第2判断部435から被監視者の第2身体状態の判定結果が入力されると、通知制御部44は、監視者が異常状態である旨を通知するか否かを判断する。
より具体的には、図9において、通知制御部44は、第1および第2身体状態判定部42、43の両方によって被監視者の第1および第2身体状態の両方が異常状態であると判定されたか否かを判断する(S21)。この判断の結果、第1および第2身体状態判定部42、43の両方によって被監視者の第1および第2身体状態の両方が異常状態であると判定された場合(Yes)には、通知制御部44は、処理S25を実行し、前記判断の結果、第1および第2身体状態判定部42、43の両方によって被監視者の第1および第2身体状態の両方が異常状態であると判定しない場合(No)には、すなわち、第1および第2身体状態判定部42、43のうちの少なくとも一方によって被監視者の第1および第2身体状態のうちの少なくとも一方が異常状態ではないと判定された場合(No)には、通知制御部44は、処理S22を実行する。
本実施形態では、この処理S21において、第1確認部441は、被監視者の第1身体状態が前記第A異常状態であるか否かを判断し、被監視者の第2身体状態が前記第B異常状態であるか否かを判断する。この判断の結果、第1確認部441によって第1身体状態判定部42によって被監視者の第1身体状態が前記第A異常状態であると判定され、第2身体状態判定部43によって被監視者の第2身体状態が前記第B異常状態であると判定さている場合(処理S21でYes)には、被監視者が異常状態である旨が、第1確認部441によって通知部443へ出力され、処理S25が実行される。前記判断の結果、上述の場合を除く他の場合(処理S21でNo)には、処理S22が実行される。なお、第1確認部441は、被監視者の第2身体状態が前記第B異常状態であるか否かを判断する際に、第2身体状態判定部43によって判定された被監視者の第2身体状態をさらに第1身体状態判定部42によって検出された被監視者の位置に基づいて判定してよい。第2確認部442は、被監視者の第2身体状態が前記第C異常状態であるか否かを判断し、被監視者の第1身体状態が前記第D異常状態であるか否かを判断する。この判断の結果、第2確認部442によって第2身体状態判定部43によって被監視者の第2身体状態が前記第C異常状態であると判定され、第1身体状態判定部42によって被監視者の第1身体状態が前記第D異常状態であると判定さている場合(処理S21でYes)には、被監視者が異常状態である旨が、第2確認部442によって通知部443へ出力され、処理S25が実行される。前記判断の結果、上述の場合を除く他の場合(処理S21でNo)には、処理S22が実行される。なお、第2確認部442は、被監視者の第2身体状態が前記第C異常状態であるか否かを判断する際に、第2身体状態判定部43によって判定された被監視者の第2身体状態をさらに第1身体状態判定部42によって検出された被監視者の位置に基づいて判定してよい。後述の処理S23および処理S24も同様である。
処理S22において、通知制御部44は、第1および第2身体状態判定部42、43のいずれか一方によって被監視者の第1および第2身体状態のいずれか一方が異常状態ではないと判定されたか否かを判断する。この判断の結果、第1および第2身体状態判定部42、43のいずれか一方によって被監視者の第1および第2身体状態のいずれか一方が異常状態ではないと判定された場合(Yes)には、通知制御部44は、処理S23を実行し、第1および第2身体状態判定部42、43のいずれか一方によって被監視者の第1および第2身体状態のいずれか一方が異常状態ではないと判定さない場合(No)には、すなわち、第1および第2身体状態判定部42、43の両方によって前記被監視者の第1および第2身体状態の両方が異常状態ではないと判定された場合(No)には、通知制御部44は、処理を終了する。なお、後述するように、図9に破線で示す処理S31が実行された後に、処理が終了されてもよい。
本実施形態では、この処理S22において、第1確認部441は、第1身体状態判定部42によって被監視者の第1身体状態が前記第A異常状態であると判定されていない場合であって、かつ、第2身体状態判定部43によって被監視者の第2身体状態が前記第B異常状態であると判定されている場合か否かを判断する。この判断の結果、第1身体状態判定部42によって被監視者の第1身体状態が前記第A異常状態であると判定されていない場合であって、かつ、第2身体状態判定部43によって被監視者の第2身体状態が前記第B異常状態であると判定されている場合(処理S22でYes)には、処理S23が実行され、前記判断の結果、上述の場合を除く他の場合(処理S22でNo)には、処理が終了される。第2確認部442は、第2身体状態判定部43によって被監視者の第2身体状態が前記第C異常状態であると判定されていない場合であって、かつ、第1身体状態判定部42によって被監視者の第1身体状態が前記第D異常状態であると判定されている場合か否かを判断する。この判断の結果、第2身体状態判定部43によって被監視者の第2身体状態が前記第C異常状態であると判定されていない場合であって、かつ、第1身体状態判定部42によって被監視者の第1身体状態が前記第D異常状態であると判定されている場合(処理S22でYes)には、処理S23が実行され、前記判断の結果、上述の場合を除く他の場合(処理S22でNo)には、処理が終了される。
処理S23において、通知制御部44は、第1および第2身体状態判定部42、43のうちの異常状態ではないと判定した方に、被監視者の身体状態を再判定させ、次に、通知制御部44は、異常状態であると判定されたか否かを判断する(S24)。この判断の結果、異常状態であると判定された場合(処理S24でYes)には、処理S25が実行され、前記判断の結果、異常状態であると判定されない場合(処理S24でNo)には、処理が終了される。なお、後述するように、図9に破線で示す処理S31が実行された後に、処理が終了されてもよい。
本実施形態では、この処理S23において、第1確認部441は、第1身体状態判定部42に、所定の期間または回数、前記被監視者の第1身体状態を判定させ、前記処理S24において、第1確認部441は、前記所定の期間内または回数内に被監視者の第1身体状態が前記第A異常状態であると判定されたか否かを判断する。この判断の結果、前記所定の期間内または回数内に被監視者の第1身体状態が前記第A異常状態であると判定された場合(処理S24でYes)には、処理S25が実行され、前記判断の結果、前記第A異常状態であると判定されない場合(処理S24でNo)には、処理が終了される。第2確認部442は、第2身体状態判定部43に、所定の期間または回数、前記被監視者の第2身体状態を判定させ、前記処理S24において、第2確認部442は、前記所定の期間内または回数内に被監視者の第2身体状態が前記第C異常状態であると判定されたか否かを判断する。この判断の結果、前記所定の期間内または回数内に被監視者の第2身体状態が前記第C異常状態であると判定された場合(処理S24でYes)には、処理S25が実行され、前記判断の結果、前記第C異常状態であると判定されない場合(処理S24でNo)には、処理が終了される。
処理S25において、通知制御部44は、被監視者が異常状態である旨のメッセージを記載した監視者宛の電子メールを生成し、監視者宛に前記電子メールを送信し、処理を終了する。本実施形態では、この処理S25において、通知部443は、第1確認部441から被監視者の第1身体状態が異常状態である旨が出力され、第2確認部442から被監視者の第2身体状態が異常状態である旨が出力された場合に、被監視者が異常状態である旨のメッセージを記載した監視者宛の電子メールを生成し、監視者宛に前記電子メールを送信し、処理を終了する。したがって、このような被監視者監視システムMSおよび被監視者監視装置MDは、監視者が電子メールを受信する機能を持つ通信端末機CTを携行することによって、監視者は、被監視者監視装置MDと通信可能な範囲内であれば、どこでも被監視者が異常状態である旨を受信できる。
前記電子メールには、上述したように、前記メッセージに追加して、あるいは、前記メッセージに代え、被監視者の画像をストリーミングで参照するためのリンク(URL)が記載されてもよい。したがって、このような被監視者監視システムMSおよび被監視者監視装置MDは、被監視者の画像を通知するので、監視者は、被監視者の画像を参照することによって、被監視者の異常状態を、画像を介して視認できる。一般に、画像に含まれる情報量は、文章に含まれる情報量よりも多いので、このような被監視者監視システムMSおよび被監視者監視装置MDでは、監視者は、被監視者の異常状態をより的確に判定でき、前記誤判定を低減できる。
また、前記電子メールには、上述したように、被監視者における第1身体状態および第2身体状態のうちの少なくとも一方が前記電子メールに記載されてもよい。これによって監視者は、このような電子メールを参照することによって、異常状態と判定された原因(理由)を認識でき、異常状態の詳細を認識できる。
なお、後述の、図9に破線で示す処理S31が実行された後に、処理が終了されてもよい。
処理S31において、通知制御部44は、被監視者における第1身体状態および第2身体状態のうちの少なくとも一方を記載した監視者宛の電子メールを生成し、監視者宛に前記電子メールを送信する。これによって被監視者が異常状態ではない場合でも、監視者は、被監視者の様子を認識できる。なお、処理S31は、比較的頻繁に実行されることになるので、通信端末機CTによって処理S31による電子メールを受信するか否かを選択できるように被監視者監視システムMSは、構成されてもよい。
このような被監視者監視システムMS、被監視者監視装置MDおよび被監視者監視装置MDに実装された被監視者監視方法は、被監視者が異常状態であると判定された場合に、被監視者が異常状態である旨を表すメッセージを通信端末機CTに通知するので、被監視者に異常が生じたと判定される場合にその旨を自動的に通知できる。この自動通知に先立つ、被監視者が異常状態であるか否かの判定では、このような被監視者監視システムMS、被監視者監視装置MDおよび前記被監視者監視方法は、被監視者の生理学的データに基づいて被監視者の第2身体状態を判定するだけでなく、被監視者の画像データに基づいて被監視者の第1身体状態を判定するので、被監視者が異常状態であると判定する場合にその誤判定を低減できる。そして、このような被監視者監視システムMS、被監視者監視装置MDおよび前記被監視者監視方法は、第1および第2身体状態判定部42、43のいずれか一方によって被監視者の第1および第2身体状態のいずれか一方が異常状態ではないと判定された場合、前記一方に再判定させ、前記一方によって再判定された被監視者の第1および第2身体状態のうちの一方の判定結果に基づいて被監視者が異常状態である旨を通知するか否かを判断するので、被監視者が異常状態であるか否かを判定する判定性能を向上でき、被監視者が異常状態である旨をより適切に通知できる。
このような被監視者監視システムMS、被監視者監視装置MDおよび前記被監視者監視方法では、第1および第2身体状態判定部42、43のうちの一方によって被監視者の身体状態が第1異常状態(一例では上述の第B異常状態や第D異常状態)であると判定されると、第1および第2身体状態判定部42、43のうちの他方は、被監視者の身体状態が前記第1異常状態に応じた第2異常状態(一例では上述の第A異常状態や第C異常状態)であるか否かを判定する。このため、このような被監視者監視システムMSおよび被監視者監視装置MDは、第1および第2身体状態判定部42、43によって同一または互いに関連した異常状態を判定するので、被監視者が異常状態であると判定する場合にその誤判定を低減できる。
このような被監視者監視システムMSおよび被監視者監視装置MDは、第1および第2身体状態判定部42、43のうちの前記他方に、所定の期間または回数、被監視者の身体状態を再判定するので、前記判定性能を向上でき、被監視者が異常状態であると判定する場合にその誤判定を低減できる。
このような被監視者監視システムMSおよび被監視者監視装置MDは、被監視者が異常状態である旨を通知するか否かを判断する際に、第2身体状態判定部43によって判定された被監視者の第2身体状態をさらに第1身体状態判定部42によって検出された被監視者の位置に基づいて再判定するので、前記判定性能をより向上でき、前記誤判定をより低減できる。
すなわち、このように処理S22ないし処理S24によって、前記被監視者が異常状態である旨を通知するか否かを判断する際に、画像データによる第1身体状態判定部42の判定結果および生理学的データによる第2身体状態判定部43の判定結果における一方を他方の判定結果の確認に用いることで、前記誤判断が低減できる。言い換えれば、画像データによる第1身体状態判定部42の判定結果の方は、生理学的データによる第2身体状態判定部43の判定結果を継続して確認動作に用いることで、画像データによる第1身体状態判定部42の判定結果の確認が取れれば、前記通知が実施され、前記確認が矛盾すれば、前記通知が解除される。また、逆に、生理学的データによる第2身体状態判定部43の判定結果の方も同様に、画像データによる第1身体状態判定部42の判定結果を継続して確認動作に用いることで、生理学的データによる第2身体状態判定部43の判定結果の確認が取れれば、前記通知が実施され、前記確認が矛盾すれば、前記通知が解除される。
一例を挙げると、例えば、生理学的データによる第2身体状態判定部43によって体動が観察され、かつ、画像データによる第1身体状態判定部42でも、ベッドを除く位置で転倒があった場合には、また例えば、生理学的データによる第2身体状態判定部43によって体動が観察され、ベッドを除く位置で転落があった場合には、これら転倒または転落の判断が正しかったものとして、この確認がとれた段階で、前記通知が行われる。一方、生理学的データによる第2身体状態判定部43によって体動が観察された際に、画像データによる第1身体状態判定部42で被監視者の位置がベッドの位置で検出された場合には、被監視者はベッド位置のままで、衣服や布団等が落下し、それを転倒または転落と誤判断したものとみなし、前記通知が解除される。このように第1および第2身体状態判定部42、43のうちの一方によって判定された被監視者の所定の第1異常状態に応じた第2異常状態を、第1および第2身体状態判定部42、43のうちの他方によって判定されることで、誤検出が低減できる。
例えば、衣類や布団が動いた場合は、人物と同じようなサイズであるので、衣類や布団が人物領域として抽出される虞があり、画像データのみで転倒や転落を判断すると、衣類や布団等の落下が転倒や転落として誤判断される場合がある。ベッド上で人物領域として抽出された衣服や布団の領域が、ベッド上の被監視者とは関係なしに、衣服や布団の前記領域だけがベッドから落下してしまった場合、画像データによる第1身体状態判定部42は、ベッド上からベッド下に転落した位置に衣服や布団の前記領域を判定し、縦横比が小さい状態のままの落下の場合、姿勢は寝ていた状態のままで落下の判定が為され、この結果、誤判断が生じる。また例えば、布団の一部がベッド上に残った状態で一部が床面までずれてしまい、さらにその後、その状態が徐々に進んで布団が落下したような状態が生じた場合、画像データによる第1身体状態判定部42は、ベッドから立った状態を経過して、落下が生じたと判定して「転倒」と判定し、誤判断が生じる。脱衣の場合も同様に転倒や転落の誤判断が起こり得る。しかしながら、本実施形態の被監視者監視システムMS、被監視者監視装置MDおよび前記被監視者監視方法は、上述のように動作するので、このような誤判断を低減できる。
また他の一例を挙げると、画像データによる第1身体状態判定部42は、被監視者がベッド上にいることを判定し、生理学的データによる第2身体状態判定部43の異常状態の判定を有効にする。仮に、被監視者が不在である場合では、無呼吸状態で生理学的データによる第2身体状態判定部43は、異常状態と判定するが、このように画像データによる第1身体状態判定部42によって被監視者がベッド上にいることが判定されたことで、第2身体状態判定部43の異常状態の判定を有効に、また、画像データによる第1身体状態判定部42によって被監視者がベッドの外に位置することを判定して、生理学的データによる第2身体状態判定部43の異常状態の判定を無効にできる。
また、生理学的データによる第2身体状態判定部43が呼吸数チェックでの異常状態と判定した場合、画像データによる第1身体状態判定部42によって被監視者がベッド上に位置するか否かがチェックされる。この時点でベッド上のみに被監視者が所在しているのであれば、間違いなく、被監視者がベッド上にいて異常呼吸が生じているとして、前記通知が行われる。一方、前記時点でベッド上のみではなく、ベッドの外でも被監視者の所在が判定された場合には、本来の被監視者以外の人が前記本来の被監視者の周りに所在して、生理学的データ生成部PIは、その人、例えば介護者等の呼吸も被監視者の呼吸に重畳して生理学的データとして取得し、生理学的データによる第2身体状態判定部43は、複数人の呼吸から異常状態と判定した虞もある。このため、画像データによる第1身体状態判定部42によって被監視者がベッド上のみに所在するようになった時点で、生理学的データによる第2身体状態判定部43の呼吸数チェックでの異常状態の判定を有効にできる。また、画像データによる第1身体状態判定部42によって被監視者がベッド以外のみで判定される状態で、生理学的データによる第2身体状態判定部43によって異常呼吸が生じている状態になっている場合には、画像データによる第1身体状態判定部42によって被監視者がベッドから外に出たことが検知されて、生理学的データによる第2身体状態判定部43の呼吸数チェックでの異常状態の判定の無効化をミスした場合が考えられる。この場合も、同様に、画像データによる第1身体状態判定部42によって被監視者がベッド上のみに所在するようになった時点で、生理学的データによる第2身体状態判定部43の呼吸数チェックでの異常状態の判定を有効にできる。このように構成することで、誤判断が低減され、ベッド上にいる被監視者の呼吸数チェックでの異常状態のみをより確実に判定できる。
なお、上述の実施形態では、画像データ生成部MCは、1個のカメラを備え、被監視者監視装置MDは、この1個のカメラによる1視点の画像から被監視者の姿勢、位置および落下を判定したが、画像データ生成部MCは、左右一対のカメラ(ステレオカメラ)を備え、被監視者監視装置MDは、このステレオカメラによる3次元画像から被監視者の姿勢、位置および落下を判定してもよい。
また、上述の実施形態では、第1身体状態判定部42は、第1身体状態として、被監視者の起床、離床、転倒、転落および事象無しを判定したが、これに限定されるものではなく、これに加えて、あるいは、この一部または全部に代えて、他の動作を判定してもよい。また、第1身体状態判定部42の情報処理を簡便にするために、特に重要な転倒および転落のみを判定するように、第1身体状態判定部42が構成されてもよい。
また、上述の実施形態において、前記被監視者が異常状態である旨を通知する場合、前記被監視者における看護や介護に緊急度の相違が設けられ、被監視者監視装置MDは、緊急度に応じて前記被監視者が異常状態である旨の内容を変えてもよく、また、緊急度に応じて前記被監視者が異常状態である旨を通知する監視者の範囲を変えてもよい。例えば、最初の判定で、第1および第2身体状態判定部42、43の両方によって前記被監視者の第1および第2身体状態の両方が異常状態であると判定された場合は、緊急度が相対的に高い場合とされ、被監視者監視装置MDは、前記被監視者が異常状態である旨を表すメッセージおよび被監視者の画像をストリーミングで参照するためのリンク(URL)を電子メールに記載し、この電子メールを複数の監視者宛に配信する。前記複数の監視者は、複数の看護士であってよく、また、複数の介護士であってよく、また、看護士および医師であってよい。また例えば、最初の判定で、第1および第2身体状態判定部42、43のいずれか一方によって被監視者の第1および第2身体状態のいずれか一方が異常状態ではないと判定された場合は、緊急度が相対的に低い場合とされ、被監視者監視装置MDは、被監視者のプライバシーを考慮することによって被監視者の画像をストリーミングで参照するためのリンク(URL)を記載せずに、前記被監視者が異常状態である旨を表すメッセージのみを電子メールに記載し、この電子メールを監視者宛に配信する。このような階層的に警告することによって、被監視者監視装置MDおよび被監視者監視システムMSは、緊急度の相対的に低い警告の場合には、被監視者のプライバシーを考慮した警告を行うことができ、より緊急度の高い場合には、プライバシーの配慮よりも監視者に被監視者の状況を克明に伝える警告を行うことができる。したがって、このような両面での警告発生によって、被監視者監視装置MDおよび被監視者監視システムMSは、被監視者および監視者に、より親切で満足度の高い警告を行うことが可能となる。
本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。
一態様にかかる被監視者監視装置は、監視対象である被監視者の画像データを入力するための画像データ入力部と、前記被監視者の生理学的データを入力するための生理学的データ入力部と、前記画像データ入力部から入力された前記被監視者の画像データに基づいて前記被監視者の第1身体状態を判定する第1身体状態判定部と、前記生理学的データ入力部から入力された前記被監視者の生理学的データに基づいて前記被監視者の第2身体状態を判定する第2身体状態判定部と、前記第1および第2身体状態判定部の両方によって前記被監視者の第1および第2身体状態の両方が異常状態であると判定された場合、前記被監視者が異常状態である旨を通知し、前記第1および第2身体状態判定部のいずれか一方によって前記被監視者の第1および第2身体状態のいずれか一方が異常状態ではないと判定された場合、前記一方に再判定させ、前記一方によって再判定された前記被監視者の第1および第2身体状態のうちの一方の判定結果に基づいて前記被監視者が異常状態である旨を通知するか否かを判断する通知制御部とを備える。
このような被監視者監視装置は、被監視者が異常状態であると判定された場合に、被監視者が異常状態である旨を通知するので、前記被監視者に異常が生じたと判定される場合にその旨を自動的に通知できる。この自動通知に先立つ、被監視者が異常状態であるか否かの判定では、上記被監視者監視装置は、被監視者の生理学的データに基づいて被監視者の第2身体状態を判定するだけでなく、被監視者の画像データに基づいて被監視者の第1身体状態を判定するので、被監視者が異常状態であると判定する場合にその誤判定を低減できる。そして、上記被監視者監視装置は、第1および第2身体状態判定部のいずれか一方によって被監視者の第1および第2身体状態のいずれか一方が異常状態ではないと判定された場合、前記一方に再判定させ、前記一方によって再判定された前記被監視者の第1および第2身体状態のうちの一方の判定結果に基づいて前記被監視者が異常状態である旨を通知するか否かを判断するので、被監視者が異常状態であるか否かを判定する判定性能を向上でき、被監視者が異常状態である旨をより適切に通知できる。
他の一態様では、上述の被監視者監視装置において、前記通知制御部は、前記第1および第2身体状態判定部のうちの一方によって判定された前記被監視者の所定の第1異常状態に応じた第2異常状態が前記第1および第2身体状態判定部のうちの他方によって判定された場合を、前記第1および第2身体状態判定部の両方によって前記被監視者の身体状態が異常状態であると判定された場合とし、前記被監視者が異常状態である旨を通知する。
このような被監視者監視装置では、第1および第2身体状態判定部のうちの一方によって被監視者の身体状態が所定の第1異常状態であると判定されると、第1および第2身体状態判定部のうちの他方は、被監視者の身体状態が前記第1異常状態に応じた第2異常状態であるか否かを判定する。このため、上記被監視者監視装置は、第1および第2身体状態判定部によって同一または互いに関連した異常状態を判定するので、被監視者が異常状態であると判定する場合にその誤判定を低減できる。
他の一態様では、上述の被監視者監視装置において、前記通知制御部は、前記第1および第2身体状態判定部のうちの一方によって判定された前記被監視者の前記第1異常状態に応じた前記第2異常状態を前記第1および第2身体状態判定部のうちの他方によって判定されなかった場合を、前記第1および第2身体状態判定部のいずれか一方によって前記被監視者の第1および第2身体状態のいずれか一方が異常状態ではないと判定された場合とし、前記第1および第2身体状態判定部のうちの前記他方に、所定の期間または回数、前記被監視者の身体状態を再判定させることによって、前記被監視者が異常状態である旨を通知するか否かを判断し、前記所定の期間内または回数内に前記被監視者の身体状態が前記第2異常状態であると判定された場合に、前記被監視者が異常状態である旨を通知する。
このような被監視者監視装置は、第1および第2身体状態判定部のうちの前記他方に、所定の期間または回数、被監視者の身体状態を再判定するので、前記判定性能を向上でき、被監視者が異常状態であると判定する場合にその誤判定を低減できる。
他の一態様では、これら上述の被監視者監視装置において、前記第1身体状態判定部は、前記被監視者の画像データに基づいて前記被監視者の位置をさらに検出し、前記通知制御部は、前記被監視者が異常状態である旨を通知するか否かを判断する際に、前記第2身体状態判定部によって判定された前記被監視者の第2身体状態をさらに前記第1身体状態判定部によって検出された前記被監視者の位置に基づいて判定する。
このような被監視者監視装置は、前記被監視者が異常状態である旨を通知するか否かを判断する際に、第2異常状態判断部によって判定された被監視者の第2身体状態をさらに第1身体状態判定部によって検出された被監視者の位置に基づいて再判定するので、前記判定性能をより向上でき、前記誤判定をより低減できる。
他の一態様では、これら上述の被監視者監視装置において、前記生理学的データは、前記被監視者にマイクロ波を照射することによって得られたドップラシフトした前記マイクロ波の反射波を表すデータである。
このような被監視者監視装置は、被監視者の画像データおよび被監視者で反射したマイクロ波の反射波を表すデータそれぞれで被監視者の身体状態をそれぞれ判定するので、非接触で被監視者の身体状態を判定できる。
他の一態様では、これら上述の被監視者監視装置において、前記通知制御部は、前記被監視者が異常状態である旨を監視者宛に電子メールで通知する。
このような被監視者監視装置は、被監視者が異常状態である旨を電子メールで監視者に通知できる。したがって、このような被監視者監視装置では、監視者が電子メールを受信する機能を持つ通信端末機、例えば携帯電話機やスマートフォンやタブレット型コンピュータ等を携行することによって、監視者は、被監視者監視装置と通信可能な範囲内であれば、どこでも被監視者が異常状態である旨を受信できる。
他の一態様では、これら上述の被監視者監視装置において、前記通知制御部は、前記被監視者が異常状態である旨として前記被監視者の画像を通知すること、または、前記被監視者の画像をさらに通知する。
このような被監視者監視装置は、被監視者の画像を通知するので、監視者は、被監視者の画像を参照することによって、被監視者の異常状態を前記画像を介して視認できる。一般に、画像に含まれる情報量は、文章に含まれる情報量よりも多いので、このような被監視者監視装置では、監視者は、被監視者の異常状態をより的確に判定でき、前記誤判定を低減できる。
他の一態様にかかる被監視者監視方法は、監視対象である被監視者の画像データを受け入れる画像データ受入れ工程と、前記被監視者の生理学的データを受け入れる生理学的データ受入れ工程と、前記画像データ受入れ工程で受け入れた前記被監視者の画像データに基づいて前記被監視者の第1身体状態を判定する第1身体状態判定工程と、前記生理学的データ受入れ工程で受け入れた前記被監視者の生理学的データに基づいて前記被監視者の第2身体状態を判定する第2身体状態判定工程と、前記第1および第2身体状態判定工程の両方によって前記被監視者の第1および第2身体状態の両方が異常状態であると判定された場合、前記被監視者が異常状態である旨を通知し、前記第1および第2身体状態判定工程のいずれか一方によって前記被監視者の第1および第2身体状態のいずれか一方が異常状態ではないと判定された場合、前記一方に再判定させ、前記一方によって再判定された前記被監視者の第1および第2身体状態のうちの一方の判定結果に基づいて前記被監視者が異常状態である旨を通知するか否かを判断する通知制御工程とを備える。
このような被監視者監視方法は、被監視者が異常状態であると判定された場合に、被監視者が異常状態である旨を通知するので、前記被監視者に異常が生じたと判定される場合にその旨を自動的に通知できる。この自動通知に先立つ、被監視者が異常状態であるか否かの判定では、このような被監視者監視方法は、被監視者の生理学的データに基づいて被監視者の第2身体状態を判定するだけでなく、被監視者の画像データに基づいて被監視者の第1身体状態を判定するので、被監視者が異常状態であると判定する場合にその誤判定を低減できる。そして、このような被監視者監視方法は、第1および第2身体状態判定部のいずれか一方によって被監視者の第1および第2身体状態のいずれか一方が異常状態ではないと判定された場合、前記一方に再判定させ、前記一方によって再判定された前記被監視者の第1および第2身体状態のうちの一方の判定結果に基づいて前記被監視者が異常状態である旨を通知するか否かを判断するので、被監視者が異常状態であるか否かを判定する判定性能を向上でき、被監視者が異常状態である旨をより適切に通知できる。
そして、他の一態様にかかる被監視者監視システムは、監視対象である被監視者の画像データを生成する画像データ生成部と、前記被監視者の生理学的データを生成する生理学的データ生成部と、前記画像データ生成部によって生成された前記被監視者の画像データが前記画像データ入力部に入力され、前記生理学的データ生成部によって生成された前記被監視者の生理学的データが前記生理学的データ入力部に入力されるこれら上述のいずれかの被監視者監視装置とを備える。
このような被監視者監視システムは、被監視者が異常状態であると判定された場合に、被監視者が異常状態である旨を通知するので、前記被監視者に異常が生じたと判定される場合にその旨を自動的に通知できる。この自動通知に先立つ、被監視者が異常状態であるか否かの判定では、このような被監視者監視システムは、被監視者の生理学的データに基づいて被監視者の第2身体状態を判定するだけでなく、被監視者の画像データに基づいて被監視者の第1身体状態を判定するので、被監視者が異常状態であると判定する場合にその誤判定を低減できる。そして、このような被監視者監視システムは、第1および第2身体状態判定部のいずれか一方によって被監視者の第1および第2身体状態のいずれか一方が異常状態ではないと判定された場合、前記一方に再判定させ、前記一方によって再判定された前記被監視者の第1および第2身体状態のうちの一方の判定結果に基づいて前記被監視者が異常状態である旨を通知するか否かを判断するので、被監視者が異常状態であるか否かを判定する判定性能を向上でき、被監視者が異常状態である旨をより適切に通知できる。
この出願は、2013年9月13日に出願された日本国特許出願特願2013−190185を基礎とするものであり、その内容は、本願に含まれるものである。
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
本発明によれば、被監視者監視装置および被監視者監視方法ならびに被監視者監視システムを提供できる。
MS 被監視者監視システム
MD 被監視者監視装置
MC 画像データ生成部
PI 生理学的データ生成部
CT 通信端末機
4 処理制御部
5 記憶部
42 第1身体状態判定部
43 第2身体状態判定部
44 通知制御部
46 電子メール配信部
47 画像データ配信部
51 画像データ記憶部
52 姿勢履歴記憶部
53 落下履歴記憶部
54 位置履歴記憶部
55 生理学的データ記憶部
57 電子メール記憶部

Claims (7)

  1. 監視対象である被監視者の画像データを生成する画像データ生成部と、
    前記画像データ生成部と通信ネットワークを介して接続される被監視者監視装置と、
    前記被監視者を監視する監視者に対応し、前記被監視者監視装置から前記被監視者が異常状態である旨の通知を受信して表示する通信端末機と、を備え、前記被監視者を監視する被監視者監視システムであって、
    前記被監視者監視装置は、
    前記画像データ生成部によって生成された前記被監視者の画像データを入力するための画像データ入力部と、
    前記被監視者の生理学的データを入力するための生理学的データ入力部と、
    前記画像データ入力部から入力された前記被監視者の画像データに基づいて前記被監視者の位置を判定する第1身体状態判定部と、
    前記生理学的データ入力部から入力された前記被監視者の生理学的データに基づいて前記被監視者の第2身体状態を判定する第2身体状態判定部と、
    前記第2身体状態判定部によって判定された前記被監視者の第2身体状態を前記第1身体状態判定部によって検出された前記被監視者の位置に基づいて判定し、前記第2身体状態判定部によって前記被監視者の第2身体状態が異常状態であると判定された場合、前記被監視者が異常状態である旨を前記通信端末機に通知する通知制御部とを備え、
    前記画像データ生成部は、前記通信端末機の要求に応じて前記被監視者の画像データを前記通信端末機に直接配信し、
    前記通信端末機は、前記画像データ生成部から直接配信された前記被監視者の画像データに基づき、前記被監視者の画像を表示する、
    被監視者監視システム。
  2. 前記通知制御部は、前記第2身体状態判定部によって判定された前記被監視者の第2身体状態を前記第1身体状態判定部によって検出された前記被監視者の位置がベッド上である場合に有効と判定し、前記第2身体状態判定部によって判定された前記被監視者の第2身体状態を前記第1身体状態判定部によって検出された前記被監視者の位置がベッドの外である場合に無効と判定する、
    請求項1に記載の被監視者監視システム。
  3. 前記生理学的データは、前記被監視者にマイクロ波を照射することによって得られたドップラシフトした前記マイクロ波の反射波を表すデータである、
    請求項1または請求項2に記載の被監視者監視システム。
  4. 前記通知制御部は、前記被監視者が異常状態である旨を監視者宛に電子メールで通知する、
    請求項1ないし請求項3のいずれか1項に記載の被監視者監視システム。
  5. 前記通知制御部は、前記被監視者が異常状態である旨として前記被監視者の画像を通知する、または、前記被監視者の画像をさらに通知する、
    請求項1ないし請求項4のいずれか1項に記載の被監視者監視システム。
  6. 監視対象である被監視者の画像データを生成する画像データ生成部と、
    前記画像データ生成部と通信ネットワークを介して接続される被監視者監視装置と、
    前記被監視者を監視する監視者に対応し、前記被監視者監視装置から前記被監視者が異常状態である旨の通知を受信して表示する通信端末機と、を備え、前記被監視者を監視する被監視者監視システムにおける被監視者監視方法であって、
    前記画像データ生成部によって生成された前記被監視者の画像データを入力するための画像データ入力工程と、
    前記被監視者の生理学的データを入力するための生理学的データ入力工程と、
    前記画像データ入力工程から入力された前記被監視者の画像データに基づいて前記被監視者の位置を判定する第1身体状態判定工程と、
    前記生理学的データ入力工程から入力された前記被監視者の生理学的データに基づいて前記被監視者の第2身体状態を判定する第2身体状態判定工程と、
    前記第2身体状態判定工程によって判定された前記被監視者の第2身体状態を前記第1身体状態判定工程によって検出された前記被監視者の位置に基づいて判定し、前記第2身体状態判定工程によって前記被監視者の第2身体状態が異常状態であると判定された場合、前記被監視者が異常状態である旨を前記通信端末機に通知する通知制御工程と、
    前記画像データ生成部が、前記通信端末機の要求に応じて前記被監視者の画像データを前記通信端末機に直接配信する配信工程と、
    前記通信端末機が、前記画像データ生成部から直接配信された前記被監視者の画像データに基づき、前記被監視者の画像を表示する表示工程とを備える、
    被監視者監視方法。
  7. 前記被監視者の生理学的データを生成する生理学的データ生成部をさらに備え、
    前記生理学的データ生成部によって生成された前記被監視者の生理学的データが前記生理学的データ入力部に入力される、
    請求項1ないし請求項5のいずれか1項に記載の被監視者監視システム。
JP2018126465A 2013-09-13 2018-07-03 被監視者監視システムおよび該システムにおける被監視者監視方法 Active JP6638770B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013190185 2013-09-13
JP2013190185 2013-09-13

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015536455A Division JP6365546B2 (ja) 2013-09-13 2014-04-28 被監視者監視装置および該方法ならびに被監視者監視システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019233032A Division JP2020074110A (ja) 2013-09-13 2019-12-24 見守り監視システム

Publications (2)

Publication Number Publication Date
JP2018200698A JP2018200698A (ja) 2018-12-20
JP6638770B2 true JP6638770B2 (ja) 2020-01-29

Family

ID=52665394

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2015536455A Active JP6365546B2 (ja) 2013-09-13 2014-04-28 被監視者監視装置および該方法ならびに被監視者監視システム
JP2018126465A Active JP6638770B2 (ja) 2013-09-13 2018-07-03 被監視者監視システムおよび該システムにおける被監視者監視方法
JP2019233032A Pending JP2020074110A (ja) 2013-09-13 2019-12-24 見守り監視システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015536455A Active JP6365546B2 (ja) 2013-09-13 2014-04-28 被監視者監視装置および該方法ならびに被監視者監視システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019233032A Pending JP2020074110A (ja) 2013-09-13 2019-12-24 見守り監視システム

Country Status (3)

Country Link
US (1) US9801544B2 (ja)
JP (3) JP6365546B2 (ja)
WO (1) WO2015037269A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016199740A1 (ja) * 2015-06-09 2016-12-15 コニカミノルタ株式会社 被監視者監視中央処理装置、被監視者監視中央処理方法、被監視者監視中央処理プログラムおよび被監視者監視システム
JP6504255B2 (ja) * 2015-08-10 2019-04-24 コニカミノルタ株式会社 介護支援システム及び介護支援方法
WO2017026282A1 (ja) * 2015-08-10 2017-02-16 コニカミノルタ株式会社 被監視者監視システム、監視情報画面表示装置および監視情報画面表示方法
EP3361443A4 (en) * 2015-10-06 2018-08-29 Konica Minolta, Inc. Action detecting system, action detecting device, action detecting method, and action detecting program
JP6331240B2 (ja) * 2015-11-05 2018-05-30 コニカミノルタ株式会社 通信システム
JP2019505287A (ja) * 2015-12-31 2019-02-28 ブレインスコープ カンパニー, インコーポレイテッド 神経学的監視および補助された診断のためのシステムおよび方法
WO2017145679A1 (ja) * 2016-02-24 2017-08-31 コニカミノルタ株式会社 端末装置および端末装置の表示方法ならびに被監視者監視システム
CN108702418A (zh) * 2016-02-25 2018-10-23 皇家飞利浦有限公司 用于确定呼叫的优先级水平和/或对话持续时间的设备、系统和方法
EP3445027A4 (en) * 2016-04-14 2019-04-10 Konica Minolta, Inc. MONITORING SYSTEM AND ADMINISTRATIVE SERVERS
US10446007B2 (en) * 2016-04-14 2019-10-15 Konica Minolta, Inc. Watching system and management server
JP6984601B2 (ja) * 2016-08-09 2021-12-22 コニカミノルタ株式会社 動体検知ユニットおよびケアサポートシステム
JP6766585B2 (ja) * 2016-10-21 2020-10-14 コニカミノルタ株式会社 被監視者監視装置及び方法
TWI622024B (zh) * 2016-11-22 2018-04-21 Chunghwa Telecom Co Ltd 智慧影像式監測告警裝置
JP7044073B2 (ja) * 2016-12-19 2022-03-30 コニカミノルタ株式会社 支援制御方法及び支援システム
EP3348192A1 (en) * 2017-01-12 2018-07-18 Hill-Rom Services, Inc. Bed exit monitoring system
EP3932316B1 (en) * 2017-03-30 2023-08-02 Koninklijke Philips N.V. Intravascular ultrasound patient interface module (pim) for distributed wireless intraluminal imaging systems
EP3602571A1 (en) 2017-03-30 2020-02-05 Koninklijke Philips N.V. Functional measurement patient interface module (pim) for distributed wireless intraluminal sensing systems
JP7120238B2 (ja) * 2017-07-27 2022-08-17 コニカミノルタ株式会社 発報制御システム、検知ユニット、ケアサポートシステムおよび発報制御方法
JP6434580B1 (ja) * 2017-07-27 2018-12-05 ミネベアミツミ株式会社 在床状態監視システム
WO2019140694A1 (en) * 2018-01-22 2019-07-25 Huawei Technologies Co., Ltd. Measuring apparatus, computer implemented method, program and one or more computer readable storage mediums
JP7090327B2 (ja) * 2018-06-15 2022-06-24 エイアイビューライフ株式会社 情報処理装置、情報処理方法、プログラム
JP6933617B2 (ja) * 2018-09-03 2021-09-08 富士フイルム株式会社 診療支援装置
WO2020184230A1 (ja) * 2019-03-12 2020-09-17 キヤノン株式会社 撮像装置、情報処理装置および画像処理システム
FR3094889B1 (fr) * 2019-04-12 2022-08-19 Quantum Surgical Dispositif et procédé de contrôle de la respiration d’un patient pour un robot médical
CN111803769A (zh) * 2020-06-19 2020-10-23 周建 病人体位异常管理系统以及相应终端
WO2024176342A1 (ja) * 2023-02-21 2024-08-29 日本電気株式会社 人物検出装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6319201B1 (en) * 1997-10-15 2001-11-20 Peter J. Wilk Imaging device and associated method
US6106463A (en) * 1998-04-20 2000-08-22 Wilk; Peter J. Medical imaging device and associated method including flexible display
JP2001006057A (ja) * 1999-06-18 2001-01-12 Fujitsu General Ltd 異常検出監視システム
DE10221839B4 (de) * 2002-05-16 2014-03-27 Universitätsklinikum Charité, Medizinische Fakultät der Humboldt-Universität zu Berlin Verfahren und Vorrichtung zum automatischen Erfassen motorischer Unruhe einer Versuchsperson
US20070100666A1 (en) * 2002-08-22 2007-05-03 Stivoric John M Devices and systems for contextual and physiological-based detection, monitoring, reporting, entertainment, and control of other devices
US7173525B2 (en) * 2004-07-23 2007-02-06 Innovalarm Corporation Enhanced fire, safety, security and health monitoring and alarm response method, system and device
US7502498B2 (en) * 2004-09-10 2009-03-10 Available For Licensing Patient monitoring apparatus
WO2006126186A2 (en) * 2005-05-26 2006-11-30 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for determination of physiological conditions and emotional states
US7420472B2 (en) * 2005-10-16 2008-09-02 Bao Tran Patient monitoring apparatus
US7942526B2 (en) * 2006-01-23 2011-05-17 Zeavision, Llc. Diagnostic, prescriptive, and data-gathering system and method for macular pigment deficits and other eye disorders
US20070197881A1 (en) * 2006-02-22 2007-08-23 Wolf James L Wireless Health Monitor Device and System with Cognition
EP2012655A4 (en) * 2006-04-20 2009-11-25 Iq Life Inc INTERACTIVE PATIENT MONITORING SYSTEM THAT USES VOICE RECOGNITION
US7567200B1 (en) * 2006-04-27 2009-07-28 Josef Osterweil Method and apparatus for body position monitor and fall detect ion using radar
US8500636B2 (en) * 2006-05-12 2013-08-06 Bao Tran Health monitoring appliance
US8323189B2 (en) * 2006-05-12 2012-12-04 Bao Tran Health monitoring appliance
JP4989172B2 (ja) 2006-09-27 2012-08-01 アイホン株式会社 ナースコールシステム
EP2203910B1 (en) 2007-09-19 2013-01-23 Koninklijke Philips Electronics N.V. Method and apparatus for detecting an abnormal situation
AU2009231586A1 (en) * 2008-04-03 2009-10-08 Kai Medical, Inc. Non-contact physiologic motion sensors and methods for use
EP2701131A2 (en) * 2008-05-12 2014-02-26 Earlysense Ltd. Monitoring, predicting and treating clinical episodes
JP5207040B2 (ja) * 2008-05-12 2013-06-12 清水建設株式会社 転倒検知システム
US20130100268A1 (en) * 2008-05-27 2013-04-25 University Health Network Emergency detection and response system and method
US8663108B2 (en) * 2009-01-28 2014-03-04 The United States Of America As Represented By The Secretary Of The Army Method and system for rapidly and passively identifying changes in number of open pores in the skin of an individual
US10548512B2 (en) * 2009-06-24 2020-02-04 The Medical Research, Infrastructure and Health Services Fund of the Tel Aviv Medical Center Automated near-fall detector
JP2011030919A (ja) * 2009-08-05 2011-02-17 Kandenko Co Ltd 被験者検知システム
JP2011066632A (ja) * 2009-09-16 2011-03-31 Canon Inc モニタリング装置及びモニタリング装置の制御方法
JP5682504B2 (ja) 2010-09-09 2015-03-11 コニカミノルタ株式会社 安否監視装置
JP5682204B2 (ja) * 2010-09-29 2015-03-11 オムロンヘルスケア株式会社 安全看護システム、および、安全看護システムの制御方法
JP5697402B2 (ja) * 2010-11-01 2015-04-08 日本電気通信システム株式会社 携帯端末、健康管理システムおよび携帯端末を用いた健康管理方法
JP2012097670A (ja) 2010-11-02 2012-05-24 Hitachi Constr Mach Co Ltd 作業機械
WO2012111150A1 (ja) 2011-02-18 2012-08-23 パイオニア株式会社 近接場光デバイス及びエネルギー移動の制御方法
US9462948B2 (en) * 2011-02-24 2016-10-11 At&T Intellectual Property I, L.P. Set-top box for monitoring telehealth sensors
JP5278981B1 (ja) * 2012-07-05 2013-09-04 株式会社 テクノミライ デジタルスマート・セキュリティシステム、方法及びプログラム
JP5120906B1 (ja) 2012-07-05 2013-01-16 株式会社 テクノミライ デジタルセキュリティー・ネットワークシステム及び方法

Also Published As

Publication number Publication date
US9801544B2 (en) 2017-10-31
JPWO2015037269A1 (ja) 2017-03-02
US20160220114A1 (en) 2016-08-04
JP6365546B2 (ja) 2018-08-01
WO2015037269A1 (ja) 2015-03-19
JP2018200698A (ja) 2018-12-20
JP2020074110A (ja) 2020-05-14

Similar Documents

Publication Publication Date Title
JP6638770B2 (ja) 被監視者監視システムおよび該システムにおける被監視者監視方法
RU2742822C2 (ru) Система видеонаблюдения для больницы
US20160228040A1 (en) Notification System
JP6988798B2 (ja) 見守りシステム
JP6852733B2 (ja) 生体監視装置及び生体監視方法
JP2017174266A (ja) 遠隔患者支援システム
JP6243651B2 (ja) クリティカルコールシステム及び生体情報モニタ
JP6142975B1 (ja) 被監視者監視装置および該方法ならびに被監視者監視システム
JP6798495B2 (ja) センサ装置及び介護支援システム
WO2018016392A1 (ja) 姿勢検出装置及び姿勢検出方法
JP6696606B2 (ja) 介護支援システム、介護支援方法及びプログラム
JP6908028B2 (ja) 被監視者監視装置、該方法、該システムおよびプログラム
JP7327396B2 (ja) 制御プログラム、レポート出力方法、およびレポート出力装置
CN211432928U (zh) 监护系统
WO2020003953A1 (ja) コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法
JP2017151676A (ja) 被監視者監視装置、該方法および該システム
US20240192644A1 (en) Controlling method for monitoring physiological condition of first user and related products
JP7268387B2 (ja) 見守り装置および見守り装置用プログラム
JP6930536B2 (ja) 生体監視システム及び生体監視システムのプログラム
JP2020135063A (ja) 見守り装置および見守り装置用プログラム
JP2023000589A (ja) 情報処理システム、情報処理装置、制御方法、および制御プログラム
JP2023118200A (ja) 見守り監視システム、見守り監視方法、および見守り監視プログラム
JP2023051150A (ja) ナースコールシステム、および状態判断システム
JP2023025761A (ja) 見守りシステム、見守り装置、見守り方法、および見守りプログラム
JP2021197075A (ja) 情報処理装置、制御プログラム、制御システム、および演算方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191209

R150 Certificate of patent or registration of utility model

Ref document number: 6638770

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150