JP4703049B2

JP4703049B2 - 監視装置

Info

Publication number: JP4703049B2
Application number: JP2001216642A
Authority: JP
Inventors: 安弘竹村; 一弘味村; 利治武居; 真人中島
Original assignee: Sumitomo Osaka Cement Co Ltd
Current assignee: Sumitomo Osaka Cement Co Ltd
Priority date: 2001-07-17
Filing date: 2001-07-17
Publication date: 2011-06-15
Anticipated expiration: 2021-07-17
Also published as: JP2003032672A

Description

【０００１】
【発明の属する技術分野】
本発明は、監視対象物を監視する監視装置と監視方法に関し、特に就寝者の呼吸などの変化を監視するための監視装置、監視方法に関するものである。
【０００２】
【従来の技術】
就寝者の呼吸の変化を監視する監視装置として、従来から、荷重センサまたは圧力センサにより検出した圧力分布の時間推移に基づき、就寝者の呼吸の変化を監視する装置が提案されている。
【０００３】
【発明が解決しようとする課題】
しかしながら以上のような従来の装置によれば、監視装置は、測定される信号が微小であることから、安定した信号を取得し検出するためには、高性能な信号増幅器やなんらかの信号処理が必要であり、システムとして複雑かつ大掛かりなものになっていた。
【０００４】
そこで本発明は、就寝者の状態を確実に検出するだけでなく、小型で、かつ単純である監視装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、第１の態様に係る発明による監視装置は、例えば図１、図２、図３に示すように、一定の光量で照明された監視対象物２を継続的に撮像する撮像手段１１と；撮像手段１１により得られた所定時間間隔の２フレームの画像の差分画像を生成する差分画像生成手段１４と；前記差分画像から前記２フレーム間の変化に関する変化出力を得る演算手段３２と；前記変化出力の時間変化から監視対象物２の動きを検出する検出手段３３とを備える。
【０００６】
このように構成すると、撮像手段１１と、差分画像生成手段１４と、演算手段３２と、検出手段３３とを備えるので、撮像手段１１により得られた所定時間間隔の２フレームの画像の差分画像を生成し、差分画像から２フレーム間の変化に関する変化出力の時間変化から監視対象物２の動きを検出することにより、就寝者２の状態を確実に検出するだけでなく、小型で、かつ単純である監視装置１を提供することができる。一定の光量の照明は、人工的光源による照明に限らず自然光による照明であってもよい。監視対象物２の動きは典型的には周期的動きである。
【０００７】
また第２の態様は、第１の態様に記載の監視装置１において、監視対象物２を所定のパターン状照明光１３ａで照明する照明パターン投光手段１２を備え、パターン状照明光１３ａは、照明パターン投光手段１２と撮像手段１１とを結ぶ方向に平行な方向の照明分布を持つことを特徴とするとよい。
【０００８】
また第３の態様は、第１の態様または第２の態様に記載の監視装置１において、撮像手段１０は、複数の画素の配列された撮像素子を有する。
【０００９】
また第４の態様は、第１の態様乃至第３の態様のいずれか１の態様に記載の監視装置１において、差分画像生成手段１４は、前記差分画像に二値化処理を施すことを特徴とする。
【００１０】
また第５の態様は、第１の態様乃至第４の態様のいずれか１の態様に記載の監視装置１において、演算手段３２は、前記差分画像の各画素値を累積する累積手段３２ａを備えるようにするとよい。
【００１１】
また第６の態様は、第１の態様乃至第４の態様のいずれか１の態様に記載の監視装置１において、演算手段３２は、前記変化出力として、前記差分画像上のパターンの各移動部分のパターン移動量を算出することを特徴とする。また、演算手段３２は、前記パターン移動量の累積を算出するようにしてもよい。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号または類似符号を付し、重複した説明は省略する。
【００１３】
図１は、本発明による実施の形態である監視装置１の模式的斜視図である。図中ベッド６上に監視対象物としての人物２（以下就寝者２という）が横たわって存在している。また、就寝者２の上には、さらに寝具３がかけられており、就寝者２の一部と、ベッド６の一部とを覆っている。
【００１４】
一方、就寝者２の腹部周辺直上には、一定の光量で照明された就寝者２を継続的に撮像するための撮像手段としての撮像部１１が設置されている。一定の光量は、撮像部１１の露光中に大きな変化がなくほぼ一定であればよい。さらに具体的には、後述の差分画像を生成するための２フレームを得るための時間間隔の間に大きな変化、例えば１０％以上の光量変化がなければよい。即ち差分画像上で、移動しなかった輝点が背景とともにほとんど除去され（光量変化が小さければ小さいほど除去される程度が高い）、移動した輝点が抽出できる程度に光量変化がなければよい。また、露光時間外は照明をしないようにしてもよい。
【００１５】
また就寝者２のおよそ足部又は頭部上方には（図示は足部上方の場合）、就寝者２を所定のパターン状照明光で照明する照明パターン投光手段としての投光部１２が設置され、就寝者２のおよそ腹部上の寝具３を中心に照明している。照明される範囲は、就寝者２の腹部、胸部、背部、および肩部が、就寝中に取りうる位置を網羅する範囲に設定するとよい。同様に、撮像部１１による撮影領域の範囲も、就寝者２の腹部、胸部、背部、および肩部が、就寝中に取りうる位置を網羅する範囲に設定するとよい。本実施の形態では、撮像部１１は就寝者２の腹部周辺直上に、また投光部１２は就寝者２のおよそ足部又は頭部上方に設置するとしたが、これに限られるものではなく、これらは、就寝者２の周期的動きを検出しやすい位置とするとよい。または設置しやすい位置としてもよく、例えば、就寝者２の上方を避けて設置してもよい。ここで周期的動きとは、典型的には就寝者２の呼吸である。
【００１６】
さらに、撮像部１１と投光部１２とは、撮像部１１と投光部１２とを結ぶ軸と、ベッド６の中心線がおよそ平行になるように設置する。撮像部１１と投光部１２との設置場所は、例えば天井に設置するとよいが、近辺に壁が存在する場合は、壁でもよく、スタンドに取りつけてもよい。即ち設置場所は監視装置の目的や仕様等により適宜決めてよい。このように設置することで、就寝者２の小さな周期的動き例えば呼吸を敏感に検出することができる。撮像部１１は、複数の画素の配列された撮像素子を有するものであり、典型的にはＣＣＤカメラである。
【００１７】
投光部１２は、典型的には周期的構造を持った回折素子を用いた投光手段である。また回折素子は、典型的にはファイバーグレーティング（ＦＧ）素子であるが、空間的に離散化されて光を投光するものであればどのようなものであってもよく、例えば、回折格子、レンズアレイ、光源アレイまたは開口アレイの結像、光源アレイまたは開口アレイの出射光をコリメートしたものなどであってもよい。またパターン状照明光は、投光部１２と撮像部１１とを結ぶ方向に平行な方向の照明分布を持っている。照明分布は、照明光に強度変化の分布があることをいう。即ちパターン状照明光は、例えば図１６に示すような、ライン状照明光等であってもよい。このライン状照明光は、前記平行な方向に直交する方向には照明光の強度は一定であるが、前記平行な方向には強弱の強度変化の分布がある。投光部１２は、就寝者２を、輝点を正方格子状に配列したグレーティングパターン１３ａで照明する。ＦＧ素子１３については、図４を参照して後で説明する。
【００１８】
図２のブロック図を参照して、監視装置１の構成の一例を説明する。監視装置１は、撮像部１１と投光部１２とを含んで構成される撮像装置１０と、演算装置３０と、通報装置４０とを含んで構成される。演算装置３０は、典型的にはパソコンやマイコンである。演算装置３０は、制御部３１を備えており、監視装置１を制御している。また制御部３１には、インターフェース３５が接続されており、撮像装置１０、通報装置４０は、インターフェース３５を介して制御部３１に接続され、制御されている。
【００１９】
ここで、図３の概念的斜視図を参照して、撮像装置１０について説明する。ここでは、判りやすく就寝者２を、直方体形状をした物体２０として、ＦＧ素子により照明される面を平面２１として説明する。さらに判りやすく、物体２０の変化（動き）を、物体２０の存在するときと存在しないときで説明する。
【００２０】
図中物体２０が、平面２１上に載置されている。ＸＹ軸を平面２１内に置くように、直交座標系ＸＹＺがとられており、物体２０はＸＹ座標系の第１象限に置かれている。
【００２１】
一方、図中Ｚ軸上で平面２１の上方には撮像部１１が配置されている。撮像部１１の結像レンズ１１ａは、その光軸がＺ軸に一致するように配置されている。結像レンズ１１ａが、平面２１あるいは物体２０の像を結像する撮像素子１５の結像面１５’（イメージプレーン）は、Ｚ軸に直交する面である。結像面内１５’にｘｙ直交座標系をとり、Ｚ軸が、ｘｙ座標系の原点を通るようにする。
【００２２】
平面２１から結像レンズ１１ａと等距離で、結像レンズ１１ａからＹ軸の負の方向に距離ｄだけ離れたところに、ＦＧ素子１３が配置されている。図３を参照して後で説明するように、ＦＧ素子１３には、継続的にレーザー光Ｌ１がＺ軸方向に入射して、正方格子状に点が配列されたパターンが継続的に平面２１に照射される。即ち、物体２０と平面２１は、パターン状照明光で照明される。撮像部１１には、撮像部１１により得られた所定時間間隔の２フレームの画像の差分画像を生成する差分画像生成手段としての画像処理部１４が電気的に接続されている。画像処理部１４は、撮像素子１５の各画素毎の差を取ることにより差分画像を生成する。所定時間間隔とは、物体２０の細かい周期的動き即ち就寝者２の呼吸を監視するのに十分な間隔であり、例えば２〜３フレーム／秒程度である。また図示では、撮像素子１５と画像処理部１４とは、別体として示してあるが、一体として構成するとよい。
【００２３】
また、本実施の形態のように投光部１２にレーザーのような略単一波長光源をもちいる場合には、撮像部１１は、この略単一波長の周辺部以外の波長の光を減光するフィルタ１１ｂを備えるとよい。フィルタ１１ｂは、典型的には光学フィルタであり、結像レンズ１１ａの光軸上に配置するとよい。このようにすると、撮像部１１は、撮像素子１５に受光する光のうち、投光部１２より照射された光の強度が相対的にあがるので、外乱光による影響を軽減できる。
【００２４】
図４を参照して、ＦＧ素子を説明する。ＦＧ素子は、直径が数１０ミクロン、長さ１０ｍｍ程度の光ファイバーを１００本程度シート状に並べて、それを２枚ファイバーが直交するように重ね合わせたものである。ＦＧ素子１３は、上記のシートが平面２１に平行に（Ｚ軸に直角に）配置される。このＦＧ素子１３に、レーザー光Ｌ１を、Ｚ軸方向に入射させる。するとレーザー光Ｌ１は、個々の光ファイバーの焦点で集光したのち、回折ビームアレイとなり、投影面である平面２１に、正方格子状に輝点マトリクスであるパターン１３ａが投影される。
【００２５】
以上では、撮像装置１０は、回折素子としてＦＧ素子１３を用いる場合で説明したが、回折素子として２次元マイクロレンズアレイを用いてもよい。
【００２６】
図５の模式図を参照して、２次元マイクロレンズアレイ１６（以下、単にレンズアレイ１６という）について説明する。（ａ）は斜視図、（ｂ）は正面図の左半分に断面を示した部分断面図である。レンズアレイ１６は、例えばプレートの片面に、数１０ミクロンの周期で、複数のレンズ１７が形成されたものである。ここでは、レンズアレイ１６は、レンズアレイ１６の複数のレンズ１７の形成された面１８（以下単にレンズ面１８という）に、さらに高反射処理を施したものを用いる。高反射処理は、典型的にはアルミコーティング１８ａである。このようにすると、レンズ１７が凹面ミラーと同じ構成になるので、レンズアレイ１６の短焦点化が容易にできる。
【００２７】
また、レンズアレイ１６は、レンズ面１８にアルミコーティングを施すのではなく、レンズ面１８の直後に平面ミラーを設けてもよい。このようにすると、光がレンズ１７に２回入射することになるので、同様にレンズアレイ１６の短焦点化が容易にできる。
【００２８】
この場合、図６の模式図に示すように、レンズアレイ１６は、入射した光の入射角により、光を反射または透過するビームスプリッタ１９を含んで構成される。このレンズアレイ１６に、レーザー光Ｌ１を、Ｚ軸の垂直方向に入射させる。するとレーザー光Ｌ１は、ビームスプリッタ１９で反射し、レンズアレイ１６に入射する。入射したレーザー光Ｌ１は、個々のレンズ１７のレンズ面１８で反射し、レンズ１７の焦点で集光したのち、ビームスプリッタ１９を透過して、球面波となって広がって行き、干渉して、投影面である平面２１に、正方格子状に輝点マトリクスであるパターン１６ａが投影される。
【００２９】
また図７に示すように、レンズアレイ１６は、同一のレンズアレイ１６を、レンズ面１８を近接させて２枚設置してもよい。この場合、レンズ面１８にアルミコーティング１８ａは施さないで使用する。この２枚のレンズアレイ１６を近接させたレンズアレイ１６’に、レーザー光Ｌ１を、Ｚ軸方向に入射させる。するとレーザー光Ｌ１は、個々の２枚のレンズ１７の合成焦点で集光したのち、球面波となって広がって行き、干渉して、投影面である平面２１に、正方格子状に輝点マトリクスであるパターン１６ａ’が投影される。
【００３０】
なお、レンズアレイ１６は、できるだけ隣接するレンズ１７間の隙間が小さいことが望ましい。したがって、レンズ１７を直交格子状にならべるのであれば、開口形状は円形よりも矩形にした方がよい。
【００３１】
撮像装置１０は、投光部１２に以上のような波面精度の高いレンズアレイ１６を用いることで、さらに低出力レーザーを使用することができる。
以下、ＦＧ素子１３を用いた場合で説明する。
【００３２】
図３に戻って、さらに撮像装置１０について説明する。ＦＧ素子１３により平面２１に投影されたパターン１３ａは、物体２０が存在する部分は、物体２０に遮られ平面２１には到達しない。ここで物体２０が存在しなければ、平面２１上の点２１ａに投射されるべき輝点は、物体２０上の点２０ａに投射される。輝点が点２１ａから点２０ａに移動したことにより、また結像レンズ１１ａとＦＧ素子１３とが距離ｄだけ離れているところから、結像面１５’上では、点２１ａ’（ｘ，ｙ）に結像すべきところが点２０ａ’（ｘ，ｙ＋δ）に結像する。即ち、物体２０が存在しない時点と物体２０が存在する時点とは、輝点がｙ軸方向に距離δだけ移動することになる。
【００３３】
画像処理部１４は、この２時点に結像面１５’に受光（撮像）した２フレームの差分画像を生成することにより、輝点が移動した差分画像を生成できる。また、この差分画像は、２フレームの画像間の差をとることで、移動しなかった輝点は背景とともに除去され、移動した輝点が抽出された画像となる。ここでの２フレームは、撮像された最新のフレームと、このフレームよりの過去の時点のフレームとであればよく、例えば１フレームだけずれた２フレームである。
【００３４】
このように、撮像装置１０は、差分画像を生成するので外乱光の影響を排除できる。例えば太陽光により、就寝者２以外の物による陰影が就寝者２にかかっていたり、外乱光による照明強度が、就寝者２の部分部分でばらつきがあったりしていても、そのような陰影やばらつきの影響を排除できるので、後述の２値化処理を行ないやすい。差分画像は、画像信号をＡ／Ｄ変換してフレームメモリに記憶し、対応する画像データ同志を演算して求めることができる。特にこの特徴は、撮像素子１５として動体検出素子を用いた場合に顕著である。動体検出素子は、例えば撮像素子１５の各画素で、フレームの画素値を記憶し、１フレームずれた最新のフレームの画素値との差あるいは、その差を閾値処理して値を出力する機能を持った素子で、信号伝達過程でのノイズの影響をうけることなく、差分画像を生成することができる。
【００３５】
さらに画像処理部１４は、この差分画像に２値化処理を施す。２値化処理は、例えば上述の動体検出素子を用いた場合、２フレームの画像の各画素で、２フレームの各々の出力値を、バイアスを含めてピークホールドしておき、不図示のコンパレータにより、例えば各画素の差の絶対値が閾値以上の時に１を出力し、閾値未満の時に０を出力するような閾値処理を行なう。このようにすると、撮像素子のＳＮをフルに使って差算を行うことができる。このため、通常の画像処理（例えば画素データを８ｂｉｔに量子化する）よりもダイナミックレンジの広い検出ができる。これにより、撮像装置１０は、ハイパワーレーザを使ったり、シャッターを発光と同期させて短い露出（撮像）を行ったりしなくても、パターンのわずかな変化を検出しやすい。これにより、レーザー光Ｌ１は、低出力レーザーでもよく、また、レーザーの発光と露出とを同期させる必要がなく、継続的に照射することができる。
【００３６】
またレーザー光Ｌ１は、間欠的に光が照射されるパルス光であり、撮像部１１は、不図示のシャッターが備えられ、結像面１５’に間欠的に撮像するように構成してもよい。この場合、投光部１２は、光源が所定の発光時間だけ発光するパルス光源を用いてもよいし、シャッターでパルス状に遮光、照射を繰り返す構成であってもよい。また、シャッターは、電子シャッターを用いることが好ましいが、メカニカルシャッターを用いてもよい。
【００３７】
図８のチャートを参照して、光Ｌ１の間欠的な照射、すなわち平面２１の照明と、間欠的な撮像との関係を説明する。（ａ）（ｂ）（ｃ）共に、横軸は時間ｔ軸である。（ａ）の縦軸はＦＧ素子１３を通したパターン状照明光の照明強度、（ｂ）の縦軸は外乱光による照明強度、（ｃ）の縦軸は上記両者による合成照明強度を示す。
【００３８】
（ａ）に示す照明光は、パルス持続時間ｔ１だけ持続するパルス光である。一方（ｃ）に示すように、撮像部１１の撮像は、露光時間ｔ２だけ、シャッターが開くことにより行われる。本図では、露光時間ｔ２は、パルス持続時間ｔ１より僅かに長い場合を示してある。露光時間はパルス持続時間ｔ１より短い同じく図示の露光時間ｔ２’であってもよい。例えば露光時間ｔ２’が０．０１ｍｓで、パルス持続時間ｔ１が０．０５ｍｓのような場合もあり得る。但し、好ましくはほぼ同一とする。
【００３９】
パルス光の持続時間（パルス幅）ｔ１は、１／１００，０００〜０．１秒程度の範囲とするが、ビデオレートである０．０３秒以下とするのが好ましい。
【００４０】
パルス光による照明のタイミングと撮像のタイミングとは同期させる。即ち図８では、パルス光の照射開始時刻（時間ｔ１の起点）と露光開始時刻（時間ｔ２の起点）とは、同一になるようにしてある。このように、同期は照射開始と露光開始とが同時に起こるように同期するのが好ましいが、多少はずれていてもよい。この時間ｔ２またはｔ２’の間に結像面１５’には、画像が形成される。
【００４１】
これにより、撮像装置１０は、外乱光の強度を相対的に弱めることができるので、外乱光の影響を抑えることができ、パルス光を用いるので光量の絶対量を低く抑えることもできる。したがって、撮像対象が人物（就寝者２）である場合でも、目に与える悪影響を最小限に抑えることができる。言い換えれば、照明光による露光量エネルギーに対する外乱光の露光量エネルギーを相対的に低減するので、明るい照明をして外乱光の影響を低減できる。また、発熱や大エネルギー消費の問題のある大型の照明手段が不要になる。また前述の閾値処理が容易になると同時に移動した輝点の移動量の評価が非常に容易になる。
【００４２】
図２に戻って、さらに監視装置１を説明する。制御部３１には、記憶部３４が接続されており、撮像装置１０より入力した差分画像や算出された情報等のデータが記憶できる。演算装置３０は、撮像装置１０からインターフェース３５を介して入力した差分画像を、記憶部３４に時系列で保存するように構成されている。さらに記憶部３４内には、就寝者２の正常な呼吸パターン及び異常な呼吸パターンを保存する呼吸パターン保存部３６が備えられている。呼吸パターンについては、図１３を参照して後で説明する。
【００４３】
また制御部３１には、監視装置１を操作するための情報を入力する入力装置３７、監視装置１で処理された結果を出力する出力装置３８が接続されている。入力装置３７は例えばタッチパネル、キーボードあるいはマウスであり、出力装置３８は例えばディスプレイやプリンタあるいは警報装置である。本図では、入力装置３７、出力装置３８は演算装置３０に外付けするものとして図示されているが、内蔵されていてもよい。
【００４４】
また制御部３１内には、撮像装置１０より入力した差分画像から２フレーム間の変化に関する変化出力を得る演算手段としての演算部３２が備えられている。さらに演算部３２は、差分画像の各画素値を累積する累積手段としての累積部３２ａを備えている。変化出力とは、典型的には該画素値の累積値である。即ち変化出力は、差分画像より得られる監視対象領域内の形状変化を抽出して表すものである。これは、例えば就寝者２の呼吸等の動きを抽出することである。これにより、抽出された就寝者２の動きは、波形パターンを形成する。
【００４５】
演算部３２は、累積部３２ａにより差分画像の各画素値を累積することにより変化出力を得る。このように、単純に、差分画像の各画素出力値の総和を取った場合には、呼気と吸気の移り変わりのタイミングで総和が最も小さくなり、呼気の途中・吸気の途中で総和が最も大きくなると考えられる。差分画像は、２値化された画像で入力されるので、前述のように、差の絶対値が閾値以上の画素の出力が１である場合には、その数をカウントすれば、累積値が求まる。この累積値を時系列に並べることで、変化出力を得ることができる。
図９に、各画素値の累積値から得られる変化出力の波形パターンを示す。
【００４６】
また、演算部３２は、変化出力として、差分画像上のパターンの各移動部分のパターン移動量を算出するように構成してもよい。この際、パターン移動量は、パターンの移動方向に応じて正負の区別をして算出する。これにより、後述の検出部３３による呼吸数の検出で、吸気パターンから呼気パターンの間に現れる「ゼロ・クロス」（符号が反転する交点）の数を計測することで、呼吸数を検出できる。また、パターン移動量は、差分画像上で投光部１２と撮像部１１とを結ぶ軸方向についてのパターン移動量を算出するようにするとよい。
【００４７】
ここで、図１０の模式図を参照して、パターン移動量について説明する。図中のｘ’ｙ’軸は、図３のｘｙ軸に対応するものである。即ち差分画像上のｙ’軸方向は、投光部１２と撮像部１１とを結ぶ軸方向と平行である。図示にように、入力した差分画像は、移動しなかった輝点は背景とともに除去され、移動した輝点が抽出された画像となる。ここで、移動した輝点Ａがｙ’軸方向に距離δだけ移動していたとする。
【００４８】
監視装置１は、このδの変化を追うことで、後述の検出部３３による就寝者２の動きの検出をすることができる。また、輝点の対応関係が不明にならない程度に、パターン１３ａのピッチ、即ち輝点のピッチを細かくすれば、それだけ詳細に就寝者２の動きを検出できることになる。
【００４９】
この際、演算部３２は、距離δをパターン移動量として算出するようにするとよい。これは、本実施の形態のように撮像装置１０を設置した場合、就寝者２の呼吸による上下動が、ｙ’軸方向のパターンの移動に現れるからである。またこのようにすることで、演算部３２は、ｘ’軸方向、ｙ’軸方向の両方のパターン移動量を算出しないで済むので、計算量を大幅に減らすことができる。
【００５０】
また、パターン移動量は、撮像装置１０により発光無し、発光、発光の順番に撮像し、それぞれ差分画像を生成すれば、最初の差分画像で元の輝点の位置がとれ、次の差分画像で移動した輝点のみが取れる。そこで、元の輝点の位置を用いて、輝点が何処から何処へ移動したかがわかる。つまり、輝点（パターン）の移動方向がわかる。
【００５１】
パターン移動量を算出する場合、演算部３２は、上述で算出した各移動部分のパターン移動量を累積することにより変化出力を得る。この移動量累積値を時系列に並べることで、変化出力を得ることができる。また演算部３２は、正負を区別して累積していくことにより、後述の検出部３３による呼吸の検出で、呼気と吸気の判別が可能となる。
図１１に、移動量累積値の変化出力の波形パターンを示す。
【００５２】
また、演算部３２は、上述で算出した各移動部分のパターン移動量の絶対値を累積することにより変化出力を得るようにしてもよい。このようにすると、移動量累積値を絶対値とすることにより、後述の検出部３３による呼吸の検出で、呼気・吸気の判別はできなくなるが、プラスマイナスが相殺して動きに対する感度を低下させるのを防ぐことができる。
【００５３】
また、演算部３２は、上述で算出した各移動部分のパターン移動量のうち、正負いずれかの移動部分の多い方のパターン移動量を累積することにより変化出力を得るようにしてもよい。このようにすると、パターン移動量の正負を知りつつ、プラスマイナスが相殺して動きに対する感度を低下させるのを防ぐことができる。
【００５４】
また、演算部３２は、上述で算出した各移動部分のパターン移動量のうち、正負いずれかの移動部分の多い方のパターン移動量の累積から少ない方のパターン移動量の累積を符号付きで引いた値を計算することにより変化出力を得るようにしてもよい。このようにすると、パターン移動量の正負、プラスマイナスが相殺されず、動きに対する感度を増加させることができる。
【００５５】
また、演算部３２は、上述で算出した各移動部分のパターン移動量の各々の位相を互いに比較し、この比較により位相が近いもの各々をグループ化して、各グループのパターン移動量の総和を求める。そして、逆位相に近いグループ間で、各々のグループの総和を差算するようにしてもよい。このようにすると、パターン移動量の各々の位相が近いもの各々をグループ化して、総和を求めるので、例えば、就寝者２の呼吸をグループとして抽出して増幅できる。さらに逆位相に近いグループ間で、各々のグループの総和を差算し、差算より得られた値に基づいて就寝者２の動きを検出するので、例えば就寝者２の呼吸により、上がる部分と下がる部分があったとしても、差算することで、呼吸パターン振幅を増幅させることができ、呼吸を確実に検出することができる。
【００５６】
さらに、演算部３２は、パターン移動量を画素毎に時間積分するように構成してもよい。このようにすると、時間積分した値は、絶対高さに似た値となる。このようにすると、変化出力として就寝者２の高さの絶対値に似た値を得ることができる。この場合、演算部３２は、上述で算出した各移動部分のパターン移動量を画素毎に時間積分することにより変化出力を得ることができる。さらに、演算部３２は、このように算出した画素毎の時間積分値を累積することにより変化出力を得るようにしてもよい。この移動量累積時間積分値を時系列に並べることで、変化出力を得ることができる。
図１２に、移動量時間積分値の変化出力の波形パターンを示す。
【００５７】
以上で説明したように、演算部３２は、上述のどの構成を用いても、変化出力の波形パターンを得ることができる。また、上述の演算部３２の構成は、装置の設置状態や使用状態、目的等により適宜選択するとよい。また、演算部３２は、就寝者２の動きが反映された変化出力の波形パターンを得ることができればよく、以上で説明した構成に限られるものではない。
【００５８】
さらに制御部２１内には、変化出力の時間変化から就寝者２の動きを検出する検出手段としての検出部３３が備えられている。検出部３３は、変化出力が周期的変動をなしている場合に、就寝者２の呼吸とその呼吸数を検出するように構成されている。また、検出部３３は、変化出力が周期的変動でないときに呼吸以外の動きがあると見なすように構成されている。さらに、検出部３３は、変化出力の絶対値が一定値を越えたときに呼吸以外の動きと見なすように構成してもよい。
【００５９】
さらに変化出力が前述の累積値（図９参照）である場合には、検出部３３は、変化出力が周期的変動をなしているときに、その２周期を１呼吸として呼吸数を検出する。また変化出力が前述の移動量累積値または移動量累積時間積分値（図１１、図１２参照）である場合には、検出部３３は、変化出力が周期的変動をなしているときに、その１周期を１呼吸として呼吸数を検出する。
【００６０】
検出部３３は、以上のようにして、就寝者２の呼吸等の動きを検出する。検出部３３により検出された呼吸の呼吸パターンは、例えば、短時間に呼吸パターンの持つ周期が乱れた場合、また呼吸パターンの持つ周期が急激に変化した場合には、例えば、自然気胸、気管支喘息などの肺疾患、うっ血性心不全などの心疾患、または、脳出血などの脳血管疾患であると推測できる。また、呼吸パターンの消失が続いた場合には、就寝者２の呼吸が停止したと推測できる。そして、短時間に呼吸パターンではなく就寝者２の動きが頻出した場合には、就寝者２が何らかの理由で苦しんで暴れているような状況が推測できる。
【００６１】
さらに、検出部３３は、検出した就寝者２の動きから、就寝者２の状態を判定するように構成されている。これにより、検出部３３は、上述のような場合に、就寝者２が危険な状態にあることを判定することができる。
【００６２】
また、就寝者２の呼吸以外の動きの検出は、波形パターンが呼吸のみを検出した場合に比べて、遥かに大きく変動するので、容易に検出することができる。この場合、さらに検出部３３は、変化出力から就寝者２が、例えば寝返り等その場で動いているのか、例えばベッドから起き上がる等の移動しているのかを検出することもできる。また、就寝者２が痙攣のような周期的で小さい動きをした場合でも、その波形パターンから異常を判定することができる。さらに、痙攣している状態の波形パターンを記憶部３４に保存しておくことで、就寝者２が痙攣している状態と判定することもできる。
【００６３】
また検出部３３は、ベッド６上の就寝者２の存在する領域が、ベッド６のいずれか一方の端部に極めて近接した状態にあることを判定するようにしてもよい。これにより、監視装置１は、就寝者２がベッド６から転落するような危険な位置にいる状況を判定できる。
【００６４】
ここで、図１３を参照して、正常および異常な呼吸パターンの例を説明する。記憶部３４内の呼吸パターン保存部３６に保存されている正常な呼吸パターンは、図１３（ａ）に示したような、周期的なパターンである。呼吸パターン保存部３６に保存されている異常な呼吸パターンは、例えば、チェーン−ストークス（Ｃｈｅｙｎｅ−Ｓｔｏｋｅｓ）呼吸、中枢性過換気、失調性呼吸、カスマウル（Ｋｕｓｓｍｕｌ）の大呼吸など、生理学的に体内に障害が発生している場合に生じると考えられている呼吸パターンである。
【００６５】
図１３（ｂ）に、Ｃｈｅｙｎｅ−Ｓｔｏｋｅｓ呼吸の呼吸パターンを、図１３（ｃ）に中枢性過換気の呼吸パターンを、図１３（ｄ）に失調性呼吸の呼吸パターンをそれぞれ示す。
さらに図１４に、上記の異常な呼吸パターンが発生した場合の、病名または疾患箇所について示す。
【００６６】
検出部３３は、それぞれの呼吸パターンの呼吸の周波数、出現回数、深浅が異なることを利用して、就寝者２の呼吸パターンがいずれの呼吸パターンに属するかを判別し、就寝者２の状態を判定する。
【００６７】
さらに検出部３３は、就寝者２の呼吸が、生理学的に体内に障害が発生している湯合に生じると考えられている呼吸パターンに属すると判定した場合に、就寝者２が異常な呼吸をしており危険な状態にあると判定する。このように判定された就寝者２の状態は、制御部３１により出力装置３８から出力される。また出力される内容は、判定された就寝者２の呼吸数や動きの頻度、異常な呼吸パターンの名称やその呼吸の原因となると考えられる病名、疾患器官、疾患箇所などである。
【００６８】
ここで、検出部３３による就寝者２の状態の判定結果を外部に通報するための通報装置４０について説明する。通報装置４０は、検出部３３による就寝者２の状態の判定結果を外部に通報する。通報装置４０には、検出部３３で判定された就寝者２の状態や、ベッド６に備えられた不図示のマイクより取得した音の情報等を、ナースステーション、居間や食堂、別の寝室等の別の場所へ届けるための無線通信を用いた無線通信装置、電力線または専用線を用いた有線通信装置を含んで構成される。これらの通信装置によって送られた情報により、緊急を知らせるメッセージを流したり、警報音を出したり、光によるサインを出したりすることができる。また、これらの情報やメッセージ等は、固定電話回線やデータ通信回線、ＣＡＴＶ回線、移動電話回線等を通じて、離れた場所にいる人物や装置に送ることも可能である。
【００６９】
また監視装置１は、就寝者２がいるかいないかを正確に検知するための補助手段として、就寝者の下方に敷かれる寝具に感圧スイッチを備えてもよい。このスイッチの入／切によって、就寝者の在／不在の判別が容易にできる。
【００７０】
以上では、監視装置１は、ベッド６上の就寝者２の動きを検出する場合について説明したが、これに限定されて適用されるものではなく、例えばトイレや浴室等、監視領域か限定される場合に、特に有効に働くものである。例えば、図１５に示すように、監視装置１を浴室の天井に設置した場合には、入浴する人物の呼吸や動きを確実に検出することができる。また、本実施の形態では、投光部１２を備えた場合で説明したが、投光部１２を備えなくとも、同様の構成で実施することが可能である。
【００７１】
以上のような本実施の形態によれば、監視装置１は、簡単な画像処理で、就寝者２の姿勢や外乱光に対して影響を受けることなく就寝者の呼吸を確実に検出することができる。これにより、監視装置１は、高齢者や病人が危機的状況に陥った場合に、迅速な救急対応の実現が可能になる。
【００７２】
【発明の効果】
以上のように本発明によれば、一定の光量で照明された監視対象物を継続的に撮像する撮像手段と、前記撮像手段により得られた所定時間間隔の２フレームの画像の差分画像を生成する差分画像生成手段と、前記差分画像から前記２フレーム間の変化に関する変化出力を得る演算手段と、前記変化出力の時間変化から前記監視対象物の動きを検出する検出手段とを備えるので、就寝者の状態を確実に検出するだけでなく、小型で、かつ単純である監視装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態である監視装置の概要を示す模式的斜視図である。
【図２】本発明の実施の形態で用いる監視装置の構成例を示すブロック図である。
【図３】本発明の実施の形態で用いる撮像装置の構成例を示す概念的斜視図である。
【図４】本発明の実施の形態で用いるＦＧ素子を説明する概念的斜視図である。
【図５】本発明の実施の形態で用いる２次元マイクロレンズアレイを説明する（ａ）模式的斜視図、（ｂ）模式的部分断面図である。
【図６】図５の場合における２次元マイクロレンズアレイに高反射処理を施した場合を説明する概念的斜視図である。
【図７】図５の場合における２次元マイクロレンズアレイを２枚使用した場合を説明する概念的斜視図である。
【図８】照明光の間欠的な照射と間欠的な露光との関係を説明するチャートである。
【図９】差分画像の各画素値の累積値から得られる変化出力の波形パターンを示した概要図である。
【図１０】差分画像からパターン移動量を算出する場合を説明する模式図である。
【図１１】パターン移動量の移動量累積値から得られる変化出力の波形パターンを示した概要図である。
【図１２】パターン移動量の移動量累積時間積分値から得られる変化出力の波形パターンを示した概要図である。
【図１３】正常及び異常な呼吸の波形パターンについて示した概要図である。
【図１４】異常な呼吸の波形パターンに対応する病名または疾患箇所の表を示した図である。
【図１５】本発明の実施の形態である監視装置を浴室に設置した場合の概要を示す模式的斜視図である。
【図１６】照明パターンの例を説明する模式図である。
【符号の説明】
１監視装置
２就寝者
３寝具
６ベッド
１０撮像装置
１１撮像部
１１ｂフィルタ
１２投光部
１３ＦＧ素子
１３ａグレーティングパターン
１４画像処理部
１５撮像素子
１６２次元マイクロレンズアレイ
３０演算装置
３１制御部
３２演算部
３３検出部
３４記憶部
３５インターフェース
３６呼吸パターン保存部
３７入力装置
３８出力装置
４０通報装置

Claims

一定の光量で照明された監視対象物を継続的に撮像する撮像手段と；
前記撮像手段により得られた所定時間間隔の２フレームの画像の差分画像を生成する差分画像生成手段と；
前記差分画像から前記２フレーム間の変化に関する変化出力を得る演算手段と；
前記変化出力の時間変化から前記監視対象物の呼吸による動きを検出する検出手段と；
前記監視対象物を所定のパターン状照明光で照明する照明パターン投光手段とを備え；
前記パターン状照明光は、前記照明パターン投光手段と前記撮像手段とを結ぶ方向に平行な方向の照明分布を持つことを特徴とし、
前記演算手段は、前記差分画像の各画素値を累積する累積手段を備え、
前記累積手段は、累積された累積値を時系列に並べる、
監視装置。
前記検出手段は、前記変化出力の周期的な変動から、２周期を１呼吸として呼吸数を検出する、
請求項１に記載の監視装置。
前記監視対象物の正常な呼吸パターン、および異常な呼吸パターンを保存する呼吸パターン保存部を備え；
前記検出手段は、前記検出された呼吸による動きが示す呼吸パターンの呼吸の周波数、出現回数、深浅から、前記監視対象物の呼吸パターンが前記異常な呼吸パターンに属するかどうかを判別する、
請求項１または請求項２に記載の監視装置。
前記監視対象物の状態を出力する出力装置を備え；
前記出力装置は、前記監視対象物の呼吸数、動きの頻度、異常な呼吸パターンの名称と共に、異常な呼吸の原因と考えられる病名、疾患器官、疾患箇所のいずれか１を出力する、
請求項３に記載の監視装置。
前記撮像手段は、複数の画素の配列された撮像素子を有し、
前記撮像素子は、動体検出素子である、
請求項１乃至請求項４のいずれか１項に記載の監視装置。