JP4982072B2 - エレベータのかご内監視装置、及び監視プログラム - Google Patents

Description

本発明は、エレベータのかご内の乗客を見守るために、テレビカメラ等を用いてかご内を監視するエレベータのかご内監視装置、及び監視プログラムに関する。

従来のエレベータのかご内監視装置としては、以下の特許文献１，２に記載されているものがある。

特許文献１に記載のかご内監視装置は、かご内をテレビカメラで撮像し、このカメラからの画像データで乗客が一人であるか否かを判断し、乗客が一人の場合にはプライバシーの観点から画像データの出力を見合わせ、乗客が二人以上の場合に画像データを出力するものである。

また、特許文献２に記載のかご内監視装置は、広角カメラと高解像度カメラとを備え、ドアの開閉と乗客数とのうち、少なくとも一方に基づいて、広角カメラからの画像データと高解像度カメラからの画像データのうちの一方を記録するものである。

また、関連する技術としては、以下の特許文献３に記載されている技術もある。

この技術は、かご内に設置されている防犯ボタンが押されると、かご内の重量を検知するための検知器からの出力に応じて、かご内の乗客数を把握し、この乗客数に応じてエレベータの運転形態を変えるという技術である。

特開2003−63746号公報 特開2004−352452号公報 特開平5−782号公報

しかしながら、特許文献１，２のいずれの技術も、監視者は、かご内監視装置からの画像データを常に見ている必要があり、監視者の負荷が大きいという問題点がある。一方、特許文献３に記載の技術は、監視者に負荷はかからないものの、かご内にどのような異常があるのかを把握できないという問題点がある。

本発明は、このような従来技術の問題点に着目し、監視者の負担を軽減させつつも、かご内で異常があった場合に、監視者がその異常内容を把握できるかご内監視装置を提供することを目的とする。

前記問題点を解決するためのエレベータのかご内監視装置に係る発明は、
エレベータのかご内の画像データに基づいて、該かご内の状態を監視するエレベータのかご内監視装置において、
前記画像データを取得する画像データ取得手段と、
前記画像データ取得手段が取得した前記画像データから前記かご内に存在する人の数を求める人数算出手段と、
予め定められている複数の異常判定項目を有し、前記人数算出手段で求められた人数が１人以上所定人数未満の場合には、前記複数の異常判定項目から前記人数に応じた所定の異常判定項目を選択する判定項目決定手段と、
前記画像取得手段が取得した前記画像データ中の人間像データを用いて、前記判定項目決定手段で選択された前記異常判定項目に関して、予め定められた人間像の時間変化があるか否かを判定する異常判定手段と、
前記異常判定手段で、前記予め定められた人間像の時間変化があると判定された場合に、かご内に特定の異常があった旨を出力する出力手段と、を備えていることを特徴とする。

ここで、複数の前記異常判定項目は、前記かご内の人が倒れかを判定する転倒判定と、該かご内で暴行行為が行われたかを判定する暴行判定とを含むことが好ましい。この場合、前記判定項目決定手段は、前記人数算出手段が求めた前記かご内の人数が１人である場合には、前記異常判定項目として前記転倒判定を選択し、該人数算出手段が求めた該かご内の人数が２人以上前記所定人数未満である場合には、該異常判定項目として前記暴行判定を選択することが好ましい。さらに、複数の前記異常判定項目は、異常判定不実行を含み、前記判定項目決定手段は、前記人数算出手段が求めた前記かご内の人数が０人、又は、前記所定人数以上の場合には、前記異常判定項目として前記異常判定不実行を選択し、前記異常判定手段は、前記判定項目決定手段により、前記異常判定項目として前記異常判定不実行が選択されると、異常判定処理を行わないようにしてもよい。

また、前記問題点を解決するためのエレベータのかご内監視プログラムに係る発明は、
エレベータのかご内の画像データに基づいて、該かご内の状態を監視するためのエレベータのかご内監視プログラムにおいて、
前記画像データを取得する画像データ取得ステップと、
前記画像データ取得ステップで取得された前記画像データから前記かご内に存在する人の数を求める人数算出ステップと、
前記人数算出ステップで求められた人数が１人以上所定人数未満の場合には、予め定められている複数の異常判定項目から、前記人数に応じた所定の異常判定項目を選択する判定項目決定ステップと、
前記画像取得ステップで取得された前記画像データ中の人間像データを用いて、前記判定項目決定手段で選択された前記異常判定項目に関して、予め定められた人間像の時間変化があるか否かを判定する異常判定ステップと、
前記異常判定ステップで、前記予め定められた人間像の時間変化があると判定された場合に、前記かご内に特定の異常があった旨を出力する出力ステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、エレベータのかご内に異常があった場合、かご内に特定の異常があった旨が出力されるか、又は、異常発生時以前の複数の時刻における静止画像又は異常発生時以前の動画像画が出力されるので、監視者はモニタでかご内を常に監視する必要がなくなり、監視者の負担を軽減することができる上に、監視者はかご内にどのような異常が発生したのかを把握することができる。

さらに、人数算出手段及び判定項目決定手段を有するものでは、かご内の乗客数に応じて異常判定項目を変えているので、乗客数が何人であろうが全ての判定項目を実行するよりも、コンピュータの負荷を軽減することができる。

以下、本発明に係るエレベータのかご内監視システムの一実施形態について、図面を用いて説明する。

本実施形態のかご内監視システムは、図１に示すように、エレベータのかご１内を撮像する撮像手段としてのカメラ２と、このカメラ２で撮像された画像データを取得し、この画像データを解析するかご内監視装置１００と、このかご内監視装置１００での解析結果等が出力される監視用モニタ６と、かご内監視装置１００へ指示を与えるためのキーボード等の入力装置５と、を備えている。

かご内監視装置１００は、いわゆる画像処理装置で、かご１内の乗客３に異常があったか否か、さらにカメラ２に異常があったか否かを画像データを用いて判定し、監視用モニタ６にその結果を出力し、監視用モニタ６の監視者７に、乗客異常等を知らせる。

かご内監視装置１００は、機能的には、カメラ２からの画像データを取得する画像データ取得部１０と、画像データ取得部１０が取得した画像データを一時的に記憶しておく画像データ記憶部２０と、画像データに基づいてカメラ異常の有無を判定するカメラ異常判定部３０と、画像データに基づいて乗客異常の有無を判定する乗客監視処理部４０と、カメラ異常判定部３０や乗客監視処理部４０での判定結果等をモニタ５へ出力する出力部５０と、を備えている。

画像データ記憶部２０には、カメラ異常判定用のマスタ画像、ドア開閉判定用のマスタ画像、物体抽出用のマスタ画像のデータの他に、一定時間毎（例えば、１秒毎）の静止画像データが記憶される。なお、各マスタ画像の詳細に関しては、後述する。また、ここでは、カメラ異常判定用、ドア開閉判定用、物体抽出用として、それぞれマスタ画像を設けているが、カメラ異常判定用とドア開閉判定用と物体抽出用とを兼ねる一つの画像をマスタ画像としてもよい。

乗客監視処理部４０は、画像データ取得部１０が取得した現画像データと画像データ記憶部２０に記憶されているドア開閉判定用のマスタ画像とを比較して、かご１のドアが開いているか閉じているかを判定するドア開閉判定部４１と、かご１内の乗客数を求める人数算出部４２と、乗客数に応じた異常判定項目を定める判定項目決定部４３と、この判定項目決定部４３が定めた異常判定項目に関する異常の有無を判定する乗客異常判定部４４と、を有している。

また、出力部５０は、乗客監視処理部４０やカメラ異常判定部３０からの判定結果に応じて表示内容を定める表示内容制御部５１と、表示内容制御部５１で定められた表示内容に応じた表示文字や表示図形等を生成する表示文字/図形生成部５２と、表示文字/図形生成部５２が生成した文字や図形等と画像データ等とを合成する合成処理部５３と、合成処理部５３が生成した表示画像データをモニタ５に表示させる表示制御部５４と、を有している。

かご内監視装置１００は、ハードウェアー的には、図２に示すように、コンピュータであり、カメラ２からの画像データが入力する画像データ入力インタフェース１０１と、各種演算や各種プログラム等を実行するＣＰＵ１０２と、ＣＰＵ１０２が実行するプログラムが記憶されているプログラムメモリ１０３と、ＣＰＵ１０２がプログラムを実行する際等に使用するワークメモリ１０４と、画像データ等を一時的に記憶しておくためのハードディスク装置１０５と、ＣＤ又はＤＶＤ等の記憶媒体１０９を再生するＣＤ／ＤＶＤ装置１０６と、モニタ６へ画像データを出力する画像データ出力インタフェース１０７と、を備えている。

コンピュータをかご内監視装置１００として機能させるためには、かご内監視プログラムが記憶されているＣＤ等の記憶媒体１０９をＣＤ／ＤＶＤ装置１０６で再生するか、又は、このプログラムをインターネット等を介して取得するかして、このコンピュータにこのプログラムをインストールさせればよい。

なお、かご内監視装置１００の以上の機能的構成要素のうち、画像データ取得部１０は、画像データ入力インタフェース１０１と、かご内監視プログラムが記憶されるプログラムメモリ１０３と、このプログラムメモリ１０３に記憶されたプログラムを実行するＣＰＵ１０２とを有して構成され、出力部５０は、画像データ出力インタフェース１０７と、プログラムメモリ１０３と、ＣＰＵ１０２とを有して構成されている。また、カメラ異常判定部３０及び乗客監視処理部４０は、かご内監視プログラムが記憶されるプログラムメモリ１０３と、このプログラムメモリ１０３に記憶されたプログラムを実行するＣＰＵ１０２とを有して構成されている。画像データ記憶部２０は、ハードディスク装置１０５を有して構成されている。

次に、以上で説明したかご内監視装置１００の動作について説明する。

まず、乗客監視処理４０のドア開閉判定部４１の動作について、図３に示すフローチャートに従って説明する。

ドア開閉判定部４１は、画像データ取得部１０から最新の画像データ（≒現画像データ）を受け付けると（Ｓ１０）、画像データ記憶部２０からドア開閉用マスタ画像データを取得する（Ｓ１１）。このドア開閉用マスタ画像データは、図１０に示すように、かご１のドア１ａが閉じた状態を示す閉パターン７０の画像データを含むものである。この閉パターン７０の画像データは、カメラ２により撮像された画像データのうち、乗客３が存在しても、乗客３に邪魔されずに、カメラ２で撮像できる位置に存在するパターンの画像データである。この閉パターン７０は、ドア１ａが開いているときの背景模様と類似していない必要がある。このため、閉パターン７０がドア１ａの縁を単に含むようなもので、ドアが開いているときの背景模様と類似してしまうような場合には、この閉パターン７０を使用できない。そこで、このような場合には、例えば、ドア１ａに特別のマーク等を付して、これをドア閉状態のときに撮像したものを閉パターンとするとよい。この閉パターン画像データを含むドア開閉用マスタ画像は、例えば、本装置の起動時であって、かご１内に乗客が存在しないときに、監視者７が、入力装置５を操作して、画像データ取得部１０に指示を与えて、この画像データ取得部１０が取得した画像データを画像データ記憶部２０にドア開閉用マスタ画像データとして登録させる。

ドア開閉判定部４１は、最新の画像データ及びドア開閉用マスタ画像データを取得すると（Ｓ１０、Ｓ１１）、最新の画像データのうち、ドア開閉用マスタ画像（テンプレート画像）データの閉パターンと同じ領域のデータと、この閉パターンデータとを比較する。そして、閉パターンデータに対する、この閉パターンと同じ領域のデータの類似度を以下の数１を用いて計算する（Ｓ１２）。

最新の画像データのうち、閉パターンと同じ領域のデータの類似度を求めると（Ｓ１２）、続いて、この類似度が予め定められた値、例えば、０．６以上であるか否かを判断し（Ｓ１３）、類似度が予め定められた値以上である場合には、ドアが閉状態であると判断し、その旨を人数算出部４２に通知して（Ｓ１５）、一連の処理を終了する。また、類似度が予め定められた値未満である場合には、ドアが開状態であると判断し、その旨を人数算出部４２に通知して（Ｓ１６）、一連の処理を終了する。

次に、乗客監視処理部４０の人数算出部４２の動作について、図４に示すフローチャートに従って説明する。

人数算出部４２は、ドア開閉判定部４１からのドア閉又はドア開の通知を受け付けると（Ｓ２０）、この通知がドア閉を示すものであるかドア開を示すものであるかを判断する（Ｓ２１）。ドア開閉判定部４１からの通知がドア開を示す場合には、処理を終了する。また、ドア開閉判定部４１からの通知がドア開を示す場合には、画像データ取得部１０から最新の画像データを受け付け（Ｓ２２）、この画像データからかご内の物体を抽出する（Ｓ２３）。なお、この物体抽出処理については、後で詳細に図５を用いて説明する。

続いて、ステップ２３で抽出した物体の面積を求め、この物体の面積が予め定められた閾値（TH1，TH2、TH1＜TH2）と比較し（Ｓ２４）、図１１（ａ）に示すように、物体の面積が閾値TH1未満である場合、つまり、物体の面積が小さい場合には、乗客数が０人であると判断し、乗客数０人を判定項目決定部４３及びカメラ異常判定部３０に通知する（Ｓ２５）。また、図１１（ｂ）に示すように、物体の面積が閾値TH2以上である場合、つまり物体の面積が大きい場合には、乗客数が４以上であると判断し、乗客数４人を判定項目決定部４３に通知する（Ｓ２６）。また、図１１（ｃ）〜（ｋ）に示すように、物体の面積が閾値TH1以上で且つ閾値TH2未満である場合、つまり物体の面積が中くらいの場合には、抽出物体の外接矩形を作成すると共に、この外接矩形が描かれている画像のデータを乗客異常判定部４４に送る（Ｓ２７）。なお、物体の面積と閾値とを比較する際、画像内に複数の物体が存在する場合には、複数の物体の面積のうちの最大の面積と閾値とを比較する。

物体の面積が中くらいであるとして、物体に対して外接矩形を作成すると（Ｓ２７）、この外接矩形の数をカウントし（Ｓ２８）、その数が複数であるか単数であるかを判断する（Ｓ２９）。矩形数が単数である場合には、この矩形の縦横比が予め定めた範囲（ｍ〜ｎ）内であるか否かを判断する。この予め定めた範囲としては、例えば、５〜１/３等が考えられる。図１１（ｃ），（ｄ）に示すように、矩形の縦横比が予め定められた範囲内でない場合、つまり、矩形が極端に縦長である場合や極端に横太である場合には、この抽出物体は人ではないと判断して、前述のステップ２５に進んで、乗客数０人を判定項目決定部４３及びカメラ異常判定部３０に通知する。また、図１１（ｅ），（ｆ）に示すように、矩形の縦横比が予め定められた範囲内である場合には、乗客数が１であると判断して、乗客数１人を判定項目決定部４３に通知する（Ｓ３１）。

ステップ２９で矩形数が複数であると判断した場合には、図１１（ｇ）〜（ｋ）に示すように、全ての矩形を統合した統合矩形を作成し（Ｓ３２）、この統合矩形の面積ＲＡを求める（Ｓ３３）。さらに、ステップ２４で抽出した全物体の面積ＭＡを求め（Ｓ３４）、両者の面積比率（ＭＡ／ＲＡ）を求める（Ｓ３５）。続いて、この面積比率（ＭＡ／ＲＡ）が予め定められている閾値ｔｈ未満であるか否かを判断する（Ｓ３６）。面積比率（ＭＡ／ＲＡ）が閾値ｔｈ未満である場合、つまり、図１１（ｋ）に示すように、統合矩形中で、物体が占める面積が極めて小さい場合には、乗客数が０人であると判断して、乗客数０人を判定項目決定部４３及びカメラ異常判定部３０に通知する。また、面積比率（ＭＡ／ＲＡ）が閾値ｔｈ以上である場合、前述のステップ３０と同様に、この統合矩形の縦横比が予め定めた範囲（ｍ〜ｎ）内であるか否かを判断する（Ｓ３７）。図１１（ｇ）〜（ｉ）に示すように、統合矩形の縦横比が予め定められた範囲内である場合、統合矩形面積ＲＡが予め定めた閾値THａ未満であるか否かを判断し（Ｓ３８）、図１１（ｇ）に示すように、統合矩形面積ＲＡが予め定めた閾値THａ未満である場合、乗客数が１人であると判断して、前述のステップ３１に進んで、乗客数１人を判定項目決定部４３に通知する。

なお、ステップ３８において、ステップ２７で作成した外接矩形の数が複数であるにも関わらず、乗客数が１人であると判断しているのは、例えば、１人の乗客が偶然にも背景色と同色の帯やマフラー等をしている場合、ステップ２４での物体抽出過程では、図１１（ｇ）に示すように、１人の乗客が帯やマフラー等により分断されて、複数の物体として抽出されることがあるからである。そこで、１人の乗客が複数の物体として抽出された場合でも、乗客数を１人にするために、統合矩形の縦横比が予め定められた範囲で且つ統合矩形の面積が小さい場合には、乗客数が１人であると判断するようにしている。

ステップ３７で統合矩形の縦横比が予め定められた範囲内ではないと判断した場合、及びステップ３８で統合矩形面積ＲＡが予め定めた閾値THａ以上であると判断した場合、図１１（ｈ）（ｉ）に示すように、乗客数が２〜３人であると判断して、乗客数２〜３人を判定項目決定部４３に通知する（Ｓ３９）。

人数算出部４２は、以上のように、乗客数を判定項目決定部４３等に通知した後（Ｓ２５，Ｓ３１，Ｓ３９，Ｓ４０）、再び、ステップ２０に戻って、ドア開閉判定部４１からドア開の通知があるまで、乗客数の判定を繰り返す。なお、ドアが閉じてからドアが開くまでの間、乗客数の変化はないので、基本的に、この間、乗客数の算出処理を繰り返す必要は無いが、後述するように、ステップ２７で作成する抽出物体の外接矩形のデータが乗客異常判定部４４での処理に、複数回必要になるため、ここでは、乗客数の算出処理を繰り返している。このため、一度、乗客数を求めた後、ドア閉の通知を受けるまで、ステップ２０〜ステップ２４，ステップ２７の処理のみを繰り返して行うようにしてもよい。

次に、人数算出部４２がステップ２２で画像データを受け付けた後の物体抽出処理（Ｓ２３）の詳細について、図５に示すフローチャートに従って説明する。

人数算出部４２は、この物体抽出処理（Ｓ２３）で、まず、画像データ記憶部２０から物体抽出用マスタ画像データを取得する（Ｓ５０）。この物体抽出用マスタ画像データは、例えば、本装置の起動時であって、かご内に乗客が存在しないときに、監視者が、入力装置５を操作して、画像データ取得部１０に指示を与えて、この画像データ取得部１０が取得した画像データを画像データ記憶部２０に物体抽出用マスタ画像データとして登録させる。次に、この物体抽出処理（Ｓ２３）の前のステップ２２（図４）で受け付けた最新の画像データとマスタ画像データとの差分画像データを作成する（Ｓ５１）。この差分画像データは、例えば、表示画素毎の輝度差の集合である。

人数算出部４２は、差分画像データが示す差分画像から、輝度差が所定の閾値以上である領域を変化領域として抽出し（Ｓ５２）。この変化領域の面積が所定の閾値以上であるか否かを判断する（Ｓ５３）。変化領域の面積が所定の閾値未満である場合には、前述のステップ２２で受け付けた最新の画像データを新たな物体抽出用マスタ画像データとして、画像データ記憶部２０に格納する（Ｓ５４）。また、変化領域の面積が所定の閾値以上である場合には、変化領域を膨張させた後、収縮させて、複数の変化領域をある程度統合して、これを物体とする（Ｓ５５）。

以上のように抽出された物体は、図４のステップ２４において、この物体の面積の大中小が判断される。なお、変化領域の面積が所定の閾値未満である場合には、物体が抽出されないが、この場合、図４のステップ２４において、物体の面積が小である判断される。

次に、判定項目決定部４３の動作について、図６に示すフローチャートに従って説明する。

判定項目決定部４３は、人数算出部４２から乗客数を受け付けると（Ｓ６０）、受け付けた乗客数が何人であるか判断する（Ｓ６１）。乗客数が２人以上である場合には、さらに、乗客数が４人以上であるか否かを判断し（Ｓ６２）、４人以上であれば、異常判定の不実行を乗客異常判定部４４に通知する（Ｓ６３）。また、４人以上ではない、つまり、２〜３人の場合には、暴行判定を乗客異常判定部４４に通知する（Ｓ６４）。

ステップ６１で乗客数が１人であると判断した場合には、転倒判定を乗客異常判定部４４に通知し（Ｓ６５）、ステップ６１で乗客数が０人であると判断した場合には、異常判定の不実行を乗客異常判定部４４に通知する（Ｓ６６）。

以上のように、乗客数に応じて異常判定項目を変えているのは、例えば、乗客数が１人のときには、暴行は起こりえないが、転倒してしまった場合には助ける人が居らず、転倒判定を重要な判定項目とすべきであり、また、乗客数が２以上のときには、暴行行為が起こることがある一方で、１人が転倒しても助ける人が居るため、暴行判定を重要な判定項目とすべきで、乗客数が変わることで重要な判定項目が変わるからである。また、乗客数に応じて異常判定項目を変えることで、乗客数が何人であろうが全ての判定項目を実行するよりも、コンピュータの負荷が軽く、素早く処理できるからである。

次に、図７に示すフローチャートに従って、乗客異常判定部４４による転倒判定処理について説明する。

乗客異常判定部４４は、判定項目決定部４３から転倒判定の通知を受け付けると、矩形入り画像データが有るか否かを判断する（Ｓ７０）。この矩形入り画像データは、人数算出部４２により、図４のステップ２７で作成されたものである。矩形入り画像データが無い場合、人数算出部４２で矩形入り画像データが作成されるまで待つ。なお、画像データがない場合は、直ちに転倒判定処理を終了してもよい。これは、画像データがない場合は、図４のステップ２４で画像データ中の抽出物体の面積が小さい又は抽出物体がないために乗客数が０人と判断された場合、及び物体面積が大きく乗客数が４人以上であると判断された場合であり、基本的に転倒判定を行う必要がないからである。

矩形入り画像データが有る場合には、この画像データは初回の画像データであるか、つまり、ドア開閉判定部４１でドア閉と判定された後の最初の画像データであるか否かを判断する。最初の画像データである場合には、矩形上辺の中央位置、つまり乗客の頭部に相当する位置（ｘｓ，ｙｓ）を基準位置として（Ｓ７２）、ステップ７０に戻る。ステップ７０で、新たな矩形入り画像データがあると判断し、ステップ７１で、この画像データが初回の画像データでないと判断すると、基準位置（ｘｓ，ｙｓ）の座標値と新たな矩形入り画像中の矩形上辺の中央位置（ｘｔ，ｙｔ）の座標値との偏差（Δｘ（＝ｘｓ−ｘｔ），Δｙ（＝ｙｓ−ｙｔ））を求める（Ｓ７３）。なお、ここでは、カメラの視野中で、カメラ視野の下隅を原点として、水平方向の座標値をｘ、鉛直方向の座標値をｙとしている。

乗客異常判定部４４は、偏差（Δｘ，Δｙ）を求めると、Δｙ（＝ｙｓ−ｙｔ）が０より大きいか否か、つまり、基準位置から乗客の頭部が下がったか否か判断する（Ｓ７４）。基準位置（ｘｓ，ｙｓ）より乗客の頭部が下がっていなければ、現中央位置の座標値を新たな基準位置の座標値として（Ｓ８０）、ステップ７０に戻る。図１２（ａ）（ｂ）（ｃ）の（ｔｉ＋1）のときのように、基準位置（ｘｓ，ｙｓ）より乗客の頭部が下がっていれば、｜Δｘ｜が予め定めた閾値ｘａより小さく、且つΔｙが予め定めた閾値ｙａより小さいか否かを判断する、つまり、乗客の頭部が基準位置に対して左右方向及び下方向へあまり移動していないか否かを判断する（Ｓ７５）。

図１２（ａ）の（ｔｉ＋1）のときのように、基準位置（ｘｓ，ｙｓ）より乗客の頭部が若干下がっているものの、基準位置（ｘｓ，ｙｓ）に対して左右方向及び下方向へあまり移動していない場合は、矩形で示されている乗客を転倒候補ａとし（Ｓ７６）、この転倒候補として設定した回数をカウントする（Ｓ７７）。乗客異常判定部４４は、このカウント数が予め定めた値ａ以上であるか否かを判断し（Ｓ７８）、カウント数が予め定めた値ａ未満である場合には、前述したステップ８０に進んで、現中央位置の座標値（ｘｔ，ｙｔ）を新たな基準位置（ｘｓ，ｙｓ）の座標値として、ステップ７０に戻る。

例えば、図１２（ａ）に示すように、乗客が徐々に倒れる場合には、以上のＳ７０〜Ｓ７８，Ｓ８０を繰り返して実行し、対象を転倒候補ａに設定した回数、つまり、ステップ７７でカウントした回数が予め定また値ａ以上になると、ステップ７８でこの転倒候補ａは転倒したと判断して、ステップ８５に進む。

ステップ８５では、ステップ７８で転倒したと判断した時点の画像データ、その時刻、及び転倒有りの情報を出力部５０に送る。

また、以上のＳ７０〜Ｓ７８，Ｓ８０を繰り返している過程で、ステップ７８でカウント数が予め定また値ａ以上になったと判断する前に、頭部の位置が上がると、ステップ７４でΔｙ（＝ｙｓ−ｙｔ）が０より大きくないと判断し、転倒候補ａの設定を解除し（Ｓ７９）、前述のステップ８０，７０に進む。すなわち、図１２（ｃ）に示すように、乗客の頭部が一旦下がったものの、再び、頭部の位置が上昇した場合には、乗客が単に屈伸運動等を行ったとして、転倒候補ａの設定を解除する。

ステップ７５で、｜Δｘ｜が予め定めた閾値ｘａ以上であるか、又はΔｙが予め定めた閾値ｙａ以上であると判断した場合には、さらに、｜Δｘ｜が予め定めた閾値ｘａ以上で、且つΔｙが予め定めた閾値ｙａ以上であるか否かを判断する、つまり、乗客の頭部が基準位置に対して左右方向及び下方向へ大きく移動しているか否かを判断する（Ｓ８１）。

図１２（ｂ）の（ｔｉ＋1）のときのように、基準位置（ｘｓ，ｙｓ）に対して左右方向及び下方向へ大きく移動した場合は、矩形で示されている乗客を転倒候補ｂとし（Ｓ８２）、この転倒候補ｂとして設定した回数をカウントする（Ｓ８３）。乗客異常判定部４４は、このカウント数が予め定めた値ｂ以上であるか否かを判断し（Ｓ８４）、カウント数が予め定めた値ｂ未満である場合には、ステップ７０に戻る。

例えば、図１２（ｂ）に示すように、乗客の頭部が大きく下がった場合には、以上のＳ７０〜Ｓ７５，Ｓ８１〜Ｓ８４を繰り返して実行し、対象を転倒候補ｂに設定した回数、つまり、ステップ８３でカウントした回数が予め定また値ｂ以上になると、ステップ８４でこの転倒候補ｂは転倒したと判断して、前述のステップ８５に進む。なお、ステップ８１で、｜Δｘ｜が予め定めた閾値ｘａ未満であるか、又はΔｙが予め定めた閾値ｙａ未満であると判断した場合には、前述のステップ８０，７０に進む。

また、以上のＳ７０〜Ｓ７５，Ｓ８１〜Ｓ８４を繰り返している過程で、ステップ８４でカウント数が予め定また値ｂ以上になったと判断する前に、頭部の位置が上がると、ステップ７４でΔｙ（＝ｙｓ−ｙｔ）が０より大きくないと判断し、前述したように、転倒候補ｂの設定を解除し（Ｓ７９）、前述のステップ８０，７０に進む。

なお、図７に示すフローチャートでは、転倒あり情報を通知したとき（Ｓ８５）のみ、転倒判定処理を終了するが、ドア開閉判定部４１でドア開と判定したときも、このドア開の割り込みにより、転倒判定処理は終了する。

次に、図８に示すフローチャートに従って、乗客異常判定部４４による暴行判定処理について説明する。

乗客異常判定部４４は、判定項目決定部４３から暴行判定の通知を受け付けると、矩形入り画像データが有るか否かを判断する（Ｓ７０）。この矩形入り画像データは、乗客異常判定部４４が転倒判定処理を行う場合と同様に、人数算出部４２により、図４のステップ２７で作成されたものである。矩形入り画像データが無い場合、人数算出部４２で矩形入り画像データが作成されるまで待つ。また、矩形入り画像データがある場合には、この画像データを一時的に記憶する（Ｓ９１）。

画像データを記憶すると（Ｓ９１）、この画像データが初回の画像データであるか否かを判断し、初回の画像データの場合には、ステップ９０に戻って新たな画像データを受け付ける。画像データが初回のものではない、つまり二回目以降の画像データである場合には、この画像データ中の矩形の数が一つであるか否かを判断する（Ｓ９３）。つまり、先に、人数算出部４２で乗客数が２〜３人であると判断されてから、その後、これらの乗客が密集状態になっているか否かを判断する。画像データ中の矩形の数が一つではないと判断した場合には、画像データの取り込み回数を１回（初回）にリセットして（Ｓ９４）、ステップ９０に戻る。

また、ステップ９３で、画像データ中の矩形の数が一つであると判断した場合には、先に記憶しておいた画像データと現画像データとを比較し、オプティカルフローを算出し、これを記憶する（Ｓ９５）。この際、先の画像データと現画像データとをそれぞれ複数のブロックに分割し、各画像データの対応ブロック相互で類似パターン、例えば、前腕部のパターンや下肢部のパターン等を抽出し、先の画像データのあるパターンに対する現画像データの類似パターンの移動量及び移動方向をオプティカルフローとする。つまり、先の画像でのある部分を始点とし、現画像での対応部分を終点とする移動ベクトルを求め、これをオプティカルフローとする。

乗客異常判定部４４は、続いて、既に記憶してある先のオプティカルフローのうち、ステップ９５で求めた現オプティカルフローの対象パターンに類似するパターンに対するオプティカルフローがあるか否かを判断する（Ｓ９６）。類似パターンに対するオプティカルフローが無ければステップ９０に戻り、類似パターンに対するオプティカルフローが有れば、先のオプティカルフロー及び現オプティカルフローのそれぞれの移動ベクトルの大きさがいずれも閾値以上で、且つそれぞれの移動ベクトルの向きが相互に異なっているか否かを判断する（Ｓ９８）。それぞれの移動ベクトルの大きさがいずれも閾値以上ではない、又はそれぞれの移動ベクトルの向きが相互の異なっていない場合には、ステップ９０に戻る。また、それぞれの移動ベクトルの大きさがいずれも閾値以上で、且つそれぞれの移動ベクトルの向きが相互に異なっている場合には、現矩形を暴行候補とする（Ｓ９９）。

乗客異常判定部４４は、暴行候補の設定回数をカウントし（Ｓ１００）、カウント数が予め定められた値ｃ以上でなければステップ９０に戻る。以上のステップ９０〜ステップ１０１の処理を繰り返す過程で、ステップ９３で、画像データの矩形が複数であると判断した場合には、前述したように、画像データの取り込み回数を１回にリセットすると共に、暴行候補の設定を解除する。また、以上のステップ９０〜ステップ１０１の処理を繰り返す過程で、ステップ１０１で、カウント数が予め定められた値ｃ以上であると判断した場合には、暴行があったとして、そのときの画像データ、その時刻、及び暴行あり情報を出力部５０へ送る（Ｓ１０２）。

なお、図８に示すフローチャートでは、暴行あり情報を通知したとき（Ｓ１０２）のみ、暴行判定処理を終了するが、ドア開閉判定部４１でドア開と判定したときも、このドア開の割り込みにより、暴行判定処理は終了する。

次に、図９に示すフローチャートに従って、カメラ異常判定部３０の動作について説明する。

カメラ異常判定部３０は、人数算出部４２から乗客数０人の通知を受信すると（Ｓ１１０）、画像データ取得部１０から最新の画像データ（図１３（ｂ1）or（ｃ1））を取得すると共に（Ｓ１１１）、画像データ記憶部２０からカメラ異常判定用マスタ画像のデータ（図１３（a1））を取得する（Ｓ１１２）。

次に、最新画像及びマスタ画像中の物体のエッジを抽出し、エッジ画像（図１３（a2）〜（ｃ2））を作成し、各画像を複数のブロック(図１３（a3）〜（ｃ3））に分割する（Ｓ１１３）。

カメラ異常判定部３０は、続いて、最新の画像で、各ブロック毎にエッジのなる画素の面積を求め、この面積が閾値以上になるブロックが予め定めたｄ個以上であるか否かを判断する（Ｓ１１４）。エッジ面積が閾値以上になるブロックが予め定めたｄ個未満である場合、つまり、エッジの少ないブロックが多い場合には、カメラが布や紙等で覆われたと判断して、その旨を出力部５０に通知する（Ｓ１１５）。また、エッジ面積が閾値以上になるブロックが予め定めたｄ個以上である場合には、図１３（ａ3）〜（ｃ3）に示すように、マスタ画像と最新画像の同一ブロック間でブロック毎のエッジ画像を比較し、エッジが異なるブロックがｅ個未満であるか否かを判断する（Ｓ１１６）。図１３（ｃ3）に示すように、エッジが異なるブロックがｅ個以上である場合には、カメラの向き又は位置が変えられたと判断して、その旨を出力部５０に通知する（Ｓ１１７）。また、エッジが異なるブロックがｅ個未満の場合には、正常であると判断し、この最新画像データをカメラ異常判定用マスタ画像データとして、画像データ記憶部２０に更新登録する（Ｓ１１８）。

なお、ここでは、カメラ異常判定部３０での判定結果を出力部５０のみに通知しているが、ドア開閉判定部４１にも通知するようにしてもよい。この場合、ドア開閉判定部４１は、カメラ異常の通知を受けた際には、ドア開閉判定を中止する。

次に、出力部５０の動作について説明する。

出力部５０の表示内容制御部５１は、カメラ異常判定部３０及び監視処理部４０から何らかの通知を受けない限り、画像データ取得部１０からのリアルタイム画像データを取得し、表示文字/図形作成部５２に対して現時刻を示す文字、さらにはカメラ識別番号を示す文字を作成させ、リアルタイム画像と、現時刻及びカメラ識別番号を示す文字とを合成処理部５３で合成させる。そして、表示制御部５４が合成後の表示データを受け付けて、監視用モニタ６に表示させる。

また、表示内容制御部５１は、監視処理部４０の乗客異常判定部４４から転倒又は暴行情報等を受け付けたときには、転倒又は暴行の発生を示す文字、異常発生時刻を示す文字、さらにはカメラ識別番号を示す文字を表示文字/図形作成部５２に作成させ、乗客異常判定部４４から受け付けた異常時の画像と、表示文字/図形作成部５２で作成させた文字とを合成させる。さらに、表示内容制御部５１は、異常発生時刻から一定時間間隔（例えば、１秒間隔）の過去の複数の静止画像データを画像データ記憶部１０から取得する。そして、表示制御部５４は、異常発生時刻の画像データを含む合成後の表示データと、複数の過去の表示画像データとを監視用モニタ６に表示させる。

すなわち、転倒又は暴行等の異常があった場合、図１４に示すように、監視用モニタ６には、異常発生時の画像６１と、異常発生時刻及びカメラ識別番号６３と、異常の内容を示す文字６２とが合成された合成画像６０と、過去の複数の画像６５ａ〜６５ｄとが表示される。異常内容を示す文字６２は、監視者７が異常を気づき易いように、赤等の目立つ色で点滅する。なお、ここでは、過去の複数の静止画像６５ａ〜６５ｄを表示するようにしているが、この替わりに、異常発生時から一定時間前までの動画像を繰り返して表示するようにしてもよい。この場合、画像データ記憶部２０は、常に、現時点から一定時間後までの画像データを記憶しておくことが必要である。

また、表示内容制御部５１は、カメラ異常判定部３０から、カメラが被覆材等で覆われた旨の通知、又はカメラの位置又は向きが変えられた旨の通知を受けたときには、カメラ異常の内容を示す文字、異常発生時刻を示す文字、さらにはカメラ識別番号を示す文字を表示文字/図形作成部５２に作成させ、これらの文字等とリアルタイム画像とを合成処理部５３で合成させる。そして、表示制御部５４が合成後の表示データを受け付けて、監視用モニタ６に表示させる。

以上のように、本実施形態では、エレベータのかご内に異常があった場合、異常内容が出力されるので、監視者はモニタでかご内を常に監視する必要がなくなり、監視者の負担を軽減することができる上に、監視者はかご内にどのような異常が発生したのかを把握することができる。しかも、モニタには、異常発生時の画像のほか、異常発生時の画像、異常発生時以前の複数の時刻における画像が表示されるので、監視者は、かご内の異常をより詳細に把握することができる。

また、本実施形態では、乗客数が変わることで重要な異常判定項目が変わることに着目して、かご内の乗客数に応じて異常判定項目を変えているので、乗客数が何人であろうが全ての判定項目を実行するよりも、コンピュータの負荷を軽減することができる。

なお、以上の実施形態では、ドア開閉判定部４１による画像処理によりドアが開いているか閉じているかを判定しているが、この替わりに、エレベータのドア又はドア開閉機構にドア開閉センサを設け、この出力を監視処理部に入力するようにしてもよい。また、図１５に示すように、かご１内にマイク４を設けると共に、監視装置１００の出力部５０ａに音声制御部５５を設けて、異常発生時には、かご１内の音声をモニタ６のスピーカ６９から出力するようにしてもよい。

本発明に係る一実施形態におけるエレベータのかご内監視システムの機能構成図である。 本発明に係る一実施形態におけるエレベータのかご内監視システムのハードウェア構成図である。 本発明に係る一実施形態におけるドア開閉判定部の動作を示すフローチャートである。 本発明に係る一実施形態における人数算出部の動作を示すフローチャートである。 本発明に係る一実施形態における人数算出部での物体抽出処理を示すフローチャートである。 本発明に係る一実施形態における判定項目決定部の動作を示すフローチャートである。 本発明に係る一実施形態における乗客異常判定部での転倒判定処理を示すフローチャートである。 本発明に係る一実施形態における乗客異常判定部での暴行判定処理を示すフローチャートである。 本発明に係る一実施形態におけるカメラ異常判定部の動作を示すフローチャートである。 本発明に係る一実施形態におけるドア開閉判定用マスタ画像を説明するための説明図である。 本発明に係る一実施形態における人数算出方法を説明するための説明図である。 本発明に係る一実施形態における転倒判定法を説明するための説明図である。 本発明に係る一実施形態におけるカメラ異常判定法を説明するための説明図である。 本発明に係る異常発生時のモニタ画像を示す説明図である。 本発明に係る一実施形態の変形例におけるエレベータのかご内監視システムの機能構成図である。

符号の説明

１：かご、２：カメラ、３：乗客、４：マイク、５：入力装置、６：監視用モニタ、７：監視者、１０：画像データ取得部、２０：画像データ記憶部、３０：カメラ異常判定部、４０：乗客監視処理部、４１：ドア開閉判定部、４２：人数算出部、４３：判定項目決定部、４４：乗客異常判定部、５０：出力部、５１：表示内容制御部、５２：表示文字/図形生成部、５３：合成処理部、５４：表示制御部、５５：音声制御部、６９：スピーカ、１００：監視装置

Claims (10)

1. エレベータのかご内の画像データに基づいて、該かご内の状態を監視するエレベータのかご内監視装置において、
   前記画像データを取得する画像データ取得手段と、
   前記画像データ取得手段が取得した前記画像データから前記かご内に存在する人の数を求める人数算出手段と、
   予め定められている複数の異常判定項目を有し、前記人数算出手段で求められた人数が１人以上所定人数未満の場合には、前記複数の異常判定項目から前記人数に応じた所定の異常判定項目を選択する判定項目決定手段と、
   前記画像取得手段が取得した前記画像データ中の人間像データを用いて、前記判定項目決定手段で選択された前記異常判定項目に関して、予め定められた人間像の時間変化があるか否かを判定する異常判定手段と、
   前記異常判定手段で、前記予め定められた人間像の時間変化があると判定された場合に、かご内に特定の異常があった旨を出力する出力手段と、
   を備えていることを特徴とするエレベータのかご内監視装置。
2. 請求項１に記載のエレベータのかご内監視装置において、
   複数の前記異常判定項目は、前記かご内の人が倒れかを判定する転倒判定と、該かご内で暴行行為が行われたかを判定する暴行判定とを含む、
   ことを特徴とするエレベータのかご内監視装置。
3. 請求項２に記載のエレベータのかご内監視装置において、
   前記判定項目決定手段は、前記人数算出手段が求めた前記かご内の人数が１人である場合には、前記異常判定項目として前記転倒判定を選択し、該人数算出手段が求めた該かご内の人数が２人以上前記所定人数未満である場合には、該異常判定項目として前記暴行判定を選択する、
   ことを特徴とするエレベータのかご内監視装置。
4. 請求項１から３のいずれか一項に記載のエレベータのかご内監視装置において、
   複数の前記異常判定項目は、異常判定不実行を含み、
   前記判定項目決定手段は、前記人数算出手段が求めた前記かご内の人数が０人、又は、前記所定人数以上の場合には、前記異常判定項目として前記異常判定不実行を選択し、
   前記異常判定手段は、前記判定項目決定手段により、前記異常判定項目として前記異常判定不実行が選択されると、異常判定処理を行わない、
   ことを特徴とするエレベータのかご内監視装置。
5. 請求項１から４のいずれか一項に記載のエレベータのかご内監視装置において、
   前記かごのドアが閉じているか否かを把握するドア開閉把握手段を備え、
   前記人数算出手段は、前記ドア開閉把握手段で前記かごのドアが閉じていると把握されたときに、該かご内に存在する人の数を求める、
   ことを特徴とするエレベータのかご内監視装置。
6. 請求項５に記載のエレベータのかご内監視装置において、
   前記ドア開閉把握手段は、
   前記かごのドアが閉じているときの該かご内の状態を示す閉状態データが記憶されている閉状態データ記憶手段と、前記画像データ取得手段が取得した前記画像データと前記閉状態データ記憶手段に記憶されている閉状態データとを比較して、前記かごのドアが閉じているか否かを判定するドア開閉判定手段とを有している、
   ことを特徴とするエレベータのかご内監視装置。
7. 請求項１から６のいずれか一項に記載のエレベータのかご内監視装置において、
   前記画像データ取得手段で取得された時点から一定時間後までの間の動画像データ、又は、一定時間毎の各時刻における静画像データを記憶する画像データ記憶手段を備え、
   前記出力手段は、前記異常判定手段で、前記予め定められた人間像の時間変化があったと判定された場合には、前記画像データ取得手段で取得された判定時の静画像データを出力すると共に、判定時点で前記画像データ記憶手段に記憶されている過去の動画像データ又は複数の静画像データを出力する、
   ことを特徴とするエレベータのかご内監視装置。
8. 請求項１から７のいずれか一項に記載のエレベータのかご内監視装置において、
   前記かご内の状態を撮像し、前記画像データ取得手段に前記画像データを送る撮像手段の異常を把握する撮像異常把握手段を備え、
   前記出力手段は、前記撮像異常把握手段で前記撮像手段の異常が把握されると、撮像手段に異常がある旨を出力する、
   ことを特徴とするエレベータのかご内監視装置。
9. エレベータのかご内の画像データに基づいて、該かご内の状態を監視するためのエレベータのかご内監視プログラムにおいて、
   前記画像データを取得する画像データ取得ステップと、
   前記画像データ取得ステップで取得された前記画像データから前記かご内に存在する人の数を求める人数算出ステップと、
   前記人数算出ステップで求められた人数が１人以上所定人数未満の場合には、予め定められている複数の異常判定項目から、前記人数に応じた所定の異常判定項目を選択する判定項目決定ステップと、
   前記画像取得ステップで取得された前記画像データ中の人間像データを用いて、前記判定項目決定手段で選択された前記異常判定項目に関して、予め定められた人間像の時間変化があるか否かを判定する異常判定ステップと、
   前記異常判定ステップで、前記予め定められた人間像の時間変化があると判定された場合に、前記かご内に特定の異常があった旨を出力する出力ステップと、
   をコンピュータに実行させることを特徴とするエレベータのかご内監視プログラム。
10. 請求項９に記載のエレベータのかご内監視プログラムにおいて、
    前記画像データ取得ステップで取得された時点から一定時間後までの間の動画像データ、又は、一定時間毎の各時刻における静画像データを記憶する画像データ記憶ステップを、さらにコンピュータに実行させ、
    前記出力ステップは、前記異常判定ステップで、前記予め定められた人間像の時間変化があったと判定された場合には、前記画像データ取得ステップで取得された判定時の静画像データを出力すると共に、判定時点で記憶されている過去の動画像データ又は複数の静画像データを出力する
    ことを特徴とするエレベータのかご内監視プログラム。

Images