Nothing Special   »   [go: up one dir, main page]

JP3701656B2 - Moving pattern recognition device - Google Patents

Moving pattern recognition device Download PDF

Info

Publication number
JP3701656B2
JP3701656B2 JP2003030757A JP2003030757A JP3701656B2 JP 3701656 B2 JP3701656 B2 JP 3701656B2 JP 2003030757 A JP2003030757 A JP 2003030757A JP 2003030757 A JP2003030757 A JP 2003030757A JP 3701656 B2 JP3701656 B2 JP 3701656B2
Authority
JP
Japan
Prior art keywords
movement
data
movement pattern
detection
movement signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003030757A
Other languages
Japanese (ja)
Other versions
JP2003254712A (en
Inventor
和彦 橋本
信幸 吉池
聖 松枝
千廣 川口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2003030757A priority Critical patent/JP3701656B2/en
Publication of JP2003254712A publication Critical patent/JP2003254712A/en
Application granted granted Critical
Publication of JP3701656B2 publication Critical patent/JP3701656B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、例えば、赤外線アレイセンサを用いて出入口等での人体の移動方向や通過人数を検知する、移動パターン認識装置に関するものである。
【0002】
【従来の技術】
近年、セキュリティや空調制御、照明制御において、室内にいる人間の有無や活動量を検知するために室内の人間の在室状況や温度分布の計測への要求が高まりつつ有る。さらに、企業等において在室者管理を行うことによって、部屋や建物への入場者や退場者の人数を把握、管理することが求められている。
【0003】
従来の在室者管理としては、建物や部屋の受付で記名してもらう方法、部屋の入口で手動カウンタによってカウントする方法、機械的に一人一人を入退室させてカウントする方法等がある。
【0004】
さらに、特開平3−196286、5−324955等のように出入口や階段等のマットに圧力センサを設置して人数や移動方向を検知する方法、また特開平3−186998、4−95794、5−81503等のように複数の赤外線センサを用いて移動方向および人数をカウントする方法等がある。すなわち、人体の重みを検知することにより人体を検知し、移動方向や通過人数を検知することができ、また、人体から放出された赤外線を検知することにより人体を検知し、その信号を空気調和機・照明器具等の環境制御機器や防犯システム等の制御に用いたり、また入退場者人数を計測する目的で、赤外線センサを用いて赤外線発生源を検出する装置が使用されるようになってきた。
【0005】
また、上記のような問題点を解決するために、複数の検出部が設けられた1個の赤外線センサを用いて、通過人体の移動方向と通過人数を検知し、在室者人数の管理をすることができる通過人数検知センサおよびそのシステムが本出願人によって出願されている。
【0006】
【発明が解決しようとする課題】
しかしながら、上述のように人を用いて人数カウントを行う場合、コストが高く、また非常に煩わしく手間と時間がかかるという欠点があった。
【0007】
また、機械的に検知する方法では、大がかりな設備を必要とし、コスト的にも非常に高く、また、その設置のためのスペースがないという問題点もあった。
【0008】
また、複数の赤外線センサを用いて人体検知を行う方法では、複数のセンサを使用するため、コストが高くなり、また、出入口全てを検知しているかどうかわからないため誤検知が多く発生し易く、正確な人数を計測することができないという課題があった。特に、人が多少離れながら連続して移動したり、交差したりするような場合のセンサの検出においては、誤検知、誤判断が多く、正確な人体検知を行うことができないという問題があった。さらに、これらの方法では、それぞれその方法にあった信号処理方法やアルゴリズム等が必要であるはずであるが、それはいっさい公開されていない。
【0009】
そこで、本発明は、上述の問題に鑑みて試されたもので、例えば、移動体の方向を検出したり、方向別の移動回数を算出したりすることができる、移動パターンの認識を可能とする移動パターン認識装置を提供することを目的とする。
【0010】
【課題を解決するための手段】
本発明は、所定の角度で赤外線を集光する集光レンズとその集光レンズにより集光された赤外線を複数の検出部により検出する赤外線アレイセンサとを用いて、その赤外線を集光する検知領域内を発熱体が移動する際の、時間的に変化する前記発熱体の位置を示す移動信号を検出する移動信号検出手段と、その移動信号検出手段により検出された移動信号の正規化データを生成する移動信号正規化手段と、その移動信号正規化手段による正規化データを考慮して予め作られた、前記検知領域内を前記発熱体が移動する際の、各種の移動パターンに関するデータを記憶している移動パターン記憶手段と、その移動パターン記憶手段から、前記移動信号正規化手段により生成された正規化データに対応する、前記移動パターンに関するデータを選択する移動パターン選択手段と、その移動パターン選択手段により選択されたデータに基づいて、前記発熱体の移動パターンを認識する移動パターン認識手段と、所定の基準温度に関する基準データを記憶している基準温度記憶手段と、を備え、
前記移動信号正規化手段は、
前記基準温度記憶手段で記憶されている基準データを用いて、前記赤外線アレイセンサの複数の検出部から得られる信号の各々の比又は差を求め、
前記検出部とそれと隣接する検出部との間で、前記比又は差の大小を比較して2値化処理を行うことにより、前記移動信号の正規化データを生成する、移動パターン認識装置である。
【0011】
なお、本発明の移動信号検出手段は、前記集光レンズと前記赤外線アレイセンサとの組を複数有し、その複数組の各々により、前記発熱体の移動する所定の領域がカバーされているとしてもよい。
【0012】
また、本発明は、前記移動信号正規化手段によっては生成され得ないデータであるゴミデータを複数記憶しているゴミデータ記憶手段を備え、前記移動信号正規化手段は、前記移動信号検出手段により検出された移動信号の正規化データを生成し、その正規化データに前記ゴミデータ記憶手段で記憶されているゴミデータが含まれている場合、その正規化データからそのゴミデータの除去を行うとしてもよい。
【0013】
なお、前記所定の基準温度とは、前記検知領域内に前記発熱体が存在しない場合の前記移動信号検出手段により検出される温度であり、前記基準データとは、所定の時間サンプリングして得られた前記基準温度を用いて算出された前記基準温度の平均値及び標準偏差であるとしてもよい。
【0014】
また、本発明は、前記移動パターン記憶手段で記憶されている移動パターンに関するデータは、その移動パターンの移動方向及び/又はその方向への通過回数に関する副情報を有し、前記移動パターン認識手段は、前記移動パターン選択手段により選択された前記移動パターンに関するデータに基づいて、前記発熱体の移動パターンに関する移動方向及び/又はその方向への通過回数を認識するとしてもよい。
【0015】
本発明では、移動信号検出手段は、移動体の存在を検出するセンサを用いて、そのセンサの検知可能な前記移動体が移動する検知領域において、時間的に変化する前記移動体の位置を示す移動信号を検出する。移動パターン記憶手段は、前記検知領域内を前記移動体が移動する際の、各種の移動パターンに関するデータを記憶している。そして、その各種の移動パターンに関するデータは予め作られている。移動パターン選択手段は、その移動パターン記憶手段から、前記移動信号検出手段により検出された移動信号に対応する、前記移動パターンに関するデータを選択する。
【0016】
本発明では、移動信号検出手段は、所定の角度で赤外線を集光する集光レンズとその集光レンズにより集光された赤外線を複数の検出部により検出する赤外線アレイセンサとを用いて、その赤外線を集光する検知領域内を発熱体が移動する際の、時間的に変化する前記発熱体の位置を示す移動信号を検出する。移動信号正規化手段は、その移動信号検出手段により検出された移動信号の正規化データを生成する。移動パターン記憶手段は、その移動信号正規化手段による正規化データを考慮して予め作られた、前記検知領域内を前記発熱体が移動する際の、各種の移動パターンに関するデータを記憶している。移動パターン選択手段は、その移動パターン記憶手段から、前記移動信号正規化手段により生成された正規化データに対応する前記移動パターンに関するデータを選択する。移動パターン認識手段は、その移動パターン選択手段により選択されたデータに基づいて、前記発熱体の移動パターンを認識する。
【0021】
【発明の実施の形態】
以下、本発明の実施例について図面を参照しながら説明する。
【0022】
図1は、本発明の移動パターン認識装置で使用される移動信号検出手段の一実施例を示す斜視図である。
【0023】
一般的に、赤外線発生源を検出する装置に使用されるセンサには、赤外線センサ等が用いられる。赤外線センサとしては、赤外線を光子としてとらえる量子型センサと、赤外線を電磁波として吸収して、素子の温度が上昇する熱作用の結果生じる素子の物性変化を利用する熱型センサの2種類が知られている。前者については、通常液体窒素等による冷却が必要なため、一般的には後者の熱型センサが用いられる。熱型センサの中でも、焦電型赤外線センサは、他に比べて感度が高いため、赤外線発生源検知には適している。
【0024】
しかし、焦電型赤外線センサは、基本的には赤外線の変化を検出するものであるため、静止した赤外線発生源を検知しようとした場合、何等かの方法で赤外線が断続的にセンサ受光部に入射するように工夫する必要がある。通常は、スリット付き円板や平板等のチョッパーを回転あるいは振動させることにより、赤外線がセンサ受光部に断続入射(チョッピング)するようにしている。
【0025】
そこで、本実施例の移動信号検出手段の赤外線アレイセンサは、複数個のライン状の焦電素子11により構成される。その焦電素子11の前面を覆うようにして赤外線遮光板12が取り付けられている。シリコン赤外線透過レンズである赤外線透過レンズ13は、赤外線17を焦電素子11に集光するように取り付けられている。この赤外線透過レンズ13に広角レンズを用いれば、赤外線アレイセンサを回転させることなく、一括して移動する発熱体を検知することが可能となる。チョッパー14は、赤外線透過レンズ13に入射する赤外線17を断続的に遮断するために設けられている。チョッパー14は、回転可能な状態で、チョッパーシャフト15を介してブラシレスモータ16に機械的に接続されている。このチョッピングの周波数を10Hz以上に設定すれば、より高速に、より正確に又高精度に人体検知を行うことができる。
【0026】
また、この赤外線アレイセンサは、複数のライン状の焦電素子11を有しているため、その複数個の焦電素子11を基準にして、各焦電素子11の時刻別の出力値を考慮すれば、移動する発熱体がその複数個の焦電素子11上のどの方向に移動したかを検出することができる。
【0027】
図2は、本発明の移動パターン認識装置に係る別の一実施例の構成図である。移動信号検出手段であるセンサヘッド21は、図1のセンサを備えている。センサヘッド21は、図1の複数個のライン状の焦電素子11を有しているので、その複数個の焦電素子11を基準にして、焦電素子11の各々の時刻別の出力値を考慮すれば、発熱体がその複数個の焦電素子11上のどの方向に移動したかを検出することができる。そのセンサヘッド21の出力は、数mのケーブルを介して信号処理回路22に入力される。信号処理回路22は、内部に増幅回路(図2のAmp.)とA/D変換器(図2のA/D)を備えている。信号処理回路22に入力されたセンサヘッド21の出力は、その増幅回路により増幅された後、そのA/D変換器に入力されてデジタル信号(AD値)に変換される。そのデジタル信号は、信号処理回路22が有するCPU、メモリ等により演算処理され、センサヘッド21の赤外線ラインセンサを基準にした移動する発熱体の移動パターンが認識される。この認識結果は、RS-232C から出力されて、コンピュータ又は表示装置23に送信される。
【0028】
この演算処理用のプログラム(そのフロチャートについては後述する。)は、ROM若しくはメモリカード等の半導体メモリ、又は、ハードディスク、光磁気ディスク若しくはフレキシブルディスク等のディスクメモリによって記憶されている。また、その演算処理で参照される予め作られたデータ等もROM若しくはメモリカード等の半導体メモリ、又は、ハードディスク、光磁気ディスク若しくはフレキシブルディスク等のディスクメモリによって記憶されている。信号処理回路22が有するメモリとは、そのプログラムをロードするための主記憶メモリであり、そして、上述のメモリのことである。
【0029】
ところで、そのプログラムを起動している信号処理回路22のCPUは、本発明の移動パターン認識装置の移動信号正規化手段、移動パターン選択手段、移動パターン認識手段に該当する。また、信号処理回路22のメモリは、同発明の移動パターン記憶手段、ゴミデータ記憶手段、基準温度記憶手段に該当する。
【0030】
図4は、部屋の出入口の上部に、本実施例のセンサヘッド21を設置した場合の様子を示す図である。幅100cm、高さ220cm程度の通常よく見られる部屋の出入口44の中央上部にセンサヘッド21を、出入口44の中央下部からの赤外線を所定の角度で集光するように設置されている。このセンサヘッド21により集光された赤外線は信号処理回路22に入力され、そして、そこで処理されて得られた入退場等の情報がコンピュータまたは表示装置43に表示される。この時のセンサの入射角が6゜であるとすると、検知領域46は図に示すようにになり、人体45が最も端を通過したとしても十分検知することができる。
【0031】
次に、この設置状態での本装置の動作について説明する。
【0032】
図5は、プログラムが起動している図2のCPUの処理に関するフローチャートである。即ち、常に検知しているバックグラウンドである床面温度が、所定時間サンプリングされて、その床面温度の平均値(Xvar)及び標準偏差(S)が算出される。これらの平均値と標準偏差は、信号処理回路22のメモリに記憶される。その記憶の動作としては、サンプリングの所定時間中に、検知領域46内に人体45が存在しなければ、その算出された新しい平均値と標準偏差に更新される。
【0033】
(数1)によりこれらの平均値及び標準偏差が使用されて、各チョッピング毎に、赤外線アレイセンサの複数の焦電素子の各々から入力されて得られたAD値から、その複数の焦電素子から得られた信号の各々の変化率(HENKA)が算出される。
【0034】
【数1】
HENKA(i,j)=(AD値−Xvar)/S
この変化率が標準偏差の3倍以上である場合の、赤外線アレイセンサ内の隣接する焦電素子間の変化率が比較されて、その大きい方を1にすることによって二値化処理される。
【0035】
図6は、具体例として、3つの焦電素子11により検出された移動信号の正規化データの生成の様子を示す図である。2.5m上に設置された赤外線アレイセンサの検知領域は、検知エリア1,2,3からなる。(a)に示す状態Aは、検知エリア3に人体が入ってきた場合の移動状態である。(b)に示す状態B1,B2は、検知エリア2の方に進んでいった場合の移動状態である。(c)に示す状態C1,C2は、検知エリア1に到達した場合の移動状態である。この時の2値化データは、それぞれの図の右に示すグラフのようになる。即ち、標準偏差σ(S)の3倍以上の変化率のうちで、隣接する焦電素子と比較して大きい方を1とすれば、A:(001)、B1:(011)、B2:(010)、C1:(110)、C2:(100)となる。
図7は、図6と同様にして得られる別の動作の一例を示す図である。例えば、人が通過した場合には、(a)に示すように、(000)(001)(011)(110)(000)のように変化する。また、人が途中でUターンの場合は、(b)又は(c)のように変化すると考えられる。
【0036】
このようにして得られる二値化処理されたデータに基づき、検知領域内を人体が移動する際の、各種の移動パターンに関するデータが予め作られて、信号処理回路22のメモリに格納されている。
【0037】
赤外線アレイセンサにより、検出されて処理された実際の移動パターンは、このメモリに格納されている各種の移動パターンと比較され、そして、該当する移動パターンに関するデータが選択される。
【0038】
選択された移動パターンに関するデータを基にして、人体の移動パターンが認識される。即ち、移動の方向に関する情報が、その移動パターンに関するデータに含まれていれば、どの方向に人体が移動したかが認識される。本実施例の場合では、移動パターン認識装置により、人が出入口44から入ってきたのか、あるいは出て行ったのかが認識される。
【0039】
この方法によって、信頼性も高く、高精度に人体を検知し、移動方向を判断することができるようになり、従来90%程度であった移動方向検知率を99%以上にすることができた。
【0040】
図8は、本発明の移動パターン認識装置に係る別の一実施例の動作を示すフローチャートである。本実施例の移動パターン認識装置による構成と動作は、図1から図7を用いて説明した実施例と同様であり、相違点は各種の移動パターンに関するデータの情報の種類であり、その移動パターンが選択された後の情報の認識の処理とその得られた結果である。図9は、人が出入口を出入りする場合の移動パターンに関する具体的な二値化データを示した図である。2人の人体が交差した場合や連続通過した場合を示している。本実施例では、このような移動パターンが考慮され、かつ、人が検知領域をどの方向に通過して行ったかを示す情報が、その移動パターンに関するデータと供に、図2の信号処理回路22のメモリに予め記憶されている。これにより、本実施例の移動パターン認識装置は、出入口から何人の人が入ってきたか、または出て行ったかを計数することができる。また、時間帯別の入場者数を算出することもできる。
【0041】
この方法により、信頼性も高く、高精度に人体を検知し、移動方向を判断し、通過人数を計測することができるようになり、従来80%程度であった通過人数検知率を95%以上にすることができた。
【0042】
図10は、本発明の移動パターン認識装置に係る別の一実施例の動作を示すフローチャートである。本実施例の移動パターン認識装置の構成と動作は、図1から図9を用いて説明した実施例と同様であり、以下に述べるゴミパターンの取扱いが相違する点である。まず、図2の信号処理回路22のメモリには、予め、図6の移動信号の正規化データの生成によっては得られないデータであるゴミデータが複数記憶されている。
【0043】
そこで、このゴミパターンがどのように使用されるかを説明する。バックグラウンドである床面温度が、所定時間サンプリングされて、その床面温度の平均値及び標準偏差が算出される。これらの平均値と標準偏差は、信号処理回路22のメモリに記憶される。その記憶の動作としては、サンプリングの所定時間中に、検知領域内に人体が存在しなければ、その算出された新しい平均値と標準偏差に更新される。
【0044】
(数1)によりこれらの平均値及び標準偏差が使用されて、各チョッピング毎に、赤外線アレイセンサの複数の焦電素子の各々から入力されて得られたAD値から、その複数の焦電素子から得られた信号の各々の変化率(HENKA)が算出される。
【0045】
この変化率が標準偏差の3倍以上である場合の、赤外線アレイセンサ内の隣接する焦電素子間の変化率が比較されて、その大きい方を1にすることによって二値化処理される。
【0046】
二値化処理されたデータにゴミパターンに該当するデータがあれば、そのデータはゴミとして削除される。ゴミパターンは、例えば(000)(010)(000)のように突然1のみが現れるような場合のデータであり、このような時は自動的にゴミ削除ということでキャンセルされる。
【0047】
図11は、本発明の移動パターン認識装置に係る別の一実施例に関する構成図である。複数個の移動信号検出手段であるセンサヘッド(111a、111b、…)の各々は、図1のセンサを備えている。そのセンサヘッドの各々の出力は、それぞれの信号処理回路(112a、112b、…)に入力される。その信号処理回路の各々は、内部に増幅回路(図11のAmp.)、A/D変換器(図11のA/D)及びモータドライバを備えている。その信号処理回路の各々に入力されたセンサヘッドの出力は、その増幅回路により増幅された後、そのA/D変換器に入力されてデジタル信号(AD値)に変換される。そのデジタル信号は、CPU、メモリ等を有する制御装置113に入力され、そのCPU、メモリ等により演算処理され、その信号を検出したセンサヘッドの赤外線ラインセンサを基準にした、移動する発熱体の移動パターンが認識される。この結果は、RS-232C 若しくはPIOから出力されてコンピュータ114に、またはPIOから出力されて表示装置115に送信される。
【0048】
この演算処理用のプログラム(そのフロチャートについては後述する。)は、ROM若しくはメモリカード等の半導体メモリ、又は、ハードディスク、光磁気ディスク若しくはフレキシブルディスク等のディスクメモリによって記憶されている。また、その演算処理で参照されるデータもROM若しくはメモリカード等の半導体メモリ、又は、ハードディスク、光磁気ディスク若しくはフレキシブルディスク等のディスクメモリによって記憶されている。制御装置113が有するメモリとは、そのプログラムをロードするための主記憶メモリであり、そして、上述のメモリのことである。
【0049】
ところで、そのプログラムを起動している制御装置113のCPUは、本発明の移動パターン認識装置の移動信号正規化手段、移動パターン選択手段、移動パターン認識手段に該当する。また、制御装置113のメモリは、同発明の移動パターン記憶手段、ゴミデータ記憶手段、基準温度記憶手段に該当する。
【0050】
図12は、部屋の出入口の上部に、本実施例のセンサヘッドを設置した様子を示す図である。幅200cm、高さ250cm程度の幅の広い出入口125の上部に、4個のセンサヘッド(111a、111b、111c及び111d)を人体126の通過方向とは垂直に、ある間隔をおいて常に床面を見ているようにして、かつそのセンサヘッドの各々の赤外線アレイセンサを構成する複数の焦電素子の配列方向が人体の通過方向と並行になるように設置する。この時のセンサヘッドの入射角が6゜であるとすると、検知領域127a又は127bは図に示すようになるので、人体126が最も端を通過したとしても十分検知することができる。
【0051】
次に、本実施例の処理について説明する。まず、常に検知しているバックグラウンドである床面温度が、所定時間サンプリングされて、その床面温度の平均値及び標準偏差が算出される。これらの平均値と標準偏差は、図11の制御装置113のメモリに記憶される。その記憶の動作としては、サンプリングの所定の時間中に、各検知領域内に人体126が存在しなければ、その新しい平均値と標準偏差に更新される。
【0052】
(数1)によりこれらの平均値及び標準偏差が使用されて、各チョッピング毎に、各センサヘッドの赤外線アレイセンサを構成している複数の焦電素子の各々から入力されて得られたAD値から、その複数の焦電素子から得られた信号の各々の変化率(HENKA)が算出される。
【0053】
この変化率が標準偏差の3倍以上である場合の、赤外線アレイセンサ内の隣接する焦電素子間の変化率が比較されて、その大きい方を1にすることによって二値化処理される。
【0054】
図6及び図7を用いて説明したようにして得られる二値化処理されたデータに基づき、検知領域内を人体が移動する際の、各種の移動パターンに関するデータが予め作られて、図11の制御装置113のメモリに格納されている。
【0055】
赤外線アレイセンサにより検出されて処理された実際の移動パターンは、このメモリに格納されている各種の移動パターンと比較され、そして、該当する移動パターンに関するデータが選択される。
【0056】
選択された移動パターンに関するデータを基にして、人体の移動パターンが認識される。即ち、移動の方向及びその方向への通過回数に関する情報が、その移動パターンに関するデータに含まれていれば、どの方向に何回、つまり何人移動したかが認識される。本実施例の場合では、移動パターン認識装置により、人が出入口125から何人入ってきたのか、あるいは何人出て行ったのかが認識される。
【0057】
以上のように、本実施例によれば、部屋や建物に入ってくる温度分布の一定しない人体をも容易に低コストに検知することができ、高精度、高信頼性で通過人数を計測することができ、在室者人数を表示させることができる。
【0058】
図13は、本発明の移動パターン認識装置に係る別の一実施例の動作を示すフローチャートである。本実施例の移動パターン認識装置の構成は、図11を用いて説明した実施例と同様の構成であるが、複数個設置されたセンサヘッドからの複数の移動信号を考慮して処理を行う点で相違する。
【0059】
そこで、本実施例における処理について説明する。
【0060】
まず、常に検知しているバックグラウンドである床面温度が、所定時間サンプリングされて、その床面温度の平均値(Xvar)及び標準偏差(S)が算出される。これらの平均値と標準偏差は、図11の制御装置113のメモリに記憶される。その記憶の動作としては、サンプリングの所定の時間中に、各検知領域内に人が存在しなければ、その算出された新しい平均値と標準偏差に更新される。
【0061】
(数1)によりこれらの平均値及び標準偏差が使用されて、各チョッピング毎に、各センサヘッドの赤外線アレイセンサを構成している複数の焦電素子の各々から入力されて得られたAD値から、その複数の焦電素子から得られた信号の各々の変化率(HENKA)が算出される。
【0062】
この変化率が標準偏差の3倍以上である場合の、赤外線アレイセンサ内の隣接する焦電素子間の変化率が比較されて、その大きい方を1にすることによって二値化処理される。
【0063】
そして、二値化処理されたデータにゴミパターンに該当するデータがあれば、そのデータはゴミとして削除される。ここで、制御装置113のメモリには、予め、その二値化処理によっては得られないデータであるゴミデータが複数記憶されている。
【0064】
このようにして二値化処理されるデータに基づいて、検知領域内を人体が移動する際の、各種の移動パターンに関するデータが予め作られて、制御装置113のメモリに格納されている。そして、各センサヘッドの赤外線アレイセンサにより検出されて処理された実際の移動パターンが、このメモリに格納されている各種の移動パターンと比較されて、そして、該当する移動パターンに関するデータが選択される。
【0065】
各センサヘッドにより選択された移動パターンに関するデータを総合して判断することにより、人体の通過人数を検知する。例えば、図12の例を用いて説明すれば、センサヘッド111a及び111bに出力が同時に表れた場合、又はセンサヘッド111a若しくは111bに出力が表れた場合には、1人だけ通過したと判断することができる。また、センサヘッド111a及び111dに出力が同時に表れた場合には、2人が通過したと判断することができる。
【0066】
以上のように、本実施例によれば、幅の広い出入口においても、部屋や建物に入ってくる人を容易に検知することができ、高精度、高信頼性で通過人数を計測することができ、在室者人数を表示させることができる。
【0067】
図14は、本発明の移動パターン認識装置に係る別の一実施例に関する構成図である。本実施例の移動パターン認識装置の構成は、図11を用いて説明した実施例と同様の構成である。図14に示すように、幅160cm、高さ250cm程度の幅の広い出入口142の上部に、3個のセンサヘッド(111a、111b及び111c)を人体の通過方向とは垂直に、ある間隔をおいて常に床面を見ているようにし、かつ両端のセンサヘッド(111a及び111c)は、その赤外線アレイセンサの配列方向が人体の通過方向と並行になるようにし、中央のセンサヘッド111bは垂直になるように設置する。このように設置することによって、各赤外線アレイセンサの検知領域(143a、143b及び143c)は図のようになる。両端のセンサヘッド(111a及び111c)の入射角が6゜であれば、図に示すような検知領域(143a及び143c)になるので、人体の通過が最も端を通過したとしても十分検知することができる。
【0068】
次に、本実施例の処理について説明する。
【0069】
まず、常に検知しているバックグラウンドである床面温度が、所定時間サンプリングされて、その床面温度の平均値及び標準偏差が算出される。これらの平均値と標準偏差は、図11の制御装置113のメモリに記憶される。その記憶の動作としては、サンプリングの所定の時間中に、各検知領域内に人体が存在しなければ、その算出された新しい平均値と標準偏差に更新される。
【0070】
(数1)によりこれらの平均値及び標準偏差が使用されて、各チョッピング毎に、各センサヘッドの赤外線アレイセンサを構成している複数の焦電素子の各々から入力されて得られたAD値から、その複数の焦電素子から得られた信号の各々の変化率(HENKA)が算出される。
【0071】
この変化率が標準偏差の3倍以上である場合の、赤外線アレイセンサ内の隣接する焦電素子間の変化率が比較されて、その大きい方を1にすることによって二値化処理される。
【0072】
図6及び図7を用いて説明したようにして得られる二値化処理されたデータに基づき、検知領域内を人体が移動する際の、各種の移動パターンに関するデータが予め作られて、制御装置113のメモリに格納されている。
【0073】
センサヘッド(111a、111b及び111c)の各々の赤外線アレイセンサにより検出されて処理された実際の移動パターンが、このメモリに格納されている各種の移動パターンと比較され、そして、該当する移動パターンに関するデータが選択される。
【0074】
各センサヘッドにより選択された移動パターンに関するデータから、それらを総合して判断することによって、人体の通過人数を検知する。即ち、両端のセンサヘッド(111a及び111c)の検知領域(143a及び143c)を包含しているセンサヘッド111bの検知領域143bにより、通過人数が判断される。そして、両端のセンサヘッド(111a及び111c)によって移動方向と通過人数が検知される。例えば、3個のセンサヘッド(111a、111b及び111c)の各々の赤外線アレイセンサを構成している焦電素子の個数が8素子であるとする。このセンサヘッド111bが、3焦電素子分以下で人体を検知した場合、たとえ両端のセンサヘッド(111a及び111c)が同時に人体を検出したとしても、通過した人数を1人としてカウントする。また、このセンサヘッド111bが、4から6焦電素子分で人体を検知した場合、2人としてカウントする。
【0075】
この方法によって、信頼性も高く、高精度に人体を検知し、通過人数を判断することができるようになり、従来80%程度であった通過人数検知率を95%以上にすることができた。
【0076】
なお、上記実施例では、センサヘッドは、複数個の焦電素子により構成される赤外線アレイセンサを有するものであるしたが、必ずしもこれに限らず、超音波やレーダー等のセンサであるとしてもよい。要するに、本発明の移動信号検出手段は、所定の領域内を移動する移動体の方向性を検出することができるものであればよい。
【0077】
また、上記実施例のセンサヘッドは、チョッパー14、チョッパーシャフト15及びブラシレスモータ16を有するものとしたが、本発明の移動信号検出手段では、移動する人体を検知するだけでよいので、チョッパー14、チョッパーシャフト15及びブラシレスモータ16を必ずしも必要としない。
【0078】
また、上記実施例では、図2の信号処理回路22の構成は、モータドライバを含む構成であるとしたが、必ずしもこれに限らず、図3に示すように、信号処理回路22aとモータドライバを有する中継ボックス22bの如く別の構成にしてもよく、また中継ボックス22bはセンサヘッド21に組み込まれる構成にしてもよい。
【0079】
また、上記実施例では、変化率の算出の基準に床面温度を使用するとしたが、必ずしもこれに限らず、壁面温度を使用するとしてもよい。
【0080】
また、上記実施例では、図6、図7及び図9において、3個の焦電素子を用いて、移動パターンの正規化データを生成したが、必ずしもこれに限らず、赤外線アレイセンサがn個の焦電素子から構成されていれば、その内の2からn個の焦電素子を用いて、移動パターンの正規化データを生成するとしてもよい。
【0081】
【発明の効果】
以上の説明から明らかなように、本発明の移動パターン認識装置は、移動体の移動パターンを認識することができる。あるいは移動する発熱体の移動パターンを認識することができる効果を有する。
【0082】
また、本発明によれば、移動パターン記憶手段で記憶されている移動パターンに関するデータに様々な情報を付加させておけば、様々なニーズに合った装置を提供することができる。例えば、移動方向及びその方向への通過回数を付加させれば、部屋や建物に入ってくる人、出てゆく人の検知が可能となるばかりか、通過人数を測定することによって、正確な入場者数、在室者人数を検出することができる装置を提供することができる長所を有する。
【0083】
また、本発明では、移動信号検出手段の赤外線アレイセンサが床面からの赤外線を集光するように設置されている場合、床面の温度変動を常にフィードバックさせることができるので、床面の温度が変動したとしても、平均値をその変動に追随させることができる。そして、移動信号検出手段は、その平均値及び標準偏差を用いて移動する発熱体を検出するため、その発熱体が温度の低い低温物体であっても検知することができる効果を有する。
【0084】
また、本発明によれば、移動体又は移動する発熱体が、連続して通過した場合や交差して通過した場合でも正確に検知することができる効果を有する。
【0085】
また、本発明では、移動信号検出手段が移動体又は移動する発熱体を明らかに検出していないような場合に発生するゴミパターンを削除することによって、低温や高温物体が混在している場合でも正確な検出を行うことができる効果を有する。
【0086】
また、本発明によれば、システム的にコンパクト化でき、コスト的にも安く、正確で信頼性の高い移動パターン認識装置を得ることができ、容易に即座に在室者人数を検知することができる。
【0087】
また、本発明では、従来の他のセンサを使用した場合のような誤検知は見られず、正確であり信頼性の高い人体検知、通過人数検知を可能とする。
【0088】
また、本実施例では、プログラム的にも非常に簡便であるアルゴリズムを用いることによって、連続通過や交差通過時においても誤検知のほとんどない正確な人体検知を、容易に低コストで実現することができる。
【0089】
また、本発明によれば、容易に、高精度に、信頼性の高い人体検知、在室者人数測定を行うことができ、快適なインテリジェントビルデイングシステムに大きく寄与することができる。
【図面の簡単な説明】
【図1】本発明の移動パターン認識装置で使用される移動信号検出手段の一実施例を示す斜視図
【図2】本発明の移動パターン認識装置に係る別の一実施例の構成図
【図3】図2の実施例の一部の構成を変更した構成図
【図4】部屋の出入口の上部に、本実施例のセンサヘッド21を設置した場合の様子を示す図
【図5】プログラムが起動している図2のCPUの処理に関するフローチャート
【図6】3つの焦電素子11により検出された移動信号の正規化データの生成の様子を示す図
【図7】図6と同様にして得られる別の動作の一例を示す図
【図8】本発明の移動パターン認識装置に係る別の一実施例の動作を示すフローチャート
【図9】人が出入口を出入りする場合の移動パターンに関する具体的な二値化データを示した図
【図10】本発明の移動パターン認識装置に係る別の一実施例の動作を示すフローチャート
【図11】本発明の移動パターン認識装置に係る別の一実施例に関する構成図
【図12】部屋の出入口の上部に、本実施例のセンサヘッドを設置した様子を示す図
【図13】本発明の移動パターン認識装置に係る別の一実施例の動作を示すフローチャート
【図14】本発明の移動パターン認識装置に係る別の一実施例に関する構成図
【符号の説明】
11 焦電素子
12 赤外線遮光板
13 赤外線透過レンズ
14 チョッパー
15 チョッパーシャフト
16 ブラシレスモータ
17 赤外線
21 センサヘッド
22、22a 信号処理回路
22b 中継BOX
23 コンピュータまたは表示装置
44 出入口
45 人体
46 検知領域
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a movement pattern recognition device that detects, for example, the moving direction of a human body at an entrance and the like and the number of people passing by using an infrared array sensor.
[0002]
[Prior art]
In recent years, in security, air conditioning control, and lighting control, there is an increasing demand for measurement of the presence and temperature distribution of a person in the room in order to detect the presence or activity of a person in the room. Furthermore, it is required to grasp and manage the number of visitors to and exits from rooms and buildings by performing occupancy management in companies and the like.
[0003]
Conventional occupant management includes a method of registering at the reception of a building or room, a method of counting by a manual counter at the entrance of the room, a method of counting each person by entering and leaving the room mechanically, and the like.
[0004]
Further, a method of detecting the number of people and the moving direction by installing pressure sensors on mats such as entrances and stairs as disclosed in JP-A-3-196286, 5-324955, etc., and JP-A-3-186998, 4-95794, 5- There is a method of counting the moving direction and the number of people using a plurality of infrared sensors such as 81503. In other words, the human body can be detected by detecting the weight of the human body, the direction of movement and the number of passing people can be detected, the human body can be detected by detecting the infrared rays emitted from the human body, and the signal can be air-conditioned. Devices that detect infrared radiation sources using infrared sensors have come to be used to control environmental control equipment such as machines and lighting equipment, security systems, etc., and to measure the number of people entering and leaving. It was.
[0005]
In addition, in order to solve the above problems, the moving direction of the passing human body and the number of passing people are detected by using one infrared sensor provided with a plurality of detection units, and the number of people in the room is managed. A passing-through number detection sensor and a system thereof have been filed by the present applicant.
[0006]
[Problems to be solved by the invention]
However, when the number of people is counted using a person as described above, there is a disadvantage that the cost is high, and it is very troublesome and takes time and effort.
[0007]
In addition, the mechanical detection method requires large-scale equipment, is very expensive, and has a problem that there is no space for installation.
[0008]
In addition, in the method of detecting a human body using a plurality of infrared sensors, since a plurality of sensors are used, the cost is high, and since it is not known whether all the entrances / exits are detected, a lot of false detections are likely to occur. There was a problem that it was impossible to measure the number of people. In particular, in the detection of a sensor in the case where a person moves continuously or crosses slightly apart, there are many false detections and misjudgments, and there is a problem that accurate human body detection cannot be performed. . Furthermore, in each of these methods, a signal processing method, an algorithm, and the like suitable for each method should be necessary, but none of them are disclosed.
[0009]
Therefore, the present invention has been tried in view of the above-described problems. For example, it is possible to recognize a movement pattern that can detect the direction of a moving body or calculate the number of movements for each direction. An object of the present invention is to provide a moving pattern recognition device that performs the above-described operation.
[0010]
[Means for Solving the Problems]
  The present invention uses a condensing lens that condenses infrared rays at a predetermined angle and an infrared array sensor that detects infrared rays collected by the condensing lenses using a plurality of detection units, and detects the condensing infrared rays. Movement signal detection means for detecting a movement signal indicating the position of the heating element that changes with time when the heating element moves in the region, and normalized data of the movement signal detected by the movement signal detection means The movement signal normalizing means to be generated, and data relating to various movement patterns when the heating element moves in the detection area, which is created in advance in consideration of the normalized data by the movement signal normalizing means, are stored. The movement pattern storage means, and the movement pattern storage means select data related to the movement pattern corresponding to the normalized data generated by the movement signal normalization means. And movement pattern selection means for, based on the data selected by the movement pattern selection means, recognizing the movement pattern recognizing means of the movement pattern of the heating element,Reference temperature storage means for storing reference data relating to a predetermined reference temperature,
The movement signal normalization means includes
Using the reference data stored in the reference temperature storage means, obtain the ratio or difference of each of the signals obtained from the plurality of detection units of the infrared array sensor,
By performing binarization processing by comparing the magnitude of the ratio or difference between the detection unit and the detection unit adjacent thereto, normalization data of the movement signal is generated,It is a movement pattern recognition device.
[0011]
The movement signal detecting means of the present invention has a plurality of sets of the condenser lens and the infrared array sensor, and each of the plurality of sets covers a predetermined region where the heating element moves. Also good.
[0012]
The present invention further includes dust data storage means for storing a plurality of dust data, which is data that cannot be generated by the movement signal normalization means, and the movement signal normalization means is provided by the movement signal detection means. When the normalized data of the detected movement signal is generated and the dust data stored in the dust data storage means is included in the normalized data, the dust data is removed from the normalized data. Also good.
[0013]
  In addition,The predetermined reference temperature is a temperature detected by the movement signal detecting means when the heating element is not present in the detection area, and the reference data is obtained by sampling for a predetermined time. The average value and standard deviation of the reference temperature calculated using the reference temperature may be used.
[0014]
Further, according to the present invention, the data relating to the movement pattern stored in the movement pattern storage means has sub-information relating to the movement direction of the movement pattern and / or the number of passages in the direction, and the movement pattern recognition means The movement direction related to the movement pattern of the heating element and / or the number of passages in the direction may be recognized based on the data related to the movement pattern selected by the movement pattern selection means.
[0015]
In the present invention, the movement signal detecting means uses a sensor for detecting the presence of the moving body, and indicates the position of the moving body that changes with time in a detection area where the moving body that can be detected by the sensor moves. A movement signal is detected. The movement pattern storage means stores data relating to various movement patterns when the moving body moves in the detection area. Data relating to the various movement patterns is created in advance. The movement pattern selection means selects data relating to the movement pattern corresponding to the movement signal detected by the movement signal detection means from the movement pattern storage means.
[0016]
In the present invention, the movement signal detecting means uses a condensing lens for condensing infrared rays at a predetermined angle and an infrared array sensor for detecting infrared rays condensed by the condensing lenses by a plurality of detection units. A movement signal indicating a position of the heating element that changes with time when the heating element moves in a detection region that collects infrared rays is detected. The movement signal normalization means generates normalization data of the movement signal detected by the movement signal detection means. The movement pattern storage means stores data relating to various movement patterns when the heating element moves in the detection area, which is created in advance in consideration of the normalized data by the movement signal normalization means. . The movement pattern selection means selects data related to the movement pattern corresponding to the normalized data generated by the movement signal normalization means from the movement pattern storage means. The movement pattern recognition means recognizes the movement pattern of the heating element based on the data selected by the movement pattern selection means.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0022]
FIG. 1 is a perspective view showing an embodiment of a movement signal detection means used in the movement pattern recognition apparatus of the present invention.
[0023]
In general, an infrared sensor or the like is used as a sensor used in an apparatus that detects an infrared generation source. Two types of infrared sensors are known: a quantum sensor that captures infrared rays as photons, and a thermal sensor that absorbs infrared rays as electromagnetic waves and uses changes in the physical properties of the element as a result of thermal action that increases the temperature of the element. ing. Since the former usually requires cooling with liquid nitrogen or the like, the latter thermal type sensor is generally used. Among the thermal sensors, the pyroelectric infrared sensor is suitable for infrared source detection because it has higher sensitivity than others.
[0024]
However, since the pyroelectric infrared sensor basically detects a change in the infrared ray, when trying to detect a stationary infrared ray generation source, the infrared ray is intermittently applied to the sensor light receiving unit by any method. It is necessary to devise so that it may enter. Normally, infrared rays are intermittently incident (chopped) on the sensor light receiving unit by rotating or vibrating a chopper such as a disk with a slit or a flat plate.
[0025]
Therefore, the infrared array sensor of the movement signal detecting means of this embodiment is composed of a plurality of line-shaped pyroelectric elements 11. An infrared light shielding plate 12 is attached so as to cover the front surface of the pyroelectric element 11. An infrared transmission lens 13 which is a silicon infrared transmission lens is attached so as to collect infrared rays 17 on the pyroelectric element 11. If a wide-angle lens is used for the infrared transmission lens 13, it is possible to detect heating elements that move in a batch without rotating the infrared array sensor. The chopper 14 is provided to intermittently block the infrared rays 17 incident on the infrared transmission lens 13. The chopper 14 is mechanically connected to the brushless motor 16 via the chopper shaft 15 in a rotatable state. If the chopping frequency is set to 10 Hz or more, human body detection can be performed at higher speed, more accurately, and with higher accuracy.
[0026]
In addition, since this infrared array sensor has a plurality of line-shaped pyroelectric elements 11, the output value for each time of each pyroelectric element 11 is taken into consideration based on the plurality of pyroelectric elements 11. In this case, it is possible to detect in which direction the moving heating element has moved on the plurality of pyroelectric elements 11.
[0027]
FIG. 2 is a configuration diagram of another embodiment according to the movement pattern recognition apparatus of the present invention. A sensor head 21 which is a movement signal detecting means includes the sensor shown in FIG. Since the sensor head 21 has the plurality of line-shaped pyroelectric elements 11 shown in FIG. 1, the output values of the pyroelectric elements 11 for each time with reference to the plurality of pyroelectric elements 11. Can be detected in which direction the heating element has moved on the plurality of pyroelectric elements 11. The output of the sensor head 21 is input to the signal processing circuit 22 through a cable of several meters. The signal processing circuit 22 includes an amplifier circuit (Amp. In FIG. 2) and an A / D converter (A / D in FIG. 2). The output of the sensor head 21 input to the signal processing circuit 22 is amplified by the amplifier circuit and then input to the A / D converter and converted into a digital signal (AD value). The digital signal is arithmetically processed by a CPU, a memory, and the like included in the signal processing circuit 22, and the movement pattern of the heating element that moves based on the infrared line sensor of the sensor head 21 is recognized. The recognition result is output from the RS-232C and transmitted to the computer or the display device 23.
[0028]
The arithmetic processing program (the flowchart will be described later) is stored in a semiconductor memory such as a ROM or a memory card, or a disk memory such as a hard disk, a magneto-optical disk, or a flexible disk. In addition, data created in advance that is referred to in the arithmetic processing is also stored in a semiconductor memory such as a ROM or a memory card, or a disk memory such as a hard disk, a magneto-optical disk, or a flexible disk. The memory included in the signal processing circuit 22 is a main memory for loading the program, and is the memory described above.
[0029]
By the way, the CPU of the signal processing circuit 22 that has started the program corresponds to the movement signal normalization means, movement pattern selection means, and movement pattern recognition means of the movement pattern recognition apparatus of the present invention. The memory of the signal processing circuit 22 corresponds to the movement pattern storage means, dust data storage means, and reference temperature storage means of the present invention.
[0030]
FIG. 4 is a diagram illustrating a state in which the sensor head 21 according to the present embodiment is installed above the entrance of the room. The sensor head 21 is installed at the center upper part of the entrance / exit 44 of a room with a width of about 100 cm and a height of about 220 cm so as to collect infrared rays from the center lower part of the entrance / exit 44 at a predetermined angle. The infrared rays collected by the sensor head 21 are input to the signal processing circuit 22, and information such as entrance / exit obtained by processing there is displayed on the computer or the display device 43. If the incident angle of the sensor at this time is 6 °, the detection area 46 becomes as shown in the figure, and even if the human body 45 passes through the end, it can be sufficiently detected.
[0031]
Next, operation | movement of this apparatus in this installation state is demonstrated.
[0032]
FIG. 5 is a flowchart regarding the processing of the CPU of FIG. 2 in which the program is running. That is, the floor surface temperature, which is always detected, is sampled for a predetermined time, and the average value (Xvar) and standard deviation (S) of the floor surface temperature are calculated. These average values and standard deviations are stored in the memory of the signal processing circuit 22. As the storage operation, if the human body 45 does not exist in the detection area 46 during the predetermined sampling time, the calculated new average value and standard deviation are updated.
[0033]
These average values and standard deviations are used according to (Equation 1), and for each chopping, a plurality of pyroelectric elements are obtained from AD values obtained by inputting from each of the plurality of pyroelectric elements of the infrared array sensor. The rate of change (HENKA) of each of the signals obtained from is calculated.
[0034]
[Expression 1]
HENKA (i, j) = (AD value−Xvar) / S
When this change rate is three times or more of the standard deviation, the change rates between adjacent pyroelectric elements in the infrared array sensor are compared, and binarization processing is performed by setting the larger one to 1.
[0035]
FIG. 6 is a diagram showing how the normalized data of the movement signals detected by the three pyroelectric elements 11 is generated as a specific example. The detection area of the infrared array sensor installed 2.5 m above consists of detection areas 1, 2, and 3. A state A shown in (a) is a moving state when a human body enters the detection area 3. The states B1 and B2 shown in (b) are the movement states when proceeding toward the detection area 2. States C1 and C2 shown in (c) are movement states when the detection area 1 is reached. The binarized data at this time is as shown in the graph on the right side of each figure. That is, if the change rate of 3 times or more of the standard deviation σ (S) is set to 1 which is larger than the adjacent pyroelectric element, A: (001), B1: (011), B2: (010), C1: (110), C2: (100).
FIG. 7 is a diagram illustrating an example of another operation obtained in the same manner as FIG. For example, when a person passes, as shown in (a), it changes as (000) (001) (011) (110) (000). Moreover, when a person is making a U-turn in the middle, it is considered that it changes as shown in (b) or (c).
[0036]
Based on the binarized data obtained in this way, data relating to various movement patterns when the human body moves within the detection area is created in advance and stored in the memory of the signal processing circuit 22. .
[0037]
The actual movement pattern detected and processed by the infrared array sensor is compared with various movement patterns stored in this memory, and data relating to the corresponding movement pattern is selected.
[0038]
The movement pattern of the human body is recognized based on the data related to the selected movement pattern. That is, if the information regarding the direction of movement is included in the data regarding the movement pattern, it is recognized in which direction the human body has moved. In the case of the present embodiment, the movement pattern recognition device recognizes whether a person has entered through the entrance 44 or has exited.
[0039]
By this method, it is possible to detect the human body with high reliability and to determine the moving direction, and the moving direction detection rate which has been about 90% in the past can be increased to 99% or more. .
[0040]
FIG. 8 is a flowchart showing the operation of another embodiment according to the movement pattern recognition apparatus of the present invention. The configuration and operation of the movement pattern recognition apparatus of the present embodiment are the same as those of the embodiment described with reference to FIGS. 1 to 7, and the difference is the type of data information related to various movement patterns. This is a process of recognizing information after the selection is made and the result obtained. FIG. 9 is a diagram illustrating specific binarized data regarding a movement pattern when a person enters and exits an entrance. A case where two human bodies cross each other or a case where the human body passes continuously is shown. In the present embodiment, such a movement pattern is considered, and information indicating in which direction the person has passed through the detection area is used together with the data related to the movement pattern, together with the signal processing circuit 22 of FIG. In advance. Thereby, the movement pattern recognition apparatus of a present Example can count how many people entered or went out from the entrance / exit. It is also possible to calculate the number of visitors by time of day.
[0041]
With this method, it is possible to detect a human body with high reliability and with high accuracy, determine the moving direction, and measure the number of people passing by. I was able to.
[0042]
FIG. 10 is a flowchart showing the operation of another embodiment according to the movement pattern recognition apparatus of the present invention. The configuration and operation of the movement pattern recognition apparatus of the present embodiment are the same as those of the embodiment described with reference to FIGS. 1 to 9, and the handling of dust patterns described below is different. First, the memory of the signal processing circuit 22 in FIG. 2 stores in advance a plurality of dust data, which is data that cannot be obtained by generating the movement signal normalization data in FIG.
[0043]
Therefore, how this dust pattern is used will be described. The floor surface temperature, which is the background, is sampled for a predetermined time, and the average value and standard deviation of the floor surface temperature are calculated. These average values and standard deviations are stored in the memory of the signal processing circuit 22. As a storing operation, if a human body does not exist in the detection area during a predetermined sampling time, the calculated new average value and standard deviation are updated.
[0044]
These average values and standard deviations are used according to (Equation 1), and for each chopping, a plurality of pyroelectric elements are obtained from AD values obtained by inputting from each of the plurality of pyroelectric elements of the infrared array sensor. The rate of change (HENKA) of each of the signals obtained from is calculated.
[0045]
When this change rate is three times or more of the standard deviation, the change rates between adjacent pyroelectric elements in the infrared array sensor are compared, and binarization processing is performed by setting the larger one to 1.
[0046]
If there is data corresponding to the dust pattern in the binarized data, the data is deleted as dust. The dust pattern is data when only 1 appears suddenly, for example, (000) (010) (000). In such a case, the dust pattern is automatically canceled by deleting dust.
[0047]
FIG. 11 is a block diagram relating to another embodiment of the movement pattern recognition apparatus of the present invention. Each of the sensor heads (111a, 111b,...) As a plurality of movement signal detection means includes the sensor of FIG. Each output of the sensor head is input to a respective signal processing circuit (112a, 112b,...). Each of the signal processing circuits includes an amplifier circuit (Amp. In FIG. 11), an A / D converter (A / D in FIG. 11), and a motor driver. The output of the sensor head input to each of the signal processing circuits is amplified by the amplifier circuit, and then input to the A / D converter to be converted into a digital signal (AD value). The digital signal is input to the control device 113 having a CPU, a memory, etc., and is processed by the CPU, the memory, etc. The pattern is recognized. This result is output from the RS-232C or PIO and sent to the computer 114, or from the PIO and sent to the display device 115.
[0048]
The arithmetic processing program (the flowchart will be described later) is stored in a semiconductor memory such as a ROM or a memory card, or a disk memory such as a hard disk, a magneto-optical disk, or a flexible disk. Data referred to in the calculation processing is also stored in a semiconductor memory such as a ROM or a memory card, or a disk memory such as a hard disk, a magneto-optical disk or a flexible disk. The memory included in the control device 113 is a main memory for loading the program, and is the memory described above.
[0049]
By the way, the CPU of the control device 113 that has started the program corresponds to the movement signal normalization means, movement pattern selection means, and movement pattern recognition means of the movement pattern recognition apparatus of the present invention. The memory of the control device 113 corresponds to the movement pattern storage means, dust data storage means, and reference temperature storage means of the present invention.
[0050]
FIG. 12 is a diagram showing a state in which the sensor head of the present embodiment is installed above the entrance of the room. Four sensor heads (111a, 111b, 111c and 111d) are always placed on the floor surface at a certain interval perpendicular to the passing direction of the human body 126 on the upper part of the wide entrance / exit 125 having a width of about 200 cm and a height of about 250 cm. And the arrangement direction of the plurality of pyroelectric elements constituting each infrared array sensor of the sensor head is set so as to be parallel to the passing direction of the human body. If the incident angle of the sensor head at this time is 6 °, the detection region 127a or 127b is as shown in the figure, so that even if the human body 126 passes through the end, it can be sufficiently detected.
[0051]
Next, the process of a present Example is demonstrated. First, the floor surface temperature, which is always detected, is sampled for a predetermined time, and the average value and standard deviation of the floor surface temperature are calculated. These average values and standard deviations are stored in the memory of the control device 113 in FIG. As a storing operation, if a human body 126 does not exist in each detection area during a predetermined time of sampling, the new average value and standard deviation are updated.
[0052]
These average values and standard deviations are used by (Equation 1), and AD values obtained by inputting from each of the plurality of pyroelectric elements constituting the infrared array sensor of each sensor head for each chopping. From this, the rate of change (HENKA) of each of the signals obtained from the plurality of pyroelectric elements is calculated.
[0053]
When this change rate is three times or more of the standard deviation, the change rates between adjacent pyroelectric elements in the infrared array sensor are compared, and binarization processing is performed by setting the larger one to 1.
[0054]
Based on the binarized data obtained as described with reference to FIGS. 6 and 7, data relating to various movement patterns when the human body moves within the detection region is created in advance, and FIG. Are stored in the memory of the control device 113.
[0055]
The actual movement pattern detected and processed by the infrared array sensor is compared with various movement patterns stored in the memory, and data relating to the corresponding movement pattern is selected.
[0056]
The movement pattern of the human body is recognized based on the data related to the selected movement pattern. That is, if information on the direction of movement and the number of passes in that direction is included in the data on the movement pattern, it is recognized how many times, that is, how many people have moved. In the case of the present embodiment, the movement pattern recognition device recognizes how many people have entered from the entrance 125 or how many have exited.
[0057]
As described above, according to the present embodiment, it is possible to easily detect a human body with a non-constant temperature distribution entering a room or building at a low cost, and measure the number of passing people with high accuracy and high reliability. The number of people in the room can be displayed.
[0058]
FIG. 13 is a flowchart showing the operation of another embodiment according to the movement pattern recognition apparatus of the present invention. The configuration of the movement pattern recognition apparatus of this embodiment is the same as that of the embodiment described with reference to FIG. 11, but the processing is performed in consideration of a plurality of movement signals from a plurality of installed sensor heads. Is different.
[0059]
Therefore, processing in the present embodiment will be described.
[0060]
First, the floor surface temperature, which is always detected, is sampled for a predetermined time, and the average value (Xvar) and standard deviation (S) of the floor surface temperature are calculated. These average values and standard deviations are stored in the memory of the control device 113 in FIG. As a storing operation, if there is no person in each detection area during a predetermined time of sampling, the calculated new average value and standard deviation are updated.
[0061]
These average values and standard deviations are used by (Equation 1), and AD values obtained by inputting from each of the plurality of pyroelectric elements constituting the infrared array sensor of each sensor head for each chopping. From this, the rate of change (HENKA) of each of the signals obtained from the plurality of pyroelectric elements is calculated.
[0062]
When this change rate is three times or more of the standard deviation, the change rates between adjacent pyroelectric elements in the infrared array sensor are compared, and binarization processing is performed by setting the larger one to 1.
[0063]
If there is data corresponding to the dust pattern in the binarized data, the data is deleted as dust. Here, the memory of the control device 113 stores in advance a plurality of dust data, which is data that cannot be obtained by the binarization process.
[0064]
Based on the data binarized in this way, data relating to various movement patterns when the human body moves within the detection area is created in advance and stored in the memory of the control device 113. The actual movement pattern detected and processed by the infrared array sensor of each sensor head is compared with various movement patterns stored in this memory, and data relating to the corresponding movement pattern is selected. .
[0065]
The number of persons passing through the human body is detected by comprehensively determining data relating to the movement pattern selected by each sensor head. For example, referring to the example of FIG. 12, when output appears on the sensor heads 111 a and 111 b at the same time, or when output appears on the sensor head 111 a or 111 b, it is determined that only one person has passed. Can do. Further, when outputs appear simultaneously on the sensor heads 111a and 111d, it can be determined that two persons have passed.
[0066]
As described above, according to the present embodiment, it is possible to easily detect a person entering a room or a building even at a wide entrance, and to measure the number of passing people with high accuracy and high reliability. The number of people in the room can be displayed.
[0067]
FIG. 14 is a block diagram relating to another embodiment of the movement pattern recognition apparatus of the present invention. The configuration of the movement pattern recognition apparatus of this embodiment is the same as that of the embodiment described with reference to FIG. As shown in FIG. 14, three sensor heads (111 a, 111 b, and 111 c) are placed on the upper part of the wide entrance / exit 142 having a width of about 160 cm and a height of about 250 cm with a certain interval perpendicular to the passing direction of the human body. The sensor heads (111a and 111c) at both ends are arranged so that the arrangement direction of the infrared array sensors is parallel to the passing direction of the human body, and the center sensor head 111b is vertical. Install to be. By installing in this way, the detection area (143a, 143b and 143c) of each infrared array sensor becomes as shown in the figure. If the incident angles of the sensor heads (111a and 111c) at both ends are 6 °, the detection area (143a and 143c) is as shown in the figure. Therefore, even if the human body passes through the end, it should be detected sufficiently. Can do.
[0068]
Next, the process of a present Example is demonstrated.
[0069]
First, the floor surface temperature, which is always detected, is sampled for a predetermined time, and the average value and standard deviation of the floor surface temperature are calculated. These average values and standard deviations are stored in the memory of the control device 113 in FIG. As a storing operation, if a human body does not exist in each detection area during a predetermined sampling time, the calculated new average value and standard deviation are updated.
[0070]
These average values and standard deviations are used by (Equation 1), and AD values obtained by inputting from each of the plurality of pyroelectric elements constituting the infrared array sensor of each sensor head for each chopping. From this, the rate of change (HENKA) of each of the signals obtained from the plurality of pyroelectric elements is calculated.
[0071]
When this change rate is three times or more of the standard deviation, the change rates between adjacent pyroelectric elements in the infrared array sensor are compared, and binarization processing is performed by setting the larger one to 1.
[0072]
Based on the binarized data obtained as described with reference to FIGS. 6 and 7, data relating to various movement patterns when the human body moves within the detection region is created in advance, and the control device 113 is stored in the memory.
[0073]
The actual movement patterns detected and processed by the respective infrared array sensors of the sensor heads (111a, 111b and 111c) are compared with various movement patterns stored in this memory, and related to the corresponding movement patterns. Data is selected.
[0074]
The number of people passing through the human body is detected by comprehensively judging from the data related to the movement pattern selected by each sensor head. That is, the number of passing people is determined by the detection area 143b of the sensor head 111b including the detection areas (143a and 143c) of the sensor heads (111a and 111c) at both ends. Then, the moving direction and the number of passing people are detected by the sensor heads (111a and 111c) at both ends. For example, it is assumed that the number of pyroelectric elements constituting each infrared array sensor of three sensor heads (111a, 111b, and 111c) is eight. When this sensor head 111b detects a human body with three pyroelectric elements or less, even if the sensor heads (111a and 111c) at both ends detect the human body at the same time, the number of people passing through is counted as one. Further, when the sensor head 111b detects a human body with 4 to 6 pyroelectric elements, it counts as two persons.
[0075]
This method is highly reliable and can detect a human body with high accuracy and determine the number of people passing by. The passing person detection rate, which was about 80% in the past, can be increased to 95% or more. .
[0076]
In the above embodiment, the sensor head has an infrared array sensor composed of a plurality of pyroelectric elements. However, the sensor head is not limited to this, and may be a sensor such as an ultrasonic wave or a radar. . In short, the movement signal detecting means of the present invention only needs to be capable of detecting the directionality of a moving body that moves within a predetermined area.
[0077]
In addition, the sensor head of the above embodiment includes the chopper 14, the chopper shaft 15, and the brushless motor 16. However, the movement signal detection unit of the present invention only needs to detect the moving human body, so the chopper 14, The chopper shaft 15 and the brushless motor 16 are not necessarily required.
[0078]
In the above embodiment, the configuration of the signal processing circuit 22 in FIG. 2 is a configuration including a motor driver. However, the configuration is not limited to this, and as shown in FIG. The relay box 22b may have a different configuration, and the relay box 22b may be incorporated in the sensor head 21.
[0079]
Moreover, in the said Example, although floor surface temperature was used for the reference | standard of calculation of a rate of change, it is not necessarily restricted to this, You may use wall surface temperature.
[0080]
Moreover, in the said Example, although the normalization data of the movement pattern was produced | generated using three pyroelectric elements in FIG.6, FIG.7 and FIG.9, it is not necessarily this, and there are n infrared array sensors. In this case, 2 to n pyroelectric elements may be used to generate movement pattern normalization data.
[0081]
【The invention's effect】
As is clear from the above description, the movement pattern recognition apparatus of the present invention can recognize the movement pattern of the moving body. Alternatively, the moving pattern of the moving heating element can be recognized.
[0082]
Further, according to the present invention, if various information is added to the data related to the movement pattern stored in the movement pattern storage means, an apparatus meeting various needs can be provided. For example, adding the direction of movement and the number of passes in that direction not only enables detection of people entering or leaving a room or building, but also enables accurate entry by measuring the number of people passing through. It has an advantage of providing a device capable of detecting the number of persons and the number of people in the room.
[0083]
Further, in the present invention, when the infrared array sensor of the movement signal detecting means is installed so as to collect infrared rays from the floor surface, it is possible to always feed back the temperature fluctuation of the floor surface. Even if fluctuates, the average value can follow the fluctuation. Since the movement signal detecting means detects the heating element that moves using the average value and the standard deviation, the movement signal detection means has an effect of being able to detect even if the heating element is a low-temperature object having a low temperature.
[0084]
In addition, according to the present invention, there is an effect that the moving body or the moving heating element can be accurately detected even when the moving body or the moving heating body passes continuously or crosses.
[0085]
Further, in the present invention, even when low temperature or high temperature objects are mixed, the dust pattern generated when the movement signal detection means does not clearly detect the moving body or the moving heating element is deleted. This has the effect of enabling accurate detection.
[0086]
In addition, according to the present invention, it is possible to obtain a moving pattern recognition device that can be downsized in terms of system, is low in cost, accurate and reliable, and can easily detect the number of people in the room immediately. it can.
[0087]
Further, in the present invention, no erroneous detection as in the case of using other conventional sensors is observed, and accurate and highly reliable human body detection and passing person detection are possible.
[0088]
In addition, in this embodiment, by using an algorithm that is very simple in terms of program, it is possible to easily realize accurate human body detection with few false detections even at the time of continuous passage or crossing at low cost. it can.
[0089]
In addition, according to the present invention, highly reliable and highly reliable human body detection and occupant number measurement can be performed easily, which can greatly contribute to a comfortable intelligent building system.
[Brief description of the drawings]
FIG. 1 is a perspective view showing an embodiment of a movement signal detection means used in a movement pattern recognition apparatus of the present invention.
FIG. 2 is a block diagram of another embodiment of the movement pattern recognition apparatus of the present invention.
3 is a configuration diagram in which a part of the configuration of the embodiment of FIG. 2 is changed.
FIG. 4 is a diagram showing a state in which the sensor head 21 of this embodiment is installed above the entrance of the room.
5 is a flowchart relating to the processing of the CPU of FIG. 2 in which a program is running.
FIG. 6 is a diagram showing a state of generation of normalized data of movement signals detected by three pyroelectric elements 11;
FIG. 7 is a diagram showing an example of another operation obtained in the same manner as in FIG.
FIG. 8 is a flowchart showing the operation of another embodiment of the movement pattern recognition apparatus of the present invention.
FIG. 9 is a diagram showing specific binarization data regarding a movement pattern when a person enters and exits an entrance / exit.
FIG. 10 is a flowchart showing the operation of another embodiment of the movement pattern recognition apparatus of the present invention.
FIG. 11 is a block diagram relating to another embodiment of the movement pattern recognition apparatus of the present invention.
FIG. 12 is a diagram showing a state in which the sensor head of this embodiment is installed above the entrance of the room.
FIG. 13 is a flowchart showing the operation of another embodiment of the movement pattern recognition apparatus of the present invention.
FIG. 14 is a block diagram relating to another embodiment of the movement pattern recognition apparatus of the present invention.
[Explanation of symbols]
11 Pyroelectric elements
12 Infrared shading plate
13 Infrared transmitting lens
14 Chopper
15 Chopper shaft
16 Brushless motor
17 Infrared
21 Sensor head
22, 22a Signal processing circuit
22b Relay BOX
23 Computer or display device
44 doorway
45 human body
46 Detection area

Claims (5)

所定の角度で赤外線を集光する集光レンズとその集光レンズにより集光された赤外線を複数の検出部により検出する赤外線アレイセンサとを用いて、その赤外線を集光する検知領域内を発熱体が移動する際の、時間的に変化する前記発熱体の位置を示す移動信号を検出する移動信号検出手段と、
その移動信号検出手段により検出された移動信号の正規化データを生成する移動信号正規化手段と、
その移動信号正規化手段による正規化データを考慮して予め作られた、前記検知領域内を前記発熱体が移動する際の、各種の移動パターンに関するデータを記憶している移動パターン記憶手段と、
その移動パターン記憶手段から、前記移動信号正規化手段により生成された正規化データに対応する、前記移動パターンに関するデータを選択する移動パターン選択手段と、
その移動パターン選択手段により選択されたデータに基づいて、前記発熱体の移動パターンを認識する移動パターン認識手段と、
所定の基準温度に関する基準データを記憶している基準温度記憶手段と、を備え、
前記移動信号正規化手段は、
前記基準温度記憶手段で記憶されている基準データを用いて、前記赤外線アレイセンサの複数の検出部から得られる信号の各々の比又は差を求め、
前記検出部とそれと隣接する検出部との間で、前記比又は差の大小を比較して2値化処理を行うことにより、前記移動信号の正規化データを生成する、ことを特徴とする移動パターン認識装置。
Using a condensing lens that condenses infrared rays at a predetermined angle and an infrared array sensor that detects infrared rays collected by the condensing lenses using a plurality of detection units, heat is generated in the detection region that collects the infrared rays. A movement signal detecting means for detecting a movement signal indicating the position of the heating element that changes with time when the body moves;
Movement signal normalization means for generating normalized data of movement signals detected by the movement signal detection means;
Movement pattern storage means for storing data relating to various movement patterns when the heating element moves in the detection area, which is created in advance in consideration of the normalized data by the movement signal normalization means,
Movement pattern selection means for selecting data relating to the movement pattern corresponding to the normalized data generated by the movement signal normalization means from the movement pattern storage means;
Based on the data selected by the movement pattern selection means, movement pattern recognition means for recognizing the movement pattern of the heating element ,
Reference temperature storage means for storing reference data relating to a predetermined reference temperature,
The movement signal normalization means includes
Using the reference data stored in the reference temperature storage means, obtain the ratio or difference of each of the signals obtained from the plurality of detection units of the infrared array sensor,
A movement characterized by generating normalized data of the movement signal by performing binarization processing by comparing the magnitude of the ratio or difference between the detection section and a detection section adjacent to the detection section. Pattern recognition device.
前記移動信号検出手段は、前記集光レンズと前記赤外線アレイセンサとの組を複数有し、その複数組の各々により、前記発熱体の移動する所定の領域がカバーされていることを特徴とする請求項1記載の移動パターン認識装置。  The movement signal detecting means has a plurality of sets of the condenser lens and the infrared array sensor, and each of the plurality of sets covers a predetermined region where the heating element moves. The movement pattern recognition apparatus according to claim 1. 前記移動信号正規化手段によっては生成され得ないデータであるゴミデータを複数記憶しているゴミデータ記憶手段を備え、
前記移動信号正規化手段は、
前記移動信号検出手段により検出された移動信号の正規化データを生成し、
その正規化データに前記ゴミデータ記憶手段で記憶されているゴミデータが含まれている場合、その正規化データからそのゴミデータの除去を行うことを特徴とする請求項2記載の移動パターン認識装置。
Comprising dust data storage means for storing a plurality of dust data, which cannot be generated by the movement signal normalization means,
The movement signal normalization means includes
Normalization data of the movement signal detected by the movement signal detection means is generated;
3. The movement pattern recognition apparatus according to claim 2, wherein when the normalized data includes dust data stored in the dust data storage means, the dust data is removed from the normalized data. .
前記所定の基準温度とは、前記検知領域内に前記発熱体が存在しない場合の前記移動信号検出手段により検出される温度であり、
前記基準データとは、所定の時間サンプリングして得られた前記基準温度を用いて算出された前記基準温度の平均値及び標準偏差であることを特徴とする請求項記載の移動パターン認識装置。
The predetermined reference temperature is a temperature detected by the movement signal detection means when the heating element is not present in the detection region,
Wherein the reference data, the movement pattern recognizing apparatus according to claim 1, characterized in that the mean and standard deviation of said reference temperature calculated by using the reference temperature obtained by sampling a predetermined time.
前記移動パターン記憶手段で記憶されている移動パターンに関するデータは、その移動パターンの移動方向及び/又はその方向への通過回数に関する副情報を有し、
前記移動パターン認識手段は、前記移動パターン選択手段により選択された前記移動パターンに関するデータに基づいて、前記発熱体の移動パターンに関する移動方向及び/又はその方向への通過回数を認識することを特徴とする請求項1から4の何れかに記載の移動パターン認識装置。
The data relating to the movement pattern stored in the movement pattern storage means has sub-information relating to the movement direction of the movement pattern and / or the number of passages in the direction,
The movement pattern recognition means recognizes the movement direction and / or the number of passages in the direction of the movement pattern of the heating element based on the data related to the movement pattern selected by the movement pattern selection means. The movement pattern recognition apparatus according to any one of claims 1 to 4 .
JP2003030757A 2003-02-07 2003-02-07 Moving pattern recognition device Expired - Fee Related JP3701656B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003030757A JP3701656B2 (en) 2003-02-07 2003-02-07 Moving pattern recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003030757A JP3701656B2 (en) 2003-02-07 2003-02-07 Moving pattern recognition device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP18261195A Division JPH0933215A (en) 1995-07-19 1995-07-19 Recognition apparatus for movement pattern

Publications (2)

Publication Number Publication Date
JP2003254712A JP2003254712A (en) 2003-09-10
JP3701656B2 true JP3701656B2 (en) 2005-10-05

Family

ID=28672861

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003030757A Expired - Fee Related JP3701656B2 (en) 2003-02-07 2003-02-07 Moving pattern recognition device

Country Status (1)

Country Link
JP (1) JP3701656B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102100219B1 (en) * 2018-12-18 2020-04-17 아이데이터주식회사 Floating population detection system using multiple PIR sensors and method of detecting and counting floating population using the same

Also Published As

Publication number Publication date
JP2003254712A (en) 2003-09-10

Similar Documents

Publication Publication Date Title
US6081619A (en) Movement pattern recognizing apparatus for detecting movements of human bodies and number of passed persons
EP0828233B1 (en) Apparatus for detecting the number of passers
CN104246839B (en) For entering the method and system of administrative staff's counting using passive infrared detector
US20120207350A1 (en) Apparatus for identification of an object queue, method and computer program
EP0928465B1 (en) Detection system
JP2018067755A (en) Detection data management device
JP4286074B2 (en) Spatial information distribution device
KR102511626B1 (en) Apparatus and Method for Object Counting by Type Using Artificial Intelligence-Based Edge Computing
JP3414634B2 (en) People counting system
JPH0933215A (en) Recognition apparatus for movement pattern
JP3701656B2 (en) Moving pattern recognition device
EP3586158B1 (en) Occupant position tracking using imaging sensors
KR102168651B1 (en) Body temperature measuring device with thermal sensor and monitoring system therewith
JP3121190B2 (en) Passenger detection sensor and interlocking device
JPH0962822A (en) Human body movement detection device and detection device for number of passing peoples
JPH0935037A (en) In-room person detection safety system
JP4992419B2 (en) Human body detection device
WO2018051507A1 (en) Object identification system and object identification method
CN111768520B (en) Target detection device and method
JP5223126B2 (en) Mobile object detection system and admission management system
JP2594842B2 (en) Passenger detection method
JP3422598B2 (en) Device for detecting the degree of congestion or the amount of movement of the seat row
JPH11112965A (en) Observation device for moving object
KR102217679B1 (en) Thermo detection monitoring system and method
JP6959300B2 (en) Information processing device, access judgment method, and program

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040907

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050713

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090722

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090722

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100722

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110722

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110722

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120722

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees