Nothing Special   »   [go: up one dir, main page]

JP2000207665A - 転倒検知装置 - Google Patents

転倒検知装置

Info

Publication number
JP2000207665A
JP2000207665A JP11009619A JP961999A JP2000207665A JP 2000207665 A JP2000207665 A JP 2000207665A JP 11009619 A JP11009619 A JP 11009619A JP 961999 A JP961999 A JP 961999A JP 2000207665 A JP2000207665 A JP 2000207665A
Authority
JP
Japan
Prior art keywords
image
area
differential
difference
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11009619A
Other languages
English (en)
Other versions
JP3900726B2 (ja
Inventor
Kenichi Hagio
健一 萩尾
Satoshi Furukawa
聡 古川
Tadahiro Arakawa
忠洋 荒川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP00961999A priority Critical patent/JP3900726B2/ja
Publication of JP2000207665A publication Critical patent/JP2000207665A/ja
Application granted granted Critical
Publication of JP3900726B2 publication Critical patent/JP3900726B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)

Abstract

(57)【要約】 【課題】 転倒した状態のみならず転倒動作そのものを
精度良く検知することが可能になる低コストな転倒検知
装置を提供する。 【解決手段】 カメラ1と、カメラ1が出力する映像信
号を取り込み、取り込まれた画像に対して差分処理を行
う画像処理手段20と、差分処理によって得られた差分
領域の面積に基づいて人体の転倒動作を検知する判断手
段30とからなるようにした。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、人が転倒したこと
を自動的に検知可能となる転倒検知装置に関するもので
ある。
【0002】
【従来の技術】高齢者等、介護を必要とする患者に生じ
た異常状態を自動的に検知するために、従来より画像処
理技術を応用した装置が考案されている。これらの装置
は、画像処理によって室内の3次元情報を獲得し、その
情報を基に患者の異常状態を判断するものである。
【0003】この種の装置にあっては、人体の転倒動作
を検知することを目的とするものもある。このものにあ
っては、カメラにより撮像した画像から三角測量の原理
を駆使することにより、患者の存在する位置を示す3次
元情報を演算するものであり、床面に患者が横たわって
いる状態を検出してから所定時間にわたってその状態が
続いた場合に患者が転倒しているものと判断し、その旨
を報知するようになっている。
【0004】
【発明が解決しようとする課題】ところが、上述のよう
な構成の転倒検知装置にあっては、3次元情報を獲得す
るために患者の居室を投光する投光手段及び投光された
画像を撮像するカメラ等が必要になるため、装置自体が
大がかりなものとなるとともに、装置自体が大きくなる
ことにより設置される居室にいる患者に対して圧迫感を
与えかねないという問題点を有していた。さらに、従来
の転倒検知装置は、患者が転倒状態にあることを検知す
るものであり、転倒動作そのものを検知することはでき
ないという問題点を有していた。
【0005】本発明は、上記の問題点に鑑みて成された
ものであり、その目的とするところは、転倒した状態の
みならず転倒動作そのものを精度良く検知することが可
能になる低コストな転倒検知装置を提供することにあ
る。
【0006】
【課題を解決するための手段】請求項1記載の発明は、
カメラと、カメラが出力する映像信号を取り込み、取り
込まれた画像に対して差分処理を行う画像処理手段と、
差分処理によって得られた差分領域の面積に基づいて人
体の転倒動作を検知する判断手段とからなるようにした
ことを特徴とするものである。
【0007】請求項2記載の発明は、請求項1記載の転
倒検知装置において、前記判断手段において、転倒動作
であるか否かを判定する閾値を記憶し、所定時間内に差
分領域の面積変化が前記閾値を越えた場合に人体が転倒
したものと判断するようにしたことを特徴とするもので
ある。
【0008】
【発明の実施の形態】以下、本発明の一実施の形態に係
る転倒検知装置について図1及び図8に基づき詳細に説
明する。図1は転倒検知装置の概略構成図である。図2
は画像処理手段の概略構成図である。図3はカメラによ
り撮像される画像の模式図であり、(a)乃至(c)は
所定時間毎に撮像された入力画像であり、(d)乃至
(e)は入力画像間において差分処理を行うことにより
抽出される差分画像である。図4は人体が転倒動作をし
たときの時間と差分領域の面積との関係を示すグラフで
ある。図5は人体が着席動作をしたときの時間と差分領
域の面積との関係を示すグラフである。図6は他の画像
処理手段の概略構成図である。図7は人体が転倒動作を
したときの時間と差分領域の面積変化との関係を示すグ
ラフである。図8は人体が着席動作をしたときの時間と
差分領域の面積変化との関係を示すグラフである。
【0009】[第1の実施の形態]本実施の形態に係る
転倒検知装置は、図1に示すように、カメラ1と、画像
処理手段20と、判断手段30とを備えてなる。本実施
の形態にあっては、居室内を撮影するカメラ1は居住者
10の居室の天井に設置されており、居住者10を上方
から撮像するようになっている。そして、カメラ1は居
住者10を撮像した映像信号を出力し、画像処理手段2
0はその映像を取り込むようになっている。
【0010】画像処理手段20は、図2に示すように、
映像信号をデジタル信号に変換するAD変換器21と、
変換された映像信号を記憶する画像メモリ22と、新た
に撮像された入力画像とそれより以前に撮像された入力
画像との差分を演算する差分手段23と、得られた差分
を記憶する差分画像メモリ24と、差分領域の面積を演
算する差分領域面積抽出手段25とを備えてなる。ま
た、本実施の形態の画像処理手段20は、アドレス制御
手段26を備え、複数の画像信号を時系列に記憶するこ
とができるように取込先のメモリアドレスを制御できる
ようになっている。
【0011】上述した構成の転倒検知装置の動作につい
て図3に基づいて説明する。差分手段23は、新たに撮
像された画像(図3(b)参照)とそれより以前に撮像
された画像(図3(a)参照)とから差分領域を抽出す
る(図3(d)参照)。同様に、新たな入力画像(図3
(c)参照)が撮像される度にその前に撮像された入力
画像(図3(b)参照)との差分領域が抽出されるよう
になっている(図3(e)参照)。これら、抽出された
差分画像(図3(d)乃至(e)参照)は、差分画像メ
モリ24に書き込まれる。次に、差分領域面積抽出手段
25にあっては、新たな入力画像がある度に、差分画像
に対して2値化処理を施し、各差分画像の差分領域の面
積の総和を算出する。
【0012】判断手段30は、画像処理手段20が算出
した各時刻における差分画像の領域の面積を利用して人
体の転倒を検知するものである。すなわち、転倒時はカ
メラ1により撮像される人体の動きが短時間に大きく変
化することに着目して人体を検出するようにしている。
先ず、差分領域の面積がどの程度変化した場合に転倒と
判断するかを判断する基準として予め閾値(Th)を設
定しておく。なお、本実施の形態にあっては閾値(T
h)を、転倒開始から転倒終了までの時間(ta)、予
め測定することにより得られる立っている状態と倒れて
いる状態との面積差(S0)、画像取り込みの時間間隔
(tc)としたときに、Th<S0×Tc/Taとなる
ように設定している。このようにして定めた閾値(T
h)によると、差分領域の面積が閾値(Th)を越える
場合は短時間に大きく面積変化が生じたことを示すこと
になる。
【0013】判断手段30は、図4に示すように、差分
画像の領域面積(S)が設定した閾値(Th)を越えた
場合に居住者10が転倒したと判断する。一方、図5に
示すように、人体が着座の動作をした場合は単位時間あ
たりの人の動きが転倒と比較して小さいため、先に設定
した閾値(Th)を越えず、転倒とは判断されない。し
たがって、人体の転倒動作のみを正確に検知することが
可能になるのである。
【0014】本実施の形態にあっては、上述したよう
に、人体が転倒する前に撮像された画像と人体が転倒し
た後に撮像された画像において、短時間にその差分領域
の面積が大きく変化することに鑑みて、新たに入力され
た画像とそれより以前に入力された画像との差分領域の
面積変化から人体の転倒を精度良く検知することが可能
になるのである。これにより、介護を必要とする居住者
10が転倒したことを自動的に発見し、迅速に対応する
ことができるようになるのである。
【0015】なお、図6に示すように、画像メモリ22
において、居住者10がいないときに居室内を撮像した
画像を参照画像として記憶する記憶領域を設け、差分手
段23において、新たに撮像された入力画像と予め撮像
されている参照画像との差分処理も併せて行うようにし
てもよい。この参照画像との差分処理により得られた結
果は、差分画像メモリ27に書き込まれるようになって
いる。そして、差分画像メモリ27に書き込まれた差分
画像に対して、差分領域面積抽出手段28にて2値化処
理を施し、差分画像の領域の各面積などの特徴量を算出
する。判断手段30は前述した処理を行い、入力画像間
の差分領域の面積(S)が閾値(Th)を越えないかを
比較する。ここで、面積(S)が閾値(Th)を越えた
場合、対応する背景差分領域の面積が所定の閾値(Th
b)を越えているか否かを調べ、もし越えていれば居住
者10が転倒したと判断するのである。ここで、所定の
閾値(Thb)は、人が立っている時の面積よりは大き
く、人が倒れて居る時の面積よりは小さく設定するよう
にしている。したがって、仮に居住者10が転倒以外の
動作を行うことで差分領域の面積変化が短時間に大きく
なる素早い動作をしたとしても転倒が生じたと誤って判
断することを低減することが可能になるのである。
【0016】[第2の実施の形態]本実施の形態に係る
転倒検知装置は、図1及び図2に示すものと同じ構成を
有しており、その詳細な説明は省略し、異なる構成につ
き以下に説明する。
【0017】判断手段30は、図7に示すように、差分
画像の領域面積の変化(Sd)が予め設定した閾値(T
hp)を越え、時間(Ta)後に差分画像の領域面積の
変化(Sd)が予め設定した閾値(Thm)より小さく
なり、それから時間Tb以上にわたって領域面積の変化
(Sd)に変化が見られないときに転倒が生じたと判断
するようにしている。一方、居住者10が着座の動作を
行った場合は、図8に示すように、転倒と比較して長い
時間かけて徐々に領域面積の変化(Sd)が小さくなっ
ていくため、時間(Ta)後に閾値(Thm)より小さ
くなることはなく、上述した転倒の判断条件を満たさな
いため、転倒とは判断されないのである。
【0018】本実施の形態にあっては、第1の実施の形
態と同様に、人体が転倒する以前に撮像された画像と人
体が転倒後に撮像された画像にあっては、短時間にその
差分領域が大きく変化することに鑑みて、新たに入力さ
れた画像とそれより以前に入力された画像との差分領域
の面積変化から人体の転倒を精度良く検知することが可
能になるのである。
【0019】
【発明の効果】以上のように、請求項1記載の発明にあ
っては、カメラと、カメラが出力する映像信号を取り込
み、取り込まれた画像に対して差分処理を行う画像処理
手段と、差分処理によって得られた差分領域の面積に基
づいて人体の転倒動作を検知する判断手段とからなるよ
うにしたので、居室内を撮影するカメラ以外に投光手段
を必要としないため構成が簡単になるとともに、転倒時
に特徴的な変化を生じる差分領域の面積を算出するとい
う簡単な処理だけで人体の転倒動作を検知できるため、
転倒した状態のみならず転倒動作そのものを精度良く検
知することが可能になる低コストな転倒検知装置を提供
することが可能になるという効果を奏する。
【0020】請求項2記載の発明にあっては、請求項1
記載の転倒検知装置において、前記判断手段において、
転倒動作であるか否かを判定する閾値を記憶し、所定時
間内に差分領域の面積変化が前記閾値を越えた場合に人
体が転倒したものと判断するようにしたので、転倒時の
特徴的な減少である短時間に大きく差分領域の面積が変
化することを精度よく検知することが可能になるため、
転倒時に類似する人体の動作と転倒動作とを明確に区別
することが可能になるという効果を奏する。
【図面の簡単な説明】
【図1】転倒検知装置の概略構成図である。
【図2】画像処理手段の概略構成図である。
【図3】カメラにより撮像される画像の模式図であり、
(a)乃至(c)は所定時間毎に撮像された入力画像で
あり、(d)乃至(e)は入力画像間において差分処理
を行うことにより抽出される差分画像である。
【図4】人体が転倒動作をしたときの時間と差分領域の
面積との関係を示すグラフである。
【図5】人体が着席動作をしたときの時間と差分領域の
面積との関係を示すグラフである。
【図6】他の画像処理手段の概略構成図である。
【図7】人体が転倒動作をしたときの時間と差分領域の
面積変化との関係を示すグラフである。
【図8】人体が着席動作をしたときの時間と差分領域の
面積変化との関係を示すグラフである。
【符号の説明】
1 カメラ 20 画像処理手段 30 判断手段
フロントページの続き (72)発明者 荒川 忠洋 大阪府門真市大字門真1048番地松下電工株 式会社内 Fターム(参考) 5C054 FC01 FC15 GB01 HA00 HA12 5C086 AA22 AA49 BA01 CA28 CB36 DA33 EA11 EA13 EA15 EA23 EA40 EA41 EA45 5C087 DD03 DD24 EE08 EE18 FF01 FF04 GG02 GG03 GG08 GG12 GG24 GG30 GG31 GG32 GG37

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 カメラと、カメラが出力する映像信号を
    取り込み、取り込まれた画像に対して差分処理を行う画
    像処理手段と、差分処理によって得られた差分領域の面
    積に基づいて人体の転倒動作を検知する判断手段とから
    なるようにしたことを特徴とする転倒検知装置。
  2. 【請求項2】 前記判断手段において、転倒動作である
    か否かを判定する閾値を記憶し、所定時間内に生じる差
    分領域の面積変化が前記閾値を越えた場合に人体が転倒
    したものと判断するようにしたことを特徴とする請求項
    1記載の転倒検知装置。
JP00961999A 1999-01-18 1999-01-18 転倒検知装置 Expired - Fee Related JP3900726B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP00961999A JP3900726B2 (ja) 1999-01-18 1999-01-18 転倒検知装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP00961999A JP3900726B2 (ja) 1999-01-18 1999-01-18 転倒検知装置

Publications (2)

Publication Number Publication Date
JP2000207665A true JP2000207665A (ja) 2000-07-28
JP3900726B2 JP3900726B2 (ja) 2007-04-04

Family

ID=11725309

Family Applications (1)

Application Number Title Priority Date Filing Date
JP00961999A Expired - Fee Related JP3900726B2 (ja) 1999-01-18 1999-01-18 転倒検知装置

Country Status (1)

Country Link
JP (1) JP3900726B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003032672A (ja) * 2001-07-17 2003-01-31 Sumitomo Osaka Cement Co Ltd 監視装置
US7106885B2 (en) * 2000-09-08 2006-09-12 Carecord Technologies, Inc. Method and apparatus for subject physical position and security determination
JP2006522959A (ja) * 2002-11-21 2006-10-05 セキュマネジメント ビー.ヴイ. 転倒防止および検出用の方法および装置
JP2012113367A (ja) * 2010-11-19 2012-06-14 Nikon Corp 誘導装置
US8457401B2 (en) 2001-03-23 2013-06-04 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US9020261B2 (en) 2001-03-23 2015-04-28 Avigilon Fortress Corporation Video segmentation using statistical pixel modeling
WO2017099037A1 (ja) * 2015-12-09 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
WO2018030024A1 (ja) 2016-08-08 2018-02-15 コニカミノルタ株式会社 見守りシステム、見守り装置、見守り方法、および見守りプログラム
US10255491B2 (en) 2010-11-19 2019-04-09 Nikon Corporation Guidance system, detection device, and position assessment device
JP2020195077A (ja) * 2019-05-29 2020-12-03 コニカミノルタ株式会社 画像処理装置、画像処理装置の制御方法、及び画像処理装置の制御プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04273689A (ja) * 1991-02-28 1992-09-29 Hitachi Ltd 監視装置
JPH07236593A (ja) * 1994-03-01 1995-09-12 Matsushita Electric Ind Co Ltd 便座装置
JPH08178390A (ja) * 1994-12-22 1996-07-12 Sharp Corp 人体活動量算出装置、人体活動量着衣量算出装置およびそれを備えた空気調和機、人体異常通報機

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04273689A (ja) * 1991-02-28 1992-09-29 Hitachi Ltd 監視装置
JPH07236593A (ja) * 1994-03-01 1995-09-12 Matsushita Electric Ind Co Ltd 便座装置
JPH08178390A (ja) * 1994-12-22 1996-07-12 Sharp Corp 人体活動量算出装置、人体活動量着衣量算出装置およびそれを備えた空気調和機、人体異常通報機

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7106885B2 (en) * 2000-09-08 2006-09-12 Carecord Technologies, Inc. Method and apparatus for subject physical position and security determination
US9378632B2 (en) 2000-10-24 2016-06-28 Avigilon Fortress Corporation Video surveillance system employing video primitives
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US10026285B2 (en) 2000-10-24 2018-07-17 Avigilon Fortress Corporation Video surveillance system employing video primitives
US10645350B2 (en) 2000-10-24 2020-05-05 Avigilon Fortress Corporation Video analytic rule detection system and method
US10347101B2 (en) 2000-10-24 2019-07-09 Avigilon Fortress Corporation Video surveillance system employing video primitives
US8457401B2 (en) 2001-03-23 2013-06-04 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US9020261B2 (en) 2001-03-23 2015-04-28 Avigilon Fortress Corporation Video segmentation using statistical pixel modeling
JP4703049B2 (ja) * 2001-07-17 2011-06-15 住友大阪セメント株式会社 監視装置
JP2003032672A (ja) * 2001-07-17 2003-01-31 Sumitomo Osaka Cement Co Ltd 監視装置
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
JP2006522959A (ja) * 2002-11-21 2006-10-05 セキュマネジメント ビー.ヴイ. 転倒防止および検出用の方法および装置
JP2012113367A (ja) * 2010-11-19 2012-06-14 Nikon Corp 誘導装置
US10255491B2 (en) 2010-11-19 2019-04-09 Nikon Corporation Guidance system, detection device, and position assessment device
WO2017099037A1 (ja) * 2015-12-09 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2018030024A1 (ja) 2016-08-08 2018-02-15 コニカミノルタ株式会社 見守りシステム、見守り装置、見守り方法、および見守りプログラム
JP2020195077A (ja) * 2019-05-29 2020-12-03 コニカミノルタ株式会社 画像処理装置、画像処理装置の制御方法、及び画像処理装置の制御プログラム
JP7275863B2 (ja) 2019-05-29 2023-05-18 コニカミノルタ株式会社 画像処理装置、画像処理装置の制御方法、及び画像処理装置の制御プログラム

Also Published As

Publication number Publication date
JP3900726B2 (ja) 2007-04-04

Similar Documents

Publication Publication Date Title
JP2000253382A (ja) 転倒検知装置
JP2000207665A (ja) 転倒検知装置
JP5782737B2 (ja) 状態検知装置、状態検知方法および状態検知プログラム
Bevilacqua et al. Fall detection in indoor environment with kinect sensor
EP1134718A3 (en) Image pickup system and vehicle-mounted-type sensor system
JP6417670B2 (ja) 監視装置、監視システム、監視方法、監視プログラム、および監視プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2000207664A (ja) 転倒検知装置
JP2000285223A (ja) 転倒検知装置
JP7094814B2 (ja) 検出システム、および検出方法
JP5470187B2 (ja) 画像処理装置、及び物体検出装置
JP2009088801A (ja) 撮影対象物の静止判定方法および装置
JP6119938B2 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
JP2009033564A (ja) 表示装置及び表示プログラム
JPH0210045A (ja) 自動空調機
JP2004187125A (ja) 監視装置および監視方法
JP2001023055A (ja) 火炎検出装置および火炎検出方法
JPH10126766A (ja) 監視カメラ装置
JP7275863B2 (ja) 画像処理装置、画像処理装置の制御方法、及び画像処理装置の制御プログラム
CN108846996A (zh) 一种摔倒侦测系统及方法
JP7500929B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JPH1186002A (ja) 画像処理装置及び被介護者観測装置
WO2016181731A1 (ja) 転倒検知装置および転倒検知方法ならびに被監視者監視装置
KR102134771B1 (ko) 객체 인식을 통해 위급 상황을 판단하는 장치 및 방법
JP3996864B2 (ja) ステレオ画像を用いた監視装置
JP4578743B2 (ja) 監視カメラ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060912

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061225

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100112

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100112

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100112

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110112

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120112

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120112

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130112

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees