Nothing Special   »   [go: up one dir, main page]

JP3698420B2 - 画像監視装置及び画像監視方法及び画像監視処理プログラム - Google Patents

画像監視装置及び画像監視方法及び画像監視処理プログラム Download PDF

Info

Publication number
JP3698420B2
JP3698420B2 JP2001177810A JP2001177810A JP3698420B2 JP 3698420 B2 JP3698420 B2 JP 3698420B2 JP 2001177810 A JP2001177810 A JP 2001177810A JP 2001177810 A JP2001177810 A JP 2001177810A JP 3698420 B2 JP3698420 B2 JP 3698420B2
Authority
JP
Japan
Prior art keywords
image
monitoring
image data
imaging
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001177810A
Other languages
English (en)
Other versions
JP2002374519A (ja
Inventor
良雄 福原
清 熊田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2001177810A priority Critical patent/JP3698420B2/ja
Priority to EP02254066A priority patent/EP1267313B1/en
Priority to DE60213715T priority patent/DE60213715T2/de
Priority to US10/167,258 priority patent/US7260241B2/en
Priority to KR1020020032817A priority patent/KR100634237B1/ko
Priority to CNB021275580A priority patent/CN1201585C/zh
Publication of JP2002374519A publication Critical patent/JP2002374519A/ja
Application granted granted Critical
Publication of JP3698420B2 publication Critical patent/JP3698420B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/19626—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
    • G08B13/19628—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses of wide angled cameras and camera groups, e.g. omni-directional cameras, fish eye, single units having multiple cameras achieving a wide angle view
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/1963—Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • G08B13/19673—Addition of time stamp, i.e. time metadata, to video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Burglar Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Studio Devices (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、所定の監視領域を撮像するように設置された撮像装置を有し、この撮像装置により撮像された画像を処理することにより、監視領域に侵入する侵入者等を監視する画像監視装置及び画像監視方法及び画像監視処理プログラムに関する。
【０００２】
【従来の技術】
近年、工業用テレビカメラ（以下、ＩＴＶカメラ）等の撮像装置が監視装置として用いられている。この種の監視装置は、工場内の適所に設置され、撮像装置により撮像された画像を監視することにより、工場内に侵入した侵入者、工場内における異常発生等が検知され工場の防犯等に威力を発揮している。
【０００３】
この種の用途に用いられる監視装置では、天井等に設置されたＩＴＶカメラにより所定の監視対象領域が撮像され、このＩＴＶカメラにより撮像された画像が監視領域を監視するための監視画像として取得される。監視装置は、ＩＴＶカメラにより所定時刻毎に監視領域を撮像して順次更新される監視画像（以下、現画像という）と、監視領域に定常的に存在する背景として予め記憶された監視基準画像（以下、背景画像）とを比較照合し、現画像と背景画像とが異なっていることにより、侵入者等の侵入を検出する。
【０００４】
現画像と背景画像とを比較照合した結果、監視装置が侵入者の侵入等が検知された場合には、監視装置は、監視装置を監視する監視員に、侵入者発生を検知したことを通報する等の処理を行う。そして、通報を受けた監視員が、侵入者発生等が検知された現地に赴く等の必要な措置がとられる。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来の画像監視装置は、撮像装置の視野角が狭く、１台の撮像装置でカバーできる監視領域が限られたものとなっている為、監視すべき監視領域が広域である場合には、複数の撮像装置を監視領域の各所に設置する、あるいは、１台の撮像装置を広範な監視領域を監視できるように移動可能とする等により監視領域をカバーしなければならないという問題がある。
【０００６】
本発明は、上記問題点を解消するためになされたもので、監視領域に侵入する侵入者等を確実に検知する為に、撮像装置を動かさずに１台の撮像装置により広範囲の監視領域を監視することができる、画像監視装置及び画像監視方法及び画像監視処理プログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決する為、本発明の画像監視装置は、凸型回転体ミラーを備え全方位の領域を撮像して該全方位の画像データを生成する撮像手段と、該撮像手段から得られた全方位の撮像画像データに対し監視領域を設定する監視領域設定手段と、該監視領域における正常状態の基準とされる、該撮像手段によって予め撮像された複数の背景画像データと、該撮像手段が所定時刻毎に撮像する現画像データとの比較結果に基づき、判定情報に関連した画像処理を行う画像処理手段と、該判定情報に関連した監視情報を出力する監視情報出力手段と、を備えたことを特徴とするものである。なお、ここで言う全方位とは最大３６０°の広角領域のことである。
【０００８】
上記本発明の画像監視装置において、監視情報出力手段は画像出力手段であることが望ましい。
【０００９】
上記本発明の画像監視装置において、前記画像処理手段は、前記背景画像データと前記現画像データとを比較する画像比較手段と、該画像比較手段による比較結果に基づき検知対象の有無を判定する判定手段と、前記判定手段の判定結果に基づいて、所定の画像変換処理を行う画像変換手段と、を備えていることが好ましい。
【００１０】
上記本発明の画像監視装置において、前記監視領域設定手段によって複数の監視領域が設定されることが好ましい。
【００１１】
上記本発明の画像監視装置において、前記画像処理手段は、前記撮像手段が撮像した全方位の画像データをパノラマ画像データ、または、透視変換画像データに変換することが好ましい。
【００１２】
上記本発明の画像監視装置において、前記画像処理手段が、前記背景画像データと前記現画像データとが異なるものであると判断した場合に、警報情報を出力する警報情報出力手段を備えていることが好ましい。
【００１３】
上記本発明の画像監視装置において、前記画像比較手段は、前記背景画像と現画像との差分画像に基づいた比較結果画像（差分２値化画像）を生成し、前記判定手段は監視領域毎の比較結果についてプロジェクション処理を行うことが好ましい。
【００１４】
上記本発明の画像監視装置において、前記背景画像には、撮像時の時刻情報が付加されて記憶されていることが好ましい。
【００１５】
上記本発明の画像監視装置において、前記撮像手段によって撮像される画像データは円形画像であり、前記監視領域は、該円形画像の中心を原点とした極座標に基づいて設定されることが好ましい。
【００１６】
上記本発明の画像監視装置において、前記撮像手段によって撮像される画像データは円形画像であり、前記監視領域は、該円形画像の中心を原点として原点から２つの距離を指定することによってリング状に設定されることが好ましい。
【００１７】
上記本発明の画像監視装置において、前記撮像手段によって撮像される画像データは円形画像であり、前記監視領域は、該円形画像の中心を原点として原点からの距離と、２つの中心角度を指定することによって対称な領域が設定されることが好ましい。
【００１８】
また、本発明の画像監視方法は、凸型回転体ミラーを備え最大周囲３６０°（全方位）の領域を撮像する撮像手段を用いた画像監視方法であって、該撮像手段によって撮像される全方位の画像データから所望の監視領域を設定する監視領域設定ステップと、該撮像手段によって撮像された複数の画像データを、該監視領域における正常状態の基準となる背景画像として設定する背景画像設定ステップと、該複数の背景画像と、該撮像手段が所定時刻毎に撮像する現画像との比較結果に基づいて、該監視領域における異常発生の有無を監視する監視ステップと、を含むものである。
【００１９】
上記本発明の画像監視方法は、背景画像設定後、所定の時間が経過すると、該経過時間に基づき背景画像を更新する背景画像更新ステップを、さらに含むことが好ましい。
【００２０】
上記本発明の画像監視方法において、前記監視ステップは、所定時刻毎に撮像される現画像を取得し、前記監視領域毎に現画像データと前記背景画像データとを比較し差分二値化画像を生成する差分二値化画像生成ステップと、該差分二値化画像を前記監視領域毎にプロジェクション処理するプロジェクションステップと、プロジェクション処理したデータを加算処理し、その加算結果の最大値を算出する最大値算出ステップと、算出された最大値データが所定の閾値を超えたか否かを判定する判定ステップと、算出された最大値データが所定の閾値を超えたと判定された場合に、少なくとも警報出力又は所定の領域の現画像を変換した変換画像を出力する警報ステップと、を含むことが好ましい。
【００２１】
上記本発明の画像監視方法は、前記判定ステップにおいて、算出された最大値データが所定の閾値を超えないと判定した場合に、現画像を背景画像候補として記憶手段に保存する保存ステップを含むことが好ましい。
【００２２】
また、本発明の画像監視処理プログラムは、上記本発明の画像監視方法を実行するものである。
【００２３】
【発明の実施の形態】
以下、本発明に係る画像監視装置について、図面に基づいて説明する。
【００２４】
本発明の画像監視装置は、広範囲な領域を撮像できる撮影手段を備えている。
【００２５】
この撮像手段は、工場内等において侵入者の侵入を防止することが必要な箇所に設置されて、所定の監視領域を撮像する。撮像手段によって侵入者の侵入等の発生が検知された場合には、撮影手段によって撮像された画像データに所定の処理が施され、モニター等に該画像が出力されると共に、警報等の監視や警備に必要な出力処理がなされる。
【００２６】
この画像監視装置の監視モードには、警備モードと解除モードとがあり、常時は、撮像手段が撮像する画像中に侵入物、侵入者等の発生の有無を監視する（以下、この状態を監視状態という）警備モードになっており、この警備モードにおいて、侵入者等が検知された（以下、この状態を異常状態という）場合には、警報を発する等の必要な動作を行う（侵入者等が検知されない状態を正常状態という）。また、監視の現場に監視員等がおり、警報等を発することが不要な場合や、メンテナンス等でやむを得ず監視動作を止めるときは、解除モードに移る。
【００２７】
図１は、本発明の１実施例に係る画像監視装置の概略構成を示すブロック図である。
【００２８】
本画像監視装置は、所定の監視領域を撮像して画像データを取得する撮像手段１と、画像監視装置全体を制御する制御手段２と、制御プログラムや画像データ等を記憶する記憶手段３と、監視領域の設定あるいは設定条件の変更等を行うための操作手段４と、撮像手段１によって取得された画像データに基づいて異常が発生したことを検知した場合に、異常検知対象物を含む監視領域の最新の撮像画像データを基にして、透視変換画像や全監視領域のパノラマ画像等を生成し出力する画像処理手段６と、画像処理手段６から出力された変換画像等を出力する画像出力手段５と、撮像手段１によって取得された画像データに基づいて異常が発生したことを検知した場合に、監視領域に対応付けて警報ないし、通報などの警報情報を出力する警報出力手段７とを有している。
【００２９】
制御手段２は、例えば、中央処理ユニット（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が用いられ、この制御手段２には、撮像手段１、記憶手段３、操作手段４、画像出力手段５、画像処理手段６、警報出力手段７がそれぞれ接続されている。
【００３０】
制御手段２は、記憶手段３に記憶されている制御プログラムを記憶手段３から取得して撮像手段１、画像出力手段５、画像処理手段６、警報出力手段７を、それぞれ制御する。
【００３１】
撮像手段１は、制御手段２が行う制御に従って所定の監視領域を撮像する。撮像手段１は、画像データとして、監視ステップにおいて、所定時刻毎に撮像される複数の現画像と、現画像と比較照合する為に監視ステップに入る前に予め異なる時刻毎に複数回に渡って撮像される複数の背景画像とをそれぞれ取得する。取得された背景画像及び現画像の各画像データは、それぞれ、撮像された都度、制御手段２、画像処理手段６を介して記憶手段３に送信され、後述の背景画像記憶領域１５及び現画像記憶領域１６にそれぞれ格納される。
【００３２】
撮像手段１としては、広範囲な領域を撮像できる撮像装置、例えば、凸型回転体ミラーと、この凸型回転体ミラーに写された画像を撮像する撮像カメラとを備えた全方位カメラが用いられる。この全方位カメラは、撮像カメラの撮像方向の前方側に、凸型回転体ミラーが凸部を撮像カメラ側に向けて配置されており、凸型回転体ミラーの回転軸とカメラ部のレンズの光軸とが一致するように凸型回転体ミラー及び撮像カメラが固定されている。
【００３３】
この全方位カメラのカメラ部には、例えば、工業用カメラ等に使用されるＣＣＤ撮像素子を用いることができ、その監視目的に応じて、赤外線カメラ、可視光カメラ等が使用される。また、凸型回転体ミラーとしては、焦点を有する球面ミラー、放物線ミラー、双曲面ミラー、楕円面ミラー等が、撮像された撮像画像をその焦点から見た透視変換画像に容易に変換することができるため好適である。
【００３４】
画像処理手段６は、図２に示すように、表示画像面上で複数の所望の監視領域が設定可能な監視領域設定手段８が設けられると共に、撮像手段１により撮像された画像データにその画像データが撮像された時刻情報を時刻データとして付加し、背景画像データとして記憶手段３に記憶する背景画像登録手段９が設けられている。また、画像処理手段６には、記憶手段３に記憶されている背景画像データを記憶手段３から取得して、この背景画像データと、所定時間毎に撮像手段１により撮像される現画像データとを比較する画像比較手段１０が設けられており、この画像比較手段１０による背景画像データと現画像データとの比較結果に基づいて、現画像の監視領域の画像データが正常か否かが判定手段１１にて判断される。判定手段１１による判定結果が、正常でない場合には、検知対象を含む領域の透視変換画像等の表示画像が画像変換手段１２によって生成される。
【００３５】
図４（ａ）〜（ｄ）は、それぞれ、撮像手段１である全方位カメラによって取得される画像データと、この画像データに基づいて、上記の画像変換手段１２によって変換される変換画像を説明している。
【００３６】
図４（ａ）は、撮像手段１が凸部を下向きに設置した双曲面ミラー１ａと、この双曲面ミラー１ａの下方に設けたＣＣＤカメラ１ｂとを有する全方位カメラによって構成されて、監視領域となる側方に、それぞれ撮像対象（Ａ）、（Ｂ）が存在している場合を示している。
【００３７】
図４（ｂ）は、図４（ａ）に示す撮像対象（Ａ）、（Ｂ）を撮像手段１としての全方位カメラによって撮像した撮像画像を示している。このように、全方位カメラによって撮像された撮像画面は、円形画像となる。
【００３８】
図４（ｃ）は、図４（ｂ）の円形の撮像画像をパノラマ変換したパノラマ画像、図４（ｄ）は、図４（ｂ）の撮像画像を透視変換した透視変換画像をそれぞれ示している。
【００３９】
図３は、記憶手段３の構成を示すブロック図である。制御手段２に接続された記憶手段３としては、ハードディスク装置等の磁気記録装置を用いることができる他、高速処理を図ることができるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリーを用いてもよい。
【００４０】
記憶手段３は、制御手段２、画像処理手段６等の動作プログラムを記憶するプログラム記憶領域１３と、監視領域に関する情報や後述する背景画像と現画像とを比較照合する基準となる二値化の閾値、異常を判定する異常判定基準値等の各種パラメータを記憶するパラメータ記憶領域１４と、撮像手段１によって予め撮像され、現画像との画像データ比較の基準となる複数の背景画像データをまとめて記憶する背景画像記憶領域１５と、撮像手段１が撮像した現画像データを記憶する現画像記憶領域１６と、画像処理手段６が撮像手段１によって撮像された現画像を元にして作成する変換画像を記憶する変換画像記憶領域１７と、後述する背景画像候補を記憶する背景画像候補記憶領域２２と、監視状態（正常、異常）を記憶する監視状態記憶領域１８と、画像監視装置の監視モード（警備モード、解除モード、等）を記憶する監視モード記憶領域１９と、後述の比較対象画像間の差分２値化画像を記憶する差分画像記憶領域２０と、後述する差分画像から得られる異常部のヒストグラムデータを記憶するヒストグラム記憶領域２１とを有している。
【００４１】
再び図１を参照して、画像監視装置について説明する。
【００４２】
警報出力手段７は、有線または無線により外部のコントローラ等（図示せず）に接続され、異常発生時に警報を出力する。
【００４３】
画像出力手段５は、モニター等の表示画面を有すると共に、上記同様、画像監視装置の外部にある監視に関連する機器のコントローラ、即ち、監視者の駐在している部屋に備えられている機器や監視者が携帯している通信機器のコントローラ等（図示せず）に有線または無線により接続され、異常発生の際には、検知対象を含む領域の変換画像データや変換前の画像データ等を該コントローラに出力するようになっている。
【００４４】
操作手段４は、画像出力手段５の表示画面に対してキー操作入力することができるキースイッチを有している。このキースイッチとしては、画像出力手段５のモニター等に併設されたキーボードのほか、コントローラに併設されたモニター画面上に設置したタッチパネルのように、タッチパネル方式であっても良い。また、この操作手段４は、監視者による操作等に応じて生成された指示信号を通信回線（図示せず）を介して制御手段２に出力するようになっている。
【００４５】
次に、本実施の形態の画像監視装置によって監視領域を監視する動作の概略について説明する。
【００４６】
図５は、本画像監視装置による監視動作の概略を説明するフローチャートである。
【００４７】
図５を参照して、本装置の処理フローの概略を説明する。
【００４８】
本実施の形態の画像監視装置による処理フローは、大略して、監視領域設定ステップ、背景画像設定ステップ、監視ステップ、背景画像更新ステップの４つの処理ステップから構成される。
【００４９】
まず、ステップ１の監視領域設定ステップにおいて、監視対象領域を監視する監視者が操作手段４を操作することにより、画像出力手段５の表示画面上に表示された画像において、監視対象とすべき領域を設定する監視領域設定処理（Ｓ０１）が行われる。この場合、複数の領域を設定することができるようにすれば、複数の領域を監視することができ好適である。
【００５０】
本ステップで所定の監視領域を設定した後、ステップ２の背景画像設定ステップに移り背景画像の設定処理（Ｓ０２）がなされる。
【００５１】
背景画像設定処理（Ｓ０２）では、例えば、監視対象領域を監視する監視者が、操作手段４を操作することにより撮像手段１によって撮像された所定フレーム数Ｎの画像データが１つの背景画像ユニットとして記憶手段３の背景画像記憶領域１５に順次記録される。その後、監視ステップへ移行するまで背景画像ユニットの更新が継続される。
【００５２】
次に、背景画像設定処理（Ｓ０２）終了後、警備モード判定ステップ（Ｓ０３）で、警備モードがＯＮかＯＦＦかが判断され、警備モードがＯＮのときに背景画像設定ステップから監視ステップへの移行が行われる。警備モードがＯＮでない、即ちＯＦＦのときは、背景画像設定処理（Ｓ０２）に戻り、背景画像ユニットの更新が継続される。なお、ここでの説明ではＮを複数として説明したが、Ｎが１であっても基本的な画像比較動作が可能である。
【００５３】
尚、背景画像設定ステップから監視ステップへの移行操作は、前記、監視領域設定ステップから背景画像設定ステップへの移行操作と同様に、監視対象領域を監視する監視者が操作手段４を操作することにより行われる。操作手段４には警備モードのＯＮ・ＯＦＦを切り替える入力スイッチが備えられており、この入力スイッチが監視者により操作される。前記スイッチ操作において警備モードがＯＮになるようにスイッチ操作がなされないと、監視ステップへの移行指示が検知されず、背景画像設定ステップに復帰し、背景画像ユニットの更新が実行される。
【００５４】
ステップ４の監視ステップでは、現画像の１フレームデータと背景画像ユニットとを比較し、侵入者発生等の異常発生を監視する、監視処理（Ｓ０４）がなされる。詳細については後述する。
【００５５】
そして、監視処理が１回終了するたびに、警備モード判定ステップ（Ｓ０５）に移り、制御手段２は、警備モードのＯＮ・ＯＦＦ状態を判断する。
【００５６】
そして、警備モードがＯＦＦになっている場合には、ステップ８の停止処理判定ステップ（Ｓ０８）に移り、制御手段２により本装置の停止信号が出ているのかどうかを判断する。この停止信号は、例えば、監視対象領域を監視する監視者のスイッチ操作により制御手段２に出力される。そして、停止信号が出力されている場合には、本装置の電源がオフされて処理操作が終了する。又、停止信号が出力されていない場合には、さらに、監視領域変更指示判定ステップ（Ｓ０９）に移り、制御手段２により監視領域の変更指示が出ているかどうかが判断される。この監視領域の変更指示は、例えば、監視対象領域を監視する監視者のスイッチ操作により行われ、監視領域の変更指示が出力されていないときは、背景画像設定処理ステップ（Ｓ０２）に戻り、監視領域の変更指示が出力されている場合は、監視領域設定処理ステップ（Ｓ０１）に戻る。
【００５７】
また、ステップ５の警備モード判定ステップ（Ｓ０５）において、警備モードがＯＮの場合には、ステップ６の背景画像更新タイミング判定ステップに進み、制御手段２により背景画像ユニットの更新タイミングになっているか否かが判断される（Ｓ０６）。そして、所定の更新タイミングになっていないと判断された場合には監視ステップに戻り、所定の更新タイミングになっている場合にはステップ７の背景画像更新ステップに進む。
【００５８】
ステップ７の背景画像更新ステップでは、背景画像更新処理（Ｓ０７）が実行され、記憶手段３の背景画像記憶領域１５に記憶されているフレーム数Ｎの背景画像のうち背景画像記憶領域１５に各背景画像データとともに記憶されている撮像時刻を参照して最も古い背景画像を選択し、選択された該背景画像が新しい背景画像に更新される。そして、その更新後に、監視ステップに戻る。
【００５９】
上記ステップ間の移行は、例えば、操作手段４のスイッチ操作等により行われる。このようなスイッチ操作等に応じて生成された指示信号は、操作手段４から制御手段２に送られ、指示信号が送られた制御手段２は、その指示内容を検知して各指示に対応した処理を行う。
【００６０】
次に、上記に説明した各ステップについて、さらに詳細に説明する。
【００６１】
図６は、ステップ１の監視領域設定処理（Ｓ０１）ステップの概略を説明するフローチャートである。
【００６２】
ステップ１の監視領域設定処理（Ｓ０１）においては、まず、ステップ１１の画像取得ステップにおいて、撮像手段１により撮像された所定の監視領域を含む映像の画像データ（撮像データ）が、制御手段２を介して、記憶手段３の現画像記憶領域１４に記憶される（以下、単に「撮像手段１から現画像が取得される。」と記す）。この場合、記憶手段３の現画像記憶領域１４には、撮像データと共に、撮像された時刻の情報が併せて記憶される。
【００６３】
又、取得された現画像データは、時刻情報と共に制御手段２から画像出力手段５を介して、例えば、コントローラに併設された表示手段としてのモニター（図示せず）に出力される（Ｓ１１）。
【００６４】
そして、ステップ１２において、モニター等を監視する監視者は、モニターの画像面上で、後述の監視領域設定処理方法により、監視領域を設定し、設定された監視領域情報を、記憶手段３のパラメータ記憶領域１４に記憶する。
【００６５】
ステップ１２の監視領域設定処理ステップが終了すると、ステップ１３に移り、監視領域の追加・変更指示があるか無いかの指示を促す表示がモニター上に表示される。監視領域の追加・変更がある場合は、モニター等を監視する監視者が、指示情報を操作手段４を用いて監視領域の追加・変更の指示を入力する。その指示結果は、制御手段２に送られる。
【００６６】
監視領域の追加・変更指示があった場合は、ステップ１１の現画像取得ステップに戻り、監視領域設定手段８により監視領域設定処理が続けられる。追加・変更指示がない場合は、図５において説明したメインフローに戻り、ステップ２の背景画像設定ステップに移行する。
【００６７】
ここで、上記の監視領域設定処理の具体例について説明する。
【００６８】
図７は、撮像手段１として全方位カメラを用いた場合における円形の撮像画像について、監視領域を設定する第１及び第２の方法を説明するための模式図を示している。
【００６９】
第１の方法では、円形の撮像画像上において、監視対象とする領域を設定する際に、その領域の中心座標（例えばＡ０（ｒ０、θ０））を、操作手段４のキー操作により指定する方法である。この場合には、指定された座標を中心として、予め定められた範囲の所定領域が設定されることになる。図７に示す例では、中心座標Ａ０（ｒ０、θ０））を指定することにより、（ｒ０±Δｒ０、θ０±Δθ０）で表された斜線で示す領域が指定されている。
【００７０】
ここで、座標（ｒ、θ）のｒは、円形画像の中心Ｏからその座標までの距離、θは円形画像の中心Ｏに対するその座標の中心角度をそれぞれ表しており、このｒ及びθを用いることにより、円形画像上の全ての位置座標を指定することができる。
【００７１】
第２の方法は、監視対象となる領域の外縁におけるコーナーとなる４点、例えば、Ａ１（ｒ１、θ１）、Ａ２（ｒ２、θ２）、Ａ３（ｒ３、θ３）、Ａ４（ｒ４、θ４）を、操作手段４のキー操作により指定する方法である。この場合には、４点にて囲まれる領域が監視領域として設定される。この方法では、設定する監視領域を任意の広さに指定することができる。
【００７２】
上記の第１及び第２の設定方法を用いて、監視対象領域を設定することにより、１つの領域だけでなく、複数の領域を監視対象領域として順次設定することが可能である。
【００７３】
図８は、撮像手段１のＣＣＤ等による撮像画像について、監視領域を設定する第３の方法を説明するための模式図を示している。
【００７４】
この第３の方法では、モニターに出力された円形の撮像画像上において、円形座標の中心Ｏに対して対称関係にある監視領域が設定される。図８に示す例では、円形画像の中心Ｏからの距離ｒ１と、円形画像の基準位置からの２つの中心角度θ１及びθ２とを指定することにより、Ａ１（ｒ１、θ１）、Ａ２（ｒ１、θ２）、Ａ３（ｒ１、１８０°＋θ１））、Ａ４（ｒ１、１８０°＋θ２）の４点を指定すると、Ａ１（ｒ１、θ１）、Ｂ１（ｒ２、θ５）、Ｂ４（ｒ２、θ８）、Ａ４（ｒ１、１８０°＋θ２）の第１の監視領域と、Ａ２（ｒ１、θ２）、Ｂ２（ｒ２、θ６）、Ｂ３（ｒ２、θ７）、Ａ３（ｒ１、１８０°＋θ１））の第２の監視領域を１度に設定可能である。
【００７５】
ここで、Ａ２、Ｂ２、Ｂ１、Ａ１は全て１直線上にある。
【００７６】
又、Ａ３、Ｂ３、Ｂ４、Ａ４も全て１直線上にある。
【００７７】
図９は、撮像手段１の円形の撮像画像について、監視領域を設定する第４の方法を説明するための模式図を示している。
【００７８】
この第４の方法では、円形の撮像画像上において、円形画像の中心座標Ｏからの異なる２つの距離、例えばｒ１及びｒ２を指定することにより、半径ｒ１の円周と半径ｒ２の円周とで囲まれたリング状の監視領域が設定される。
【００７９】
この方法によって設定されるリング状の監視領域では、例えば、監視対象となる領域が部屋の中央であって、本実施の形態の画像監視装置を、その上方に設置した場合、設定されたリング状の監視領域を監視することによって、監視対象領域に対して全ての方向からの侵入者等の接近・侵入を検知することが可能である。又、この方法では、異なる２つの距離を指定するだけでよいために、きわめて容易に監視領域を指定することができるという利点がある。
【００８０】
上記いずれの方法も、制御手段２に対して通信回線等で結ばれた操作手段４のキー操作入力により座標が指定される。この場合、例えば、コントローラに併設されたモニター画面上において、カーソルキーを所望の位置までスライドさせることにより、監視領域を指定する座標を指定することができ、または、座標位置をキー操作によって入力することにより座標を指定することができる。また、操作手段４としては、モニター上にタッチパネルを設ける構成として、直接タッチパネルをタッチ入力する方法等によって座標を指定することもできる。
【００８１】
撮像手段１から得られた現画像は、上記の設定操作の期間中において、操作手段４のキー操作によって、パノラマ画像や、透視画像に変換することが可能である。この場合、操作手段４から入力された画像変換の指示が制御手段２に与えられ、制御手段２では、その指示情報を識別し、画像処理手段６に設けられた画像変換手段１１に画像変換指示情報を伝達する。画像変換手段１１は、該画像変換指示情報に基づいて、円形の撮像画像である現画像をパノラマ画像や、透視変換画像等の変換画像に変換する。
【００８２】
この時、撮像手段１により撮像された円形の撮像画像では画像の方向を把握し難い監視領域を監視する監視者の場合は、まず、円形の撮像画像を例えばパノラマ画像に変換し、該パノラマ画像上で方向を把握し、監視領域の設定を行うことで容易に所望の監視領域を設定できる。なお、同じ監視画面を繰り返し活用している監視者の場合は画像の方向を把握できているので、円形の画像から直接監視領域を設定し監視領域設定の作業効率を向上できる。
【００８３】
図１０は、上記パノラマ画像上での複数の監視領域を設定する方法を説明する概略図である。
【００８４】
この方法にも、前記の監視領域を設定する方法と同様に、所定の位置を選択するために２つの方法がある。
【００８５】
第１の方法では、必要な監視領域の中心座標を指定することによって所定範囲の監視領域を設定する。
【００８６】
また、第２の方法では、展開されたパノラマ画像における基準位置からの距離を展開前における基準位置に対する角度に基づいて指定し、監視領域を設定する。図１０では、角度範囲を（θ１、θ２）と、（θ３、θ４）とにそれぞれ指定されて監視領域が設定されている。尚、この場合も、前述の円形画像データの場合と同様に、カーソルキー、タッチパネル等の操作手段４によって指定位置を入力することができる。
【００８７】
このようにして設定された、監視領域に関する位置情報は、記憶手段３のパラメータ記憶領域１４に記憶される。
【００８８】
なお、撮像手段１により撮像された円形の撮像画像をパノラマ画像や透視変換画像に変換する方法については、例えば、特願平２０００−１５２２０８号に詳細に説明されている。
【００８９】
次に、ステップ２の背景画像設定処理ステップについて図１１に示すフローチャートに基づいて詳細に説明する。
【００９０】
ステップ２の背景画像設定処理ステップにおいては、まず、ステップ２１において、撮像手段１から現画像が取得される。そして、ここで取得された現画像、すなわち記憶手段３の現画像記憶領域１６に記憶された現画像データには、前記の通り、該現画像が取得された時刻情報が付加されている。
【００９１】
続いて、ステップ２２に進み、制御手段２によって、記憶手段３の背景画像記憶領域１５に既に記憶されている背景画像（尚、既に記憶されている背景画像データについても、前記と同様に取得された時刻情報が付加されている）の数が、規定のＮフレームに達しているかどうかが判断される。その結果、記憶手段３の背景画像記憶領域１５に既に記憶されている背景画像の数が、所定のＮフレームに達していなければ、ステップ２７において、撮像手段１から取得された現画像データを背景画像データとして、記憶手段３の背景画像記憶領域１５に記憶し、ステップ２１の現画像取得ステップに戻る。このようにして、記憶手段３の背景画像記憶領域１５に既に記憶されている背景画像の数が、所定のＮフレームに達するまで、所定のタイミング毎に、撮像手段１から取得された現画像データが画像処理手段６の背景画像登録手段９により、背景画像データとして背景画像記憶領域１５に順次記憶される。ここで、複数のＮフレームの背景画像を１ユニットとすることにより、短期間内における背景の変動に伴う誤検知を防ぐことができる。例えば、背景に一定時間周期で点滅している点滅光源等があり、背景画像として光源が非点灯時の映像が設定されているのに対して、点滅光源が点灯時の画像が現画像として取得された場合、本来侵入物の侵入として検知されない光源の点灯・非点灯の差を誤検知して、異常信号を出力する恐れがある。
【００９２】
これに対し、複数のＮフレームの背景画像を１ユニットとすれば、点滅光源が点灯時の映像をも背景画像として取得され、各背景画像フレーム毎の差分の総和で比較するため変動が平均化され、背景の変動による誤検知の可能性を低減することができる。さらに、天候の変化や照明の変化等の長期間の背景の変動による誤検知を防止するため、後述するように、所定時間毎に背景画像ユニットが更新される。なお、監視装置の記憶手段の記憶容量が小さい場合や、誤検知の可能性が低い場合は、１ユニットに対応する背景画像のフレーム数は１でもよい。
【００９３】
記憶手段３の背景画像記憶領域１５に記憶されている画像データ数が背景画像ユニットとしての所定のＮフレームに達している場合は、ステップ２３に進む。
【００９４】
ステップ２３においては、画像処理手段６の背景画像登録手段９の指示により、現画像データ（１フレーム画像データ）と、すでに記憶済みの背景画像ユニットに含まれる各背景画像データそれぞれとの差分画像データが画像比較手段１０において計算される。さらに画像比較手段１０では、計算された差分画像データを、記憶手段３のパラメータ記憶領域１４に記憶された所定の閾値で二値化して、差分二値化画像データとし、この差分二値化画像データを記憶手段３の差分画像記憶領域２０に一時記憶する。
【００９５】
尚、この差分二値化画像データは、処理量を少なくし、高速処理を可能とするため、撮像手段１により撮像された視野領域の全域にわたって計算するのではなく、予め設定された各監視領域に限定して計算が行われる。また、二値化の閾値は、例えば、パラメータとして監視者が操作手段４からキー入力操作を行うことにより設定されて、記憶手段３のパラメータ記憶領域１４に記憶されたものが用いられる。
【００９６】
次いで、ステップ２４において、記憶手段３の差分画像記憶領域２０に一時記憶された各差分二値化画像データのそれぞれについて、画像処理手段６の判定手段１１によって、Ｘ方向及びＹ方向のそれぞれに各座標毎に差分二値化画像データの各画像データの値を加算したヒストグラムデータを算出する（以下、これをプロジェクション処理という）。そして、算出されたヒストグラムデータが記憶手段３のヒストグラム記憶領域２１に記憶される。
【００９７】
ここで、プロジェクション処理の概要について具体的に説明する。
【００９８】
図１４は、例として、画素構成が５×５の場合に対する差分二値化データからヒストグラムデータを求める場合を示している。
【００９９】
この図１４に示す例では、５×５の差分二値化画像データ２１の各画像値２２は、０と１で構成されており、各画素の座標を（Ｘ、Ｙ）とすると、座標（３、４）が１、（１、３）〜（４、３）が１、（２、２）〜（２、３）の各画素の画素値がそれぞれ１、その他の座標における各画素の画素値が０となっている。
【０１００】
このとき、Ｘ方向のヒストグラムは、１、２、３、１、０となり、Ｙ方向のヒストグラムは、下から、０、２、４、１、０となる。このようにして、プロジェクション処理が行われる。
【０１０１】
ステップ２４のプロジェクション処理が終了すると、図１１のステップ２５に進む。ステップ２５では、画像処理手段６の判定手段１１において、ステップ２４のプロジェクション処理によって算出された、各ヒストグラムデータ毎の最大値を比較し、最大値が最も小さい背景画像を選択する。
【０１０２】
そして、ステップ２６において、この選択情報が背景画像登録手段９に送られ、背景画像登録手段９は、前記選択情報を参照して、最大値が最も小さい背景画像データの変わりに、現画像データを背景画像データとする。
【０１０３】
尚、ここでは、判定手段１１において、抽出された各ヒストグラムデータの最大値を比較し、現画像データと差し替えるべき背景画像データの選択・判定を行ったが、各ヒストグラムデータの総和を比較し、この総和が最も小さい背景画像を選択する選択方法を用いてもよい。
【０１０４】
ステップ２６の処理が終了することにより、背景画像設定処理が終了し、図５に示すメイン処理に戻る。
【０１０５】
次に、ステップ４の監視処理ステップについて、図１２に示すフローチャートに基づいて詳細に説明する。
【０１０６】
ステップ４の監視処理ステップにおいては、まず、ステップ３１において、撮像手段１から現画像（１フレームの画像データ）が取得される。続いて、ステップ３２において、画像処理手段６の画像比較手段１０において、監視領域毎に、取得された現画像と、記憶手段３の背景画像記憶領域１５に記憶されている背景画像ユニットの各背景画像とを比較して、差分二値化画像を計算し、計算された二値化画像データを記憶手段３の差分画像記憶領域２０に記憶する。この処理は、計算処理量を少なくして処理の高速化を図るために、撮像手段が撮像する視野領域の全域にわたって差分２値化の計算をするのではなく、予め設定された各監視領域に限定して差分２値化の計算が行われる。そして、ステップ３３において、得られた各背景画像毎の二値化画像データについて、画像処理手段６の判定手段１１において、各監視領域毎のプロジェクション処理を行う。
【０１０７】
続いて、ステップ３４により、判定手段１１において、各背景画像毎のヒストグラムデータを加算し、加算した結果が記憶手段３のヒストグラム記憶領域２１に記憶される。
【０１０８】
そして、ステップ３５により、判定手段１１において、記憶手段３のヒストグラム記憶領域２１に記憶された加算結果の最大値を計算し、最大値が、閾値を超えているかどうかを判断する。なお、この閾値は操作手段４から入力され記憶手段３のパラメータ記憶領域１４に記憶領域１４に記憶されているものである。
【０１０９】
このステップ３６において、最大値が基準値を超えていると判断された場合には、異常と判断されて、ステップ３７に進み、異常信号と当該監視領域の情報が制御手段２に送られる。制御手段２は、警報出力手段７に対してこの監視領域の情報と共に警報指示を出力する。そして、警報出力手段７からこの監視領域の情報と共に警報ないし通報が出力される。
【０１１０】
また、同時に、制御手段２から画像処理手段６の画像変換手段１２に送信される画像変換指示により、画像変換手段１２は、現画像データについて前述のヒストグラムの加算データの最大値が得られたＸＹ座標を中心とした透視変換画像データを生成し、生成された透視変換画像データが、記憶手段３の変換画像記憶領域１７に記憶される。そして、ステップ３８において、記憶手段３の変換画像記憶領域１７に記憶された透視変換画像データは、制御手段２を介して画像出力手段５に出力される。画像出力手段５は、例えば、監視者が監視しているコントローラ（図示せず）にこの変換画像データを送信し、そこに併設されたモニター（図示せず）にこの変換画像データが表示される。そして、その後、図５に示すメイン処理に戻る。
【０１１１】
一方、ステップ３６において、ヒストグラムの加算データが閾値を超えていない場合は、ステップ３９によって、判定手段１１において、検知対象がない、すなわち異常が発生しておらず、正常であると判断されて、通報や透視変換画像出力は実施されず、現画像データが背景画像候補として記憶手段３の背景画像候補記憶領域２２に記憶される。その後、図５に示すメイン処理に戻る。
【０１１２】
次に、ステップ７の背景画像更新処理ステップについて、図１３に示すフローチャートに基づいて詳細に説明する。
【０１１３】
ここで、このステップ７の背景画像更新処理ステップは、図５に示すメインフローのステップ６において、所定の更新タイミングであると判断された場合に開始される。この更新タイミングは、例えば、背景画像を撮像した時刻から一定時間が経過することによって開始される。この一定時間の経過は、背景映像の変動の激しさにもよるが、３０分〜１時間程度とされる。又、例えば、画像監視装置を閉店後の店内監視に使用する場合には、閉店時点から次の開店時点までは更新せず、開店後には、所定の時間が経過する毎に更新するようにしても良い。
【０１１４】
図５に示すステップ６において、所定の更新タイミングであると判断されると、ステップ７の背景画像更新処理ステップは、まず、図１２に示すステップ４１により、監視処理で異常がないと判断され記憶手段３の背景画像候補記憶領域２２に記憶された背景画像候補が画像処理手段６の背景画像登録手段９に読み込まれる。
【０１１５】
続いて、ステップ４２において、記憶手段３の背景画像記憶領域１５の各画像データに付加されている時刻情報を元に、背景画像登録手段９において所定時間以上経過した古い背景画像データがあるかどうかが判断される。
【０１１６】
ステップ４２において、所定時間以上経過した古い背景画像データがある場合には、ステップ４７に進む。
【０１１７】
ステップ４７では、所定時間以上経過した古い画像データが削除され、上記の背景画像候補が新たに背景画像データとして設定される。この場合、所定時間以上経過した画像データが複数存在する場合は、その中から最も古いものが選択され、更新される。
【０１１８】
ステップ４２において、この基準に該当する背景画像が存在しない場合には、ステップ４３に進む。
【０１１９】
ステップ４３では、画像処理手段６の画像比較手段１０によって、背景画像候補と、各背景画像データのそれぞれとの差分二値化画像を計算し、計算された二値化画像データを記憶手段３の差分画像記憶領域２０に記憶する。
【０１２０】
次いで、ステップ４４において、記憶手段３の差分画像記憶領域２０に記憶された各差分二値化画像データのそれぞれについて、プロジェクション処理を行い、算出したヒストグラムデータを記憶手段３のヒストグラム記憶領域２１に記憶する。
【０１２１】
ステップ４４のプロジェクション処理が終了すると、ステップ４５に進み、画像処理手段６の判定手段１１において、ステップ４４のプロジェクション処理によって算出された各ヒストグラム毎の最大値を比較する。
【０１２２】
そして、ステップ４６において、ヒストグラム値の最大値が最小の背景画像を選択して、この背景画像と、前記背景候補画像とを入れ替える。
【０１２３】
その後、背景画像データの更新が終了すると、図５に示すステップ４の監視処理ステップに戻る。
【０１２４】
以上に説明した動作により、１台の画像監視装置により、全方位にわたる視野領域を監視領域として設定することができ、監視領域の中に検知対象となるものが検知された場合には、スムーズに透視変換画像等に変換することができる。さらに、現画像と比較される背景画像を複数としたので、背景の変動の影響を軽減することができ、検知対象の識別精度を向上させることができる。
【０１２５】
【発明の効果】
本発明に係る画像監視装置は、凸型回転体ミラーを備え最大周囲３６０°（全方位）の領域を撮像する撮像手段を備えたので、１台の撮像手段により、視野方向の異なる任意の方向に任意の形状の複数の監視領域を設定することが可能であり、複数の監視装置を設置する、撮像手段に機械的駆動部を取り付けて任意の方向を撮像可能にする、等をすることなく、広範囲の監視領域を監視することができる。
【０１２６】
さらに、検知対象を検知した場合に、画像処理手段により、その検知対象を含む監視領域の透視変換画像を生成する為、検知対象の確認作業をスムーズに行うことができる。また、複数の背景画像と現画像とを比較することにより異常発生を検知する為、背景の変動の影響を軽減でき、検知対象の識別精度を向上させる事が可能である。
【図面の簡単な説明】
【図１】本発明に係る画像監視装置の概略のブロック構成を示す図である。
【図２】本装置の画像処理手段の詳細を示すブロック図である。
【図３】本装置の記憶手段の詳細を示すブロック図である。
【図４】本装置で扱う各種画像の概念図である。
【図５】本装置の概略の処理を表す処理フロー図である。
【図６】監視領域設定処理の処理フロー図である。
【図７】監視領域設定処理の第１の実施例を示す処理画面の図である。
【図８】監視領域設定処理の第２の実施例を示す処理画面の図である。
【図９】監視領域設定処理の第３の実施例を示す処理画面の図である。
【図１０】監視領域設定処理の第４の実施例を示す処理画面の図である。
【図１１】背景画像設定処理の処理フロー図である。
【図１２】監視処理の処理フロー図である。
【図１３】背景画像更新処理の処理フロー図である。
【図１４】プロジェクション処理の説明図である。
【符号の説明】
１ 撮像手段
２ 制御手段
３ 記憶手段
４ 操作手段
５ 画像出力手段
６ 画像処理手段
７ 警報出力手段
８ 監視領域設定手段
９ 背景画像登録手段
１０ 画像比較手段
１１ 判定手段
１２ 画像変換手段
１３ プログラム記憶領域
１４ パラメータ記憶領域
１５ 背景画像記憶領域
１６ 現画像記憶領域
１７ 変換画像記憶領域
１８ 状態記憶領域
１９ モード記憶領域
２０ 差分画像記憶領域
２１ ヒストグラム記憶領域
２２ 背景画像候補記憶領域
２３ 差分二値化画像
２４ 画素値
２５ Ｙ方向のヒストグラム
２６ Ｘ方向のヒストグラム

Claims (14)

  1. 凸型回転体ミラーを備え全方位の領域を撮像して該全方位の画像データを生成する撮像手段と、
    該撮像手段から得られた全方位の撮像画像データに対し監視領域を設定する監視領域設定手段と、
    該監視領域における正常状態の基準とされる、該撮像手段によって予め撮像された背景画像データと、該撮像手段が所定時刻毎に撮像する現画像データとの比較判定結果に基づき、判定情報に関連した画像処理を行う画像処理手段と、
    該判定情報に関連した監視情報を出力する監視情報出力手段とを備え、
    前記撮像手段によって撮像される画像データは円形画像であり、前記監視領域は、該円形画像の中心を原点とした極座標に基づいて設定されることを特徴とする画像監視装置。
  2. 凸型回転体ミラーを備え全方位の領域を撮像して該全方位の画像データを生成する撮像手段と、
    該撮像手段から得られた全方位の撮像画像データに対し監視領域を設定する監視領域設定手段と、
    該監視領域における正常状態の基準とされる、該撮像手段によって予め撮像された背景画像データと、該撮像手段が所定時刻毎に撮像する現画像データとの比較判定結果に基づき、判定情報に関連した画像処理を行う画像処理手段と、
    該判定情報に関連した監視情報を出力する監視情報出力手段とを備え、
    前記撮像手段によって撮像される画像データは円形画像であり、前記監視領域は、該円形画像の中心を原点として原点から２つの距離を指定することによってリング状に設定されることを特徴とする画像監視装置。
  3. 凸型回転体ミラーを備え全方位の領域を撮像して該全方位の画像データを生成する撮像手段と、
    該撮像手段から得られた全方位の撮像画像データに対し監視領域を設定する監視領域設定手段と、
    該監視領域における正常状態の基準とされる、該撮像手段によって予め撮像された背景画像データと、該撮像手段が所定時刻毎に撮像する現画像データとの比較判定結果に基づき、判定情報に関連した画像処理を行う画像処理手段と、
    該判定情報に関連した監視情報を出力する監視情報出力手段とを備え、
    前記撮像手段によって撮像される画像データは円形画像であり、前記監視領域は、該円形画像の中心を原点として原点からの距離と、２つの中心角度を指定することによって対称な領域が設定されることを特徴とする画像監視装置。
  4. 前記監視情報出力手段は画像出力手段であることを特徴とする請求項１〜３のいずれかに記載の画像監視装置。
  5. 前記画像処理手段は、前記背景画像データと前記現画像データとを比較する画像比較手段と、該画像比較手段による比較結果に基づき検知対象の有無を判定する判定手段と、前記判定手段の判定結果に基づいて所定の画像変換処理を行う画像変換手段と、を備えている請求項１〜４のいずれかに記載の画像監視装置。
  6. 前記監視領域設定手段によって複数の監視領域が設定される、請求項１〜５のいずれかに記載の画像監視装置。
  7. 前記画像処理手段は、前記撮像手段が撮像した全方位の画像データを、パノラマ画像データまたは透視変換画像データに変換する請求項１〜６のいずれかに記載の画像監視装置。
  8. 前記画像処理手段が、前記背景画像データと前記現画像データとが異なるものであると判断した場合に、警報情報を出力する警報情報出力手段を備えている、請求項１〜７のいずれかに記載の画像監視装置。
  9. 前記画像比較手段は、前記背景画像と現画像との差分画像に基づいた比較結果画像を生成し、前記判定手段は監視領域毎の比較結果についてプロジェクション処理を行う、請求項４〜８のいずれかに記載の画像監視装置。
  10. 前記背景画像には、撮像時の時刻情報が付加されて記憶されている、請求項１〜９のいずれかに記載の画像監視装置。
  11. 凸型回転体ミラーを備え全方位の領域を撮像する撮像手段を用いた画像監視方法であって、
    該撮像手段によって撮像される全方位の画像データから所望の監視領域を設定する監視領域設定ステップと、
    該撮像手段によって撮像された複数の画像データを、該監視領域における正常状態の基準となる背景画像として設定する背景画像設定ステップと、
    該複数の背景画像と、該撮像手段が所定時刻毎に撮像する現画像との比較結果に基づいて、該監視領域における異常発生の有無を監視する監視ステップとを含み、
    前記監視ステップは、
    所定時刻毎に撮像される現画像を取得し、前記監視領域毎に現画像データと前記背景画像データとを比較し差分二値化画像を生成する差分二値化画像生成ステップと、
    該差分二値化画像を前記監視領域毎にプロジェクション処理するプロジェクションステップと、
    プロジェクション処理したデータを加算処理し、その加算結果の最大値を算出する最大値算出ステップと、
    算出された最大値データが所定の閾値を超えたか否かを判定する判定ステップと、
    算出された最大値データが所定の閾値を超えたと判定された場合に、少なくとも警報出力又は所定の領域の現画像を変換した変換画像を出力する警報ステップとを含むことを特徴とする画像監視方法。
  12. 背景画像設定後所定の時間が経過すると、該経過時間に基づき背景画像を更新する背景画像更新ステップを、さらに含む、請求項１１に記載の画像監視方法。
  13. 前記判定ステップにおいて、算出された最大値データが所定の閾値を超えないと判定された場合に、現画像を背景画像候補として記憶手段に保存する保存ステップを含む、請求項１１または１２に記載の画像監視方法。
  14. 請求項１１〜１３のいずれかに記載の画像監視方法を実行する為の画像監視処理プログラム。
JP2001177810A 2001-06-12 2001-06-12 画像監視装置及び画像監視方法及び画像監視処理プログラム Expired - Fee Related JP3698420B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2001177810A JP3698420B2 (ja) 2001-06-12 2001-06-12 画像監視装置及び画像監視方法及び画像監視処理プログラム
EP02254066A EP1267313B1 (en) 2001-06-12 2002-06-11 Image surveillance apparatus, image surveillance method, and image surveillance processing program
DE60213715T DE60213715T2 (de) 2001-06-12 2002-06-11 Bildüberwachungsvorrichtung, -verfahren und -verarbeitungsprogramm
US10/167,258 US7260241B2 (en) 2001-06-12 2002-06-11 Image surveillance apparatus, image surveillance method, and image surveillance processing program
KR1020020032817A KR100634237B1 (ko) 2001-06-12 2002-06-12 화상감시장치 및 화상감시방법
CNB021275580A CN1201585C (zh) 2001-06-12 2002-06-12 图像监视的设备、方法和处理程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001177810A JP3698420B2 (ja) 2001-06-12 2001-06-12 画像監視装置及び画像監視方法及び画像監視処理プログラム

Publications (2)

Publication Number Publication Date
JP2002374519A JP2002374519A (ja) 2002-12-26
JP3698420B2 true JP3698420B2 (ja) 2005-09-21

Family

ID=19018600

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001177810A Expired - Fee Related JP3698420B2 (ja) 2001-06-12 2001-06-12 画像監視装置及び画像監視方法及び画像監視処理プログラム

Country Status (6)

Country Link
US (1) US7260241B2 (ja)
EP (1) EP1267313B1 (ja)
JP (1) JP3698420B2 (ja)
KR (1) KR100634237B1 (ja)
CN (1) CN1201585C (ja)
DE (1) DE60213715T2 (ja)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6701005B1 (en) 2000-04-29 2004-03-02 Cognex Corporation Method and apparatus for three-dimensional object segmentation
US20030234863A1 (en) * 2002-06-19 2003-12-25 Chin-Hsin Yang Environmental change auto-detection digital camera
US7920718B2 (en) 2002-09-05 2011-04-05 Cognex Corporation Multi-zone passageway monitoring system and method
AU2003901532A0 (en) * 2003-04-04 2003-05-01 Evolution Broadcast Pty Limited Broadcast control
KR100481538B1 (ko) * 2003-05-19 2005-04-07 삼성전자주식회사 배경영역 변화검출장치 및 방법
US7956889B2 (en) * 2003-06-04 2011-06-07 Model Software Corporation Video surveillance system
US8326084B1 (en) 2003-11-05 2012-12-04 Cognex Technology And Investment Corporation System and method of auto-exposure control for image acquisition hardware using three dimensional information
US7623674B2 (en) * 2003-11-05 2009-11-24 Cognex Technology And Investment Corporation Method and system for enhanced portal security through stereoscopy
JP2005159691A (ja) * 2003-11-26 2005-06-16 Hitachi Ltd 監視システム
JP2006025007A (ja) * 2004-07-06 2006-01-26 Fuji Photo Film Co Ltd 画像処理装置及び画像処理プログラム
US7366359B1 (en) * 2004-07-08 2008-04-29 Grandeye, Ltd. Image processing of regions in a wide angle video camera
US8132225B2 (en) * 2004-09-30 2012-03-06 Rockwell Automation Technologies, Inc. Scalable and flexible information security for industrial automation
US8111904B2 (en) 2005-10-07 2012-02-07 Cognex Technology And Investment Corp. Methods and apparatus for practical 3D vision system
JP2008028606A (ja) * 2006-07-20 2008-02-07 Opt Kk パノラマ展開画像撮像装置およびパノラマ展開画像撮像システム
DE102007024868A1 (de) * 2006-07-21 2008-01-24 Robert Bosch Gmbh Bildverarbeitungsvorrichtung, Überwachungssystem, Verfahren zur Erzeugung eines Szenenreferenzbildes sowie Computerprogramm
TW200811749A (en) * 2006-08-17 2008-03-01 Inventec Corp System and method for setting image-monitoring region
US8072482B2 (en) * 2006-11-09 2011-12-06 Innovative Signal Anlysis Imaging system having a rotatable image-directing device
US8471892B2 (en) * 2006-11-23 2013-06-25 Z. Jason Geng Wide field-of-view reflector and method of designing and making same
JP4795212B2 (ja) * 2006-12-05 2011-10-19 キヤノン株式会社 録画装置、端末装置及び処理方法
JP4318724B2 (ja) 2007-02-14 2009-08-26 パナソニック株式会社 監視カメラ及び監視カメラ制御方法
US8126260B2 (en) 2007-05-29 2012-02-28 Cognex Corporation System and method for locating a three-dimensional object using machine vision
US9380256B2 (en) * 2007-06-04 2016-06-28 Trover Group Inc. Method and apparatus for segmented video compression
JP4636130B2 (ja) * 2008-06-27 2011-02-23 ソニー株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP5045590B2 (ja) * 2008-07-23 2012-10-10 三菱電機株式会社 表示装置
FR2944934B1 (fr) * 2009-04-27 2012-06-01 Scutum Procede et systeme de surveillance
JP5550293B2 (ja) 2009-09-18 2014-07-16 キヤノン株式会社 画像照合システム、撮像装置、送信装置、及びプログラム
EP2302564A1 (en) * 2009-09-23 2011-03-30 Iee International Electronics & Engineering S.A. Real-time dynamic reference image generation for range imaging system
CN102056032B (zh) * 2009-11-05 2013-06-05 中兴通讯股份有限公司 一种基于obsai协议的多标准数据传输装置和方法
US9430923B2 (en) 2009-11-30 2016-08-30 Innovative Signal Analysis, Inc. Moving object detection, tracking, and displaying systems
JP5090496B2 (ja) * 2010-04-12 2012-12-05 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5495930B2 (ja) * 2010-05-10 2014-05-21 キヤノン株式会社 画像処理装置、方法、およびプログラム
JP5589644B2 (ja) * 2010-07-27 2014-09-17 日本精機株式会社 周辺画像表示装置及びその表示方法
JP2012029180A (ja) * 2010-07-27 2012-02-09 Nippon Seiki Co Ltd 周辺画像表示装置及びその表示方法
JP5739722B2 (ja) * 2011-04-26 2015-06-24 株式会社日立情報通信エンジニアリング 物体認識方法及び認識装置
CN103192414B (zh) * 2012-01-06 2015-06-03 沈阳新松机器人自动化股份有限公司 一种基于机器视觉的机器人防撞保护装置及方法
US8615110B2 (en) * 2012-03-01 2013-12-24 Herzog Railroad Services, Inc. Automated track surveying and ditching
CN102695044B (zh) * 2012-06-08 2015-04-15 杭州海康威视数字技术股份有限公司 摄像机抓取部分图的方法及其系统
CN103871186A (zh) * 2012-12-17 2014-06-18 博立码杰通讯(深圳)有限公司 安防监控系统及相应的报警触发方法
JP2014143678A (ja) * 2012-12-27 2014-08-07 Panasonic Corp 音声処理システム及び音声処理方法
JP5870470B2 (ja) 2013-01-29 2016-03-01 有限会社 ラムロック映像技術研究所 監視システム
US9508115B2 (en) 2013-03-15 2016-11-29 International Business Machines Corporation Large-area monitoring using infrared imaging system
US9544511B2 (en) 2013-03-15 2017-01-10 International Business Machines Corporation Large-area monitoring using infrared imaging system
TWI493477B (zh) * 2013-09-06 2015-07-21 Utechzone Co Ltd 用於偵測多人狀態之方法、電腦可讀取記錄媒體及用於偵測多人狀態之視訊監控裝置
CN105334543B (zh) * 2014-05-26 2017-12-01 北京维森科技有限公司 基于红外触发图像比对的人体存在检测方法和装置
US10139819B2 (en) 2014-08-22 2018-11-27 Innovative Signal Analysis, Inc. Video enabled inspection using unmanned aerial vehicles
KR102128319B1 (ko) * 2014-10-24 2020-07-09 에스케이 텔레콤주식회사 팬틸트줌 카메라 기반의 영상 재생방법 및 장치
US10909384B2 (en) 2015-07-14 2021-02-02 Panasonic Intellectual Property Management Co., Ltd. Monitoring system and monitoring method
CN106446797B (zh) * 2016-08-31 2019-05-07 腾讯科技（深圳）有限公司 图像聚类方法及装置
JP6727998B2 (ja) * 2016-09-08 2020-07-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN112019960A (zh) * 2019-05-28 2020-12-01 深圳市冠旭电子股份有限公司 利用耳机进行情景监测方法、耳机、装置及可读存储介质
US20220345619A1 (en) * 2019-09-27 2022-10-27 Ricoh Company, Ltd. Apparatus, image processing system, communication system, method for setting, image processing method, and recording medium
JP7552167B2 (ja) 2019-09-27 2024-09-18 株式会社リコー 設定装置、通信システム、設定方法、及びプログラム
TWI739203B (zh) * 2019-11-08 2021-09-11 大猩猩科技股份有限公司 一種評估影像有效分析區域之方法與系統
AT527033B1 (de) * 2023-05-09 2024-10-15 Frequentis Ag Verfahren zur Darstellung und Aktualisierung eines Panoramabildes einer Landschaft

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3823261A (en) * 1968-05-27 1974-07-09 E Bolsey Image motion and change transducers and systems controlled thereby
JPS56160183A (en) * 1980-05-09 1981-12-09 Hajime Sangyo Kk Method and device for monitoring
US4679077A (en) * 1984-11-10 1987-07-07 Matsushita Electric Works, Ltd. Visual Image sensor system
DE3720489A1 (de) * 1987-06-20 1988-12-29 Sood Ralf A Verfahren zum lesen von text- und druckvorlagen
US5243418A (en) 1990-11-27 1993-09-07 Kabushiki Kaisha Toshiba Display monitoring system for detecting and tracking an intruder in a monitor area
JP2758282B2 (ja) 1991-05-02 1998-05-28 三菱電機株式会社 画像監視装置
US5185667A (en) * 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system
US6243131B1 (en) * 1991-05-13 2001-06-05 Interactive Pictures Corporation Method for directly scanning a rectilinear imaging element using a non-linear scan
JPH09505447A (ja) * 1993-08-25 1997-05-27 ジ オーストラリアン ナショナル ユニバーシティー パノラマ的監視システム
JPH07262355A (ja) 1994-03-18 1995-10-13 Fuji Electric Co Ltd 画像監視装置
US5455561A (en) 1994-08-02 1995-10-03 Brown; Russell R. Automatic security monitor reporter
JP3048896B2 (ja) 1995-08-11 2000-06-05 東京電力株式会社 ２値画像用ノイズ除去フィルタ装置
JPH10117338A (ja) 1996-10-09 1998-05-06 Nippon Lsi Card Kk 監視装置
US6215519B1 (en) 1998-03-04 2001-04-10 The Trustees Of Columbia University In The City Of New York Combined wide angle and narrow angle imaging system and method for surveillance and monitoring
EP0967584B1 (en) 1998-04-30 2004-10-20 Texas Instruments Incorporated Automatic video monitoring system
JP2000253310A (ja) 1998-07-21 2000-09-14 Canon Inc 画像処理装置及び方法及び記憶媒体及びシステム
JP2000059758A (ja) * 1998-08-05 2000-02-25 Matsushita Electric Ind Co Ltd 監視カメラ装置、監視装置、及びこれらを用いた遠隔監視システム
JP3965003B2 (ja) 1999-06-01 2007-08-22 セコム株式会社 画像認識装置及び監視装置
JP2001114045A (ja) 1999-10-15 2001-04-24 Furukawa Co Ltd 周囲監視装置
JP3907891B2 (ja) * 1999-11-11 2007-04-18 富士フイルム株式会社 画像撮像装置及び画像処理装置
US6707486B1 (en) * 1999-12-15 2004-03-16 Advanced Technology Video, Inc. Directional motion estimator
US20010052933A1 (en) * 2000-01-12 2001-12-20 Nybo Larry Carl System and method for image capture, storage and retrieval
CA2313803A1 (en) * 2000-07-11 2002-01-11 Dong-Chan He Automatic extraction of linear features from digital imagery
US7257235B2 (en) * 2002-02-28 2007-08-14 Minolta Co., Ltd. Monitoring apparatus, monitoring method, monitoring program and monitoring program recorded recording medium readable by computer

Also Published As

Publication number Publication date
US7260241B2 (en) 2007-08-21
DE60213715D1 (de) 2006-09-21
JP2002374519A (ja) 2002-12-26
CN1391404A (zh) 2003-01-15
EP1267313B1 (en) 2006-08-09
US20020196962A1 (en) 2002-12-26
EP1267313A2 (en) 2002-12-18
DE60213715T2 (de) 2007-08-16
EP1267313A3 (en) 2003-10-15
KR20020094915A (ko) 2002-12-18
CN1201585C (zh) 2005-05-11
KR100634237B1 (ko) 2006-10-17

Similar Documents

Publication Publication Date Title
JP3698420B2 (ja) 画像監視装置及び画像監視方法及び画像監視処理プログラム
JP4010444B2 (ja) 全方位監視制御システム、全方位監視制御方法および全方位監視制御プログラム
US8786672B2 (en) Monitoring camera and method for monitoring
JP2006523043A (ja) 監視を行なう方法及びシステム
JP2002064812A (ja) 移動物体追尾装置
KR101275297B1 (ko) 이동객체 추적 카메라 장치
JP7464281B2 (ja) 光ファイバセンシングシステム、監視装置、監視方法、及びプログラム
KR101442669B1 (ko) 지능형 객체감지를 통한 범죄행위 판별방법 및 그 장치
JP7128577B2 (ja) 監視装置
KR101821159B1 (ko) 다수의 카메라를 이용한 이동체의 이동 경로 추적 시스템
US12047712B2 (en) Surveillance device, surveillance system, and surveillance method
JP4475164B2 (ja) 監視システム及び監視方法
JPH0793558A (ja) 画像監視装置
JP7176868B2 (ja) 監視装置
JP3995832B2 (ja) 画像センサ
JP2019205034A (ja) 監視パラメータ更新システム、監視パラメータ更新方法およびプログラム
JP3736989B2 (ja) 画像監視装置
JP3846553B2 (ja) 画像処理装置
JP2011061651A (ja) 不審物検知システム
JP2013005336A (ja) 監視装置、警備システム及び監視装置用プログラム
JP3827075B2 (ja) 画像監視装置
JP2001036927A (ja) カメラの故障検出装置、検出方法及び記憶媒体
CN113865483B (zh) 镀膜机中基片位置的监测方法、装置、系统及镀膜机
JPH01236791A (ja) 近接監視装置
JP7354461B2 (ja) 監視システム及び監視方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050404

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050704

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080715

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090715

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100715

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110715

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110715

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120715

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120715

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130715

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees