JP4101655B2 - セキュリティ監視システムにおける入退出の衝突を解決する装置及び方法 - Google Patents
セキュリティ監視システムにおける入退出の衝突を解決する装置及び方法 Download PDFInfo
- Publication number
- JP4101655B2 JP4101655B2 JP2002550606A JP2002550606A JP4101655B2 JP 4101655 B2 JP4101655 B2 JP 4101655B2 JP 2002550606 A JP2002550606 A JP 2002550606A JP 2002550606 A JP2002550606 A JP 2002550606A JP 4101655 B2 JP4101655 B2 JP 4101655B2
- Authority
- JP
- Japan
- Prior art keywords
- exit
- person
- security monitoring
- entrance
- monitoring system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000012544 monitoring process Methods 0.000 title claims description 70
- 238000000034 method Methods 0.000 title claims description 22
- 238000001454 recorded image Methods 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 9
- 230000001960 triggered effect Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002618 waking effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241000251737 Raja Species 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/008—Alarm setting and unsetting, i.e. arming or disarming of the security system
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/30—Individual registration on entry or exit not involving the use of a pass
- G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
- G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Emergency Management (AREA)
- Computer Security & Cryptography (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
（発明の背景）
（発明の属する技術分野）
本発明は、概して、セキュリティ監視システムに係り、特に、構造物から入退場する個人を認識して入退出の衝突を解決するコンピュータ・ビジョン・システムを有するセキュリティ監視システムに係る。
【０００２】
（従来技術）
従来のセキュリティ監視システム、特に住居用セキュリティ・システムは、ドア及び窓用の接触センサと、エリア監視用の１以上の赤外線センサとを監視するボックスを利用する。接触センサ又は赤外線センサがトリガされると、アラームが鳴り、電話線などのデータ・リンクを通じて中央監視サイトへ信号が送られる。中央監視サイトは、通常、その家の所有者、職場、及び／又は、指定された隣人へ複数の電話呼を発し、アラーム信号が、不法侵入者によるものか、或いは、親族又はその構造物の権限有る占有者によって偶然トリガされたものか、を判断する。
【０００３】
アラーム信号を電話呼によって解決することができなかった場合、それは地域の警察へ転送される。警察へ転送された呼のうち９５％は、不法侵入者によるものではないという意味で「誤ったアラーム」と判明する。
【０００４】
「誤ったアラーム」の大部分は、入退出の衝突と呼ばれるものによって生じる。例えば、住居用アラーム・システムの場合に、住居の所有者又は他の権限ある占有者は、該住居を離れている間にセキュリティ・システムを稼動させる場合が多く、その後間もなく、彼が家に忘れ物をしたことに気が付く、という状況を考える。彼らが家に戻ってきたとき、彼らはシステムを解除しないで入場し、それによってアラームが鳴らされ、及び／又はアラーム信号が中央監視サイトへ送られる。同様に、家の所有者がセキュリティ・システムを稼動させた状態で在宅しており（例えば、夜間など）、その後、何か（例えば、朝刊）を得るために家の外へ出た場合、それによって誤ったアラームがトリガされる。
【０００５】
従来技術について考えると、セキュリティ監視システムについては、上記及び他の種類の入退出の衝突を解決する必要がある。
【０００６】
（発明の開示）
よって、本発明の目的は、従来のセキュリティ監視システムにおける入退出の衝突を解決するセキュリティ監視システムを提供することである。
【０００７】
本発明の別の目的は、構造物への人の出入口を監視し、キー画像データを記録し、退出する人物を入場した人物と一致させるセキュリティ監視システムを提供することである。
【０００８】
このようにして、セキュリティ監視システムが提供される。このセキュリティ監視システムは、構造物の出口及び入口にそれぞれ配置された出口カメラ及び入口カメラと、上記構造物への個人の出入りを検知する検知器と、上記出入口カメラからの画像を記録する画像記録システムと、退出者と入場者とが同一人物であるかを判断するために、所定の基準を用いて、上記画像記録システムから送信された上記記録画像を分析するコンピュータ・ビジョン・システムと、を有する。上記出入口カメラはビデオ・カメラであって、上記画像はビデオ画像であるか、或いは、上記出入口カメラはディジタル・カメラであって、上記画像は静止画であることが好ましい。
【０００９】
このセキュリティ監視システムは、更に、退出者と入場者とが同一人物でないと判断された場合に、アラーム信号及び／又は上記記録画像の少なくとも一部をリモート・サイトへ送信する手段を更に有することが好ましい。別の方法として、このセキュリティ監視システムは、退出者と入場者とが同一人物である場合に、アラーム信号及び／又は上記記録画像の少なくとも一部をリモート・サイトへ送信してもよい。
【００１０】
本発明に係るセキュリティ監視システムの好ましい実施例において、退出者と入場者とが同一人物であるかを判断するための上記所定の基準は、上記記録画像の色、形状、又はテクスチャ分布などの上記退出者及び入場者の記述的特徴のマッチングを有する。
【００１１】
本発明に係るセキュリティ監視システムの別のより好ましい実施例において、このセキュリティ監視システムは、その構造物について権限ある各個人について画像データを記録するデータベースと、上記出入口カメラからの記録画像を上記データベースの記録画像データと比較し、入退出者が権限ある人物の１人であるかを判断する認識システムと、を更に有する。上記データベースの記録画像データは顔画像であり、上記認識システムは顔認識システムである、ことが好ましい。このより好ましい実施例において、本セキュリティ監視システムは、退出者と入場者とが同一人物でないと判断され、且つ権限ある人物のうちの１人でもないと判断された場合に、アラーム信号及び／又は上記記録画像の少なくとも一部をリモート・サイトへ送信する手段を更に有する。
【００１２】
構造物のセキュリティ監視を実行する方法も提供される。この方法は、上記構造物の出口及び入口の両方において画像を取り込む工程と、この取込工程の前又は後で、上記構造物への個人の出入りを検知する工程と、上記出入口カメラからの画像を記録する工程と、退出者と入場者とが同一人物であるかを判断するために、所定の基準を用いて、上記記録画像を分析する工程と、を有する。
【００１３】
この方法は、退出者と入場者とが同一人物でないと判断された場合に、アラーム信号及び／又は上記記録画像の少なくとも一部をリモート・サイトへ送信する工程を更に有することが好ましい。別の方法として、退出者と入場者とが同一人物である場合に、アラーム信号及び／又は上記記録画像の少なくとも一部を送信してもよい。
【００１４】
本発明に係る方法の好ましい実施例において、この方法は、上記構造物について権限ある各個人について画像データを記録する工程と、入退出者が権限ある人物の１人であるかを判断するために上記出入口カメラからの記録画像を上記記録画像データと比較する工程と、を更に有する。この本発明に係る方法の好ましい実施例は、退出者と入場者とが同一人物でないと判断され、且つ権限ある人物のうちの１人でもないと判断された場合に、アラーム信号及び／又は上記記録画像の少なくとも一部をリモート・サイトへ送信する工程を更に有する。
【００１５】
（発明の詳細な説明）
本発明の装置及び方法の上記及び他の特徴、態様、及び利点は、以下の説明、付属の請求項、及び添付図面について、より明らかにされる。
【００１６】
本発明は、様々な種類の数多くのセキュリティ監視システムに適用可能であるが、特に住居用セキュリティ監視システムの環境において便利であることがわかっている。よって、本発明の適用可能性を住居用セキュリティ監視システムに限定することなく、本発明は上記環境について説明される。
【００１７】
ここで図１を参照する。図１は、本発明に係るセキュリティ監視システム１００を示す。このセキュリティ監視システム１００は、住宅用家屋又は商業用ビルである構造物１０８のドア１０６の出口１０２ａ及び入口１０４ａにそれぞれ配置された出入口カメラ１０２、１０４を有する。ドア１０６は、一例として典型的な外面ドアとして図示されているが、これは本発明の範囲を限定するものではない。引き戸、巻き上げ式ドア、又はガレージ・ドアなどの構造物への出入口を提供するあらゆるものが本発明の対象となり得ることは当業者には明らかである。出入口カメラ１０２、１０４は、ビデオ・フレーム・シーケンスを供給するビデオ・カメラであることが好ましいが、代替的に静止画シーケンスを供給するディジタル・カメラであってもよい。さらに、出入口カメラ１０２、１０４は、固定タイプでもよく、パン・チルト・ズーム（ＰＴＺ）タイプでもよい。ビデオ・フレーム及び静止画の両シーケンスは、以下、包括的に、画像又は画像データと呼ばれる。出入口カメラ１０２、１０４は、ドア１０６のそばにマウントされ、それぞれ出口１０２ａ及び入口１０４ａの方を向いているように図示されている。しかし、この構成は、簡素化のためである。出入口カメラ１０２、１０４は、ここに参考文献として組み込まれる同時係属米国特許出願第０９／７３４７８０号（Ｄｏｃｋｅｔ Ｎｏ．７０１６６２，１３９３５）に記載されているように、ドア１０６にマウントされることが好ましい。
【００１８】
セキュリティ監視システムは、更に、アラーム・システム１１０を含む。このアラーム・システム１１０は、ドア１０６を通って構造物１０８へ出入りする個人を検知する検知器を有する。この検知器は、ドア１０６の上に配置された磁気ドア接触センサ１１２や該構造物のドア１０６のそばに配置された赤外線センサ１１４などのドア１０６の作動を検知する本分野で既知のあらゆる装置であってよい。別の方法として、この検知器は、ドア１０６のドアノブに配置されたセンサや、同時係属米国特許出願第０９／７３７８０号（Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ ７０１６６２，１３９３５）にも開示されているような背景変化検知システムであってもよい。この検知器は、更に、アラーム・システムを稼動させる活動、又は、ドア１０６のドアノブ又はキー・タンブラを回転させる活動などの検知器として機能し得るあらゆる装置であってもよい。
【００１９】
画像記録システム１１６は、検知器からのトリガによって、出入口カメラからの画像を記録する。すなわち、アラーム信号が通常は中央監視サイト１１８へ送信されるように検知器がトリガされると、画像記録システム１１６は出入口カメラ１０２、１０４からの画像を記録する。別の方法として、画像記録システム１１６は、所定量の現在の画像データが常に記録され、使用可能となるように新しい画像データが古い画像を上書きするバッファにすべての画像を記録することも可能である。画像記録システム１１６は、ハードドライブなどのストレージと画像取込カードとを有するコンピュータ又は他のあらゆるプロセッサであることが好ましい。しかし、画像記録システム１１６は、本発明の範囲及び意図を逸脱することなく、本分野で既知のあらゆる種類のものでよい。
【００２０】
コンピュータ・ビジョン・システム１２０は、退出者と入場者とが同一人物であるか否かを判定するために、所定の基準を用いて、画像記録システム１１６から送信された記録画像を分析する。コンピュータ・ビジョン・アルゴリズムは、その人物の記述的特徴を抽出することが好ましい。これら記述的特徴は、画像の色、テクスチャ、又は形状分布の１又は組み合わせに基づくことが好ましい。この記述的特徴は、彼／彼女の衣服などのその人物の特定のエリアに焦点が合わせられている。入退出者の画像の記述的特徴は、抽出され、比較される。入退出者間で一致がなかった場合、アラーム信号がトリガされ、電話線（ＰＯＴＳ）などのデータ・リンク１１９を通じて中央監視サイト１１８へ送信される。入退出者のいずれかの画像も中央監視サイト１１８へ送信されることが好ましい。コンピュータ・ビジョン・システム１２０は、例えば、ここに参考文献として組み込まれる同時係属米国特許出願第０９／７０３４２３号（Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ ７０１２５４）において開示されているシステムである。しかし、当業者には明らかなように、コンピュータ・ビジョン・システム１２０は、本発明の範囲及び意図を逸脱しない本分野において既知のあらゆる装置であってよく、例えば、ここに参考文献として組み込まれるＲａｊａらによる「Ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ Ｕｓｉｎｇ Ｃｏｌｏｕｒ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌｓ」，３ｒｄ Ａｓｉａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，Ｖｏｌ．１，ｐｐ．６０７〜６１４，Ｈｏｎｇ Ｋｏｎｇ、Ｃｈｉｎａ、１９９８年１月、に開示されたものであってもよい。
【００２１】
本発明に係るセキュリティ監視システム１００の好ましい実施例は、その構造物について権限を有する各人物の例えば顔などの画像データを記録するデータベース１２２をも含む。住居用家屋の場合、その家に住む人々の顔が、好ましくは出入口カメラ１０２、１０４によって記録され、データベース１２２に格納される。コンピュータ・ビジョン・システム１２０が入退出者が同一人物でないと判断した場合、アラームをトリガする代わりに、セキュリティ監視システム１００は、代替的に、出入口カメラからの記録画像をデータベース１２２の記録画像データ（例えば、顔）と比較する認識システム１２４を利用することができる。出入口カメラからの記録画像とデータベース１２２の記録画像データとの間に一致が見られなければ、本システムは、上述のように処理を進め、アラーム信号をトリガし、及び／又は入退出者のいずれかの画像を中央監視サイト１１８へ送信する。例えば、Ｓ．Ｇｕｔｔａらによる「Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｓｉｘｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ」，ｐｇｓ．６４６〜６５１，ＩＥＥＥ，１９９８年１月４〜７日，インド、ボンベイ、に記載されているような顔認識アルゴリズム及びシステムは、本分野では良く知られている。
【００２２】
コンピュータ・ビジョン・システム１２０からの入退出者の比較、又は、出入口カメラからの記録画像とデータベース１２２の記録画像データとの比較、のいずれかが一致した場合、アラームはトリガされない。すなわち、通常であればアラームをトリガし得る退出又は入場は無視される。別の方法として、別の方法として、「不法の」退出又は入場の際にアラーム信号が送信され、入退出者が同一人物であると判断された場合には続けて取消信号が送信されるようにしてもよい。さらに、入退出者が同一人物であると判断された場合であっても、アラーム信号及び／又は画像データの一部が中央監視サイトへ送信されてもよい。例えば、その人物がその構造物について立ち入りが許されたメイドだと判断された場合、画像データは、後で、そのメイドが家から財産を盗んだという証拠を支持又は否定するのに用いることができる。
【００２３】
個々人の顔及び記述的特徴の組み合わせも、その人物が権限あるものであるかを確かめる１つの方法として用いることができる。これは、以下に述べるように順に行われてもよく、並行して行われてもよい。
【００２４】
以上、特定の入退出の衝突を参照せずに、図１を参照して、セキュリティ監視システム１００について包括的に説明した。次いで、図２及び３を参照して、２つの特定の入退出の衝突について説明する。しかし、当業者には明らかなように、上記包括的説明は、あらゆる入退出の衝突をカバーすることが意図されているため、図２及び３について説明される入退出の衝突又はあらゆる１つの特定の入退出の衝突に限定されない。
【００２５】
ここで図２のフローチャートを参照する。図２は、アラーム・システム１１０が「稼動」され、構造物１０８への入場がアラームをトリガさせ、アラーム信号を中央監視サイト１１８へ送信させる場合について、本発明に係るセキュリティ監視システムを提供する方法を示す。これは、権限ある人物がアラーム・システム１１０を「稼動」させ、構造物１０８から出て、その後すぐにその人物が構造物１０８内に忘れ物をしたために、アラーム・システム１１０を解除しないで戻ってきた場合などである。
【００２６】
工程２００において、出入口カメラ１０２、１０４は、構造物１０８のドア１０６の出入口１０２ａ、１０４ａからの画像を取り込む。別の方法として、該カメラは、ドア１０６のドアノブ又はキー・タンブラの回転や、ドア１０６上の又は近くのセンサのトリガ、背景モデルを用いた検知などのイベントが発生したときに、画像データを取り込むために作動し始めるようにしてもよい。工程２０２において、１以上の検知器１１２、１１４は、退出する人物の検知を確認する。退出が検知された場合（パス２０４ｂで概略的に図示する）、出口カメラ１０２は、工程２０４において、バッファ（データベース１２２でもよい）からのビデオ・フレーム又は静止画の最後の所定部分を記録する。別の方法として、出口カメラ１０２が画像を取り込み、画像認識システム１１６が権限ある人物がアラーム・システムを「稼動」させたときなどのイベントが検知されると上記画像を記録してもよい。この場合、出口カメラ１０２は、アラーム・システムを稼動させるところも取り込み、記録することができる。退出が検知されない場合、このフローチャートはパス２０４ａに沿って進み、カメラ１０２、１０４は画像の取り込みを続けるか、或いはイベント発生時の画像取込以前の休止状態へ戻る。
【００２７】
次いで、セキュリティ監視システム１００は、工程２０８において、該構造物への再入場を探す。アラーム・システム１１０が所定時間限度内に該構造物への再入場を検知した場合（パス２０８ｂとして概略的に図示する）、工程２１０において、入口カメラ１０４からの画像が画像記録装置１１６内へ記録される又はバッファから取り出され入れられる。再入場がなければ、本システムはパス２０８ａに沿って工程２００へ進み、出入口カメラからの画像を取り込む。
【００２８】
次いで、出入口カメラ１０２、１０４からの記録画像は、工程２１２において、コンピュータ・ビジョン・システム１２０によって分析され、その中の記述的特徴が一致するか工程２１４において判定される。一致すれば（すなわち、家を出た人物が後で再入場したと判断された場合）、本システムはパス２１４ａに沿って進み、再入場の検知は工程２１８において無視される。一致がみられなければ、本システムはパス２１４ｃ又は２１４ｂに沿って進むことができる。本システムがパス２１４ｃに沿って（破線で示す）工程２１６へ進む場合、アラーム信号は、入口カメラからの記録画像と共に中央監視サイト１１８に送信されることが好ましい。しかし、色分布が用いられ、ジャケットを羽織って退出した人物がジャケット無しで再入場した場合などの異なる記述的特徴を有する退出者が再入場した場合、更に、工程２２０において、顔認識を実行することができる。工程２２０において、その構造物へのアクセスを許された全員の顔などの記録画像データが、入口カメラ１０４からの記録画像と比較される。工程２２２において、一致がみられるか判断される。一致がみられない場合、本システムはパス２２２ｂに沿って工程２１６へ進み、アラームがトリガされる。一致がみられれば、本システムは、パス２２２ａに沿って工程２１８へ進み、再入場の検知が無視されるか、或いは、パス２２２ｃに沿って（破線で示す）進み、前述のように、アラーム信号及び／又は画像データが中央監視サイトへ送信される。
【００２９】
次いで、図３を参照する。図３は、アラーム・システム１１０が「稼動」され、構造物１０８からの退出がアラームをトリガさせ、アラーム信号を中央監視サイト１１８へ送信させる場合について、本発明に係るセキュリティ監視システムを提供する方法を示す。これは、権限ある人物がアラーム・システムを夜間「稼動」させ、起床後、該アラーム・システムを解除せずに該構造物から出て、その後すぐにたぶん朝刊を持って戻ってきた場合などである。図３における同じ符番は、図２を参照して既に述べたのと同じ工程を示す。
【００３０】
工程２００において、出入口カメラ１０２、１０４は、構造物１０８のドア１０６の出入口１０２ａ、１０４ａからの画像を取り込む。工程２０２において、１以上の検知器１１２、１１４は、退出する人物の検知を確認する。退出が検知された場合（パス２０４ｂで概略的に図示する）、出口カメラ１０２は、工程２０４において、ビデオ・フレーム又は静止画を記録する。退出が検知されない場合、このフローチャートはパス２０４ａに沿って進み、画像の取り込みを続けるか、或いは、カメラ１０２、１０４はイベントが発生するまで休止状態へ戻る。
【００３１】
次いで、セキュリティ監視システム１００は、工程２０８において、該構造物への再入場を探す。アラーム・システム１１０が所定時間限度内に該構造物への再入場を検知した場合（パス２０８ｂとして概略的に図示する）、工程２１０において、入口カメラ１０４からの画像の最後の部分がバッファから画像記録装置１１６内へ記録される。再入場がなければ、本システムはパス２０８ｃに沿って工程２１６へ進み、アラーム信号がトリガされる。
【００３２】
次いで、出入口カメラ１０２、１０４からの記録画像は、工程２１２において、コンピュータ・ビジョン・システム１２０によって分析され、その中の記述的特徴が一致するか工程２１４において判定される。一致すれば（すなわち、家を出た人物が後で再入場したと判断された場合）、本システムはパス２１４ａに沿って進み、退出の検知は工程３００において無視される。一致がみられなければ、本システムはパス２１４ｃ又は２１４ｂに沿って進むことができる。本システムがパス２１４ｃに沿って（破線で示す）工程２１６へ進む場合、アラーム信号は、入口カメラからの記録画像と共に中央監視サイト１１８に送信されることが好ましい。しかし、色分布が用いられ、ジャケットを羽織って退出した人物がジャケット無しで再入場した場合などの異なる記述的特徴を有する退出者が再入場した場合、更に、工程２２０において、顔認識を実行することができる。工程２２０において、その構造物へのアクセスを許された全員の顔などの記録画像データが、入口カメラ１０４からの記録画像と比較される。工程２２２において、一致がみられるか判断される。一致がみられない場合、本システムはパス２２２ｂに沿って工程２１６へ進み、アラームがトリガされる。一致がみられれば、本システムは、パス２２２ａに沿って工程３００へ進み、退出の検知が無視されるか、或いは、パス２２２ｃに沿って（破線で示す）進み、前述のように、アラーム信号及び／又は画像データが中央監視サイトへ送信される。
【００３３】
当業者には明らかなように、図２及び３に示すシステムは、前述の入退出の衝突を解決する。すなわち、権限ある人物が外出し、アラーム・システムを稼動させたが、該アラーム・システムを解除しないで再入場した場合、或いは、権限有る人物がアラーム・システムが稼動されている間に外出し、戻ってきた場合に、誤ったアラームがトリガされることがなくなる。
【００３４】
以上、本発明の好ましい実施形態と考えられるものについて図示し、説明したが、当然、本発明の意図を逸脱することなく、形又は詳細について様々な修正及び変更が容易に可能であることは明らかである。よって、本発明は、ここに説明され、図示されたちょうどその形に限定されることが意図されたものではなく、付属の請求項の範囲内に収まり得るすべての修正をカバーするものと解釈されるべきである。
【図面の簡単な説明】
【図１】 本発明のセキュリティ監視システムの概略図である。
【図２】 図１のセキュリティ監視システムによって解決される第一の入退出の衝突のフローチャートである。
【図３】 図１のセキュリティ監視システムによって解決される第二の入退出の衝突のフローチャートである。
（発明の背景）
（発明の属する技術分野）
本発明は、概して、セキュリティ監視システムに係り、特に、構造物から入退場する個人を認識して入退出の衝突を解決するコンピュータ・ビジョン・システムを有するセキュリティ監視システムに係る。
【０００２】
（従来技術）
従来のセキュリティ監視システム、特に住居用セキュリティ・システムは、ドア及び窓用の接触センサと、エリア監視用の１以上の赤外線センサとを監視するボックスを利用する。接触センサ又は赤外線センサがトリガされると、アラームが鳴り、電話線などのデータ・リンクを通じて中央監視サイトへ信号が送られる。中央監視サイトは、通常、その家の所有者、職場、及び／又は、指定された隣人へ複数の電話呼を発し、アラーム信号が、不法侵入者によるものか、或いは、親族又はその構造物の権限有る占有者によって偶然トリガされたものか、を判断する。
【０００３】
アラーム信号を電話呼によって解決することができなかった場合、それは地域の警察へ転送される。警察へ転送された呼のうち９５％は、不法侵入者によるものではないという意味で「誤ったアラーム」と判明する。
【０００４】
「誤ったアラーム」の大部分は、入退出の衝突と呼ばれるものによって生じる。例えば、住居用アラーム・システムの場合に、住居の所有者又は他の権限ある占有者は、該住居を離れている間にセキュリティ・システムを稼動させる場合が多く、その後間もなく、彼が家に忘れ物をしたことに気が付く、という状況を考える。彼らが家に戻ってきたとき、彼らはシステムを解除しないで入場し、それによってアラームが鳴らされ、及び／又はアラーム信号が中央監視サイトへ送られる。同様に、家の所有者がセキュリティ・システムを稼動させた状態で在宅しており（例えば、夜間など）、その後、何か（例えば、朝刊）を得るために家の外へ出た場合、それによって誤ったアラームがトリガされる。
【０００５】
従来技術について考えると、セキュリティ監視システムについては、上記及び他の種類の入退出の衝突を解決する必要がある。
【０００６】
（発明の開示）
よって、本発明の目的は、従来のセキュリティ監視システムにおける入退出の衝突を解決するセキュリティ監視システムを提供することである。
【０００７】
本発明の別の目的は、構造物への人の出入口を監視し、キー画像データを記録し、退出する人物を入場した人物と一致させるセキュリティ監視システムを提供することである。
【０００８】
このようにして、セキュリティ監視システムが提供される。このセキュリティ監視システムは、構造物の出口及び入口にそれぞれ配置された出口カメラ及び入口カメラと、上記構造物への個人の出入りを検知する検知器と、上記出入口カメラからの画像を記録する画像記録システムと、退出者と入場者とが同一人物であるかを判断するために、所定の基準を用いて、上記画像記録システムから送信された上記記録画像を分析するコンピュータ・ビジョン・システムと、を有する。上記出入口カメラはビデオ・カメラであって、上記画像はビデオ画像であるか、或いは、上記出入口カメラはディジタル・カメラであって、上記画像は静止画であることが好ましい。
【０００９】
このセキュリティ監視システムは、更に、退出者と入場者とが同一人物でないと判断された場合に、アラーム信号及び／又は上記記録画像の少なくとも一部をリモート・サイトへ送信する手段を更に有することが好ましい。別の方法として、このセキュリティ監視システムは、退出者と入場者とが同一人物である場合に、アラーム信号及び／又は上記記録画像の少なくとも一部をリモート・サイトへ送信してもよい。
【００１０】
本発明に係るセキュリティ監視システムの好ましい実施例において、退出者と入場者とが同一人物であるかを判断するための上記所定の基準は、上記記録画像の色、形状、又はテクスチャ分布などの上記退出者及び入場者の記述的特徴のマッチングを有する。
【００１１】
本発明に係るセキュリティ監視システムの別のより好ましい実施例において、このセキュリティ監視システムは、その構造物について権限ある各個人について画像データを記録するデータベースと、上記出入口カメラからの記録画像を上記データベースの記録画像データと比較し、入退出者が権限ある人物の１人であるかを判断する認識システムと、を更に有する。上記データベースの記録画像データは顔画像であり、上記認識システムは顔認識システムである、ことが好ましい。このより好ましい実施例において、本セキュリティ監視システムは、退出者と入場者とが同一人物でないと判断され、且つ権限ある人物のうちの１人でもないと判断された場合に、アラーム信号及び／又は上記記録画像の少なくとも一部をリモート・サイトへ送信する手段を更に有する。
【００１２】
構造物のセキュリティ監視を実行する方法も提供される。この方法は、上記構造物の出口及び入口の両方において画像を取り込む工程と、この取込工程の前又は後で、上記構造物への個人の出入りを検知する工程と、上記出入口カメラからの画像を記録する工程と、退出者と入場者とが同一人物であるかを判断するために、所定の基準を用いて、上記記録画像を分析する工程と、を有する。
【００１３】
この方法は、退出者と入場者とが同一人物でないと判断された場合に、アラーム信号及び／又は上記記録画像の少なくとも一部をリモート・サイトへ送信する工程を更に有することが好ましい。別の方法として、退出者と入場者とが同一人物である場合に、アラーム信号及び／又は上記記録画像の少なくとも一部を送信してもよい。
【００１４】
本発明に係る方法の好ましい実施例において、この方法は、上記構造物について権限ある各個人について画像データを記録する工程と、入退出者が権限ある人物の１人であるかを判断するために上記出入口カメラからの記録画像を上記記録画像データと比較する工程と、を更に有する。この本発明に係る方法の好ましい実施例は、退出者と入場者とが同一人物でないと判断され、且つ権限ある人物のうちの１人でもないと判断された場合に、アラーム信号及び／又は上記記録画像の少なくとも一部をリモート・サイトへ送信する工程を更に有する。
【００１５】
（発明の詳細な説明）
本発明の装置及び方法の上記及び他の特徴、態様、及び利点は、以下の説明、付属の請求項、及び添付図面について、より明らかにされる。
【００１６】
本発明は、様々な種類の数多くのセキュリティ監視システムに適用可能であるが、特に住居用セキュリティ監視システムの環境において便利であることがわかっている。よって、本発明の適用可能性を住居用セキュリティ監視システムに限定することなく、本発明は上記環境について説明される。
【００１７】
ここで図１を参照する。図１は、本発明に係るセキュリティ監視システム１００を示す。このセキュリティ監視システム１００は、住宅用家屋又は商業用ビルである構造物１０８のドア１０６の出口１０２ａ及び入口１０４ａにそれぞれ配置された出入口カメラ１０２、１０４を有する。ドア１０６は、一例として典型的な外面ドアとして図示されているが、これは本発明の範囲を限定するものではない。引き戸、巻き上げ式ドア、又はガレージ・ドアなどの構造物への出入口を提供するあらゆるものが本発明の対象となり得ることは当業者には明らかである。出入口カメラ１０２、１０４は、ビデオ・フレーム・シーケンスを供給するビデオ・カメラであることが好ましいが、代替的に静止画シーケンスを供給するディジタル・カメラであってもよい。さらに、出入口カメラ１０２、１０４は、固定タイプでもよく、パン・チルト・ズーム（ＰＴＺ）タイプでもよい。ビデオ・フレーム及び静止画の両シーケンスは、以下、包括的に、画像又は画像データと呼ばれる。出入口カメラ１０２、１０４は、ドア１０６のそばにマウントされ、それぞれ出口１０２ａ及び入口１０４ａの方を向いているように図示されている。しかし、この構成は、簡素化のためである。出入口カメラ１０２、１０４は、ここに参考文献として組み込まれる同時係属米国特許出願第０９／７３４７８０号（Ｄｏｃｋｅｔ Ｎｏ．７０１６６２，１３９３５）に記載されているように、ドア１０６にマウントされることが好ましい。
【００１８】
セキュリティ監視システムは、更に、アラーム・システム１１０を含む。このアラーム・システム１１０は、ドア１０６を通って構造物１０８へ出入りする個人を検知する検知器を有する。この検知器は、ドア１０６の上に配置された磁気ドア接触センサ１１２や該構造物のドア１０６のそばに配置された赤外線センサ１１４などのドア１０６の作動を検知する本分野で既知のあらゆる装置であってよい。別の方法として、この検知器は、ドア１０６のドアノブに配置されたセンサや、同時係属米国特許出願第０９／７３７８０号（Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ ７０１６６２，１３９３５）にも開示されているような背景変化検知システムであってもよい。この検知器は、更に、アラーム・システムを稼動させる活動、又は、ドア１０６のドアノブ又はキー・タンブラを回転させる活動などの検知器として機能し得るあらゆる装置であってもよい。
【００１９】
画像記録システム１１６は、検知器からのトリガによって、出入口カメラからの画像を記録する。すなわち、アラーム信号が通常は中央監視サイト１１８へ送信されるように検知器がトリガされると、画像記録システム１１６は出入口カメラ１０２、１０４からの画像を記録する。別の方法として、画像記録システム１１６は、所定量の現在の画像データが常に記録され、使用可能となるように新しい画像データが古い画像を上書きするバッファにすべての画像を記録することも可能である。画像記録システム１１６は、ハードドライブなどのストレージと画像取込カードとを有するコンピュータ又は他のあらゆるプロセッサであることが好ましい。しかし、画像記録システム１１６は、本発明の範囲及び意図を逸脱することなく、本分野で既知のあらゆる種類のものでよい。
【００２０】
コンピュータ・ビジョン・システム１２０は、退出者と入場者とが同一人物であるか否かを判定するために、所定の基準を用いて、画像記録システム１１６から送信された記録画像を分析する。コンピュータ・ビジョン・アルゴリズムは、その人物の記述的特徴を抽出することが好ましい。これら記述的特徴は、画像の色、テクスチャ、又は形状分布の１又は組み合わせに基づくことが好ましい。この記述的特徴は、彼／彼女の衣服などのその人物の特定のエリアに焦点が合わせられている。入退出者の画像の記述的特徴は、抽出され、比較される。入退出者間で一致がなかった場合、アラーム信号がトリガされ、電話線（ＰＯＴＳ）などのデータ・リンク１１９を通じて中央監視サイト１１８へ送信される。入退出者のいずれかの画像も中央監視サイト１１８へ送信されることが好ましい。コンピュータ・ビジョン・システム１２０は、例えば、ここに参考文献として組み込まれる同時係属米国特許出願第０９／７０３４２３号（Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ ７０１２５４）において開示されているシステムである。しかし、当業者には明らかなように、コンピュータ・ビジョン・システム１２０は、本発明の範囲及び意図を逸脱しない本分野において既知のあらゆる装置であってよく、例えば、ここに参考文献として組み込まれるＲａｊａらによる「Ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ Ｕｓｉｎｇ Ｃｏｌｏｕｒ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌｓ」，３ｒｄ Ａｓｉａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，Ｖｏｌ．１，ｐｐ．６０７〜６１４，Ｈｏｎｇ Ｋｏｎｇ、Ｃｈｉｎａ、１９９８年１月、に開示されたものであってもよい。
【００２１】
本発明に係るセキュリティ監視システム１００の好ましい実施例は、その構造物について権限を有する各人物の例えば顔などの画像データを記録するデータベース１２２をも含む。住居用家屋の場合、その家に住む人々の顔が、好ましくは出入口カメラ１０２、１０４によって記録され、データベース１２２に格納される。コンピュータ・ビジョン・システム１２０が入退出者が同一人物でないと判断した場合、アラームをトリガする代わりに、セキュリティ監視システム１００は、代替的に、出入口カメラからの記録画像をデータベース１２２の記録画像データ（例えば、顔）と比較する認識システム１２４を利用することができる。出入口カメラからの記録画像とデータベース１２２の記録画像データとの間に一致が見られなければ、本システムは、上述のように処理を進め、アラーム信号をトリガし、及び／又は入退出者のいずれかの画像を中央監視サイト１１８へ送信する。例えば、Ｓ．Ｇｕｔｔａらによる「Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｓｉｘｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ」，ｐｇｓ．６４６〜６５１，ＩＥＥＥ，１９９８年１月４〜７日，インド、ボンベイ、に記載されているような顔認識アルゴリズム及びシステムは、本分野では良く知られている。
【００２２】
コンピュータ・ビジョン・システム１２０からの入退出者の比較、又は、出入口カメラからの記録画像とデータベース１２２の記録画像データとの比較、のいずれかが一致した場合、アラームはトリガされない。すなわち、通常であればアラームをトリガし得る退出又は入場は無視される。別の方法として、別の方法として、「不法の」退出又は入場の際にアラーム信号が送信され、入退出者が同一人物であると判断された場合には続けて取消信号が送信されるようにしてもよい。さらに、入退出者が同一人物であると判断された場合であっても、アラーム信号及び／又は画像データの一部が中央監視サイトへ送信されてもよい。例えば、その人物がその構造物について立ち入りが許されたメイドだと判断された場合、画像データは、後で、そのメイドが家から財産を盗んだという証拠を支持又は否定するのに用いることができる。
【００２３】
個々人の顔及び記述的特徴の組み合わせも、その人物が権限あるものであるかを確かめる１つの方法として用いることができる。これは、以下に述べるように順に行われてもよく、並行して行われてもよい。
【００２４】
以上、特定の入退出の衝突を参照せずに、図１を参照して、セキュリティ監視システム１００について包括的に説明した。次いで、図２及び３を参照して、２つの特定の入退出の衝突について説明する。しかし、当業者には明らかなように、上記包括的説明は、あらゆる入退出の衝突をカバーすることが意図されているため、図２及び３について説明される入退出の衝突又はあらゆる１つの特定の入退出の衝突に限定されない。
【００２５】
ここで図２のフローチャートを参照する。図２は、アラーム・システム１１０が「稼動」され、構造物１０８への入場がアラームをトリガさせ、アラーム信号を中央監視サイト１１８へ送信させる場合について、本発明に係るセキュリティ監視システムを提供する方法を示す。これは、権限ある人物がアラーム・システム１１０を「稼動」させ、構造物１０８から出て、その後すぐにその人物が構造物１０８内に忘れ物をしたために、アラーム・システム１１０を解除しないで戻ってきた場合などである。
【００２６】
工程２００において、出入口カメラ１０２、１０４は、構造物１０８のドア１０６の出入口１０２ａ、１０４ａからの画像を取り込む。別の方法として、該カメラは、ドア１０６のドアノブ又はキー・タンブラの回転や、ドア１０６上の又は近くのセンサのトリガ、背景モデルを用いた検知などのイベントが発生したときに、画像データを取り込むために作動し始めるようにしてもよい。工程２０２において、１以上の検知器１１２、１１４は、退出する人物の検知を確認する。退出が検知された場合（パス２０４ｂで概略的に図示する）、出口カメラ１０２は、工程２０４において、バッファ（データベース１２２でもよい）からのビデオ・フレーム又は静止画の最後の所定部分を記録する。別の方法として、出口カメラ１０２が画像を取り込み、画像認識システム１１６が権限ある人物がアラーム・システムを「稼動」させたときなどのイベントが検知されると上記画像を記録してもよい。この場合、出口カメラ１０２は、アラーム・システムを稼動させるところも取り込み、記録することができる。退出が検知されない場合、このフローチャートはパス２０４ａに沿って進み、カメラ１０２、１０４は画像の取り込みを続けるか、或いはイベント発生時の画像取込以前の休止状態へ戻る。
【００２７】
次いで、セキュリティ監視システム１００は、工程２０８において、該構造物への再入場を探す。アラーム・システム１１０が所定時間限度内に該構造物への再入場を検知した場合（パス２０８ｂとして概略的に図示する）、工程２１０において、入口カメラ１０４からの画像が画像記録装置１１６内へ記録される又はバッファから取り出され入れられる。再入場がなければ、本システムはパス２０８ａに沿って工程２００へ進み、出入口カメラからの画像を取り込む。
【００２８】
次いで、出入口カメラ１０２、１０４からの記録画像は、工程２１２において、コンピュータ・ビジョン・システム１２０によって分析され、その中の記述的特徴が一致するか工程２１４において判定される。一致すれば（すなわち、家を出た人物が後で再入場したと判断された場合）、本システムはパス２１４ａに沿って進み、再入場の検知は工程２１８において無視される。一致がみられなければ、本システムはパス２１４ｃ又は２１４ｂに沿って進むことができる。本システムがパス２１４ｃに沿って（破線で示す）工程２１６へ進む場合、アラーム信号は、入口カメラからの記録画像と共に中央監視サイト１１８に送信されることが好ましい。しかし、色分布が用いられ、ジャケットを羽織って退出した人物がジャケット無しで再入場した場合などの異なる記述的特徴を有する退出者が再入場した場合、更に、工程２２０において、顔認識を実行することができる。工程２２０において、その構造物へのアクセスを許された全員の顔などの記録画像データが、入口カメラ１０４からの記録画像と比較される。工程２２２において、一致がみられるか判断される。一致がみられない場合、本システムはパス２２２ｂに沿って工程２１６へ進み、アラームがトリガされる。一致がみられれば、本システムは、パス２２２ａに沿って工程２１８へ進み、再入場の検知が無視されるか、或いは、パス２２２ｃに沿って（破線で示す）進み、前述のように、アラーム信号及び／又は画像データが中央監視サイトへ送信される。
【００２９】
次いで、図３を参照する。図３は、アラーム・システム１１０が「稼動」され、構造物１０８からの退出がアラームをトリガさせ、アラーム信号を中央監視サイト１１８へ送信させる場合について、本発明に係るセキュリティ監視システムを提供する方法を示す。これは、権限ある人物がアラーム・システムを夜間「稼動」させ、起床後、該アラーム・システムを解除せずに該構造物から出て、その後すぐにたぶん朝刊を持って戻ってきた場合などである。図３における同じ符番は、図２を参照して既に述べたのと同じ工程を示す。
【００３０】
工程２００において、出入口カメラ１０２、１０４は、構造物１０８のドア１０６の出入口１０２ａ、１０４ａからの画像を取り込む。工程２０２において、１以上の検知器１１２、１１４は、退出する人物の検知を確認する。退出が検知された場合（パス２０４ｂで概略的に図示する）、出口カメラ１０２は、工程２０４において、ビデオ・フレーム又は静止画を記録する。退出が検知されない場合、このフローチャートはパス２０４ａに沿って進み、画像の取り込みを続けるか、或いは、カメラ１０２、１０４はイベントが発生するまで休止状態へ戻る。
【００３１】
次いで、セキュリティ監視システム１００は、工程２０８において、該構造物への再入場を探す。アラーム・システム１１０が所定時間限度内に該構造物への再入場を検知した場合（パス２０８ｂとして概略的に図示する）、工程２１０において、入口カメラ１０４からの画像の最後の部分がバッファから画像記録装置１１６内へ記録される。再入場がなければ、本システムはパス２０８ｃに沿って工程２１６へ進み、アラーム信号がトリガされる。
【００３２】
次いで、出入口カメラ１０２、１０４からの記録画像は、工程２１２において、コンピュータ・ビジョン・システム１２０によって分析され、その中の記述的特徴が一致するか工程２１４において判定される。一致すれば（すなわち、家を出た人物が後で再入場したと判断された場合）、本システムはパス２１４ａに沿って進み、退出の検知は工程３００において無視される。一致がみられなければ、本システムはパス２１４ｃ又は２１４ｂに沿って進むことができる。本システムがパス２１４ｃに沿って（破線で示す）工程２１６へ進む場合、アラーム信号は、入口カメラからの記録画像と共に中央監視サイト１１８に送信されることが好ましい。しかし、色分布が用いられ、ジャケットを羽織って退出した人物がジャケット無しで再入場した場合などの異なる記述的特徴を有する退出者が再入場した場合、更に、工程２２０において、顔認識を実行することができる。工程２２０において、その構造物へのアクセスを許された全員の顔などの記録画像データが、入口カメラ１０４からの記録画像と比較される。工程２２２において、一致がみられるか判断される。一致がみられない場合、本システムはパス２２２ｂに沿って工程２１６へ進み、アラームがトリガされる。一致がみられれば、本システムは、パス２２２ａに沿って工程３００へ進み、退出の検知が無視されるか、或いは、パス２２２ｃに沿って（破線で示す）進み、前述のように、アラーム信号及び／又は画像データが中央監視サイトへ送信される。
【００３３】
当業者には明らかなように、図２及び３に示すシステムは、前述の入退出の衝突を解決する。すなわち、権限ある人物が外出し、アラーム・システムを稼動させたが、該アラーム・システムを解除しないで再入場した場合、或いは、権限有る人物がアラーム・システムが稼動されている間に外出し、戻ってきた場合に、誤ったアラームがトリガされることがなくなる。
【００３４】
以上、本発明の好ましい実施形態と考えられるものについて図示し、説明したが、当然、本発明の意図を逸脱することなく、形又は詳細について様々な修正及び変更が容易に可能であることは明らかである。よって、本発明は、ここに説明され、図示されたちょうどその形に限定されることが意図されたものではなく、付属の請求項の範囲内に収まり得るすべての修正をカバーするものと解釈されるべきである。
【図面の簡単な説明】
【図１】 本発明のセキュリティ監視システムの概略図である。
【図２】 図１のセキュリティ監視システムによって解決される第一の入退出の衝突のフローチャートである。
【図３】 図１のセキュリティ監視システムによって解決される第二の入退出の衝突のフローチャートである。
Claims (18)
- 構造物の出口及び入口にそれぞれ配置された出口カメラ及び入口カメラと、
前記出口カメラ及び入口カメラにより撮像された画像をそれぞれ記録する画像記録システムと、
前記画像記録システムに記録された前記出口カメラにより撮像された画像及び入口カメラにより撮像された画像を分析し、退出者と入場者とが同一人物であるか否かを所定の基準を用いて判断するコンピュータ・ビジョン・システムと、
前記構造物について権限ある人物の各々について画像データを記録するデータベースと、
前記コンピュータ・ビジョン・システムが退出者と入場者とが同一人物でないと判断したときに、前記出口カメラ及び入口カメラによりそれぞれ撮像された画像を前記データベースに記録された画像データと比較し、退出者又は入場者が権限ある人物の１人であるか否かを判断する認識システムと、を有することを特徴とするセキュリティ監視システム。 - 請求項１記載のセキュリティ監視システムであって、
前記コンピュータ・ビジョン・システムが退出者と入場者とが同一人物でないと判断したときに、アラーム信号を発する手段を更に有する、ことを特徴とするセキュリティ監視システム。 - 請求項１記載のセキュリティ監視システムであって、
前記コンピュータ・ビジョン・システムが退出者と入場者とが同一人物でないと判断したときに、前記画像記録システムに記録された画像の少なくとも一部をリモート・サイトへ送信する手段を更に有する、ことを特徴とするセキュリティ監視システム。 - 請求項３記載のセキュリティ監視システムであって、
前記データベースに記録された画像データは顔画像であり、
前記認識システムは顔認識システムである、ことを特徴とするセキュリティ監視システム。 - 請求項３記載のセキュリティ監視システムであって、
前記コンピュータ・ビジョン・システムが退出者と入場者とが同一人物でないと判断し、且つ、前記認識システムが退出者又は入場者が権限ある人物のうちの１人でないと判断したときに、アラーム信号を発する手段を更に有する、ことを特徴とするセキュリティ監視システム。 - 請求項３記載のセキュリティ監視システムであって、
前記コンピュータ・ビジョン・システムが退出者と入場者とが同一人物でないと判断し、且つ、前記認識システムが退出者又は入場者が権限ある人物のうちの１人でないと判断したときに、前記画像記録システムに記録された画像の少なくとも一部をリモート・サイトへ送信する手段を更に有する、ことを特徴とするセキュリティ監視システム。 - 請求項１乃至６のいずれか一項記載のセキュリティ監視システムであって、
前記所定の基準は、前記退出者及び入場者の記述的特徴のマッチングを有する、ことを特徴とするセキュリティ監視システム。 - 請求項７記載のセキュリティ監視システムであって、
前記記述的特徴は、前記画像記録システムに記録された画像の色、形状、又はテクスチャ分布のうちの１以上から成るグループから選択される、ことを特徴とするセキュリティ監視システム。 - 請求項１乃至８のいずれか一項記載のセキュリティ監視システムであって、
前記画像記録システムは、所定のイベントが発生したときに、前記出口カメラ及び入口カメラにより撮像された画像を記録する、ことを特徴とするセキュリティ監視システム。 - 請求項９記載のセキュリティ監視システムであって、
前記構造物への個人の出入りを検知する検知器を更に有し、
前記所定のイベントの発生は、前記検知器による前記構造物への個人の出入りの検知である、ことを特徴とするセキュリティ監視システム。 - 請求項１０記載のセキュリティ監視システムであって、
前記検知器は、前記構造物の出入口ドアに配置されたドア接触センサである、ことを特徴とするセキュリティ監視システム。 - 請求項１０記載のセキュリティ監視システムであって、
前記検知器は、前記構造物の出入口ドアに配置された赤外線センサである、ことを特徴とするセキュリティ監視システム。 - 構造物のセキュリティ監視を実行する方法であって、
前記構造物の出口及び入口において退出者及び入場者の画像をそれぞれ撮像し、
撮像された画像を記録し、
記録された退出者及び入場者の画像を分析して、退出者と入場者とが同一人物であるか否かを所定の基準を用いて判断し、
退出者と入場者とが同一人物でないと判断されたとき、前記出口及び入口においてそれぞれ撮像された退出者及び入場者の画像を予め記録された権限ある人物の画像データと比較して、退出者又は入場者が権限ある人物の１人であるか否かを判断する、ことを特徴とする方法。 - 請求項１３記載の方法であって、
退出者と入場者とが同一人物でないと判断されたときに、アラーム信号を発する、ことを特徴とする方法。 - 請求項１３記載の方法であって、
退出者と入場者とが同一人物でないと判断されたときに、前記記録された退出者及び入場者の画像の少なくとも一部をリモート・サイトへ送信する、ことを特徴とする方法。 - 請求項１５記載の方法であって、
退出者と入場者とが同一人物でないと判断され、且つ、退出者又は入場者が権限ある人物のうちの１人でないと判断されたときに、アラーム信号を発する、ことを特徴とする方法。 - 請求項１５記載の方法であって、
退出者と入場者とが同一人物でないと判断され、且つ、退出者又は入場者が権限ある人物のうちの１人でないと判断されたときに、前記出口及び入口においてそれぞれ撮像された退出者及び入場者の画像の少なくとも一部をリモート・サイトへ送信する、ことを特徴とする方法。 - 請求項１３乃至１７のいずれか一項記載の方法であって、
前記構造物の出口及び入口においてそれぞれ撮像された退出者及び入場者の画像は、前記構造物への個人の出入りが検知されたときに記録される、ことを特徴とする方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/734,820 US6744462B2 (en) | 2000-12-12 | 2000-12-12 | Apparatus and methods for resolution of entry/exit conflicts for security monitoring systems |
| PCT/EP2001/013818 WO2002048971A2 (en) | 2000-12-12 | 2001-11-26 | Apparatus and methods for resolution of entry/exit conflicts for security monitoring systems |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004516557A JP2004516557A (ja) | 2004-06-03 |
| JP4101655B2 true JP4101655B2 (ja) | 2008-06-18 |
Family
ID=24953196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002550606A Expired - Lifetime JP4101655B2 (ja) | 2000-12-12 | 2001-11-26 | セキュリティ監視システムにおける入退出の衝突を解決する装置及び方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6744462B2 (ja) |
| EP (1) | EP1346327B1 (ja) |
| JP (1) | JP4101655B2 (ja) |
| CN (1) | CN1276396C (ja) |
| WO (1) | WO2002048971A2 (ja) |
Families Citing this family (62)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4177598B2 (ja) * | 2001-05-25 | 2008-11-05 | 株式会社東芝 | 顔画像記録装置、情報管理システム、顔画像記録方法、及び情報管理方法 |
| US7079992B2 (en) * | 2001-06-05 | 2006-07-18 | Siemens Corporate Research, Inc. | Systematic design analysis for a vision system |
| US20030040925A1 (en) * | 2001-08-22 | 2003-02-27 | Koninklijke Philips Electronics N.V. | Vision-based method and apparatus for detecting fraudulent events in a retail environment |
| US20030078905A1 (en) * | 2001-10-23 | 2003-04-24 | Hans Haugli | Method of monitoring an enclosed space over a low data rate channel |
| GB2381551A (en) * | 2001-10-31 | 2003-05-07 | Michael James Wingrave Hall | Security system for a flight deck door |
| JP2003284053A (ja) * | 2002-03-27 | 2003-10-03 | Minolta Co Ltd | 監視カメラシステムおよび監視カメラ制御装置 |
| US7397929B2 (en) | 2002-09-05 | 2008-07-08 | Cognex Technology And Investment Corporation | Method and apparatus for monitoring a passageway using 3D images |
| US7400744B2 (en) | 2002-09-05 | 2008-07-15 | Cognex Technology And Investment Corporation | Stereo door sensor |
| US7039237B2 (en) * | 2002-10-14 | 2006-05-02 | Eastman Kodak Company | Method and system for preventing abduction of a person |
| NL1022036C2 (nl) * | 2002-11-29 | 2004-06-03 | Mobile Observation Systems B V | Inrichting voor het registreren van visuele informatie, samenstel van een tribune en een dergelijke inrichting, stadion, en werkwijze voor het houden van visueel toezicht op personen in een stadion. |
| US7990279B2 (en) * | 2003-01-15 | 2011-08-02 | Bouressa Don L | Emergency ingress/egress monitoring system |
| US7325002B2 (en) * | 2003-04-04 | 2008-01-29 | Juniper Networks, Inc. | Detection of network security breaches based on analysis of network record logs |
| EP1633950B1 (en) * | 2003-06-16 | 2010-01-13 | Secumanagement B.V. | Sensor arrangements, systems and method in relation to automatic door openers |
| WO2005050583A1 (fr) * | 2003-08-15 | 2005-06-02 | Ziyi Cheng | Systeme d'alarme pour protection d'automobiles avec identification de visage et fonction de communication sans fil |
| US8326084B1 (en) | 2003-11-05 | 2012-12-04 | Cognex Technology And Investment Corporation | System and method of auto-exposure control for image acquisition hardware using three dimensional information |
| US7623674B2 (en) | 2003-11-05 | 2009-11-24 | Cognex Technology And Investment Corporation | Method and system for enhanced portal security through stereoscopy |
| CN100395528C (zh) * | 2003-12-11 | 2008-06-18 | 虹光精密工业（苏州）有限公司 | 温度感测装置 |
| US7532709B2 (en) * | 2005-02-04 | 2009-05-12 | Styers Justin R | Remote garage door monitoring system |
| US20060221182A1 (en) * | 2005-04-01 | 2006-10-05 | Sham John C | Security surveillance viewing and recording assembly |
| US7583815B2 (en) * | 2005-04-05 | 2009-09-01 | Objectvideo Inc. | Wide-area site-based video surveillance system |
| US20080291278A1 (en) * | 2005-04-05 | 2008-11-27 | Objectvideo, Inc. | Wide-area site-based video surveillance system |
| US7504942B2 (en) * | 2006-02-06 | 2009-03-17 | Videoiq, Inc. | Local verification systems and methods for security monitoring |
| CN100446043C (zh) * | 2007-02-06 | 2008-12-24 | 重庆大学 | 基于生物传感和图像信息融合的视频安防监控方法 |
| EP2075400B1 (en) * | 2007-12-31 | 2012-08-08 | March Networks S.p.A. | Video monitoring system |
| JP5084550B2 (ja) * | 2008-02-25 | 2012-11-28 | キヤノン株式会社 | 入室監視システム、開錠指示装置及びその制御方法、並びに、プログラム |
| JP5004845B2 (ja) * | 2008-03-26 | 2012-08-22 | キヤノン株式会社 | 監視端末装置およびその表示処理方法，プログラム，メモリ |
| EP2618290A3 (en) * | 2008-04-02 | 2014-08-06 | Google, Inc. | Method and apparatus to incorporate automatic face recognition in digital image collections |
| EP2154653A1 (de) * | 2008-07-21 | 2010-02-17 | SkiData AG | Zugangskontrollsystem |
| US20100164680A1 (en) * | 2008-12-31 | 2010-07-01 | L3 Communications Integrated Systems, L.P. | System and method for identifying people |
| US20100271456A1 (en) * | 2009-04-27 | 2010-10-28 | Future Vision Inc. | Conference details recording system |
| KR101213181B1 (ko) * | 2010-11-05 | 2012-12-18 | 조희문 | 보안기능이 강화된 도어록 시스템 |
| US20130030875A1 (en) * | 2011-07-29 | 2013-01-31 | Panasonic Corporation | System and method for site abnormality recording and notification |
| CN103679988B (zh) * | 2012-09-14 | 2016-12-21 | 成都扬帆电力制造有限公司 | 一种区域性入侵报警装置 |
| CN102915582A (zh) * | 2012-09-24 | 2013-02-06 | 南京信息工程大学 | 一种基于人脸识别的住宅访客系统 |
| CN103971487B (zh) * | 2013-01-28 | 2016-04-27 | 鸿富锦精密工业（深圳）有限公司 | 安全监控系统及安全监控方法 |
| CN103279999A (zh) * | 2013-05-14 | 2013-09-04 | 苏州福丰科技有限公司 | 基于人脸识别的打卡系统 |
| CN103235942A (zh) * | 2013-05-14 | 2013-08-07 | 苏州福丰科技有限公司 | 一种应用于门禁的人脸识别方法 |
| CN103279740B (zh) * | 2013-05-15 | 2016-06-29 | 吴玉平 | 一种利用动态数据库加速智能监控人脸识别的方法和系统 |
| CN103606232A (zh) * | 2013-11-21 | 2014-02-26 | 郑州中智电子科技有限公司 | 一种商店防盗系统及其方法 |
| IL231789A0 (en) * | 2014-03-27 | 2014-08-31 | Fst21 Ltd | System and method for detecting fraud attempts of an access control system |
| CN104536389A (zh) * | 2014-11-27 | 2015-04-22 | 苏州福丰科技有限公司 | 一种基于三维人脸识别技术的智能家居系统及实现方法 |
| CN104751550B (zh) * | 2015-03-30 | 2018-10-19 | 大唐信阳发电有限责任公司 | 网络报警智能门锁系统 |
| EP3341916A4 (en) * | 2015-08-24 | 2019-04-03 | Fst21 Ltd. | SYSTEM AND METHOD FOR MOVEMENT IDENTIFICATION |
| CN106408715A (zh) * | 2016-09-30 | 2017-02-15 | 防城港市港口区高光信息技术有限公司 | 一种家庭防盗门管理系统 |
| US11341779B2 (en) * | 2017-08-04 | 2022-05-24 | Nec Corporation | Information processing apparatus, control method, and program |
| US11627289B1 (en) * | 2017-09-19 | 2023-04-11 | Amazon Technologies, Inc. | Activating security system alarms based on data generated by audio/video recording and communication devices |
| US10388132B2 (en) * | 2017-11-17 | 2019-08-20 | Motorola Solutions, Inc. | Systems and methods for surveillance-assisted patrol |
| JP7022323B2 (ja) * | 2018-02-27 | 2022-02-18 | セイコーエプソン株式会社 | 画像表示システム、画像表示装置及び画像表示システムの制御方法 |
| US10812450B2 (en) * | 2018-05-30 | 2020-10-20 | Cognosante Holdings, Llc | Protecting the integrity and privacy of data shared over a remote connection from risks in the remote environment |
| CN109118625B (zh) * | 2018-08-07 | 2021-02-05 | 河南云拓智能科技有限公司 | 一种云智能中控机的控制方法 |
| CN110874906B (zh) * | 2018-09-04 | 2022-08-16 | 杭州海康威视系统技术有限公司 | 开启布防功能的方法和装置 |
| CN110084183A (zh) * | 2019-04-25 | 2019-08-02 | 杭州鸿雁电器有限公司 | 确定人员进出区域的方法和系统 |
| US11126830B2 (en) * | 2019-09-17 | 2021-09-21 | Verizon Media Inc. | Computerized system and method for adaptive stranger detection |
| SE1951220A1 (en) * | 2019-10-25 | 2021-04-26 | Assa Abloy Ab | Controlling camera-based supervision of a physical space |
| GB2593209A (en) * | 2020-03-20 | 2021-09-22 | Tj Morris Ltd | Security System |
| JP7521251B2 (ja) | 2020-04-27 | 2024-07-24 | 三菱電機ビルソリューションズ株式会社 | 監視制御装置及び監視制御システム |
| CN111798628A (zh) * | 2020-07-03 | 2020-10-20 | 陈泽坤 | 一种锁扣式劳动工具的管理方法 |
| CN111710087A (zh) * | 2020-07-22 | 2020-09-25 | 深圳市微露智能科技有限公司 | 一种双向智能视频监管系统及其使用方法 |
| US11443510B2 (en) * | 2020-08-03 | 2022-09-13 | Motorola Solutions, Inc. | Method, system and computer program product that provides virtual assistance in facilitating visual comparison |
| US11893875B1 (en) * | 2020-09-30 | 2024-02-06 | Vivint, Inc. | Continuous active mode for security and automation systems |
| CN113298993A (zh) * | 2021-04-29 | 2021-08-24 | 杭州魔点科技有限公司 | 一种基于人脸识别的人员进出管理方法和系统 |
| CN116504011B (zh) * | 2023-06-21 | 2023-10-27 | 广东广宇科技发展有限公司 | 一种基于数字孪生的智能安防监控预警方法及系统 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2223614A (en) | 1988-08-30 | 1990-04-11 | Gerald Victor Waring | Identity verification |
| JPH02151996A (ja) * | 1988-12-03 | 1990-06-11 | Toshiba Corp | 入室管理システム |
| US5097328A (en) * | 1990-10-16 | 1992-03-17 | Boyette Robert B | Apparatus and a method for sensing events from a remote location |
| US5657076A (en) | 1993-01-12 | 1997-08-12 | Tapp; Hollis M. | Security and surveillance system |
| US5704008A (en) * | 1993-12-13 | 1997-12-30 | Lojack Corporation | Method of and apparatus for motor vehicle security assurance employing voice recognition control of vehicle operation |
| WO1996003839A1 (en) * | 1994-07-26 | 1996-02-08 | Maxpro Systems Pty. Ltd. | A video security system |
| US5602933A (en) * | 1995-03-15 | 1997-02-11 | Scientific-Atlanta, Inc. | Method and apparatus for verification of remotely accessed data |
| US5982418A (en) | 1996-04-22 | 1999-11-09 | Sensormatic Electronics Corporation | Distributed video data storage in video surveillance system |
| US5831669A (en) | 1996-07-09 | 1998-11-03 | Ericsson Inc | Facility monitoring system with image memory and correlation |
| US5991429A (en) * | 1996-12-06 | 1999-11-23 | Coffin; Jeffrey S. | Facial recognition system for security access and identification |
| US6111517A (en) * | 1996-12-30 | 2000-08-29 | Visionics Corporation | Continuous video monitoring using face recognition for access control |
| US6119096A (en) * | 1997-07-31 | 2000-09-12 | Eyeticket Corporation | System and method for aircraft passenger check-in and boarding using iris recognition |
| US6069655A (en) | 1997-08-01 | 2000-05-30 | Wells Fargo Alarm Services, Inc. | Advanced video security system |
| GB2329542B (en) | 1997-09-17 | 2002-03-27 | Sony Uk Ltd | Security control system and method of operation |
| GB2329497B (en) * | 1997-09-19 | 2001-01-31 | Ibm | Method for controlling access to electronically provided services and system for implementing such method |
| US6128397A (en) * | 1997-11-21 | 2000-10-03 | Justsystem Pittsburgh Research Center | Method for finding all frontal faces in arbitrarily complex visual scenes |
| JPH11328405A (ja) | 1998-05-11 | 1999-11-30 | Mitsubishi Electric Corp | 顔形判別装置 |
| GB9811586D0 (en) | 1998-05-30 | 1998-07-29 | Stevenson Neil J | A vehicle entry/exit control system |
| US6570608B1 (en) * | 1998-09-30 | 2003-05-27 | Texas Instruments Incorporated | System and method for detecting interactions of people and vehicles |
| GB2343945B (en) | 1998-11-18 | 2001-02-28 | Sintec Company Ltd | Method and apparatus for photographing/recognizing a face |
| WO2000068908A1 (en) * | 1999-05-07 | 2000-11-16 | Safety Adherence Technology (Pty) Ltd | Surveillance system |
-
2000
- 2000-12-12 US US09/734,820 patent/US6744462B2/en not_active Expired - Lifetime
-
2001
- 2001-11-26 WO PCT/EP2001/013818 patent/WO2002048971A2/en active Application Filing
- 2001-11-26 CN CNB018080405A patent/CN1276396C/zh not_active Expired - Lifetime
- 2001-11-26 EP EP01984767.2A patent/EP1346327B1/en not_active Expired - Lifetime
- 2001-11-26 JP JP2002550606A patent/JP4101655B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US20020071033A1 (en) | 2002-06-13 |
| US6744462B2 (en) | 2004-06-01 |
| EP1346327B1 (en) | 2017-11-08 |
| EP1346327A2 (en) | 2003-09-24 |
| WO2002048971A2 (en) | 2002-06-20 |
| CN1423804A (zh) | 2003-06-11 |
| JP2004516557A (ja) | 2004-06-03 |
| WO2002048971A3 (en) | 2002-10-31 |
| CN1276396C (zh) | 2006-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4101655B2 (ja) | セキュリティ監視システムにおける入退出の衝突を解決する装置及び方法 | |
| JP3974038B2 (ja) | 監視・偵察システムにおける軌道分析を用いた侵入者検知 | |
| JP3872014B2 (ja) | Ｃｃｔｖベースの住宅向けセキュリティ・モニタリングのために遠隔なステーションに送信する最適なビデオフレームを選択する方法及び装置 | |
| EP1346328B1 (en) | Method and apparatus to reduce false alarms in exit/entrance situations for residential security monitoring | |
| KR101387628B1 (ko) | 출입 통제 통합 영상 저장 장치 | |
| US20070268145A1 (en) | Automated tailgating detection via fusion of video and access control | |
| US20020070858A1 (en) | Placement of camera in door for face recognition-based security systems | |
| KR101838858B1 (ko) | 생체인식 기능을 이용한 출입통제 시스템 및 이를 이용한 출입구 제어방법 | |
| US20120169880A1 (en) | Method and system for video-based gesture recognition to assist in access control | |
| JP4525351B2 (ja) | セキュリティ装置 | |
| CN210129251U (zh) | 具有边缘识别的门禁 | |
| KR20200023944A (ko) | 출입자 감시기능을 갖는 중문 시스템 | |
| JP2005094642A (ja) | 監視カメラシステム | |
| JP2003067869A (ja) | 入出管理装置 | |
| KR20230169497A (ko) | 비인가 출입자의 출입동선을 분석할 수 있는 출입영상 저장장치 | |
| JP2003169322A (ja) | 防犯機能を有する外部視認システム | |
| JPH07225281A (ja) | 熱放射物体の検知方法および装置 | |
| Valarmathi et al. | Design and Implementation of Secured Contactless Doorbell using IOT | |
| JPH11120455A (ja) | 入室管理システム | |
| JP2006139573A (ja) | 建屋管理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060822 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20061121 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20061129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070515 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070814 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070821 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071114 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080319 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110328 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4101655 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130328 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140328 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |