Nothing Special   »   [go: up one dir, main page]

JP2007026301A - 停止低速車両検出装置及び停止低速車両検出方法 - Google Patents

停止低速車両検出装置及び停止低速車両検出方法 Download PDF

Info

Publication number
JP2007026301A
JP2007026301A JP2005210235A JP2005210235A JP2007026301A JP 2007026301 A JP2007026301 A JP 2007026301A JP 2005210235 A JP2005210235 A JP 2005210235A JP 2005210235 A JP2005210235 A JP 2005210235A JP 2007026301 A JP2007026301 A JP 2007026301A
Authority
JP
Japan
Prior art keywords
vehicle
traffic
low
speed
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005210235A
Other languages
English (en)
Other versions
JP4600929B2 (ja
Inventor
Shinobu Sawai
忍 澤井
Yoshihisa Kazuno
慶久 数野
Seiya Tazawa
誠也 田沢
Eiichi Hasegawa
栄一 長谷川
Shunsuke Kamijo
俊介 上條
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
METROPOLITAN EXPRESSWAY PUBLIC CORP
University of Tokyo NUC
Panasonic Holdings Corp
Original Assignee
METROPOLITAN EXPRESSWAY PUBLIC CORP
University of Tokyo NUC
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by METROPOLITAN EXPRESSWAY PUBLIC CORP, University of Tokyo NUC, Matsushita Electric Industrial Co Ltd filed Critical METROPOLITAN EXPRESSWAY PUBLIC CORP
Priority to JP2005210235A priority Critical patent/JP4600929B2/ja
Publication of JP2007026301A publication Critical patent/JP2007026301A/ja
Application granted granted Critical
Publication of JP4600929B2 publication Critical patent/JP4600929B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 交通官制上必要な交通阻害要因のみを検出することが可能な停止低速車両検出装置及び停止低速車両検出方法を提供すること。
【解決手段】 停止低速車両認識部2は、道路上の車両を撮影した撮影画像に基づいて、停止状態又は低速状態にある停止低速車両を認識する。渋滞流判定部4は、交通状態量測定部3によって測定された交通状態量と渋滞判定しきい値とを比較して、交通流状態が渋滞流か否かを判定する。交通流異常判定部5は、停止低速車両認識部2により停止低速車両が認識されると、渋滞流判定手段による判定が渋滞流である場合には停止低速車両の認識を解除し、渋滞流判定手段による判定が渋滞流でない場合には交通流に異常があると判定する。交通流異常検出部6は、交通流に異常があると判定されたときに認識された停止低速車両を突発事象とした交通流異常を検出する。
【選択図】 図1

Description

道路上の撮影画像に基づいて処理を行い、故障等で停止又は低速状態となった車両を検出する停止低速車両検出装置及び停止低速車両検出装置方法に関する。
従来より、高速道路上や一般道路上を走行する車両の映像を監視カメラにより撮影し、車両の映像を管制室の映像表示器に表示し、監視者が目で確認することにより、道路交通状態を監視するシステムが広く採用されている。また、監視カメラの映像を分析して突発事象を自動的に検出し、突発事象の発生を表示すると共に、入力映像を突発事象発生地点の現場映像に切り替えて表示するようにした突発事象検出装置が提案されている(例えば、特許文献1参照)。
また、道路上の車両を撮影した画像から車両を検出する技術が種々提案されており、車両のヘッドライトを抽出して判断することにより、夜間における車種を高い精度で判別することが可能な車種判別装置及び方法が提案されている(例えば、特許文献2参照)。
上記のように道路上の撮影画像から車両を検出し、撮影画像内の検出車両を追跡することによって、車両の速度を算出したり、停止している車両を検出したりなど、道路上の対象エリアの交通状況を把握することが可能である。
特開平5−250595号公報 特開平11−353580号公報
しかしながら、故障等で停止した車両等の突発事象を交通官制上必要な交通阻害要因とすると、上記の装置にあっては、渋滞によって停止又は低速走行している車両がある場合や、太陽光や照明変化を車両として誤検出した場合に、全て停止低速車両として検出してしまう。したがって、突発事象以外の原因、すなわち、交通官制上必要のない原因による停止低速車両の検出が頻発してしまうといった事情があった。
本発明は、上記従来の事情に鑑みてなされたものであって、交通官制上必要な交通阻害要因のみを検出することが可能な停止低速車両検出装置及び停止低速車両検出方法を提供することを目的とする。
本発明の停止低速車両検出装置は、道路上の車両を撮影した撮影画像に基づいて、停止状態又は低速状態にある停止低速車両を認識する停止低速車両認識手段と、所定の領域を監視する車両検知器に接続され、前記領域における交通状態量を測定する交通状態量測定手段と、前記測定された交通状態量と渋滞判定しきい値とを比較して、前記領域における交通流状態が渋滞流か否かを判定する渋滞流判定手段と、前記停止低速車両が認識されたとき、前記渋滞流判定手段による判定が渋滞流である場合には前記停止低速車両の認識を解除し、前記渋滞流判定手段による判定が渋滞流でない場合には交通流に異常があると判定する交通流異常判定手段と、を備える。
この構成により、渋滞中の停止低速車両が交通流異常の検出対象から外れるので、交通官制上必要な交通阻害要因のみを検出することができる。
また、本発明の停止低速車両検出装置において、前記交通流異常判定手段は、前記停止低速車両より下流に設けられた車両検知器によって監視される領域の交通流状態が渋滞流であると判定された場合に、前記停止低速車両の認識を解除する。
この構成により、認識された停止低速車両の進行方向前方に渋滞が発生している場合、認識された停止低速車両も渋滞が原因であると推定されることから、渋滞中の停止低速車両が交通流異常の検出対象から外れるので、交通官制上必要な交通阻害要因のみを検出することができる。
また、本発明の停止低速車両検出装置において、前記交通状態量測定手段は、前記交通状態量として、前記監視領域を単位時間あたりに通過する車両台数から交通量を測定し、前記渋滞判定手段は、前記交通量が交通量渋滞判定しきい値以上の場合に渋滞流であると判定する。
この構成により、測定された交通量に基づいて渋滞流を判定し、停止低速車両の検出を行うことができる。
また、本発明の停止低速車両検出装置において、前記交通状態量測定手段は、前記交通状態量として、前記監視領域を通過する個別車両の平均速度を測定し、前記渋滞流判定手段は、前記平均速度が速度渋滞判定しきい値以下の場合に渋滞流であると判定する。
この構成により、測定された個別車両の平均速度に基づいて渋滞流を判定し、停止低速車両の検出を行うことができる。
また、本発明の停止低速車両検出装置において、前記車両検知装置は撮像装置であり、前記交通状態量測定手段は、前記交通状態量として、前記撮影装置により撮影された撮影画像の輝度値の変化に基づいて車群速度を測定し、前記渋滞流判定手段は、前記車群速度が速度渋滞判定しきい値以下の場合に渋滞流であると判定する。
この構成により、交通状態量として車群速度を用いるので、渋滞中等の車両の特徴を抽出しにくい場合にも高精度に交通流の異常を検出することができる。
また、本発明の停止低速車両検出装置において、前記車両検知装置は撮像装置であり、前記交通状態量測定手段は、前記交通状態量として、前記撮像装置により撮像された撮影画像における車両の空間占有率を測定し、前記渋滞流判定手段は、前記占有率が占有率渋滞判定しきい値以上の場合に渋滞流であると判定する。
この構成により、撮像された画像における車両の空間占有率に基づいて渋滞流を判定し、停止低速車両の検出を行うことができる。
また、本発明の停止低速車両検出装置において、前記車両検知器は、撮像装置、超音波式車両検知器、ループコイル式車両検知器、及びテープ式車両検知器のうち、いずれか一つの装置により構成される。この構成により、種々の車両検知器を用いて交通状態量を測定することができる。
本発明の停止低速車両検出装置は、道路上の車両を撮影した撮影画像に基づいて、停止状態又は低速状態にある停止低速車両を認識する停止低速車両認識手段と、前記認識された停止低速車両の情報を保持する停止低速保持情報格納手段と、前記停止低速車両が認識されたとき、前記保持されている停止低速車両の情報を参照して、前記認識された停止低速車両とは別の車両が、前記停止低速車両の位置を含む監視領域を、所定の監視時間以内に通過したか否かを監視し、前記別の車両の通過を検出した場合には前記停止低速車両の認識を解除し、前記別の車両の通過を検出しない場合には交通流に異常があると判定する交通流異常判定手段と、を備える。
この構成により、太陽光や照明変化により誤検出された事象が交通流異常の検出対象から外れるので、交通官制上必要な交通阻害要因のみを検出することができる。
また、本発明の停止低速車両検出装置において、前記停止低速保持情報格納手段は、前記停止低速車両の情報として、前記停止低速車両の車尾位置を格納し、前記交通流異常判定手段は、前記格納されている車尾位置又は前記車尾位置から所定距離上流側の位置を通過する車両を監視する。
この構成により、車尾位置を監視することにより、交通官制上必要な交通阻害要因のみを検出することができる。
また、本発明の停止低速車両検出装置は、前記撮影画像に基づいて、前記撮影されている領域における交通状態量を測定する交通状態量測定手段と、前記測定された交通状態量と渋滞判定しきい値とを比較して、前記領域における交通流状態が渋滞流か否かを判定する渋滞流判定手段と、を更に備え、前記交通流異常判定手段は、前記渋滞流の判定に応じて前記監視時間を制御する。
この構成により、渋滞中の停止低速車両も交通流異常の検出対象から外れるので、交通官制上必要な交通阻害要因のみを検出することができる。
本発明の停止低速車両検出方法は、道路上の車両を撮影した撮影画像に基づいて、停止状態又は低速状態にある停止低速車両を認識するステップと、所定の領域を監視する車両検知器からの検知信号に基づいて、前記領域における交通状態量を測定するステップと、前記測定された交通状態量と渋滞判定しきい値とを比較して、前記領域における交通流状態が渋滞流であるか否かを判定するステップと、前記停止低速車両が認識されたとき、前記渋滞流判定手段による判定が渋滞流である場合には前記停止低速車両の認識を解除し、前記渋滞流判定手段による判定が渋滞流でない場合には交通流に異常があると判定するステップと、を有する。
この方法により、渋滞中の停止低速車両が交通流異常の検出対象から外れるので、交通官制上必要な交通阻害要因のみを検出することができる。
また、本発明の停止低速車両検出方法は、道路上の車両を撮影した撮影画像に基づいて、停止状態又は低速状態にある停止低速車両を認識するステップと、前記認識された停止低速車両の情報を保持するステップと、前記停止低速車両が認識されたとき、前記保持されている停止低速車両の情報を参照して、前記認識された停止低速車両とは別の車両が前記停止低速車両の位置を含む監視領域を所定の監視時間以内に通過したか否かを監視し、前記別の車両の通過を検出した場合には前記停止低速車両の認識を解除し、前記別の車両の通過を検出しない場合には交通流に異常があると判定するステップと、を有する。
この方法により、太陽光や照明変化により誤検出された事象が交通流異常の検出対象から外れるので、交通官制上必要な交通阻害要因のみを検出することができる。
本発明によれば、交通官制上必要な交通阻害要因のみを検出することが可能な停止低速車両検出装置及び停止低速車両検出方法を提供することができる。
本実施形態では、トンネル内などにカメラを設置して走行する車両を後方から撮影し、撮影画像から車両の特徴抽出、車両認識等を行い、交通流の異常の検出を可能とした道路監視システムにおける構成例を示す。
図9は本発明の実施形態に係る停止低速車両検出装置を含む道路監視システムの概要を示す説明図である。図9に示すように、道路監視システムは、車両検知器の一例である撮像装置として、道路11におけるトンネル内などの道路脇の所定位置ごとに設けられ、それぞれ異なる領域を監視する複数のカメラ12を備えている。
このカメラ12は、道路11上を走行する車両13を後方から撮影し、車両検知信号の一例としての撮影画像信号SCを出力するようになっている。また、道路監視システムは、停止低速車両検出装置10を備えており、カメラ12で撮影された撮影画像に基づき、車両の検出、車両速度の算出、落下物の検出などを行い、渋滞検出や突発事象の検出など、対象道路上の事象判定を行う。
本実施形態では、車両を後方から撮影することで、車両のヘッドライトによるハレーション、スミア等を防止している。この後方からの撮影画像を基に車両を抽出し、車幅、車長、車尾位置を検出する。そして、検出した車両の追跡等を行い、追跡が不能な場合は後述する処理を行うことにより、停止低速車両の検出を行う。
以下、本発明の第1の実施形態に係る停止低速車両検出装置10a及び第2の実施形態に係る停止低速車両検出装置10bについて説明する。
(第1の実施形態)
図1は、本発明の第1の実施形態に係る停止低速車両検出装置の概略構成を示すブロック図である。図1に示すように、第1の実施形態の停止低速車両検出装置10aは、画像処理/車両認識部1と、停止低速車両認識部2と、画像処理/車両認識部1の出力に基づいて交通状態量を測定する交通状態量測定部3と、交通状態量測定部3の出力に基づいて渋滞流を判定する渋滞流判定部4と、停止低速車両認識部2からの出力と渋滞流判定部4の出力とにより交通流異常の有無を判定する交通流異常判定部5と、交通流異常判定部5による判定に基づいて交通流異常を検出する交通流異常検出部6と、を備える。
画像処理/車両認識部1は、カメラ12から入力された撮影画像信号SCに基づいて画像処理を行い、その処理結果に基づいて車両認識を行う。停止低速車両認識部2は、画像処理/車両認識部1により認識された車両情報RCに基づいて、停止状態又は低速状態にある停止低速車両を認識する。
交通状態量測定部3は、交通量算出部3aと、速度算出部3bと、占有率算出部3cとを有し、画像処理/車両認識部1からの画像処理情報や車両情報に基づいて、カメラ12の撮影領域における交通状態量を測定するものである。
そして、交通状態量として、交通量算出部3aはカメラ12の監視領域を単位時間あたりに通過する車両台数を測定し、速度算出部3bはカメラ12の監視領域を通過する個別車両の平均速度及び車群速度を測定し、占有率算出部3cはカメラ12の監視領域における車両の空間占有率を測定する。なお、これらの交通状態量は、例えば、過去1分間等、所定の時間における平均値を採用してもよい。
渋滞流判定部4は、交通状態量測定部3により測定された交通状態量と渋滞判定しきい値とを比較して、カメラ12の監視領域における交通流が渋滞流か否かを判定する。交通流異常判定部5は、停止低速車両認識部2によって停止低速車両が認識されたとき、渋滞流判定部4による判定が渋滞流である場合には停止低速車両の認識を解除し、渋滞流判定部4による判定が渋滞流でない場合には交通流に異常があると判定する。交通流異常検出部6は、交通流に異常があると判定されたときに、認識された停止低速車両を突発事象とした交通流異常を検出する。
図2は、本発明の第1の実施形態に係る画像処理の処理手順を示すフローチャートであり、画像処理/車両認識部1、停止低速車両認識部2及び交通状態量測定部3の動作の概略を説明するものである。
画像処理/車両認識部1は、まず初期データとして、背景画像データ及び背景微分画像データを作成する(ステップS201)。ここで、電源投入後又はリセット後に、例えば0.1秒ごとにカメラ12から取り込んだ撮影画像データの300回分(30秒分の画像)を平均し、背景画像とする。また、背景画像データの微分処理を行って背景微分画像を作成する。更に、夜と昼とで道路上の照明の明るさ等が異なるため、背景画像に基づいて夜モード又は昼モードの判定を行い、現在時点に対応するモードに設定する。
次に、カメラ12から取り込んだ撮影画像データから画像解析に使用する画像データを作成する(ステップS202)。ここでは、カメラ12から入力されるNTSC信号による映像信号を、垂直方向240ライン、水平方向320画素、輝度を256階調とし、フレームごとにAD変換(アナログ−デジタル変換)して320画素×240画素の画像データを作成する。このとき、偶数フィールドのみをAD変換することで、1/30sec ごとに1枚の画像データを作成する。そして、以降の画像解析には、現在画像、ΔT前画像、2ΔT前画像(ここではΔT=100msとする)の3つの画像データを使用する。
そして、作成した画像データに対して、特徴抽出演算、二値化処理等の画像前処理を行い、車両の特徴を抽出した特徴画像を作成する(ステップS203)。特徴抽出演算においては、背景差分方式、微分背景差分方式、フレーム差分方式、微分フレーム差分方式などの特徴抽出方式を用いてそれぞれ特徴抽出を行った差分画像を作成し、特徴画像を作成する。なおここでは、後処理の処理速度を速めるために、例えば特徴抽出等の処理を行って特徴画像を作成した後、この320画素×240画素の画像データを80画素×60画素に圧縮して特徴抽出圧縮画像を作成するようにする。また、画像解析用に作成した画像データから320画素×240画素のライト抽出用画像を作成する。
続いて、特徴抽出圧縮画像及びライト抽出用画像を用いて画像解析を行い、車両等を抽出する(ステップS204)。このとき、特徴抽出圧縮画像を用いて車体解析を行い、車尾、車長、車幅を決定する。また、ライト抽出用画像を用いてライト解析を行い、車両のライトを検出して車尾を決定する。これらの車体解析による矩形の車体検出とライト解析による車尾検出の結果から車両位置を決定する。更に、特徴抽出圧縮画像を用いて落下物解析を行い、落下物の位置、縦横寸法を決定する。
その後、検出した車両の位置データを走行軌跡データに追加又は新規作成し、本処理のサイクルごとに検出された車両の位置データを走行軌跡データに追加していくことで、車両追跡を行う(ステップS205)。そして、交通状態量測定部3は交通状態量を測定する。具体的には、交通量算出部3aは、ステップS204にて検出された車尾が、画像の所定の水平ラインを通過した際に1台とカウントし、所定時間あたりに通過する車両台数を交通量として算出する。また、速度算出部3bは、検出した個々の車両の移動速度を算出する。更に、占有率算出部3cは、ステップS204にて抽出された車両から、カメラ12により撮像された画像の1画面に占める車両の割合を占有率として算出する。
また、交通状態量測定部3の速度算出部3bは、前記車両追跡とは異なる方法で撮影画像における車群の速度を算出する(ステップS206)。ここでは、画像全体の輝度値の移動量から車両全体を一つの塊の車群として捉え、この車群の移動速度を算出する。この車群速度は渋滞時の渋滞判定等に用いることができる。
次に、停止低速車両認識部2は、前述の車両追跡、車群速度算出、落下物検出等の結果から、「停止」「低速」などの事象が発生したかどうかを認識する(ステップS207)。なお、停止低速車両認識部2は、抽出された車体毎に、車両情報の一つとして、識別番号を付与する。そして、識別番号が同一の車体の車尾がn秒以上動かない場合を停止状態、識別番号が同一の個別車両の速度がm[km]以下をl秒継続した場合に低速状態として認識する。なお、n、m、lは時刻等に応じて可変に設定してもよい。
そして、画像処理/車両認識部1は、次の処理のサイクルにおける画像処理のために、背景画像データ及び背景微分画像データを最新の背景画像に更新する(ステップS208)。また、新たな背景画像に基づいて夜モード又は昼モードの判定を行い、現在時点に対応するモードに更新する。その後、ステップS202に戻り、ステップS202〜S208の処理サイクルを所定間隔(ここでは100ms)ごとに繰り返す。
図3は、本発明の第1の実施形態に係る画像処理/車両認識部の概略構成を示すブロック図である。
画像処理/車両認識部1は、カメラ12で撮影した画像データを入力する画像入力部21、入力画像データから背景画像を作成する背景画像作成部22、入力画像及び背景画像を用いて背景差分、微分背景差分、フレーム差分、微分フレーム差分等の処理を行って特徴画像を作成する特徴画像作成部23、特徴画像を基に車両候補矩形を算出するための各画素の特徴を示す特徴コードを作成する特徴コード作成部24、画像データを格納する画像格納部25、特徴コードを格納する特徴コード格納部29、車両認識の処理を行う車両認識部30を備える。
画像格納部25は、現画像を格納する現画像格納部26、背景画像を格納する背景画像格納部27、特徴画像を格納する特徴画像格納部28を有する。車両認識部30は、現画像及び算出した特徴コードより車頭又は車尾を検出する車頭車尾検出部31、車頭車尾を用いて検出車両の追跡を行う車両追跡部32を有する。画像格納部25、特徴コード格納部29は、メモリ等によって構成される。背景画像作成部22、特徴画像作成部23、特徴コード作成部24、車両認識部30は、各処理を行うプロセッサ等によって構成される。
現画像格納部26は、画像入力部21より入力された現在画像データを格納する。入力される画像データには、256階調の濃淡画像などを用いる。背景画像作成部22は、過去の現在画像データを用いて背景のみの背景画像を作成し、背景画像格納部27に格納する。特徴画像作成部23は、現画像格納部26に格納された現在画像データと背景画像格納部27に格納された背景画像データとを用いて、背景差分、微分背景差分、フレーム差分、微分フレーム差分等の処理を行い、撮影画像中の車両を検出するための特徴画像を作成し、特徴画像格納部28に格納する。
特徴コード作成部24は、特徴画像を基に車両候補矩形を算出するための各画素の特徴を示す特徴コードを作成し、特徴コード格納部29に格納する。特徴コードは、特徴画像において各画素ごとに0,1,2,…,9などのコードを割り当てたものである。例えば、背景と同一で差分処理によってデータ無しとなった部分は0、ノイズ等と思われる捨てデータは1、車両として有効な有効データのうち、車幅より小さい部分は2、車幅より大きい部分は3、車両候補となる部分は6、車体として認識される部分は8、車尾として認識される部分は9などとして、車両の位置を判別可能にしたデータである。
車頭車尾検出部31は、現画像格納部26に格納された現在画像データと特徴コード格納部29に格納された特徴コードとを用いて、車頭又は車尾の位置を算出する。車両追跡部32は、上記処理により時系列に得られる車頭又は車尾の位置を用いて、検出車両の位置をトレースして走行軌跡を算出したり、検出車両の移動速度を算出することによって車両追跡を行う。なお、車両認識部30は、現在画像データと特徴コードとを用いて車両候補矩形を検出し、その車両候補矩形を用いて車両認識を行ってもよい。この場合、車頭又は車尾が画面外にある場合でも、車両を認識することができる。
図4は、本発明の第1の実施形態に係る停止低速車両検出の処理手順を示すフローチャートである。交通流異常判定部5は、停止低速車両認識部2によって停止低速車両が認識されるまで、停止低速車両の有無を監視する(ステップS401)。そして、停止低速車両認識部2によって停止低速車両が認識されると(ステップS401のYES)、渋滞流判定部4による渋滞流判定処理(ステップS402)の結果を取得する。
図5は、本発明の第1の実施形態に係る渋滞判定の処理手順を示すフローチャートである。渋滞流判定部4は、交通状態量測定部3により測定された交通状態量の情報である交通量、速度、占有率を取得し(ステップS501)、交通量がしきい値以上か否かを判定する(ステップS502)。交通量がしきい値以上であれば(ステップS502のYES)、速度がしきい値以下か否かを判定する(ステップS503)。例えば、この速度判定に車群速度を用いた場合には、渋滞中等の車両の特徴を抽出しにくい場合にも精度よく速度測定を行うことができるので、交通流状態の判定の精度が上がるので、交通流の異常を精度よく検出することができる。
速度がしきい値以下であれば(ステップS503のYES)、占有率がしきい値以上であるか否かを判定する(ステップS504)。占有率がしきい値以上であれば(ステップS504のYES)、交通流状態が渋滞流であると判定する(ステップS505)。
一方、交通量がしきい値未満(ステップS502のNO)、速度がしきい値より大きい(ステップS503のNO)、占有率がしきい値未満(ステップS504のNO)である場合には、交通流状態が自由流であると判定する。
なお、上記の説明では、交通状態量として、交通量、速度、占有率を全て組み合わせて交通流状態を判定する例について説明したが、このうちのいずれか一つのみ、又は二つの交通状態量を組合せて交通流状態を判定してもよい。また、交通状態量としては、交通量、速度、占有率に限られず、交通状態を示す値であれば、種々の状態量を適用することができる。
図4に戻り、交通流異常判定部5が、渋滞流判定部4による判定を取得して、認識された停止低速車両より下流に設けられたカメラ12によって監視される領域の交通流状態が渋滞流であると判定された場合(ステップS403のYES)、交通流に異常があると判定する。そして、交通流異常検出部6は、交通流異常を検出する(ステップS404)。一方、認識された停止低速車両より下流に設けられたカメラ12によって監視される領域の交通流状態が渋滞流でないと判定された場合(ステップS403のNO)、停止低速車両認識部2による停止低速車両の認識を解除する。
このような本発明の第1の実施形態によれば、渋滞中の停止低速車両が交通流異常の検出対象から外れるので、交通官制上必要な交通阻害要因のみを検出することができる。更に、認識された停止低速車両より下流に設けられたカメラ12によって監視される領域の渋滞流判定を用いることにより、認識された停止低速車両の進行方向前方に渋滞が発生している場合、認識された停止低速車両も渋滞が原因であると推定されることから、渋滞中の停止低速車両が交通流異常の検出対象から外れるので、交通官制上必要な交通阻害要因のみを検出することができる。
(第2の実施形態)
図6は、本発明の第2の実施形態に係る停止低速車両検出装置の概略構成を示すブロック図である。同図において、第1の実施形態で説明した図1と重複する部分には同一の符号を付す。
第2の実施形態の停止低速車両検出装置10bは、停止低速車両認識部2によって認識された停止低速車両の情報を保持する停止低速保持情報格納部7を備え、交通流異常判定部8は、停止低速車両認識部2による認識結果、停止低速保持情報格納部7に保持されている情報及び画像処理/車両認識部1からのリアルタイムな車両認識結果に基づいて交通流異常の判定を行う。
図7は、本発明の第2の実施形態に係る停止低速車両検出の処理手順を示すフローチャートである。
交通流異常判定部8は、停止低速車両認識部2によって停止低速車両が認識されるまで、停止低速車両の有無を監視する(ステップS701)。そして、停止低速車両認識部2によって停止低速車両が認識されると(ステップS701のYES)、交通流異常判定部8は停止低速車両を認識し、停止低速保持情報格納部7は、停止低速車両認識部2から出力された車両情報を格納する(ステップS702)。なお、格納される車両情報の例としては、認識された車両の識別番号と、車尾位置情報である。
交通流異常判定部8は、停止低速保持情報格納部7に保持されている停止低速車両の情報を参照して、画像処理/車両認識部1から出力されるリアルタイムな車両認識結果に基づいて、停止低速車両とは別の車両が、停止低速車両の位置を含む監視領域を、監視時間である保持時間以内に通過したか否かを監視する(ステップS703)。
交通流異常判定部8は、停止低速保持情報格納部7に格納されている車両情報としての車尾位置、又は、車尾位置から所定距離(s[m])上流側の位置(車両後部から撮影するカメラ12の画像手前側)を監視領域として、その監視領域を通過する車両を監視する。
また、保持時間は、停止低速車両の監視するカメラの位置によって設定する。例えば、太陽光や照明等による車両の誤検出が生じやすい場所は、保持時間を長くすることにより、停止低速車両の誤検出を防ぐことができる。なお、時刻等に応じて自動的に設定してもよい。
そして、監視領域において別の車両の通過を検出した場合(ステップS703のYES)、停止低速車両の認識を解除する(ステップS704)。一方、監視領域において別の車両の通過を検出しない場合(ステップS703のNO)には交通流に異常があると判定し、交通流異常検出部6は、交通流異常を検出する(ステップS705)。
すなわち、車両が停止状態又は低速状態にあれば、その停止低速車両の位置(又は車尾位置の数メートル手前等)、後続車が通過しないはずであるので、認識された停止低速車両位置に保持時間内に通過する車両が検出された場合には、停止低速車両の認識を解除することにより、停止低速車両の誤認識による交通流異常の誤検出を防ぐことができる。
なお、上述の保持時間は、渋滞流の判定に応じて可変に制御されてもよい。図8は、本発明の第2の実施形態に係る保持時間変更の処理手順を示すフローチャートである。
図8に示すように、渋滞流判定部4は、交通状態量測定部3によって測定された、停止低速車両検出地点の交通状態量を取得して(ステップS801)、その交通状態量に基づいて渋滞流判定を行う。そして、交通流異常判定部5は、交通流状態が渋滞流であると判定された場合(ステップS802のYES)、保持時間をt1秒に設定する(ステップ803)。そして、交通流状態が渋滞流でないと判定された場合(ステップS802のNO)、保持時間をt1秒より短いt2秒に設定する。
このように、渋滞が発生しているときに保持時間を長く設定することにより、渋滞中の車両による停止低速車両認識を解除できる可能性が高くなるので、更に精度の高い停止低速車両検出を行うことができる。
なお、この保持時間の設定は、停止低速車両認識部2によって停止低速車両が認識される度に行ってもよいし、所定時間毎等に自動的に行ってもよい。
このような本発明の第2の実施形態によれば、太陽光や照明変化により誤検出された事象が交通流異常の検出対象から外れるので、交通官制上必要な交通阻害要因のみを検出することができる。
なお、本発明の実施形態では、交通状態量を測定するための車両検知器にカメラを適用した場合について説明したが、これに限られず、超音波式車両検知器、道路の下に埋め込んだループコイルに発生する起電力を利用して車両を検知するループコイル式車両検知器、又は道路上又は地中に設けて、車両が通過した際にその重量によりスイッチが接続することにより車両検出を行うテープ式車両検知器等を適用してもよい。
本発明は、交通官制上必要な交通阻害要因のみを検出することが可能な効果を有し、道路上の撮影画像に基づいて処理を行い、故障等で停止又は低速状態となった車両を検出する停止低速車両検出装置及び停止低速車両検出方法等に有用である。
本発明の第1の実施形態に係る停止低速車両検出装置の概略構成を示すブロック図 本発明の第1の実施形態に係る画像処理の処理手順を示すフローチャート 本発明の第1の実施形態に係る画像処理/車両認識部の概略構成を示すブロック図 本発明の第1の実施形態に係る停止低速車両検出の処理手順を示すフローチャート 本発明の第1の実施形態に係る渋滞判定の処理手順を示すフローチャート 本発明の第2の実施形態に係る停止低速車両検出装置の概略構成を示すブロック図 本発明の第2の実施形態に係る停止低速車両検出の処理手順を示すフローチャート 本発明の第2の実施形態に係る保持時間変更の処理手順を示すフローチャート 本発明の実施形態に係る停止低速車両検出装置を含む道路監視システムの概要を示す説明図
符号の説明
1 画像処理/車両認識部
2 停止低速車両認識部
3 交通状態量測定部
3a 交通量算出部
3b 速度算出部
3c 占有率算出部
4 渋滞流判定部
5、8 交通流異常判定部
6 交通流異常検出部
7 停止低速保持情報格納部
10、10a、10b 停止低速車両検出装置
11 道路
12 カメラ
13 車両
21 画像入力部
22 背景画像作成部
23 特徴画像作成部
24 特徴コード作成部
25 画像格納部
26 現画像格納部
27 背景画像格納部
28 特徴画像格納部
29 特徴コード格納部
30 車両認識部
31 車両候補矩形検出部
32 車両追跡部

Claims (12)

  1. 道路上の車両を撮影した撮影画像に基づいて、停止状態又は低速状態にある停止低速車両を認識する停止低速車両認識手段と、
    所定の領域を監視する車両検知器に接続され、前記領域における交通状態量を測定する交通状態量測定手段と、
    前記測定された交通状態量と渋滞判定しきい値とを比較して、前記領域における交通流状態が渋滞流か否かを判定する渋滞流判定手段と、
    前記停止低速車両が認識されたとき、前記渋滞流判定手段による判定が渋滞流である場合には前記停止低速車両の認識を解除し、前記渋滞流判定手段による判定が渋滞流でない場合には交通流に異常があると判定する交通流異常判定手段と、
    を備える停止低速車両検出装置。
  2. 請求項1に記載の停止低速車両検出装置であって、
    前記交通流異常判定手段は、前記停止低速車両より下流に設けられた車両検知器によって監視される領域の交通流状態が渋滞流であると判定された場合に、前記停止低速車両の認識を解除する停止低速車両検出装置。
  3. 請求項1又は2に記載の停止低速車両検出装置であって、
    前記交通状態量測定手段は、前記交通状態量として、前記監視領域を単位時間あたりに通過する車両台数から交通量を測定し、
    前記渋滞判定手段は、前記交通量が交通量渋滞判定しきい値以上の場合に渋滞流であると判定する停止低速車両検出装置。
  4. 請求項1ないし3のいずれか一項に記載の停止低速車両検出装置であって、
    前記交通状態量測定手段は、前記交通状態量として、前記監視領域を通過する個別車両の平均速度を測定し、
    前記渋滞流判定手段は、前記平均速度が速度渋滞判定しきい値以下の場合に渋滞流であると判定する停止低速車両検出装置。
  5. 請求項1ないし4のいずれか一項に記載の停止低速車両検出装置であって、
    前記車両検知装置は撮像装置であり、
    前記交通状態量測定手段は、前記交通状態量として、前記撮影装置により撮影された撮影画像の輝度値の変化に基づいて車群速度を測定し、
    前記渋滞流判定手段は、前記車群速度が速度渋滞判定しきい値以下の場合に渋滞流であると判定する停止低速車両検出装置。
  6. 請求項1ないし5のいずれか一項に記載の停止低速車両検出装置であって、
    前記車両検知装置は撮像装置であり、
    前記交通状態量測定手段は、前記交通状態量として、前記撮像装置により撮像された撮影画像における車両の空間占有率を測定し、
    前記渋滞流判定手段は、前記占有率が占有率渋滞判定しきい値以上の場合に渋滞流であると判定する停止低速車両検出装置。
  7. 請求項1ないし4のいずれか一項に記載の停止低速車両検出装置であって、
    前記車両検知器は、撮像装置、超音波式車両検知器、ループコイル式車両検知器、及びテープ式車両検知器のうち、いずれか一つの装置により構成される停止低速車両検出装置。
  8. 道路上の車両を撮影した撮影画像に基づいて、停止状態又は低速状態にある停止低速車両を認識する停止低速車両認識手段と、
    前記認識された停止低速車両の情報を保持する停止低速保持情報格納手段と、
    前記停止低速車両が認識されたとき、前記保持されている停止低速車両の情報を参照して、前記認識された停止低速車両とは別の車両が、前記停止低速車両の位置を含む監視領域を、所定の監視時間以内に通過したか否かを監視し、前記別の車両の通過を検出した場合には前記停止低速車両の認識を解除し、前記別の車両の通過を検出しない場合には交通流に異常があると判定する交通流異常判定手段と、
    を備える停止低速車両検出装置。
  9. 請求項8に記載の停止低速車両検出装置であって、
    前記停止低速保持情報格納手段は、前記停止低速車両の情報として、前記停止低速車両の車尾位置を格納し、
    前記交通流異常判定手段は、前記格納されている車尾位置又は前記車尾位置から所定距離上流側の位置を通過する車両を監視する停止低速車両検出装置。
  10. 請求項8又は9に記載の停止低速車両検出装置であって、
    前記撮影画像に基づいて、前記撮影されている領域における交通状態量を測定する交通状態量測定手段と、前記測定された交通状態量と渋滞判定しきい値とを比較して、前記領域における交通流状態が渋滞流か否かを判定する渋滞流判定手段と、を更に備え、
    前記交通流異常判定手段は、前記渋滞流の判定に応じて前記監視時間を制御する停止低速車両検出装置。
  11. 道路上の車両を撮影した撮影画像に基づいて、停止状態又は低速状態にある停止低速車両を認識するステップと、
    所定の領域を監視する車両検知器からの検知信号に基づいて、前記領域における交通状態量を測定するステップと、
    前記測定された交通状態量と渋滞判定しきい値とを比較して、前記領域における交通流状態が渋滞流であるか否かを判定するステップと、
    前記停止低速車両が認識されたとき、前記渋滞流判定手段による判定が渋滞流である場合には前記停止低速車両の認識を解除し、前記渋滞流判定手段による判定が渋滞流でない場合には交通流に異常があると判定するステップと、
    を有する停止低速車両検出方法。
  12. 道路上の車両を撮影した撮影画像に基づいて、停止状態又は低速状態にある停止低速車両を認識するステップと、
    前記認識された停止低速車両の情報を保持するステップと、
    前記停止低速車両が認識されたとき、前記保持されている停止低速車両の情報を参照して、前記認識された停止低速車両とは別の車両が前記停止低速車両の位置を含む監視領域を所定の監視時間以内に通過したか否かを監視し、前記別の車両の通過を検出した場合には前記停止低速車両の認識を解除し、前記別の車両の通過を検出しない場合には交通流に異常があると判定するステップと、
    を有する停止低速車両検出方法。
JP2005210235A 2005-07-20 2005-07-20 停止低速車両検出装置 Expired - Fee Related JP4600929B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005210235A JP4600929B2 (ja) 2005-07-20 2005-07-20 停止低速車両検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005210235A JP4600929B2 (ja) 2005-07-20 2005-07-20 停止低速車両検出装置

Publications (2)

Publication Number Publication Date
JP2007026301A true JP2007026301A (ja) 2007-02-01
JP4600929B2 JP4600929B2 (ja) 2010-12-22

Family

ID=37786946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005210235A Expired - Fee Related JP4600929B2 (ja) 2005-07-20 2005-07-20 停止低速車両検出装置

Country Status (1)

Country Link
JP (1) JP4600929B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100547625C (zh) * 2008-01-31 2009-10-07 浙江工业大学 一种城市交通中的典型行驶路线分析方法
JP2011192069A (ja) * 2010-03-15 2011-09-29 Kddi R & D Laboratories Inc 車両交通監視装置およびプログラム
JP2014006697A (ja) * 2012-06-25 2014-01-16 Saxa Inc 監視システム
JP2014203123A (ja) * 2013-04-01 2014-10-27 株式会社東芝 施設管制装置
CN105809954A (zh) * 2014-12-30 2016-07-27 清华大学 交通事件检测方法以及系统
JP2017033553A (ja) * 2015-07-31 2017-02-09 富士通株式会社 移動物体の計数装置及び方法
CN111063203A (zh) * 2019-12-30 2020-04-24 北京中交兴路车联网科技有限公司 一种用于判断高速路上车辆的低速状态的方法和系统
CN111081030A (zh) * 2019-12-30 2020-04-28 北京中交兴路车联网科技有限公司 一种高速路堵车的判断方法和系统
KR102187021B1 (ko) * 2019-06-11 2020-12-04 주식회사 토페스 전방 저속 차량 알림 시스템
CN112364751A (zh) * 2020-11-05 2021-02-12 中国第一汽车股份有限公司 一种障碍物状态判断方法、装置、设备及存储介质
WO2022078353A1 (zh) * 2020-10-14 2022-04-21 深圳壹账通智能科技有限公司 车辆行使状态判断方法、装置、计算机设备及存储介质
JP2023527265A (ja) * 2021-04-28 2023-06-28 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 交通異常を検出する方法および装置、電子機器、記憶媒体並びにコンピュータプログラム
JP7495689B2 (ja) 2020-07-28 2024-06-05 綜合警備保障株式会社 渋滞検知装置、渋滞検知システム、および、渋滞検知方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03209599A (ja) * 1990-01-11 1991-09-12 Nippon Signal Co Ltd:The 異常交通流の検出装置
JPH05307696A (ja) * 1992-04-28 1993-11-19 Sumitomo Electric Ind Ltd 駐車車両検出方法
JPH07210795A (ja) * 1994-01-24 1995-08-11 Babcock Hitachi Kk 画像式交通流計測方法と装置
JPH09305891A (ja) * 1996-05-17 1997-11-28 Sumitomo Electric Ind Ltd 車両監視装置
JPH11328577A (ja) * 1998-05-14 1999-11-30 Matsushita Electric Ind Co Ltd 車群速度による交通状況測定方法
JP2001216598A (ja) * 2000-02-04 2001-08-10 Mitsubishi Electric Corp 交通流計測装置
JP2001229487A (ja) * 2000-02-15 2001-08-24 Minolta Co Ltd 交通監視装置
JP2003337966A (ja) * 2002-05-20 2003-11-28 Organization For Road System Enhancement 有料道路の通行料金課金処理方法、課金処理システム、有料道路の通行料金課金処理用の車載器及び路側機
JP2004005234A (ja) * 2002-05-31 2004-01-08 Toshiba Corp 画像処理装置、画像処理方法、画像処理プログラム
JP2004178239A (ja) * 2002-11-27 2004-06-24 Hitachi Ltd 走行支援道路システム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03209599A (ja) * 1990-01-11 1991-09-12 Nippon Signal Co Ltd:The 異常交通流の検出装置
JPH05307696A (ja) * 1992-04-28 1993-11-19 Sumitomo Electric Ind Ltd 駐車車両検出方法
JPH07210795A (ja) * 1994-01-24 1995-08-11 Babcock Hitachi Kk 画像式交通流計測方法と装置
JPH09305891A (ja) * 1996-05-17 1997-11-28 Sumitomo Electric Ind Ltd 車両監視装置
JPH11328577A (ja) * 1998-05-14 1999-11-30 Matsushita Electric Ind Co Ltd 車群速度による交通状況測定方法
JP2001216598A (ja) * 2000-02-04 2001-08-10 Mitsubishi Electric Corp 交通流計測装置
JP2001229487A (ja) * 2000-02-15 2001-08-24 Minolta Co Ltd 交通監視装置
JP2003337966A (ja) * 2002-05-20 2003-11-28 Organization For Road System Enhancement 有料道路の通行料金課金処理方法、課金処理システム、有料道路の通行料金課金処理用の車載器及び路側機
JP2004005234A (ja) * 2002-05-31 2004-01-08 Toshiba Corp 画像処理装置、画像処理方法、画像処理プログラム
JP2004178239A (ja) * 2002-11-27 2004-06-24 Hitachi Ltd 走行支援道路システム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100547625C (zh) * 2008-01-31 2009-10-07 浙江工业大学 一种城市交通中的典型行驶路线分析方法
JP2011192069A (ja) * 2010-03-15 2011-09-29 Kddi R & D Laboratories Inc 車両交通監視装置およびプログラム
JP2014006697A (ja) * 2012-06-25 2014-01-16 Saxa Inc 監視システム
JP2014203123A (ja) * 2013-04-01 2014-10-27 株式会社東芝 施設管制装置
CN105809954A (zh) * 2014-12-30 2016-07-27 清华大学 交通事件检测方法以及系统
CN105809954B (zh) * 2014-12-30 2018-03-16 清华大学 交通事件检测方法以及系统
JP2017033553A (ja) * 2015-07-31 2017-02-09 富士通株式会社 移動物体の計数装置及び方法
KR102187021B1 (ko) * 2019-06-11 2020-12-04 주식회사 토페스 전방 저속 차량 알림 시스템
CN111081030A (zh) * 2019-12-30 2020-04-28 北京中交兴路车联网科技有限公司 一种高速路堵车的判断方法和系统
CN111063203A (zh) * 2019-12-30 2020-04-24 北京中交兴路车联网科技有限公司 一种用于判断高速路上车辆的低速状态的方法和系统
CN111081030B (zh) * 2019-12-30 2021-03-26 北京中交兴路车联网科技有限公司 一种高速路堵车的判断方法和系统
CN111063203B (zh) * 2019-12-30 2021-12-03 北京中交兴路车联网科技有限公司 一种用于判断高速路上车辆的低速状态的方法和系统
JP7495689B2 (ja) 2020-07-28 2024-06-05 綜合警備保障株式会社 渋滞検知装置、渋滞検知システム、および、渋滞検知方法
WO2022078353A1 (zh) * 2020-10-14 2022-04-21 深圳壹账通智能科技有限公司 车辆行使状态判断方法、装置、计算机设备及存储介质
CN112364751A (zh) * 2020-11-05 2021-02-12 中国第一汽车股份有限公司 一种障碍物状态判断方法、装置、设备及存储介质
CN112364751B (zh) * 2020-11-05 2022-09-30 中国第一汽车股份有限公司 一种障碍物状态判断方法、装置、设备及存储介质
JP2023527265A (ja) * 2021-04-28 2023-06-28 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 交通異常を検出する方法および装置、電子機器、記憶媒体並びにコンピュータプログラム

Also Published As

Publication number Publication date
JP4600929B2 (ja) 2010-12-22

Similar Documents

Publication Publication Date Title
CN109887281B (zh) 一种监控交通事件的方法及系统
US6999004B2 (en) System and method for vehicle detection and tracking
US9704391B2 (en) Traffic accident detection device and method of detecting traffic accident
JP4600929B2 (ja) 停止低速車両検出装置
CN108074401B (zh) 一种车辆加塞行为判别方法及装置
JP4858761B2 (ja) 衝突危険性判定システム及び警告システム
KR20100119476A (ko) 연속류도로 사고 및 돌발 자동판별 검지시스템 및 그 방법
KR101101860B1 (ko) 실시간 교통상황 검지 시스템
CN106559647B (zh) 开门关门检测装置和方法、人流检测系统和交通工具
JP6792722B2 (ja) 車両台数計測システム
Bevilacqua et al. Real time detection of stopped vehicles in traffic scenes
JP2007026300A (ja) 交通流異常検出装置及び交通流異常検出方法
JP5175765B2 (ja) 画像処理装置及び交通監視装置
KR20110118376A (ko) 광류를 이용한 방범용 차량 감지 시스템
JP4071527B2 (ja) 映像診断装置
KR100690279B1 (ko) 다목적 영상감지 시스템
JP2003255430A (ja) 映像診断装置、車載型映像監視装置の映像診断システム
JPH10269492A (ja) 車両監視装置
JP7553749B2 (ja) 監視システム
Hashmi et al. Analysis and monitoring of a high density traffic flow at T-intersection using statistical computer vision based approach
JP2004005726A (ja) 移動物体の交通流監視システム
JP3734594B2 (ja) 異常事象検出装置および交通流計測装置
JP4061298B2 (ja) 交通流計測装置
JPH0721488A (ja) 交通流異常監視支援装置
Hsiao et al. An embedded lane departure warning system

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071113

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071226

A072 Dismissal of procedure [no reply to invitation to correct request for examination]

Free format text: JAPANESE INTERMEDIATE CODE: A073

Effective date: 20080409

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100430

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100824

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100922

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131008

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4600929

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees