Nothing Special   »   [go: up one dir, main page]

JP3720117B2 - 車両の警報装置 - Google Patents

車両の警報装置 Download PDF

Info

Publication number
JP3720117B2
JP3720117B2 JP09734196A JP9734196A JP3720117B2 JP 3720117 B2 JP3720117 B2 JP 3720117B2 JP 09734196 A JP09734196 A JP 09734196A JP 9734196 A JP9734196 A JP 9734196A JP 3720117 B2 JP3720117 B2 JP 3720117B2
Authority
JP
Japan
Prior art keywords
vehicle speed
road
curve
turning
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP09734196A
Other languages
English (en)
Other versions
JPH09263200A (ja
Inventor
昌裕 木下
敦 池田
一真 荒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Jukogyo KK filed Critical Fuji Jukogyo KK
Priority to JP09734196A priority Critical patent/JP3720117B2/ja
Publication of JPH09263200A publication Critical patent/JPH09263200A/ja
Application granted granted Critical
Publication of JP3720117B2 publication Critical patent/JP3720117B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Steering Control In Accordance With Driving Conditions (AREA)
  • Traffic Control Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、自動車等の車両において、走行中にドライバの安全運転をアシストする警報装置に関し、詳しくは、カ−ブ路での走行安全性を向上する警報装置に関する。
【0002】
【従来の技術】
近年、交通事故の増大傾向に対して車の安全性の飛躍的向上を図るため、積極的に運転操作をアシストする総合的な運転支援システム(ADA、Active Drive Assist System)が開発されている。このシステムでは車両の外部環境を認識することが必要不可欠であるが、複数のカメラにより捉えた車両前方の風景や物体の画像情報を処理して、道路、交通環境を実用上十分な精度と時間で三次元的に認識することが可能になってきている。そこでADAシステムとしては、この道路、交通環境の画像デ−タを用いて、ドライバが操作ミスをしたり、よそ見運転、単調な運転時の居眠り等を生じた場合に、衝突や車線逸脱等の可能性の有無を予測して、安全側に導くように種々の角度からアシストすることを目指している。
【0003】
ここで運転支援のあり方としては、車はあくまで人間が操作するという考えに基づき、先ず予防安全性(最初から危険な状態に陥らない)を図る。即ち、衝突や車線逸脱等の可能性が予測される場合は、警報を鳴らしてドライバの安全運転をアシストする。そして警報を鳴らしてもドライバが適切に回避操作しない場合は、ブレ−キ、スロットルまたはステアリングの運転操作系を安全側に自動的に制御して、衝突や車線逸脱等を回避したり、運転操作を一時的に代行するように直接アシストすることが提案されている。
【0004】
そこでADAシステムにおける警報は、種々の可能性を予測して予防安全性を向上する上で非常に重要である、このためいかなる状況での何に対する可能性であるかを定め、画像デ−タの情報を有効に活用して可能性を的確に予測し、ドライバによる回避操作が可能な状態で警報を適正に発すること等が必要になる。ここで種々の可能性の1つとして、急カ−ブ等のカ−ブ路での道路や車線逸脱の可能性がある。特に、高速道路を出た直後のインタ−チェンジ等の急カ−ブでは、速度感覚がにぶってカ−ブへの進入速度が高く車線逸脱し易く、これに対して適切に警報を与えることが望まれる。
【0005】
従来、上記カ−ブ路での車線逸脱防止の警報装置に関しては、例えば実開平5−46612号公報の先行技術がある。この先行技術において、操舵角の範囲毎の車速と横加速度から車両の状態を判断し、例えば所定の操舵角による旋回時に車速と横加速度が共に大きくなったことを判断すると、警報を発して、オ−バスピ−ドによる車線逸脱等を防止することが示されている。
【0006】
【発明が解決しようとする課題】
ところで、上記先行技術のものにあっては、旋回走行中に横加速度を実際に生じている状態で判断する方法であり、カ−ブ路に進入する際のオ−バスピ−ドに起因する車線逸脱を未然に防ぐものではない。またカ−ブ路の実際の曲率半径、車線の幅等の情報が無いので、判断の精度が低い等の問題がある。
【0007】
本発明は、このような点に鑑み、カ−ブ路への進入前にオ−バスピ−ドに起因する車線逸脱の可能性を予測して、適切に警報を発することを目的とする。
【0008】
【課題を解決するための手段】
この目的を達成するため、本発明の請求項1に係る車両の警報装置は、図1に示すように、車両前方を撮像して得られた画像信号の処理によって該車両前方の道路形状を認識する画像認識手段と、上記道路形状によりカーブ路をその進入前に検出するカーブ路検出手段と、上記カーブ路を検出したときに上記道路形状による該カーブ路の情報に基づいてカーブ曲率半径R Cを算出し、該カーブ曲率半径R Cと予め設定されている横加速度GCとに基づき上記カーブ路を旋回する際の旋回車速VCを演算する旋回車速演算手段と、上記旋回車速VCと上記カーブ路進入前の実際の車速VSとを比較して急カーブか否かを判定する急カーブ判定手段と、上記実際の車速VS及び上記旋回車速VCに基づいて上記カーブ路の進入に際して制動を開始すべき制動開始地点LBを算出し、上記急カーブを判定したときに、該制動開始地点LBを過ぎても減速操作信号入力されない場合に警報を発する制動状態判定手段とを備えることを特徴とする。
【0009】
請求項2に係る車両の警報装置は、請求項1に係る車両の警報装置において、上記旋回車速演算手段は、上記旋回車速VCを、上記横加速度GCと上記カーブ曲率半径RCを用いて、VC=√(GC・RC)により推定したことを特徴とする。
【0010】
請求項3に係る車両の警報装置は、請求項1または2に係る車両の警報装置において、上記制動状態判定手段は、上記制動開始地点LBを、上記旋回車速VCと実際の車速VSを用いて、LB=(VS−VC)/g*(VS+VC)/2により推定したことを特徴とする。
請求項4に係る車両の警報装置は、請求項1または2に係る車両の警報装置において、上記制動開始地点LBは、上記実際の車速VSから上記旋回車速VCに減速するまでに要する制動距離だけ上記カーブ路手前の地点であることを特徴とする。
請求項5に係る車両の警報装置は、請求項1〜4の何れか1項に係る車両の警報装置において、上記減速操作信号は、アクセルセンサでアクセルOFFを検出したときに入力され、またブレーキスイッチでブレーキONを検出したときに入力されることを特徴とする。
【0011】
【発明の実施の形態】
以下、図面に基づいて本発明の実施の形態を説明する。図2において、車両とADAシステムの全体の概略について説明する。先ず、車両1はエンジン2がクラッチ4、変速機5、プロペラ軸6、リヤディファレンシャル装置7、リヤ車軸8等を介して後輪10に連結し、プロペラ軸6よりセンタ−ディファレンシャル装置17、フロントディファレンシャル装置18、フロント車軸19等を介して前輪9に連結し、前後輪9、10を駆動して走行可能に構成される。車両1の運転操作系として、アクセルペダル11がエンジン2のスロットル弁3を開閉してエンジン出力を変化するように設けられる。またブレ−キ装置12が、ブレ−キペダル13の操作でブレ−キ圧をブレ−キ管路14により前後輪9、10のホイ−ルシリンダ側に導入して制動するように設けられる。更に、ステアリング装置15が、ハンドル16の操作で前輪9を操舵するように設けられる。
【0012】
ADAシステム20は、車両制御の種々のアクチュエ−タとして、スロットル弁3にスロットルアクチュエ−タ21が、スロットル信号によりエンジン出力を増減できるように設けられている。またブレ−キ装置12のブレ−キ管路14中にブレ−キアクチュエ−タ22が、ブレ−キ信号によりブレ−キ圧を加減圧して自動ブレ−キするように設けられている。更に、ステアリング装置15にステアリングアクチュエ−タ23が、操舵信号により自動操舵するように設けられている。
【0013】
電子制御系について説明する。画像認識手段として車両1の例えば左右前方に配置される2台のCCDカメラ25と、ステレオイメ−ジプロセッサの画像認識ユニット26を備える。2台のCCDカメラ25は、車両前方の風景や物体をステレオ式に撮像して捉える。画像認識ユニット26は、2台のCCDカメラ25で撮像した画像信号を、ステレオ法による三角測量法で処理して距離を算出し、画面全体が三次元の距離分布の距離画像を作る。そして距離画像から車線、先行車、障害物等を分離して検出し、車線からは左右の白線、道路の三次元形状等を認識する。また前方の物体が何であるか、先行車や障害物との相対的な距離や速度等を認識するのであり、こうして道路、交通環境の画像デ−タを得る。
【0014】
ADA制御ユニット40は、種々の可能性を予測して警報を発する警報制御系、警報したにも拘らずドライバが回避操作しない場合の車両制御系等を有する。車両制御系は、画像デ−タを他の種々のセンサ信号により、例えば先行車や道路の障害物に対して安全な距離を保つように加減速度を演算し、この加減速度に基づく適正なスロットル開度のスロットル信号をスロットルアクチュエ−タ21に出力してエンジン出力制御する。また加減速度に基づく適正なブレ−キ圧のブレ−キ信号をブレ−キアクチュエ−タ22に出力して自動ブレ−キ制御し、これによりドライバの操作ミスや回避操作しない場合に、安全車間距離に保ち、または衝突防止することが可能になっている。一方、画像上の所定距離位置の目標軌跡を設定し、且つ車両が現在の走行状態のままで所定距離位置に走行した場合の予測軌道を算出し、これら目標軌道と予測軌道のずれに応じた操舵信号をステアリングアクチュエ−タ23に出力して自動操舵制御し、ドライバの操作ミス等の場合に、衝突回避や車線の逸脱防止することが可能になっている。
【0015】
警報装置の1つとしてカ−ブ路の車線逸脱に対する警報制御系について説明する。先ず、カ−ブ路に進入する前に、画像デ−タにおけるカ−ブ路の曲率半径や車線の幅等の情報を取り出す。また車速を検出する車速センサ30を有し、ドライバの減速操作信号として、アクセルOFFを検出するアクセルセンサ31、ブレ−キONを検出するブレ−キスイッチ32を有し、減速信号として加速度を検出する加速度センサ33を有する。そしてこれら情報、センサやスイッチの信号により、カ−ブ路進入前にカ−ブ路の急カ−ブを判断して車線逸脱の可能性を予測し、アラ−ム34で警報を発するように構成される。
【0016】
次に、本発明による急カ−ブ判定方法と警報制御を、図3の機能ブロック図と図4、図5のフロ−チャ−トにより説明する。先ず、車両走行中に2台のCCDカメラ25で撮像した画像信号を画像認識ユニット26で処理して、道路、交通環境の画像デ−タを得る(ステップS1)。この画像デ−タはADA制御ユニット40のカ−ブ路検出手段41に入力し、図6のように車両前方にカ−ブ路Cが有る場合は、画像デ−タによりそのカ−ブ路Cを検出する(ステップS2)。
【0017】
カ−ブ路Cを検出すると、そのカ−ブ路Cの手前の地点で画像デ−タにおけるカ−ブ路Cの最大の曲率半径Rと車線の幅Wの情報を取り出し、車速センサ30によるカ−ブ路C手前の実際の車速VS 、急カ−ブ迄の距離Lを読込む(ステップS3)。そしてカ−ブ曲率半径演算手段42で、画像デ−タによる曲率半径Rと車線の幅Wにより、カ−ブ路Cの車線の幅を加味し、車線の全幅を利用したアウト・イン・アウト走行によるカ−ブ路Cにおける最大旋回半径であるカ−ブ曲率半径RC を、RC =R+Wにより演算する(ステップS4)。その後、旋回車速演算手段43で、そのカ−ブ路Cを標準的なドライバが旋回する際の旋回車速VC を、横加速度GC (例えば0.4G)とカ−ブ曲率半径RC を用いて、VC =√(GC・RC)により演算して推定する(ステップS5)。これにより実際のカ−ブ路Cが、曲率半径Rが大きくても車線の幅が狭かったり、曲率半径Rが小さくても車線の幅が広い等の種々の状況であっても、車線逸脱を生じない旋回車速VC が予め正確に求まる。
【0018】
そして急カ−ブ判定手段44で、カ−ブ路Cの進入前の実際の車速VS と旋回車速VC を比較して急カ−ブか否かを判断する(ステップS6)。そして旋回車速VC より車速VS の方が小さい場合は、急カ−ブでないことを判断して終了する。一方、旋回車速VC より車速VS の方が大きい場合は、このままの車速VS でカ−ブ路Cに進入した場合に車線逸脱する可能性が有る急カ−ブと判定する(ステップS7)。そこでドライバが目の前のカ−ブ路Cと車両1の現在の車速VS の状態を認識し、車速VS が充分に低く保持されていたり、または車速VS がカ−ブ路Cの曲率半径や車線の幅から推定した旋回車速VC より大きいと判断して早めに減速すると、車線逸脱する可能性が低下するため警報を鳴らさない。そして車両1は、この車速VS でカ−ブ路Cに進入して正常に旋回する。
【0019】
急カ−ブを判定した場合は、車線逸脱判定手段45でアクセルセンサ31やブレ−キスイッチ32の減速操作信号をチェックして、ドライバが回避操作したか否かを判断する(ステップS8)。そして減速操作信号が入力すると、ドライバが回避操作したことを判定して終了する。一方、減速操作信号が入力しない場合は、ドライバが回避操作しないことを判定して、警報サブル−チンに移行する(ステップS9)。
【0020】
警報サブル−チンは図5に示すように、先ず車両前方の急カ−ブ進入に際して標準的なドライバが制動を開始する制動開始地点LB を算出する(ステップS11)このステップS11での演算は、LB=(VS−VC)/g*(VS+VC )/2とする。ここで、VCは標準的ドライバの旋回速度を表し、例えば旋回横 Gを0.2としてVC=√(R*0.2*9.8)として算出する。そしてステ ップS3で読み込んだ急カ−ブまでの距離Lと制動開始地点LB とを比較する(ステップS12)。仮にL>LB の場合には、急カ−ブまでの距離に余裕があるため警報を鳴らさない。一方、L≦LB の場合には、標準的なドライバが制動を掛けるべき地点を通り過ぎているためカ−ブ路Cでの車両1の車線逸脱の可能性を予測してアラ−ム34で警報を鳴らす(ステップS13)。これにより、カ−ブ路Cの進入前に警報が鳴り、ドライバが警報に気付いて減速するように回避操作しても充分に間に合い、この回避操作により車両1は減速した状態でカ−ブ路Cに進入して、車線逸脱を未然に防止するようにドライバの安全運転がアシストされる。
【0021】
以上、本発明の実施の形態について説明したが、ドライバの減速信号として加速度センサ33の信号を用いることもできる。また、本発明の実施の形態において、警報手段をアラ−ム34を使用した例を説明したが、ドライバの覚醒度を高められるものであればドライバの視野内に設けた表示装置やシ−トクッション、またはシ−トバックに内装された振動を発する振動装置等でも良い。
【0022】
【発明の効果】
以上に説明したように、本発明に係る車両の警報装置では、カーブ路進入に際し制動を開始すべき地点に車両が到達しても減速操作信号が入力されない場合に警報を発するようにしたので、不必要な警報を発することなくカーブ路でのドライバの安全運転を確実のアシストすることができる。
【0023】
また、旋回車速VCを横加速度GCとカーブ曲率半径RC及び車線幅を用いて、VC=√(GC・RC)により推定したことにより、画像情報を元に高い精度の旋回車速の推定が行える。
【0024】
また、減速開始地点LBを、旋回車速VCと実際の車速VSを用いて、LB=(VS−VC)/g*(VS+VC)/2により推定したことで、カーブ進入に際して違和感のない制動が行える。
【図面の簡単な説明】
【図1】本発明に係る車両の警報装置の構成を示すクレ−ム対応図。
【図2】車両とADAシステムの全体の概略を示す説明図である。
【図3】本発明の警報装置の機能ブロック図である。
【図4】本発明の全体制御を表すフロ−チャ−トである。
【図5】本発明の制動状態判定手段での制御を表すフロ−チャ−トである。
【図6】カ−ブ路の状態を示す説明図である。
【符号の説明】
27 画像認識手段
41 カ−ブ路検出手段
43 旋回車速演算手段
44 急カ−ブ判定手段
45 制動状態判定手段

Claims (5)

  1. 車両前方を撮像して得られた画像信号の処理によって該車両前方の道路形状を認識する画像認識手段と、
    上記道路形状によりカーブ路をその進入前に検出するカーブ路検出手段と、
    上記カーブ路を検出したときに上記道路形状による該カーブ路の情報に基づいてカーブ曲率半径R Cを算出し、該カーブ曲率半径R Cと予め設定されている横加速度GCとに基づき上記カーブ路を旋回する際の旋回車速VCを演算する旋回車速演算手段と、
    上記旋回車速VCと上記カーブ路進入前の実際の車速VSとを比較して急カーブか否かを判定する急カーブ判定手段と、
    上記実際の車速VS及び上記旋回車速VCに基づいて上記カーブ路の進入に際して制動を開始すべき制動開始地点LBを算出し、上記急カーブを判定したときに、該制動開始地点LBを過ぎても減速操作信号入力されない場合に警報を発する制動状態判定手段とを備えることを特徴とする車両の警報装置。
  2. 上記旋回車速演算手段は、上記旋回車速VCを、上記横加速度GCと上記カーブ曲率半径RCを用いて、VC=√(GC・RC)により推定したことを特徴とする請求項1記載の車両の警報装置。
  3. 上記制動状態判定手段は、上記制動開始地点LBを、上記旋回車速VCと実際の車速VSを用いて、LB=(VS−VC)/g*(VS+VC)/2により推定したことを特徴とする請求項1または2記載の車両の警報装置。
  4. 上記制動開始地点LBは、上記実際の車速VSから上記旋回車速VCに減速するまでに要する制動距離だけ上記カーブ路手前の地点であることを特徴とする請求項1または2に記載の車両の警報装置。
  5. 上記制動状態判定手段は、アクセルセンサでアクセルOFFを検出し、またはブレーキスイッチでブレーキONを検出したとき上記減速操作信号が入力される
    ことを特徴とする請求項1〜4の何れか1項に記載の車両の警報装置。
JP09734196A 1996-03-28 1996-03-28 車両の警報装置 Expired - Lifetime JP3720117B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP09734196A JP3720117B2 (ja) 1996-03-28 1996-03-28 車両の警報装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP09734196A JP3720117B2 (ja) 1996-03-28 1996-03-28 車両の警報装置

Publications (2)

Publication Number Publication Date
JPH09263200A JPH09263200A (ja) 1997-10-07
JP3720117B2 true JP3720117B2 (ja) 2005-11-24

Family

ID=14189786

Family Applications (1)

Application Number Title Priority Date Filing Date
JP09734196A Expired - Lifetime JP3720117B2 (ja) 1996-03-28 1996-03-28 車両の警報装置

Country Status (1)

Country Link
JP (1) JP3720117B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009042915A1 (de) 2008-09-30 2010-04-01 Denso Corporation, Kariya-City Lenksteuervorrichtung für ein Fahrzeug

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11148394A (ja) * 1997-11-14 1999-06-02 Nissan Motor Co Ltd 車両制御装置
JP2003104147A (ja) * 2001-09-27 2003-04-09 Mazda Motor Corp 車両の逸脱警報装置
JP4319928B2 (ja) 2004-03-09 2009-08-26 株式会社デンソー 車両状態検知システムおよび車両状態検知方法
FR2900729B1 (fr) * 2006-05-02 2008-08-01 Peugeot Citroen Automobiles Sa Dispositif d'indication du niveau de difficulte d'un virage et vehicule automobile comprenant ce dispositif d'indication.
JP2011255817A (ja) * 2010-06-10 2011-12-22 Mitsubishi Motors Corp 車線逸脱防止装置
JP5673597B2 (ja) 2011-11-18 2015-02-18 株式会社デンソー 車両用挙動制御装置
JP5692324B2 (ja) * 2013-09-27 2015-04-01 三菱自動車工業株式会社 車線逸脱防止装置
CN117292579A (zh) * 2023-10-27 2023-12-26 浪潮智慧科技有限公司 一种基于大数据的公路弯道预警方法、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009042915A1 (de) 2008-09-30 2010-04-01 Denso Corporation, Kariya-City Lenksteuervorrichtung für ein Fahrzeug
DE102009042915B4 (de) 2008-09-30 2019-05-23 Denso Corporation Lenksteuervorrichtung für ein Fahrzeug

Also Published As

Publication number Publication date
JPH09263200A (ja) 1997-10-07

Similar Documents

Publication Publication Date Title
US5757949A (en) Warning system for vehicle
CN104487308B9 (zh) 驾驶辅助装置
KR101864938B1 (ko) 충돌 회피 지원 장치
JP5375752B2 (ja) 車両運転支援装置
JP4011711B2 (ja) 車両走行安全装置
US20090143951A1 (en) Forward Collision Avoidance Assistance System
CN104487309B (zh) 驾驶辅助装置
US7236870B2 (en) Lane keep control apparatus and method for automotive vehicle
US9415774B2 (en) Vehicle control apparatus including an obstacle detection device
JP2001191876A (ja) 物体検知装置および車両の走行安全装置
US11938924B2 (en) Driving assistance control apparatus for vehicle, driving assistance control system for vehicle, and driving assistance control method for vehicle
US20070191997A1 (en) Vehicle control system
JPH11255089A (ja) 車両の自動ブレーキ制御装置
JP3631825B2 (ja) 車両及びその走行レーン逸脱防止装置
JP2004224309A (ja) 車両用衝突防止支援装置
JP7155993B2 (ja) 車両の走行制御装置
JP2022024322A (ja) 衝突回避支援装置
JP2003327012A (ja) 車両用走行制御装置
US20230382455A1 (en) Collision avoidance support apparatus
JP2006199233A (ja) 車両用安全制御装置
JP3720117B2 (ja) 車両の警報装置
JP2017117192A (ja) 運転支援装置
JP7306887B2 (ja) 車両制御装置
JPH08197977A (ja) 車両の警報装置
JP2005122272A (ja) 車輌の走行経路予測制御装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041214

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050517

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050907

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080916

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090916

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090916

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100916

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100916

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110916

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120916

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130916

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term