Nothing Special   »   [go: up one dir, main page]

JP3717551B2 - ディスクアレイシステム - Google Patents

ディスクアレイシステム Download PDF

Info

Publication number
JP3717551B2
JP3717551B2 JP22302595A JP22302595A JP3717551B2 JP 3717551 B2 JP3717551 B2 JP 3717551B2 JP 22302595 A JP22302595 A JP 22302595A JP 22302595 A JP22302595 A JP 22302595A JP 3717551 B2 JP3717551 B2 JP 3717551B2
Authority
JP
Japan
Prior art keywords
disk drive
data
disk
control circuit
interface control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP22302595A
Other languages
English (en)
Other versions
JPH0969030A (ja
Inventor
健治 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP22302595A priority Critical patent/JP3717551B2/ja
Priority to DE69636805T priority patent/DE69636805T2/de
Priority to US08/698,846 priority patent/US5895483A/en
Priority to EP06000724A priority patent/EP1647882A3/en
Priority to EP96113204A priority patent/EP0762266B1/en
Publication of JPH0969030A publication Critical patent/JPH0969030A/ja
Application granted granted Critical
Publication of JP3717551B2 publication Critical patent/JP3717551B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/02—Channels characterised by the type of signal
    • H04L5/06—Channels characterised by the type of signal the signals being represented by different frequencies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2002—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
    • G06F11/2007—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media
    • G06F11/201—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media between storage system components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0626—Reducing size or complexity of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/70—Masking faults in memories by using spares or by reconfiguring
    • G11C29/74—Masking faults in memories by using spares or by reconfiguring using duplex memories, i.e. using dual copies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/1658—Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit
    • G06F11/1662—Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit the resynchronized component or unit being a persistent storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2002—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
    • G06F11/2007—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2089—Redundant storage control functionality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2094—Redundant storage or storage space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/1075—Data buffering arrangements, e.g. recording or playback buffers the usage of the buffer being restricted to a specific kind of data
    • G11B2020/10759—Data buffering arrangements, e.g. recording or playback buffers the usage of the buffer being restricted to a specific kind of data content data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/40—Combinations of multiple record carriers
    • G11B2220/41—Flat as opposed to hierarchical combination, e.g. library of tapes or discs, CD changer, or groups of record carriers that together store one title

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Description

【０００１】
【産業上の利用分野】
本発明は、計算機、電子機器に用いられる、ディスクアレイ、ディスクドライブ制御回路を有するディスクアレイシステムに関するものである。
【０００２】
【従来の技術】
従来、ディスクアレイで多数のディスクドライブを接続する場合はクロスバースイッチを用い接続する方法がある。またディスクドライブのインタフェースはＳＣＳＩが多く使用されている。この方式はデータを並列に時分割で伝送する方式を用いており、イニシエータに対するアクセスは１伝送線路上に一時刻当り１対１の通信のみを行う方式であり、同時に多数のイニシエータとディスクドライブとの通信ができない欠点がある。またこの方式では一線路上に接続可能なディスクドライブは数十台と数が少ないため、クロスバースイッチと併用した方法を使用し、見かけ上多数のディスクドライブを少ない制御回路で制御する方式が採られてきた。
【０００３】
【発明が解決しようとする課題】
ディスクアクセスにおいて、トランザクシション性能を上げるためには多数のディスクドライブを用意することにより実現する方法がある。これはシーク等の機構による低速な動作を並列に行うことができるため、見かけ上一定時間内に多くの処理が可能となる。また、今後ディスクドライブの小型化により、多くのディスクドライブを使用することになると考えられる。ディスク制御装置とディスクドライブの接続については、現在ではＳＣＳＩを用いたインタフェースが主流であるが、このインタフェースをドライブが増加した場合１本のインタフェースで１対１の接続をする場合多数のインタフェースが必要となり実装面で困難である。
【０００４】
また１つの制御回路で接続可能なディスクドライブの数が少ないため、多数の制御回路を使用するか、又はこれを補うための交換機が必要となり、この制御を行う制御回路が必要となり物量が増し、動的な制御が複雑化し困難となる。
【０００５】
【課題を解決しようとする手段】
本発明によれば、１本のインタフェース線上で多くのデータを伝送させるために同一時間内に周波数の多重を行い同時に複数のデータ転送を行う周波数分割多重伝送を用いることにより、少数の制御回路で多数のディスクドライブを接続を可能とする。
【０００６】
また各制御装置、ディスクドライブグループ毎に伝送周波数を動的に切り変えることにより少数のディスクドライブ制御回路で見かけ上多数のディスクドライブを制御する。
【０００７】
【作用】
周波数分割多重伝送方式を用いることにより１本のインタフェース線上で同時刻に複数のデータを伝送させることが可能なため、これにより多数のディスクドライブに対するインタフェース線が不必要となり多数のディスクドライブを使用する際の実装面での問題を解決することが可能となる。
【０００８】
また、各ディスクドライブ制御回路、ディスクドライブグループ毎に伝送周波数を動的に切り変えることによりクロスバースイッチの代わりをすることが可能となり、また切り変えを行うための特別に独立したクロスバースイッチ等の制御が不要となる。以上の結果小型で高性能なディスクアレイシステムが構築可能となる。
【０００９】
【実施例】
図１は、ディスクドライブインタフェース制御回路とディスクドライブアレイとの間を接続するディスクドライブインタフェースに周波数分割多重伝送方式を用いた、本発明によるディスクアレイシステムの実施例を示した図である。
【００１０】
図１のディスクアレイシステムは、チャネルインタフェース制御回路１、キャッシュメモリ２、ディスクドライブインタフェース制御回路５、これらをそれぞれ接続する内部データバス４、周波数分割多重伝送インタフェース６、及び、ディスクドライブ７より構成されている。また、ディスクドライブ７は、幾つかのグループにまとめられそのディスクドライブグループ３Ａ、３Ｂ、３Ｃ、３Ｄ、３Ｅ、…で１つの伝送する周波数の割当てを行う。各ディスクドライブグループ内の識別はそれぞれのディスクドライブのアドレス付けにより行う。ここで、多数のディスクドライブ７からなるディスクアレイの構成は、ＲＡＩＤ５構成で、４データディスクドライブ（図４〜図１３の２４）及び１パリティディスクドライブ（図４〜図１３の２５）構成の場合を示している。
【００１１】
各ディスクドライブインタフェース制御回路５は、図４〜図１３にみられるように４つのディスクドライブインタフェースのポートＰ１〜Ｐ４と、２つのインタフェースの接続パスＣ１、Ｃ２とを有し、ディスクドライブインタフェース毎に割当て周波数が重ならないように設定しディスクドライブ７との接続を行う。なお、ポートＰ１〜Ｐ４と、接続パスＣ１、Ｃ２の符号は、図４〜図１３の簡略化のために、図４のディスクドライブインタフェース制御回路５ｃについてのみ表示した。
【００１２】
また、ディスクドライブインタフェース制御回路５とディスクドライブ７との接続は障害発生時の交代パスとして２つの経路６−１、６−２で接続し、それぞれのパスには物理的に全ディスクドライブに接続する。通常はこの２つのパスを用いて同一ディスクドライブグループに対するアクセスを可能にする等により、有効利用することが望ましい。この詳細については後述する。
【００１３】
図２は、チャネルインタフェース制御回路１の内部を示した図である。同図に示されるように、チャネルインタフェース制御回路１は、チャネルインタフェースプロトコル制御部８、データ転送制御部９、データフォーマット変換部１０、内部バスデータ転送制御部１１、バッファメモリ１２、及びマイクロプロセッサ１３より構成されている。
【００１４】
図３は、ディスクドライブインタフェース制御回路５の内部構成を示した図である。
ディスクドライブインタフェース制御回路５は、同図に示されるように、周波数分割多重インタフェース制御回路１４、内部バスデータ転送制御回路１５、バッファメモリ１６、パリティデータ生成部１７、ディスクドライブインタフェース制御回路内部バス１８及びマイクロプロセッサ１９より構成されている。
【００１５】
次に、図示しないホストコンピュータとディスクドライブ７間のデータの流れについて説明する。
まず、ホストコンピュータからディスクドライブに対しデータを書き込む場合について説明する。
【００１６】
図１中のチャネルインタフェース制御回路１は、コンピュータに接続され、図２中のチャネルインタフェースプロトコル制御部８でチャネルインタフェースのプロトコル制御、コマンド解析を行い、データ転送制御部９によりホストコンピュータからのデータをデータフォーマット変換部１０に転送し、ＣＫＤフォーマットからＦＢＡフォーマットにデータフォーマット変換を行う。この後、内部バスデータ転送制御部１１により、キャッシュメモリ２に対してのデータ転送を行う。キャッシュメモリ２はこの際、データ転送における一時的なバッファ機能の役目を果たす。以後の動作は、各書き込みデータ量により、以下の（１）ないし（７）の場合で異なり、それぞれの場合について説明する。
【００１７】
（１）全ストライプライトを２パスで行う場合
図４を用いて説明する。チャネルインタフェース制御回路よりディスクドライブインタフェース制御回路に対し書き込みが発生したことを通知し、２つのディスクドライブインタフェース制御回路、例えば、５ａ、５ｂが選択される。それぞれのディスクドライブインタフェース制御回路５ａ、５ｂが連動しキャッシュメモリ２からディスクドライブ７ａ〜７ｄにデータの転送を行う。このときディスクドライブインタフェース制御回路５ａはデータディスクドライブ７ａ、７ｂに対し書き込みデータを４つのポートＰ１〜Ｐ４と、２つのインタフェース接続パスＣ１、Ｃ２を用い同時に転送する。このときディスクドライブインタフェース制御回路５ａの４つのポートは各データディスクドライブ７ａ〜７ｄの周波数に設定する。もう一方のディスクドライブインタフェース制御回路５ｂはキャッシュメモリ２より送られてきたデータによりパリティデータの生成を行いパリティディスクドライブ７ｅに対しライトデータ転送を行う。こうして全ストライプライト、２パスの１連の書き込み動作を完了する。
【００１８】
（２）全ストライプライトを１パスで行う場合
図５を用いて説明する。１パスを用いる場合は３つのディスクドライブインタフェース制御回路を使用する。これはディスクドライブインタフェース制御回路−ディスクドライブの１パスに障害が発生した場合の手段である。チャネルインタフェース制御回路よりディスクドライブインタフェース制御回路に対し書き込みが発生したことを通知し、通知を受理した３つのディスクドライブインタフェース制御回路５ａ、５ｂ、５ｃが選ばれ、それぞれを用いてデータ転送を行う。
【００１９】
まず、キャッシュメモリ２から、ディスクドライブインタフェース制御回路５ａに対して、データディスクドライブ７ａ、７ｂへの書き込みデータの転送を行う。この後、データディスクドライブ７ｃ、７ｄに対する書き込みデータをキャッシュメモリ２からディスクドライブインタフェース制御回路５ｂに対し転送する。データを受け取ったディスクドライブインタフェース制御回路５ａ、５ｂはデータディスクドライブ７ａ〜７ｄに対しライトデータ転送を行う。この際、伝送周波数は変えて同時転送可能とする。
【００２０】
一方、ディスクドライブインタフェース制御回路５ｃではキャッシュメモリ２から受け取った、データディスクドライブ７ａ、７ｂ、７ｃ、７ｄからのデータに基づいてパリティデータの生成を行いパリティディスクドライブ７ｅに対しライトデータ転送を行う。この伝送周波数をデータディスクドライブ７ａ〜７ｄの周波数と変え同時転送可能とする。こうして全ストライプライト、１パスの１連の書き込み動作を完了する。
【００２１】
（３）１ストライプライトを行う場合
図６を用いて説明する。この場合は１つのディスクドライブインタフェース制御回路を使用しておこなう。チャネルインタフェース制御回路よりディスクドライブインタフェース制御回路に対し書き込みが発生したことを通知し、通知を受理した１つのディスクドライブインタフェース制御回路５ａが選ばれ、キャッシュメモリ２からデータ転送が行われる。この選択されたディスクドライブインタフェース制御回路５ａは２つのポートを用いて書き込みの発生したデータディスクドライブ７ａとパリティディスクドライブ７ｅのデータリード転送を行う。このディスクドライブ７ａ、７ｅから転送したデータとキャッシュメモリ２からのデータにより新パリティデータ生成を行い、パリティディスクドライブ７ｅのライトデータとする。このパリティデータとキャッシュメモリ２からのデータを、パリティディスクドライブ７ｅ、データディスクドライブ７ａに対してライトデータとして転送を行う。こうして１ストライプライトの１連の書き込み動作を完了する。
【００２２】
（４）２ストライプライトを２パスで行う場合
図７を用いて説明する。この場合は１つのディスクドライブインタフェース制御回路を使用してライト動作を行う。チャネルインタフェース制御回路よりディスクドライブインタフェース制御回路に対し書き込みが発生したことを通知し、通知を受理した１つのディスクドライブインタフェース制御回路５ａが選ばれキャッシュメモリ２よりデータの転送が行われる。一方、書き込みの発生した２つのデータディスクドライブ７ａ、７ｂとパリティディスクドライブ７ｅよりデータリード転送を行う。これらのデータ転送の際それぞれの伝送周波数をかえる。この後各ディスクドライブの２つの旧データ、１つの旧パリティとキャッシュメモリ２より転送したデータにより新パリティデータ生成を行い、パリティディスクドライブ７ｅのライトデータとする。このデータとキャッシュメモリ２から転送したデータをパリティディスクドライブ７ｅ、データディスクドライブ７ａ、７ｂに対しライトデータ転送を行う。こうして２ストライプライト、２パスの１連の書き込み動作を完了する。
【００２３】
（５）２ストライプライトを１パスで行う場合
図８を用いて説明する。この場合は１つのディスクドライブインタフェース制御回路を使用してライト動作を行う。チャネルインタフェース制御回路からディスクドライブインタフェース制御回路に対し書き込みが発生したことを通知し、通知を受理した２つのディスクドライブインタフェース制御回路５ａ、５ｄが選ばれ、ディスクドライブインタフェース制御回路５ａにキャッシュメモリ２よりデータの転送が行われる。一方、ディスクドライブインタフェース制御回路５ｄはパリティディスクドライブ７ｅの旧データのリードデータ転送を行う。これと同時にライトの発生したディスクドライブ７ａの旧データのリードデータ転送を行う。これらは伝送周波数を変えて行う。その後、ディスクドライブインタフェース制御回路５ｄよりディスクドライブインタフェース制御回路５ａに対しデータ転送を内部バス４を通じて行い、このデータとデータディスクドライブ７ａの旧データとキャッシュメモリ２より転送したデータとにより新パリティデータの生成を行い、パリティディスクドライブ７ｅのライトデータとする。このパリティ生成期間にデータディスクドライブ７ａのライトデータ転送を行い、その後ポートの周波数を切り替えパリティディスクドライブ７ｅに対し新パリティのライトデータ転送を行う。こうして２ストライプライト、１パスの１連の書き込み動作を完了する。
【００２４】
（６）３ストライプライトを１パスで行う場合
図９を用いて説明する。これはディスクドライブインタフェース制御回路−ディスクドライブの１パスに障害が発生した場合の手段である。チャネルインタフェース制御回路よりディスクドライブインタフェース制御回路に対し書き込みが発生したことを通知し、通知を受理した２つのディスクドライブインタフェース制御回路５ａ、５ｂが選ばれ２つのディスクドライブインタフェース制御回路にキャッシュメモリ２よりデータ転送が同時行われる。一方、書き込みの発生した３つのデータディスクドライブ７ａ〜７ｃとパリティディスクドライブ７ｅからリードデータ転送を行う。この後、ディスクドライブインタフェース制御回路５ａでキャッシュメモリ２より転送されてきたデータとディスクドライブのリードデータより中間パリティデータを生成し、このデータを内部バス４を通じディスクドライブインタフェース制御回路５ｂに対しデータ転送を行なう。このデータとキャッシュメモリ２からのデータとディスクドライブからの旧リードデータにより新パリティデータ生成を行い、パリティディスクドライブのライトデータとする。そして、ディスクドライブインタフェース制御回路５ａより２つのデータディスクドライブ７ａ、７ｂ、ディスクドライブインタフェース制御回路５ｂより１つのデータディスクドライブ７ｃとパリティディスクドライブ７ｅに対しライトデータ転送を行う。こうして３ストライプライト、１パスの１連の書き込み動作を完了する。
【００２５】
（７）３ストライプライトを２パスで行う場合
図１０を用いて説明する。チャネルインタフェース制御回路よりディスクドライブインタフェース制御回路に対し書き込みが発生したことを通知し、通知を受理した１つのディスクドライブインタフェース制御回路５ａが選ばれキャッシュメモリ２よりデータを転送が行われる。これと同時にディスクドライブインタフェース制御回路は４つのポートを使用し書き込みの発生したデータディスクドライブ７ａ〜７ｃとパリティディスクドライブ７ｅより旧データのリードデータ転送を行う。この後、これらのディスクドライブのリードデータとキャッシュメモリ２より転送したデータにより新パリティデータ生成を行い、パリティディスクドライブ７ｅのライトデータとする。つぎにこのデータとキャッシュメモリ２から転送したデータをパリティディスクドライブ７ｅ、データディスクドライブ７ａ〜７ｃに対しライトデータ転送を行う。こうして３ストライプライト、２パスの１連の書き込み動作を完了する。
【００２６】
このように各場合で同時にストライピンググループの書き込みを行うため、ストライピンググループのディスクドライブはディスクドライブグループとは直交の関係にあり、これにより各ディスクドライブインタフェース制御回路の伝送周波数を変えることにより同時に書き込みが可能となる。
【００２７】
次に、ディスクドライブからホストコンピュータに対しデータをリードする場合について説明する。図１中のチャネルインタフェース制御回路１でホストコンピュータからのコマンドを解析し次にリードするデータがキャッシュメモリ２に存在するかの確認を行う。もしある場合はディスクドライブ７よりデータを読み出さずに、高速化をはかるためキャッシュメモリ２のデータを使用する。この場合チャネルインタフェース制御回路１の要求で内部バスデータ転送制御部１１によりキャッシュメモリ２からのデータ転送を行い、受け取ったデータをデータフォーマット変換部１０でＦＢＡデータフォーマットからＣＫＤデータフォーマットにデータフォーマットを変換した後、ホストコンピュータに対しチャネルインタフェースプロトコル制御部８を通じてデータ転送を行う。
【００２８】
また、キャッシュメモリ２上に必要とするデータが存在しない場合について図１１を用いて説明する。チャネルインタフェース制御回路からディスクドライブインタフェース制御回路に対しリード要求を発生し、これを受理したディスクドライブインタフェース制御回路５ａが選択され、要求データの入ったディスクドライブよりデータのリード転送を行う。この際、それぞれのディスクドライブインタフェース制御回路のポートの伝送周波数を変えることで、ディスクドライブからのリードデータの同時転送が可能となる。ディスクドライブインタフェース制御回路とディスクドライブのパスが１パス障害で縮退している場合は２つのディスクドライブインタフェース制御回路を使用して転送を行う。
【００２９】
次に、ディスクドライブに障害が発生した時のリードの場合について図１２を用いて説明する。チャネルインタフェース制御回路からディスクドライブインタフェース制御回路に対しリード要求を発生し、これを受理したディスクドライブインタフェース制御回路５ａが選択され、障害の発生していないデータディスクドライブ７ａ〜７ｃとパリティディスクドライブ７ｅからリードデータ転送を行う。これらのデータより障害の発生したデータディスクドライブ７ｄのデータを修復し全データを得る。またディスクドライブインタフェース制御回路とディスクドライブのパスが障害で１パスに縮退している場合は２つのディスクドライブインタフェース制御回路を使用して転送を行う。このようにして一連のリード動作を行う。
【００３０】
次に、ディスクドライブに障害が発生した後のデータの再構築の方法について図１３を用いて説明する。スペアディスクドライブ群７Ｆは初期設定の伝送周波数帯を他のデータディスクドライブ群、パリティディスクドライブ群の周波数とは変えて設定しておく。障害が発生した場合この障害ディスクドライブ７ｄのデータをディスクドライブインタフェース制御回路５ａを用い再構築する。この修復データを新しくスペアディスクドライブ群７Ｆの１つ７ｆに割当てを行い、このディスクドライブ７ｆに対し書き込みを行う。この修復がディスクドライブの全データに対し完了するまでのあいだは、データ修復を行いながら、ホストコンピュータからのサービスを行う。この後データ修復が完了すると障害発生ディスクドライブ７ｄの伝送周波数を障害ディスクドライブ用の周波数に設定し、アドレスの再設定または閉塞を行う。また修復データの入ったスペアディスクドライブ７ｆを障害の発生したディスクドライブ７ｄの周波数、アドレスに再設定を行う。これにより、ディスクドライブマッピングを変更せずに障害発生前と同ようなパスを用いてディスクドライブのアクセスができ、障害前と同様の運転が可能となる。
【００３１】
数多くのディスクドライブを接続した際の切り替え方法について図１４を用いて説明する。各ディスクドライブグループ３の周波数をそれぞれ独立に設定し、その設定した周波数をディスクドライブインタフェース制御回路で選択することにより動的に接続状態を変更する。これにより、各ディスクドライブインタフェース制御回路から自由にディスクドライブグループ３を選択することが可能となり、見かけ上多数のディスクドライブ７を制御することが可能となる。この際、ストライプグループ３０の単位でそれぞれ使用する周波数を変えておくことにより、１本のデータ線上で同時にデータの転送を行うことが可能となる。また同一のストライプグループ３０でないディスクドライブに対するアクセスも同時に行うことを可能とし、各ディスクドライブ７の転送の多重度を上げることができ、ディスクドライブのアクセス時間の高速化をはかることができる。またディスクドライブインタフェース制御回路−ディスクドライブのパス６−１、６−２も同時に２パス用いることによりさらに高多重化をはかることができる。
【００３２】
周波数分割多重伝送の説明をする。図１５は周波数分割多重伝送の概念を示す図である。伝送を行うインターフェイスは伝送周波数の割当て上、占有帯域幅を狭くする必要がある。これは広い占有帯域幅を必要とする場合は多くのチャネル数の割当てができなくなるためである。一方、データ転送速度は高速性が要求されるため、変調方式を位相変調等を用い高速転送と狭い占有帯域幅とし、周波数帯は数ＧＨｚを用いる。この周波数帯であればフィルタ等も小型化が可能であり制御論理回路のノイズの周波数成分と異なり影響も少なくなる。伝送を行う媒体は電線以外に光フファイバの利用も可能である。
【００３３】
図１６は図３に示すディスクドライブインタフェース制御回路５内の周波数分割多重インタフェース制御回路１４の内部ブロックの詳細を示した図である。マイクロプロセッサ３１、送受信周波数設定回路３２、発振周波数制御回路３３、送信用発振器３４、受信用発振器３５、変調回路３６、送信増幅器３７、内部バス転送制御回路３８、ディスクドライブインタフェースプロトコル制御回路３９、復調回路４０、周波数変換回路４１、帯域増幅器４２、バッファメモリ４３及びパリティデータ生成部４４から構成されている。
【００３４】
まず、周波数分割多重伝送の使用周波数を割当てのを行うため、マイクロプロセッサ３１により送受信周波数設定回路３２に希望の周波数の設定を行う、これにより発振周波数制御回路３３、送信用発振器３４、受信用発振器３５により設定された周波数に合わせた発振を行う。
【００３５】
次に、データをディスクドライブに対し送信する場合についての動作について説明する。内部バスデータ転送制御回路３８の要求により、図１のキャッシュメモリ２より内部バス４を通じ内部バスデータ転送制御回路３８にデータが転送される。このデータをディスクドライブインタフェースプロトコル制御回路３９により対ディスクドライブプロトコルに変換、コード変換、シリアルデータ化等のデータ変換をする。この変換されたデータを前述の発振周波数をもとに変調回路３６で変調をかけてディスクドライブに対し送信増幅器３７で増幅後周波数分割多重インタフェースポート４５を通じ送出する。
【００３６】
次に、受信の場合について説明する。まず、ディスクドライブから送られてきた信号を帯域増幅器４２に通すことにより、希望する周波数信号のみを通過させる。その後、受信用発振器３５、周波数変換器４１で、一定の中間周波数に変換し、変調されたデータを復調回路４０に入力して復調し、デジタル信号に変換する。この周波数の選択もマイクロプロセッサ３１が送受信周波数設定回路３２に周波数を設定することにより行う。
【００３７】
次にこのデジタル信号をディスクドライブインタフェースプロトコル制御回路３９によりコード変換、パラレルデータ化等を行い、内部バスデータ転送制御回路３８にデータを転送する。データを受け取った内部バスデータ転送制御回路３８は内部バス４にデータを転送し、図１のキャッシュメモリ２にデータを書き込む。このようにしてディスクドライブ７とデータの転送を行う。
【００３８】
図１７はディスクドライブ内のインタフェース部の構成を示した図である。このインタフェース部は、マイクロプロセッサ４６、送受信周波数設定回路４７、発振周波数制御回路４８、送信用発振器４９、受信用発振器５０、変調回路５１、送信増幅器５２、ディスクドライブインタフェースプロトコル制御回路５３、復調回路５４、周波数変換回路５５、帯域増幅器５６及びディスクドライブリードライト処理回路５７から構成されている。
【００３９】
ディスクドライブ側の動作もディスクドライブインタフェース制御と同様の構成であり、周波数を予め設定して、その周波数で電源投入後のデータの転送を行う。この予め設定した周波数のデータはフラッシュメモリ等の不揮発メモリ等に格納しておく。その後周波数の変更時はディスクドライブインタフェース制御回路５から周波数設定コマンド受けることにより各周波数に切り変える。またディスクディスクドライブグループ３内での各ディスクドライブの選択はアドレスをそれぞれに付けることにより選択する。
【００４０】
このようにして各ディスクドライブインタフェース制御回路５からディスクドライブ７の選択を可能としまた同一時間内に多数のディスクドライブの接続を１本のインタフェース線で実現することができる。
【００４１】
以上のように構成すれば多数のディスクドライブを有する場合でもディスクドライブインタフェース制御回路７とディスクドライブ７とのインタフェース線を少なくでき、またディスクドライブの増設が容易になる。
【００４２】
【発明の効果】
本発明によれば、多数のディスクドライブをディスク制御装置に接続する際、１本のインタフェース線で行うことが可能となる。またディスクドライブとのデータ転送を一時刻内に複数行うことができ、またパスを動的に切り替えるため、ディスクアクセスの性能を向上することができる。
【００４３】
また、障害発生後のスペアディスクドライブのマッピングも周波数、アドレスの再設定により変更なしで運用可能となる。
【００４４】
さらに、実装面においても１本のインタフェース線上で複数のデータ転送を行うため、多数のディスクドライブを実装した際のインタフェース線の増大化の問題を解決することが可能である。
【図面の簡単な説明】
【図１】本発明によるディスクアレイシステムの一実施例のシステム構成図。
【図２】チャネルインタフェース制御回路のブロック構成図。
【図３】ディスクドライブインタフェース制御回路のブロック構成図。
【図４】２パス使用、全ストライプデータライト時のデータフロー説明図。
【図５】１パス使用、全ストライプデータライト時のデータフロー説明図。
【図６】１ディスクドライブライト時のデータフロー説明図。
【図７】２パス使用、２ディスクドライブライト時のデータフロー説明図。
【図８】１パス使用、２ディスクドライブライト時のデータフロー説明図。
【図９】１パス使用、３ディスクドライブライト時のデータフロー説明図。
【図１０】２パス使用、３ディスクドライブライト時のデータフロー説明図。
【図１１】２パス使用リード時のデータフロー説明図。
【図１２】障害発生、リード時のデータフロー説明図。
【図１３】障害回復時のデータフロー説明図。
【図１４】多数のディスクドライブ接続時のグルーピング構成図。
【図１５】周波数分割多重伝送の概念図。
【図１６】周波数分割多重インタフェース制御回路のブロック構成図。
【図１７】ディスクドライブインタフェース制御回路のブロック構成図。
【符号の説明】
１…チャネルインタフェース制御回路、２…キャッシュメモリ、
３、３Ａ、３Ｂ、３Ｃ、３Ｄ、３Ｅ…ディスクドライブグループ、
４…内部データバス、
５、５ａ、５ｂ、５ｃ、５ｄ…ディスクドライブインタフェース制御回路、
６…周波数分割多重インタフェース、
７、７ａ、７ｂ、７ｃ、７ｄ、７ｅ、７ｆ…ディスクドライブ、
８…チャネルインタフェースプロトコル制御部、
９…データ転送制御部、１０…データフォーマット変換部、
１１…内部バスデータ転送制御部、１２…バッファメモリ、
１３…マイクロプロセッサ、１４…周波数分割多重インタフェース制御回路、
１５…内部バスデータ転送制御部、１６…バッファメモリ、
１７…パリティデータ生成部、１８…内部データバス、
１９…マイクロプロセッサ、
２４…データディスクドライブ群、２５…パリティディスクドライブ群、
２８…スペアディスクドライブ群、２９…障害ディスクドライブ群、
３０…ストライプディスクドライブグループ

Claims (5)

  1. ホストコンピュータからアクセスされて、書き込み又は読み出されるデータを格納する複数のディスクドライブと、
    該ホストコンピュータとの間でデータの転送を行うチャネルインタフェース制御部と、
    該チャネルインタフェース制御部と接続され、かつ複数のインターフェースを介して該複数のディスクドライブに接続される、複数のディスクドライブインタフェース制御部を有し、
    ディスクドライブインタフェース制御部は、該複数のディスクドライブに接続される該インタフェース毎に異なる周波数を割り当てて、対応する該ディスクドライブとの間でデータ転送を行うことを特徴とするディスクアレイシステム。
  2. ホストコンピュータからアクセスされて、書き込み又は読み出されるデータを格納する複数のディスクドライブであって、それぞれ複数のディスクドライブを含むように複数のディスクドライブグループが規定される複数のディスクドライブと、
    該ホストコンピュータとの間でデータの転送を行うチャネルインタフェース制御部と、
    該チャネルインタフェース制御部と接続され、かつ複数のパスを介して該複数のディスクドライブに接続される、複数のディスクドライブインタフェース制御部を有し、
    前記ディスクドライブインタフェース制御部は、該複数のディスクドライブグループ毎に異なる周波数を設定して、該ディスクドライブグループに属するディスクドライブとの間で該パスを介してデータ転送を行うことを特徴とするディスクアレイシステム。
  3. 前記ディスクドライブインタフェース制御部は、複数の異なる周波数に設定する手段と、該設定手段により設定されたある周波数に合せて該データを変調する手段と、を有し、該変調手段により変調されたデータを対応するディスクドライブへ転送することを特徴とする請求項１又は２のディスクアレイシステム。
  4. 前記ディスクドライブは、予め設定された複数の異なる周波数のデータを格納するメモリと、前記ディスクドライブインタフェース制御部から転送されるコマンドによって指定された、該メモリから読み出された該データに従って周波数の設定を行う手段を有し、該設定手段により設定された周波数に従って、該ディスクドライブ制御部との間でデータ転送を行うことを特徴とする請求項１又は３のいずれかのディスクアレイシステム。
  5. 前記複数のディスクドライブの１つのディスクドライブ、又は前記複数のディスクドライブグループの１つのグループには、パリティディスクが含まれることを特徴とする請求項１又は４のいずれかのディスクアレイシステム。
JP22302595A 1995-08-31 1995-08-31 ディスクアレイシステム Expired - Lifetime JP3717551B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP22302595A JP3717551B2 (ja) 1995-08-31 1995-08-31 ディスクアレイシステム
DE69636805T DE69636805T2 (de) 1995-08-31 1996-08-16 Massenspeicherplattenanordnung zur Verwendung in Rechnersystemen
US08/698,846 US5895483A (en) 1995-08-31 1996-08-16 Disk array system for performing frequency division multiplex transmissions
EP06000724A EP1647882A3 (en) 1995-08-31 1996-08-16 Disk array system
EP96113204A EP0762266B1 (en) 1995-08-31 1996-08-16 Mass storage disk array device for use in computer systems

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22302595A JP3717551B2 (ja) 1995-08-31 1995-08-31 ディスクアレイシステム

Publications (2)

Publication Number Publication Date
JPH0969030A JPH0969030A (ja) 1997-03-11
JP3717551B2 true JP3717551B2 (ja) 2005-11-16

Family

ID=16791666

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22302595A Expired - Lifetime JP3717551B2 (ja) 1995-08-31 1995-08-31 ディスクアレイシステム

Country Status (4)

Country Link
US (1) US5895483A (ja)
EP (2) EP0762266B1 (ja)
JP (1) JP3717551B2 (ja)
DE (1) DE69636805T2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6892167B2 (en) * 2001-11-28 2005-05-10 Sypris Data Systems, Inc. Real-time data acquisition and storage network
JP4395766B2 (ja) 2005-03-30 2010-01-13 日本電気株式会社 障害解析システム及び方法並びにプログラム
KR100723496B1 (ko) * 2005-08-11 2007-06-04 삼성전자주식회사 통합 ｆｉｆｏ 메모리를 사용하는 다중-레이트 입력데이터의 동기화기 및 방법
DE102009026961A1 (de) * 2009-06-16 2010-12-23 Robert Bosch Gmbh Verfahren zum Übertragen von Daten zwischen Teilnehmerstationen eines Bussystems
DE102009026965A1 (de) * 2009-06-16 2010-12-23 Robert Bosch Gmbh Medienzugriffssteuerverfahren für ein Bussystem und Kommunikationseinrichtung
US9864531B2 (en) * 2015-05-13 2018-01-09 International Business Machines Corporation Raid-topology-aware multipath routing

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4701904A (en) * 1985-10-18 1987-10-20 American Telephone And Telegraph Company, At&T Bell Laboratories Optical local area network employing microwave modulation techniques
US5542064A (en) * 1991-11-21 1996-07-30 Hitachi, Ltd. Data read/write method by suitably selecting storage units in which multiple copies of identical data are stored and apparatus therefor
EP0607733A1 (en) * 1993-01-08 1994-07-27 International Business Machines Corporation Apparatus and method for data communications between nodes
JP3264465B2 (ja) 1993-06-30 2002-03-11 株式会社日立製作所 記憶システム
US5583876A (en) * 1993-10-05 1996-12-10 Hitachi, Ltd. Disk array device and method of updating error correction codes by collectively writing new error correction code at sequentially accessible locations

Also Published As

Publication number Publication date
DE69636805D1 (de) 2007-02-15
JPH0969030A (ja) 1997-03-11
EP1647882A3 (en) 2010-01-06
EP0762266A2 (en) 1997-03-12
EP1647882A2 (en) 2006-04-19
EP0762266A3 (en) 2000-07-12
US5895483A (en) 1999-04-20
DE69636805T2 (de) 2007-10-04
EP0762266B1 (en) 2007-01-03

Similar Documents

Publication Publication Date Title
US6976116B2 (en) Disk subsystem
JP4643539B2 (ja) メモリシステムおよびその使用方法
US6820171B1 (en) Methods and structures for an extensible RAID storage architecture
US6763409B1 (en) Switch-on-the-fly GBIC disk channel adapter and disk channel system
EP1804157B1 (en) Data storage system and data storage control apparatus
US6842422B1 (en) Data striping based switching system
US6115772A (en) System and method for host expansion and connection adaptability for a SCSI storage array
US6115764A (en) Acyclic cable bus having redundant path access
EP0767420B1 (en) Array controller for performing raid operations in a data processing system
JP2005149173A (ja) ディスク装置及びその制御方法
JP3717551B2 (ja) ディスクアレイシステム
EP0939360A2 (en) Switching mechanism and disk array apparatus having the switching mechanism
JP4640854B2 (ja) ディスクアレイ制御方法及びディスクアレイ制御装置
US20060117159A1 (en) Data storage system and data storage control device
JP3668922B2 (ja) システム
US20240377964A1 (en) Apparatus with multi-host storage connection mechanism and methods for operating the same
JP4444636B2 (ja) ディスクサブシステム
JP2005196331A (ja) ディスクアレイ装置及びディスクアレイ装置の構成変更方法
KR20220141686A (ko) PCIe 인터페이스 장치 및 그 동작 방법
JPH10124263A (ja) アレイ・コントローラおよびデータ記憶アレイ

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050831

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080909

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090909

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090909

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100909

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100909

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110909

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120909

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130909

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term