JP4382602B2

JP4382602B2 - リモートコピーシステム

Info

Publication number: JP4382602B2
Application number: JP2004219482A
Authority: JP
Inventors: 卓成岩村; 晋広牧; 孝夫佐藤; 正充高橋
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2004-04-23
Filing date: 2004-07-28
Publication date: 2009-12-16
Anticipated expiration: 2024-07-28
Also published as: EP1785869B1; US7225190B2; DE602004006084D1; US20050240634A1; EP1589428B1; US8161009B2; US20060161721A1; EP1785869A1; DE602004006084T2; EP1589428A1; US20120191659A1; JP2005332354A; DE602004014998D1

Description

本発明は、ストレージシステムを含んだ情報処理システムに関し、さらに詳しくは２台以上のストレージシステム間で、データをコピーするリモートコピーシステムに関する。

ストレージシステムを有する情報処理システムにおいて電源障害や天災等の災害によってストレージシステムに障害が発生した場合、当該情報処理システムを使用する業務が一時的に停止したり、最悪の場合、ストレージシステムに格納されたデータが失われることがある。このような事態を回避するために、当該情報処理システムが設置された場所（以降、正サイトと呼ぶ）とは異なる遠隔地（以降、副サイトと呼ぶ）に用意されたストレージシステムに、正サイトのストレージシステムに格納されたデータを転送して、データの複製を副サイトのストレージシステムに格納しておく技術（以下「リモートコピー」と称する）が存在する。

リモートコピーとは、正サイトの情報処理システムに含まれるホストコンピュータ（以下ホストと呼ぶ。）から正サイトのストレージシステムへ書き込まれた書き込みデータを、副サイトのストレージシステムに対しても転送し、副サイトのストレージシステムにも格納する技術である。リモートコピーには同期方式と非同期方式の二種類ある。

同期方式は、ホストから正サイトのストレージシステム（以降、正ストレージシステムと呼ぶ。）へ書き込み命令があった場合に、まず副サイトのストレージシステム（以降、副ストレージシステムと呼ぶ。）へ書き込みデータを転送した後、正ストレージシステムが書き込み命令に対する返事（即ち書き込み完了報告）を正サイトのホストに返信する方式である。

非同期方式は、ホストから正ストレージシステムに書き込み命令があった場合に、正ストレージシステムはまず書き込み命令に対する完了報告をホストに返信した後、副ストレージシステムへ書き込みデータ転送する方式である。

尚、以後の説明では正ストレージシステムが有する論理ディスクを正論理ディスク、副ストレージシステムが有する論理ディスクであって、リモートコピーによって正論理ディスクのデータのコピーが格納される論理ディスクを副論理ディスクと呼ぶ。

正サイトの情報処理システムに障害が生じた場合、副サイトにおいて、ホストは副ストレージシステムの副論理ディスクに格納されているデータを用いてアプリケーションを再開する。この際、副サイトのホストが副論理ディスクを用いてアプリケーションを再開するためには、副論理ディスクのコンシステンシ（整合性）が保たれている必要がある。ここで、コンシステンシとは論理ディスクに対して書き込まれたデータの順序に関する概念で、以下の２つの条件が満たされる場合にコンシステンシがあるとみなす。

（１）ホストが最初のデータＡとその次のデータＢをデータＡ及びデータＢ間の順序関係を保って論理ディスクへ書き込む場合、ホストはストレージシステムにまずデータＡを書き込み、ストレージシステムからデータＡの書き込み完了報告を受信するのを待ってからデータＢをストレージシステムに書き込まなければならない。

（２）（１）の条件を満たした書き込みについては、データＡが全て論理ディスク上に存在したときに限ってデータＢの一部または全てのデータが論理ディスクに存在する。

非同期方式の場合、正ストレージシステムがホストから受信した書き込みデータに順序情報（シーケンシャルナンバー）を与えて、シーケンシャルナンバー付きの書き込みデータを副ストレージシステムに転送して、副ストレージシステムがシーケンシャルナンバー順に書き込みデータを副論理ディスクへ格納することで、副論理ディスクのコンシステンシが保たれる。また、ある期間中に正論理ディスクに書き込まれたデータを一つの固まりとし、これを正ストレージシステムがアトミックに副ストレージシステムに転送して副論理ディスクにコピーする方法も考えられる。更に、特許文献１に記載されている方法を用いて、非同期方式のリモートコピーシステムにおいて副論理ディスクの整合性を確保することもできる。

一方同期方式の場合、正論理ディスクと副論理ディスクとのペアが複数存在し、複数のペアが別々にコピーの開始・停止を制御できる場合に整合性が問題となる。

例えば、正サイトと副サイトとの間にペアＡとペアＢが存在する場合に、ペアＡにのみ正論理ディスクと副論理ディスク間に通信障害が生じリモートコピーが停止したとする。この場合に、正サイトのホストが、ペアＡの正論理ディスクにデータＡを書き込んだ後にペアＢの正論理ディスクにデータＢを書き込むケースを考えてみる。ペアＡについては通信障害のためリモートコピーが停止されているので、ペアＡの正論理ディスクを有する正ストレージシステムは正サイトのホストからデータＡを受信すると、副ストレージシステムにデータＡを送信することなく書き込みの完了報告を正サイトのホストに返信する。完了報告を受信した正サイトのホストは次に、ペアＢの正論理ディスクを有する正ストレージシステムにデータＢを書き込む。ペアＢについてはリモートコピーは停止されていないので、データＢを受信した正ストレージシステムは、データＢを副ストレージシステムに送信した後に書き込み完了報告を正サイトのホストに返す。この結果データＡはペアＡの副論理ディスクに書き込まれていないのに、データＢはペアＢの副論理ディスクに書き込まれている状態が生じてしまい、ペアＡとペアＢの副論理ディスク間では整合性が保たれない状態が生じてしまう。

特許文献２には、係る問題を解決する方法が記載されている。この方法によれば、以下のステップで副論理ディスクの整合性を確保する。

（１）ホストがリモートコピー中の複数のペアについて、各ペアの正論理ディスクに対するホストからの書き込みを一時保留するよう指示する。

（２）ホストからの指示を受けた正ストレージシステムは、指示を受信する前にホストから受信した書き込み要求に基づくデータの書き込みは実行し、指示を受信した後にホストから受信した書き込み要求に対してはビジーを返す。

（３）ホストは更に複数のペア全てについて、リモートコピーを停止するよう指示し、この指示を受信した正ストレージシステムは、リモートコピー処理を停止する。

米国特許第６，４０８，３７０号米国特許第５，６９２，１５５号

特許文献２による技術は、情報処理システムが複数のコンシステンシグループを有する場合が考慮されていない。そのため、情報処理システムに存在する複数のペアのうち、１ペア間でリモートコピーを停止する場合は、他の全てのペア間でリモートコピーを停止することとなり効率が悪い。

計算機システムは、ホスト計算機と、ホスト計算機に接続される複数の第１のストレージシステムと、各々複数の第１のストレージシステムのいずれかに接続される複数の第２のストレージシステムとを有する。複数の第１のストレージシステムは各々、第１の論理ディスクと、第１の論理ディスクへのデータの書き込みを制御する第１の制御装置を有しており、複数の第２のストレージシステムは各々、第２の論理ディスクと、第２の論理ディスクへのデータの書き込みを制御する第２の制御装置を有している。

まず、第１の論理ディスクと、第１の論理ディスクに格納されるデータのコピーが格納される第２の論理ディスクとを有するペアを複数有する第１のコピーグループ、及び第１の論理ディスクと、該第１の論理ディスクに格納されるデータのコピーが格納される第２の論理ディスクとを有するペアを複数有する第２のコピーグループを生成する。

複数の第１のストレージシステムは各々、第１の論理ディスクに書き込まれるデータをホストから受信すると、第１の論理ディスクと同じペアに属する第２の論理ディスクを有する第２のストレージシステムにこのデータを送信し、複数の第２のストレージシステムは各々、第１のストレージシステムから受信したデータをこのデータが格納される第１の論理ディスクと同じペアに属する第２の論理ディスクに格納する。

リモートコピー処理を停止すべきコピーグループとして、前記第１のコピーグループが特定されると、第１のコピーグループに属する複数のペアを特定し、特定された複数のペア各々について、このペアに含まれる第１の論理ディスクを有する第１のストレージシステムは、この第１の論理ディスクに格納されるデータの第２のストレージシステムへの送信を停止する。

あるペアに関するリモートコピーが停止した場合、リモートコピーが停止したペアに関連のあるペアのみを中断し、その他のペアについてはリモートコピーを継続することができる。

また各々ペアを含むコピーグループが複数存在する場合、コピーグループ毎にそのコピーグループに属するペアのリモートコピーを停止させることができる。

以下、本発明に係る実施形態を、図面を用いて説明する。尚、本発明は以下の実施例によって限定されるものではない。

（０）システム構成
先ず、図１を用いて本実施形態に係る計算機システムの構成の一例を説明する。

計算機システムは、複数のホスト１００（１００ａ、１００ｂ）、複数の正ストレージシステム、複数の副ストレージシステム、及び管理計算機１０を有している。図１では正ストレージシステム及び副ストレージシステムがそれぞれ2台存在する例を示したが、正ストレージシステムおよび副ストレージシステムの数は2台に限られることはなく、それ以上存在しても良く、1台しか存在しなくても良い。

複数の正ストレージシステムは各々、正制御装置１０００（１０００ａ又は１０００ｂ）と正制御装置１０００に接続された一又は複数の正ディスク装置１６００を有しており、複数の副ストレージシステムも各々、副制御装置２０００（２０００ａ又は２０００ｂ）と副制御装置２０００に接続された一又は複数の副ディスク装置２６００を有している。

管理計算機１０はCPU、CPUによって実行されるシステム管理ソフトウエア１５（プログラム）が格納されているメモリ、及びネットワーク１７に接続するためのIOポートを有する計算機であり、計算機システムの管理処理を実行する。

正制御装置１０００は、管理計算機１０と管理ネットワーク１７を介して接続されている。また正制御装置１０００は、ホスト１００ａ及びホスト１００ｂとファイバチャネルネットワークやIPネットワーク等の通信路を介して接続されている。更に正制御装置１００は副制御装置ともネットワークを介して接続されており、このネットワークを介して正制御装置と副制御装置との間ではディザスタリカバリのためにデータのリモートコピー処理が実行される。

正制御装置１０００は、共有メモリ１４００、キャッシュメモリ１２００、ホスト１００若しくは副制御装置２０００と接続されるポートアダプタ１１００（１１００ａ、１１００ｂ、１１００ｃ）、正ディスク装置１６００と接続されるディスクアダプタ１５００（１５００ａ，１５００ｂ）、及びこれらを相互に接続するクロスバスイッチ１３００を有する。

ディスクアダプタ１５００は、ポート１５３０を有し、ポート１５３０を介してディスク装置１６００に接続されている。ディスクアダプタ１５００は、ディスク装置１６００内のデータを管理し、必要に応じ他装置との間でデータの転送処理をおこなう。このためディスクアダプタはプロセッサ１５２０とプロセッサによって実行されるプログラムが格納されたメモリ１５１０とを備えている。

ポートアダプタ１１００は、プロセッサ１１１０、メモリ１１３０、ＩＯポート１１２０を有する。ポートアダプタ１１００は、ホストからのＩＯ要求を受け、必要に応じ副制御装置２０００へのリモートコピー操作をおこなう。

副制御装置２０００も正制御装置１０００と同様の構成を有しており、共有メモリ２４００、キャッシュメモリ２２００、クロスバスイッチ２３００、ポートアダプタ２１００、ディスクアダプタ２５００（２５００ａ、２５００ｂ）を有する。

正ディスク装置１６００及び副ディスク装置２６００はFC（Fibre Channel）ディスクやSATA(Serial ATA)ディスク等である。一または複数の正ディスク装置、一又は複数の副ディスク装置が論理ディスクを構成している。具体的には論理ディスクは、一つのディスク装置の全部または一部の記憶領域で定義されたり、複数のディスク装置の個々の記憶領域（一部でも全てでも構わない）の集合として定義される場合もある。

ホスト１００は、プロセッサ１２０、メモリ１３０、ＩＯポート１１０を有する。図示していないが、プロセッサ、メモリ、ＩＯポートは、内部バスなどの通信路で接続されている。各ホスト上で動作するＯＳが異なっていてもよいし、また、ホストと制御装置間のＩＯ通信方式が異なっていてもよい。ホスト１００は管理ネットワーク１７を介して管理計算機１０と接続されている。

（１）制御装置におけるコピー処理動作
（１．１）同期リモートコピーのコピー処理動作
同期リモートコピーとは前述の様に、正制御装置がホストから正論理ディスクに対する書き込み要求を受け付けた場合、書き込みデータを副制御装置に送信した後に、ホストに対して書き込み完了を返すリモートコピー方法である。

同期リモートコピーが実行される際、正論理ディスクと副論理ディスクとのペア間におけるリモートコピーの状況を管理計算機１０に表示したり、リモートコピーの状態を操作するために、ストレージシステムの制御装置はペア状態（Ｓｉｍｐｌｅｘ、Ｉｎｉｔｉａｌ−Ｃｏｐｙｉｎｇ、Ｄｕｐｌｅｘ、Ｓｕｓｐｅｎｄ及びＤｕｐｌｅｘ−Ｐｅｎｄｉｎｇ）と呼ばれる情報を管理する。図２に同期リモートコピーのペア状態に関する状態遷移図を示す。以下、各ペア状態について説明する。

（１．１．１）Ｓｉｍｐｌｅｘ状態
Ｓｉｍｐｌｅｘ状態は、ペアを構成する正論理ディスクと副論理ディスク間でコピーが開始されていない状態である。

（１．１．２）Ｄｕｐｌｅｘ状態
Ｄｕｐｌｅｘ状態は、同期リモートコピーが開始され、後述する初期化コピーも完了してペアを構成する正論理ディスクと副論理ディスクのデータ内容が同一となった状態である。同期リモートコピーの場合、正論理ディスクに対して行われた書き込みの内容が副論理ディスクに対してコピーされた後に、書き込みを行ったホストに対して正常完了のメッセージが返される。従って、書き込み途中の領域を除けば、正論理ディスクのデータと副論理ディスクのデータの内容は同じとなる。

（１．１．３）Ｉｎｉｔｉａｌ−Ｃｏｐｙｉｎｇ状態
Ｉｎｉｔｉａｌ−Ｃｏｐｙｉｎｇ状態は、Ｓｉｍｐｌｅｘ状態からＤｕｐｌｅｘ状態へ遷移するまでの中間状態であり、この期間中に、必要ならば正論理ディスクから副論理ディスクへの初期化コピー（正論理ディスクに既に格納されていたデータの副論理ディスクへのコピー）が行われる。初期化コピーが完了し、Ｄｕｐｌｅｘ状態へ遷移するために必要な処理が終わったら、ペア状態はＤｕｐｌｅｘとなる。

（１．１．４）Ｓｕｓｐｅｎｄ状態
Ｓｕｓｐｅｎｄ状態は、正論理ディスクに対する書き込みの内容を副論理ディスクに反映させない状態である。この状態では、ペアを構成している正論理ディスクと副論理ディスクのデータは同じでない。オペレータやホストからの指示を契機に、ペア状態は他の状態からＳｕｓｐｅｎｄ状態へ遷移する。それ以外に、正ストレージシステムと副ストレージシステム間の通信回線障害等により、同期リモートコピーを行うことが出来なくなった場合に自動的にペア状態がＳｕｓｐｅｎｄ状態に遷移することが考えられる。

以後の説明では、後者の場合、即ち障害により生じたＳｕｓｐｅｎｄ状態を障害Ｓｕｓｐｅｎｄ状態と呼ぶことにする。障害Ｓｕｓｐｅｎｄ状態となる代表的な原因としては、正論理ディスクや副論理ディスクの障害、正制御装置や副制御装置の障害、正制御装置と副制御装置間の通信障害が考えられる。

Ｓｕｓｐｅｎｄ状態となった場合正制御装置は、Ｓｕｓｐｅｎｄ状態となった時点以降に正論理ディスクに対して書き込み要求があると、書き込み要求に従ってライトデータを受信し、一旦キャッシュメモリに格納した後、正論理ディスクに書き込むが、副制御装置にはライトデータを送信しない。また正制御装置は書き込まれたライトデータの正論理ディスク上での書き込み位置を差分ビットマップ等として記憶する。更に正制御装置はライトデータを受信してキャッシュメモリに格納すると、副制御装置にライトデータを送信することなく、ホストに完了報告を送信する。

尚Ｓｕｓｐｅｎｄ状態となった時点移行に副論理ディスクに対して書き込み要求があった場合には、副制御装置が上述の正制御装置と同様に動作する。

（１．１．５）Ｄｕｐｌｅｘ−Ｐｅｎｄｉｎｇ状態
Ｄｕｐｌｅｘ−Ｐｅｎｄｉｎｇ状態は、Ｓｕｓｐｅｎｄ状態からＤｕｐｌｅｘ状態に遷移するまでの中間状態である。この状態では、正論理ディスクと副論理ディスクのデータの内容を一致させるために、正論理ディスクから副論理ディスクへのデータのコピーが実行される。正論理ディスクと副論理ディスクのデータが同一になった後、ペア状態はＤｕｐｌｅｘとなる。

なお、Ｄｕｐｌｅｘ−Ｐｅｎｄｉｎｇ状態におけるデータのコピーは、Ｓｕｓｐｅｎｄ状態の間、正制御装置又は副の制御装置が記録した書き込み位置（例えば上述の差分ビットマップ等）を利用して、更新が必要な部分（即ち正論理ディスクと副論理ディスクとのデータの不一致部分）だけをコピーする差分コピーによって実行される。

なお、以上の説明ではＩｎｉｔｉａｌ−Ｃｏｐｙｉｎｇ状態とＤｕｐｌｅｘ−Ｐｅｎｄｉｎｇ状態は別々な状態としたが、これらをまとめて一つの状態として管理計算機１０の画面に表示したり、状態を遷移させても良い。

（１．２）非同期リモートコピーのコピー処理動作
非同期リモートコピーの場合、ホストが正制御装置に対して書き込みデータを送信した場合、正制御装置からホストに対する書き込みの完了報告の送信とは独立（非同期）に、正制御装置から副制御装置へ書き込みデータが送信されて副論理ディスクに書き込まれる。

非同期リモートコピーの場合、正制御装置から副制御装置へのデータコピーの方法として、以下の方法がある。

例えば、データが書き込まれる正論理ディスク上の記憶領域のアドレスを含んだ制御情報及び書き込まれるデータの組（以下「ログエントリ」）を、正制御装置がホストからのデータの書き込みの度に作成し、このログエントリを副制御装置へ転送し、副制御装置はログエントリ内の制御情報に基づいて受信したデータを副論理ディスク上の記憶領域へ書き込む方法がある。さらにこの発展形として、ログエントリの制御情報に書き込みの時間順序を示す情報を含め、副制御装置がデータを副論理ディスク上の記憶領域へ書き込む際には、この時間順序を示す情報を利用して時間順序どおりに反映する方法がある。また更に効率的な方法として、正論理ディスク上の同一記憶領域に対する書き込みが連続して発生した場合には、正制御装置は、途中の書き込みに対するログエントリ（即ち後続の書き込みによって上書きされる書き込みに対するログエントリ）は副制御装置へ転送せず、最後の書き込みに対するログエントリのみを転送する方法がある。

また非同期リモートコピーの他の例としては、正制御装置がある一定時間に正論理ディスクに対して書き込まれたデータを差分データとして保持しておき、この差分データを副制御装置に送信し、副論理ディスクへコピーする方法がある。この方法の場合、差分データを副制御装置へ全て転送してから論理ディスクへコピーする。

非同期リモートコピーも、ペア状態（Ｓｉｍｐｌｅｘ、Ｉｎｉｔｉａｌ−Ｃｏｐｙｉｎｇ、Ｄｕｐｌｅｘ、Ｓｕｓｐｅｎｄ、Ｄｕｐｌｅｘ−Ｐｅｎｄｉｎｇ及びＳｕｓｐｅｎｄｉｎｇ）を用いて操作と管理を行う。図３に非同期リモートコピーのペア状態に関する状態遷移図を示す。Ｓｉｍｐｌｅｘ、Ｉｎｉｔｉａｌ−Ｃｏｐｙｉｎｇ、Ｓｕｓｐｅｎｄ及びＤｕｐｌｅｘ−Ｐｅｎｄｉｎｇ状態については同期リモートコピーと同様である。

（１．２．１）Ｄｕｐｌｅｘ状態
Ｄｕｐｌｅｘ状態も基本的には同期リモートコピーの場合と同じであるが、書き込みデータの副論理ディスクへのコピーが非同期に行われるため、副論理ディスクは正論理ディスクより少し遅れながら正論理ディスクに追従する。

（１．２．２）Ｓｕｓｐｅｎｄｉｎｇ状態
Ｓｕｓｐｅｎｄｉｎｇ状態とは、Ｄｕｐｌｅｘ状態からＳｕｓｐｅｎｄ状態へ遷移するまでの中間状態である。非同期リモートコピーの場合は、Ｓｕｓｐｅｎｄｉｎｇ状態を経由してＳｕｓｐｅｎｄ状態へ遷移する。尚、同期リモートコピーのＳｕｓｐｅｎｄ状態の時と同様、正制御装置及び副制御装置はＳｕｓｐｅｎｄｉｎｇ状態となった以降に受信した書き込みデータについて、このデータが書き込まれる位置を記録するが、非同期リモートコピーの場合には更に、Ｓｕｓｐｅｎｄｉｎｇ状態となる以前に正制御装置がホストから受信した書き込みデータであって、Ｓｕｓｐｅｎｄｉｎｇ状態となる以前に正制御装置から副制御装置へコピーできなかった書き込みデータに関するログエントリが有するデータの書き込み位置（またはログエントリそのもの）を、正制御装置が記録しておく。

（２）制御装置におけるコピーグループ作成の手続き
次に、コピーグループおよびサブコピーグループの作成の手順を説明する。

（２．１）コピーグループとサブコピーグループの概念
始めに、コピーグループとサブコピーグループの概念について説明する。

複数のペアを一括して操作するため、ホスト１００では「コピーグループ」と「サブコピーグループ」により、ペアを管理し操作する。

「コピーグループ」は、一括して操作するペアをまとめたグループであり、サブコピーグループの集合として定義される。「サブコピーグループ」は、ストレージシステムがグループ操作を提供するペアの集合である。

コピーグループやサブコピーグループの指定は、管理計算機１０で実行されるシステム管理ソフト１５や、ホスト１００で実行されるアプリケーションプログラム１４０の指示に基づいて、ホスト１００で実行されるグループ管理ソフト１が一括操作をしたいペアの集合を指定することで行われる。例えば、ホスト１００で実行中のアプリケーションが複数存在する場合、各々のアプリケーションに対して一つずつコピーグループを割り当て、アプリケーションが読み書きする論理ディスクを含むペアは全て当該アプリケーションに対応したコピーグループに含めてしまうことが考えられる。このようにすれば、アプリケーション単位で一括してリモートコピーを停止することができるからである。

ホスト１００では、コピーグループおよびサブコピーグループを、コピーグループリスト１４２０、サブコピーグループリスト１４５０、ペア情報表１４４０の三つのリストを用いて管理する。これらのリストは、ホスト１００内のメモリ１３０に置かれる。

以下、図４及び図５を用いてコピーグループ及びサブコピーグループについて説明する。図４は、コピーグループリスト、サブコピーグループリスト、ペア情報表各々の一例と、これらのリストの関係を表す図である。図５はコピーグループの構成の一例を示す図である。

図４に示すコピーグループリスト１４２０は、ホスト１００に定義されたコピーグループの一覧が記録されたリストである。コピーグループリストは、コピーグループ番号、コンシステンシ保障レベル、サブコピーグループリストポインタ、および、状態の情報を持つ。

「コピーグループ番号」は、このコピーグループを一意に識別する番号である。

「コンシステンシ保障レベル」とは、コピーグループに含まれるペアを構成する副論理ディスクのコンシステンシに関する情報である。コンシステンシ保障レベルには、「完全保障」と「サブコピーグループ」と「未保障」のいずれかの値が入る。「完全保障」の場合はコピーグループに属するペアを構成する全副論理ディスク間で整合性を保障する。「サブコピーグループ」の場合はコピーグループに属するサブコピーグループごとに、同じサブコピーグループに属するペアを構成する副論理ディスク間で整合性を保障する。「未保障」の場合は、前述以外の場合で、例えば、ペアを構成する各副論理ディスク単位で整合性を保障する場合がこれに該当する。

「サブコピーグループリストポインタ」は、コピーグループに属するサブコピーグループの一覧を登録しているサブコピーグループリストのメモリ１３０内でのアドレスを示す。

「状態」はコピーグループの現状の状態を示し、図２若しくは図３に示した状態のいずれかが登録される。

サブコピーグループリスト１４５０は、コピーグループを構成するサブコピーグループの一覧が記録されたリストである。従って、コピーグループ毎にサブコピーグループリストは存在する。例えば図４に示したコピーグループリストには、三つのコピーグループが登録されているので、この場合には、サブコピーグループリストも三つ存在することになる。

なお、サブコピーグループは、非同期リモートコピーにおけるコンシステンシグループと同等のものであっても良い。コンシステンシグループとは、複数の論理ディスク間でライトデータの更新順序の整合性を保証し、障害停止の保証をおこなうべきペアの集合のことである。またサブコピーグループは、同期リモートコピーにおける操作グループと同等のものであっても良い。操作グループとはストレージシステムの制御装置が、複数のペアをグループ化してまとめて操作する際のグループのことである。

サブコピーグループリストは、サブコピーグループ番号、コピー元制御装置ＩＤ、コピー種別、ペアグループ有無、ペアグループ番号・ペア番号、および、状態の情報を持つ。

「サブコピーグループ番号」は、このサブコピーグループをコピーグループ内で一意に識別する番号である。

「コピー元制御装置ＩＤ」とは、サブコピーグループに含まれるペアのコピー元制御装置を一意に識別するための情報である。

「コピー種別」とは非同期リモートコピー、同期リモートコピーといったリモートコピーの種別を表す。

「ペアグループ有無」は、当該サブコピーグループが複数のペアを含むか否かを示す。「有り」の場合は、そのサブコピーグループが複数のペアを含むことを、「なし」の場合は、サブコピーグループが単一のペアから構成されていることを示す。

「ペアグループ番号・ペア番号」は、サブコピーグループに属するペアグループの識別番号か、ペアの識別番号を示している。ペアグループの識別番号を示すときは、前述のペアグループ有無の値が「有り」の場合であり、ペアの識別番号を示すときは、前述のペアグループ有無の値が「なし」の場合である。ペアグループ番号はストレージシステム内部でグループ管理を実行するための識別子であり、ストレージシステム内で一意な番号である。典型的には、コンシステンシグループの識別子または操作グループの識別子を、ペアグループ番号に割り当てる。ペア番号とは、各ペアに一意に割り当てられた番号で、ペア情報表１４４０からペア情報を検索する際に用いる。

状態はサブコピーグループの現状の状態であり、コピー種別が同期の場合には図２に示す状態のいずれかを、コピー種別が非同期の場合には図３に示す状態のいずれかを示す。

ペア情報表１４４０は、リモートコピーのペアを構成する制御装置と論理ディスク、制御装置によるグループ操作用の識別子等、ペアに関する情報を格納する表である。このペア情報表１４４０を参照することにより、正制御装置１０００が正論理ディスクに格納されるデータを、どの副制御装置２０００のどの副論理ディスクにコピーすればよいかを求めることができる。

ペア情報には、ペア番号、コピー元制御装置ＩＤ、正論理ディスク番号、コピー先制御装置ＩＤ、副論理ディスク番号、コピー種別、コンシステンシ保証レベル、ペアグループ番号、コピーグループ番号、サブコピーグループ番号が記録されている。

ペア番号は、当該ペアを一意に識別するための識別番号である。

「コピー元制御装置ＩＤ」と「正論理ディスク番号」は各々、コピー元となる制御装置と論理ディスクの識別子である。「コピー先制御装置ＩＤ」と「副論理ディスク番号」は各々、コピー先となる制御装置と論理ディスクの識別子である。

コピー種別とコンテンシ保障レベルは、上述のコピーグループリスト１４２０や、サブコピーグループリスト１４５０に記録されているものと同様の情報である。従って、必ずしもペア情報に記録しておく必要はないが、ペア情報表にも係る情報をもたせて情報を冗長化しておけば、アクセスの高速化に寄与する。

「ペアグループ番号」は、ストレージシステム内部でグループ管理を実行するための識別子であり、当該ペアが所属するコンシステンシグループまたは操作グループの識別子を示す。このペアグループ番号は上述のサブコピーグループリスト１４５０に記録されているペアグループ番号と同じものである。

コピーグループ番号とサブコピーグループ番号は各々、ペアが属するコピーグループとサブコピーグループを示す識別子である。

なお、正制御装置１０００と副制御装置２０００の共有メモリ（１４００及び２４００）には、ペア情報表の全て又はペア情報表のうち各正制御装置若しくは各副制御装置に関連のある部分と、リモートコピープログラムが格納されており（図示せず）、リモートコピープログラムがポートアダプタ１１１０によって実行されることにより、ペア情報表を用いたペアの管理が実行される。

これら三つのリストの関係を示すと、図４のようになる。

図４に示される例では、正サイトに存在する複数の正ストレージシステム内に三つのコピーグループが存在している場合を表している。コピーグループリスト１４２０には三つのコピーグループが登録されており、当該コピーグループリスト内の各エントリ５Ａ，５Ｂ，５Ｃには、サブコピーグループリストポインタが記録されている。このサブコピーグループポインタが、コピーグループに属するサブコピーグループを示すサブコピーグループリスト（１４５０ａ，１４５０ｂ，１４５０ｃ）の格納場所(メモリ１３０上のアドレス)を指している。サブコピーグループリストはコピーグループの登録数分存在し、図４の例では、三つ存在する。

さらに、サブコピーグループのエントリ６Ａはペアグループ欄が「有り」となっているため、複数のペアがサブコピーグループに含まれることがわかる。サブコピーグループに含まれるペアは、ペア情報表からコピーグループ番号とサブコピーグループ番号を用いて検索することで分かる。なお、サブコピーグループやコピーグループに含まれるペアを高速に検索できるよう、これらのペアについてインデックスを作成してもよい。

図４に示すコピーグループのうち、コピーグループ番号１のコピーグループの構成を示したのが図５である。コピーグループ番号１のコピーグループには３つのサブコピーグループが含まれる。サブコピーグループ番号１のサブコピーグループは正制御装置２０００ａがコピー元制御装置となるサブコピーグループ、サブコピーグループ番号２のサブコピーグループは正制御装置２０００ｂがコピー元制御装置となるサブコピーグループ、サブコピーグループ番号３のサブコピーグループは正制御装置２０００ｃがコピー元制御装置となるサブコピーグループである。

サブコピーグループ番号１のサブコピーグループにはペアが複数含まれ、具体的には正制御装置１０００ａと接続される正論理ディスク１と副制御装置２０００ａと接続される副論理ディスク１とのペア１、正制御装置１０００ａと接続される正論理ディスク２と副制御装置２０００ａと接続される副論理ディスク２とのペア２の２つのペアが含まれる。

サブコピーグループ番号２のサブコピーグループには、正制御装置１０００ｂと接続される正論理ディスク１と副制御装置２０００ｂと接続される副論理ディスク１とのペア３が含まれる。

サブコピーグループ番号３のサブコピーグループには、正制御装置１０００ｃと接続される正論理ディスク２と副制御装置２０００ｃと接続される副論理ディスク２とのペア４が含まれる。

（２．２）コピーグループとサブコピーグループの作成手順
次に、図６および図７を用いてコピーグループ、サブコピーグループ、及びペアの作成手順について説明する。

図６は、コピーグループの作成手順の一例を示すフローチャートである。

図７は、サブコピーグループの作成手順の一例を示すフローチャートである。

はじめに、コピーグループが作成される（図６）。

まず、管理計算機１０で実行されるシステム管理ソフト１５や、ホスト１００で実行されるアプリケーションＡ１４０が発行したコピーグループ作成指示を、ホスト１００で実行されるグループ管理ソフト1が受信する。

グループ管理ソフト1はメモリ１３０内にコピーグループリスト１４２０が存在しているかを確認し（ステップ２１０）、確認の結果、コピーグループリストが存在していないならば、コピーグループリストを作成する（ステップ２２０）。

次に、グループ管理ソフトはコピーグループリスト内に新規エントリを追加する（ステップ２３０）。この新しく追加されたエントリには、グループ管理ソフト１がシステム管理ソフト１５若しくはアプリケーションA１４０から受信したコピーグループ番号、コンシステンシ保障レベルが登録される。また、このエントリ中の状態欄にはＳｉｍｐｌｅｘが設定される。

尚、コピーグループ番号については、グループ管理ソフトが既に作成されているコピーグループのコピーグループ番号と重複しない様な番号を選んで、この番号を新しく追加されたエントリに記録するものとしても良い。

また、サブコピーグループリストポインタは、サブコピーグループリストが作成された後に登録される。

新規エントリが追加された後、グループ管理ソフト1はコピーグループ作成指示に基づくコピーグループの作成が成功したことを示すメッセージを作成し、作成指示発行元であるシステム管理ソフト１５や、アプリケーションＡ１４０に応答する（ステップ２３５）。この応答には、新規に作成されたコピーグループのコピーグループ番号が含まれていても良い。

次に、サブコピーグループの作成に移る（図７）。

まず、システム管理ソフト１５や、アプリケーションＡ１４０が発行したサブコピーグループ登録指示をグループ管理ソフト1が受信する。このサブコピーグループ登録指示にはコピーグループ番号が含まれている。

グループ管理ソフト1はコピーグループリスト１４２０のエントリに、サブコピーグループ登録指示に含まれていたコピーグループ番号が存在しているかどうか確認する（ステップ２５０）。確認の結果、コピーグループ番号がコピーグループリストに存在していないならば、グループ管理ソフト１は、サブコピーグループ登録指示にて指定されたコピーグループが存在していないことを示すエラーメッセージを作成し、サブコピーグループ登録指示の発行元に返す（ステップ２５５）。

サブコピーグループ登録指示に含まれていたコピーグループ番号がコピーグループリストに存在しているならば、このコピーグループ用のサブコピーグループリストがメモリ１３０に存在するか否かを確認する（ステップ２６０）。この確認処理は、コピーグループリスト内の、サブコピーグループ登録指示に含まれていたコピーグループ番号に対応するエントリのサブコピーグループリストポインタ欄に、ポインタが登録されているか否かにより行う。

サブコピーグループリストがメモリ１３０内に存在していない場合には（即ちサブコピーグループリストポインタ欄にポインタが登録されていない場合には）、グループ管理ソフト1がサブコピーグループリストを作成し、更にコピーグループリスト内のサブコピーグループリストポインタ欄に、新しく作成したサブコピーグループリストへのポインタ（即ちこのサブコピーグループリストが保存されるメモリ１３０内のアドレス）を登録する（ステップ２７０）。

ステップ２６０にてサブコピーグループリストがメモリ１３０内に存在している場合（即ちサブコピーグループリストポインタ欄にポインタが登録されている場合）、若しくはステップ２７０にてサブコピーグループリストが新たに作成された後に、グループ管理ソフト1は受信したサブコピーグループ登録指示の内容に従って、サブコピーグループリストにエントリを追加する（ステップ２８０）。

このエントリには、サブコピーグループ登録指示によって指定されるサブコピーグループ番号、コピー元制御装置ID、コピー種別、ペアグループ有無、ペアグループ番号・ペア番号、及び状態が登録される。

尚、状態の欄には初期状態としてＳｉｍｐｌｅｘ状態が登録される。またサブコピーグループ番号については、グループ管理ソフト１が同じコピーグループに属する他のサブコピーグループの番号と重複しないようにサブコピーグループ番号を選択しても良い。

次に、ペアをサブコピーグループに登録する。まずグループ管理ソフト１は、メモリ１３０内にペア情報表が存在するか否かを確認する（ステップ３００）。ペア情報表が存在しない場合には、ペア情報表をグループ管理ソフト1が作成する（ステップ３１０）。

ステップ３００にてペア情報表がある場合、若しくはステップ３１０にてペア情報表を作成した後、グループ管理ソフトはサブコピーグループ登録指示に従ってペア情報表内にエントリを作成する（ステップ３２０）。

このエントリには、サブコピーグループ登録指示において指定されるペア番号、コピー元制御装置ID、正論理ディスク番号、コピー先制御装置ID、副論理ディスク番号、コンシステンシ保障レベル、ペアグループ番号、コピーグループ番号、サブコピーグループ番号が登録される。尚サブコピーグループ番号については上述のステップ２８０で述べた様にグループ管理ソフトが選択した番号であっても良い。

尚、グループ管理ソフトは、上述の様に新規にペアを作成してこのペアの情報をペア情報表に登録するだけでなく、既存のペアを新たに作成されたサブコピーグループに登録することもできる。係る場合には、ペア情報表にはこの既存ペアの情報として、ペア番号、コピー元制御装置ID、正論理ディスクの識別番号、コピー先制御装置ID、副論理ディスクの識別番号が既に登録されているので、ステップ３２０にてグループ管理ソフト１はペア情報表のこの既存ペアのエントリを更新すれば良い。具体的にはグループ管理ソフト１はペア情報表のコンシステンシ保障レベル、ペアグループ番号、コピーグループ番号、サブコピーグループ番号の欄に、サブコピーグループ登録指示において指定される値を登録すれば良い。

ステップ３２０によって、ペア情報表に新たにエントリが追加されたり、若しくはペア情報表が更新されたりするので、この後ホスト１００から正制御装置及び副制御装置にペア情報表が配布される。尚正制御装置及び副制御装置に配布されるペア情報表はホスト１００が有するペア情報表と同じものでなくても、正制御装置若しくは副制御装置に関連のあるペアの情報を有していれば良い。尚、ペア情報表が正制御装置及び副制御装置に配布されるのは、後述する図８に示す初期コピー開始処理中（具体的には後述の図８のステップ１２００４において）であっても良い。また、ペア情報表の配布形態としては、後ほど説明する制御装置に対するペア作成指示に付随した情報として渡されることが考えられるが、これ以外であってもよい。

最後に、グループ管理ソフト1はサブコピーグループ登録指示に基づくサブコピーグループの登録が成功したことを示すメッセージを作成し、サブコピーグループ登録指示の発行元に当該メッセージを返送する（ステップ３４０）。

以上の処理により、コピーグループ、サブコピーグループが作成される。コピーグループ、サブコピーグループの作成が終わると、グループ管理ソフト１は、コピーグループを指定することにより、コピーグループごとにコピー処理を開始したり停止したりすることができるようになる。

（３）リモートコピーとグループ管理ソフト1との連携動作
（３．１）初期コピー開始
図８に、コピーグループ単位でリモートコピーの初期コピーを実行するための処理の一例を示す。

まずグループ管理ソフト1は、図６及び図７に示す処理に従って、コピーグループリスト１４２０とサブコピーグループリスト１４５０とペア情報表１４４０を作成する（ステップ１２０００）。

グループ管理ソフト1は、システム管理ソフト１５やアプリケーションＡ１４０から、リモートコピー開始指示を受信する。このリモートコピー開始指示にはコピーグループ番号が含まれている（ステップ１２００１）。

グループ管理ソフト1は、リモートコピー開始指示において指定されたコピーグループ番号を用いてコピーグループリストを検索し、このコピーグループ番号が示すコピーグループの状態と、このコピーグループに属する全てのサブコピーグループの状態を、ｉｎｉｔｉａｌ−Ｃｏｐｙｉｎｇとする（ステップ１２００２）。

グループ管理ソフト1は、コピーグループリスト１４２０とサブコピーグループリスト１４５０とペア情報表１４４０を参照して、正制御装置に対して初期コピーを指示すべき一つ以上のペア、即ちリモートコピー開始指示において指定されたコピーグループに属する一つ以上のペアを見つける（ステップ１２００３）。

グループ管理ソフト1は、ステップ１２００３にて見つけた個々のペアの正制御装置に対して、当該ペアについて初期コピーを実行するようコピー初期化指示を与える。このコピー初期化指示を受信した正制御装置は、コピー初期化指示にて指定されたペアについて初期コピーを開始する（即ちコピー初期化指示にて指定されたペアの正論理ディスクに格納されているデータを副論理ディスクにコピーする）（ステップ１２００４）。

なお、グループ管理ソフト１がコピー初期化指示を与えるにあたって必要な情報は以下の通りであり、これらの情報はペア情報表を参照することで取得できる。

（Ａ）コピー種別
（Ｂ）正制御装置（コピー元制御装置）ID（Ｃ）正論理ディスク番号
（Ｄ）副制御装置（コピー先制御装置）ID
（Ｅ）副論理ディスク番号
（Ｆ）サブコピーグループ番号
尚グループ管理ソフト１は、正制御装置に対して上述の（A）から（F）の情報ではなく、ペア番号を指定することでコピー初期化指示を与えることもできる。更にグループ管理ソフト１は正制御装置に対してペア番号ではなくコピーグループ番号とサブコピーグループ番号の組や、ペアグループ番号を指定してコピー初期化指示を発行することもできる。この場合に正制御装置は、受信したペア番号、若しくはコピーグループ番号とサブコピーグループ番号の組、若しくはペアグループ番号に基づいて、自身が有するペア情報表からペアを構成する正論理ディスク、副制御装置、副論理ディスクを特定して、特定されたペア間での初期コピーを実行する。

グループ管理ソフト1は、ステップ１２００３にて見つけたペアのペア状態を監視する（ステップ１２００５）。この監視処理は、グループ管理ソフト１が管理ネットワーク１７を介してペア状態を問い合わせるための管理コマンドをストレージシステムに送信し、この管理コマンドへの応答をストレージシステムから受信することによって行う。

初期コピー対象のペアの状態が全てがＤｕｐｌｅｘ状態へ遷移したら（ステップ１２００６）、グループ管理ソフトは、当該コピーグループと当該コピーグループに属する全てのサブコピーグループの状態をＤｕｐｌｅｘにする（即ちコピーグループリスト及びサブコピーグループリストの状態欄を更新する。）（ステップ１２００７）。

尚、グループ管理ソフト1は、システム管理ソフト１５やアプリケーションA１４０の要求に基いて、コピーグループやサブコピーグループの状態を要求元に通知し、通知を受けたシステム管理ソフト１５やアプリケーションA１４０はコピーグループやサブコピーグループの状態を出力する。従って、グループ管理ソフト1がコピーグループやサブコピーグループの状態をコピーグループリストやサブコピーグループリストに記録しておくことで、管理者はシステム管理ソフト１５やアプリケーションA１４０を用いてコピーグループやサブコピーグループの状態を把握することができる。

以上図８に示す処理により、グループ管理ソフトはある特定のコピーグループを指定して、このコピーグループに属するペアについてのみストレージシステムに初期コピーを実行させることができる。従ってグループ管理ソフトは、計算機システムに存在する他のペアについては初期コピーを実行させることなく、初期コピーが必要なコピーグループについてのみ初期コピーを実行させることができる。

（３．２）リモートコピー停止処理
図９に、コピーグループ単位でリモートコピーを停止するための処理の一例を示す。

グループ管理ソフト1は、システム管理ソフト１５やアプリケーションＡ１４０から、リモートコピー停止指示を受信する。このリモートコピー停止指示にはリモートコピーを停止すべきコピーグループを指定するためのコピーグループ番号が含まれている（ステップ１３００１）。

グループ管理ソフト1は、コピーグループリスト１４２０とサブコピーグループリスト１４５０とペア情報表１４４０を参照して、リモートコピー停止指示にて指定されたコピーグループに属するペアを特定する（ステップ１３００２）。

グループ管理ソフト1は、ステップ１３００２にて見つけた個々のペアについて、当該ペアの正論理ディスクを制御する正制御装置に、当該ペアのリモートコピー停止指示を発行する。このリモートコピー停止指示を受信した正制御装置は、リモートコピー停止指示にて指定されたペアについてのリモートコピーを停止する（ステップ１３００３）。

なお、グループ管理ソフト１が正制御装置に発行するリモートコピー停止指示には、以下の情報が含まれる。

（Ａ）正制御装置（コピー元制御装置）ID
（Ｂ）正論理ディスク番号
（Ｃ）副制御装置（コピー先制御装置）ID
（Ｄ）副論理ディスク番号
しかし、上記情報の変わりとしてリモートコピーを停止すべきペアのペア番号を指定してもよい。また、上述のステップ１２００４にて説明したのと同様の方法を用いれば、管理ソフト１はコピーグループ番号とサブコピーグループ番号の組や、ペアグループ番号を指定して、リモートコピーの停止を正制御装置に指示することもできる。

正制御装置に対してリモートコピー停止指示を発行すると、グループ管理ソフト1は、リモートコピーの停止対象となっているコピーグループ、及びこのコピーグループに属するサブコピーグループの状態をＳｕｓｐｅｎｄｉｎｇとする（即ちコピーグループリスト及びサブコピーグループリストの状態欄を更新する。）（ステップ１３００４）。

グループ管理ソフト1は、ステップ１３００２にて見つけた各ペアのペア状態を監視する。監視の方法は、図８のステップ１２００５にて述べたのと同様である（ステップ１３００５）。

リモートコピーの停止対象となっているコピーグループに属する全てのペアがＳｕｓｐｅｎｄ状態へ遷移したら（ステップ１３００６）、ステップ１３００４にて更新したコピーグループ及びサブコピーグループの状態をＳｕｓｐｅｎｄとする（ステップ１３００５）。

図９に示す処理によってグループ管理ソフト１は、ある特定のコピーグループを指定して、このコピーグループに属するペアについてのみストレージシステムにリモートコピーを停止させることができる。従ってグループ管理ソフトは、計算機システムに存在する他のペアについてはリモートコピーを継続させたまま、リモートコピーを停止すべきコピーグループについてのみリモートコピーを停止させることができる。

しかしながら、図９に示す処理においては、リモートコピーを停止するコピーグループに属する複数の副論理ディスク間で整合性を維持することができない場合がある。これは、各正制御装置がこのコピーグループに属するペアについてのリモートコピーを停止するタイミングが、ペアによって異なる可能性があるからである。

例えばあるコピーグループに同期リモートコピー方式のペアA及びペアBが存在し、このコピーグループに対するリモートコピー停止指示をグループ管理ソフト１が受信する場合を考える。尚、まずリモートコピー停止指示に基きペアAに関するリモートコピーが停止し、その後にホスト１００がペアAを構成する正論理ディスクAに対してデータ１を書き込み、更にその後にホスト１００がペアBを構成する正論理ディスクBに対しデータ２を書き込み、その後にリモートコピー停止指示に基きペアBに関するリモートコピーが停止したものとする。

この場合、データ１についてはペアAのリモートコピーが停止されているので、正論理ディスクAを制御する正制御装置はデータ１をペアAを構成する副論理ディスクAに対して送信することなく、ホストに完了報告を返信する。この完了報告を受信したホストはデータ2を正論理ディスクBに対して書き込む。ペアBのリモートコピーはまだ停止されていないので、正論理ディスクBを制御する正制御装置はデータ２をペアBを構成する副論理ディスクBに対して送信した後に、ホストに対して完了報告を送信する。この結果、データ1は副論理ディスクAに格納されないにも関わらず、データ1より後に正論理ディスクに書き込まれたデータ2が副論理ディスクBに格納される状態が生じてしまい、副論理ディスクAと副論理ディスクBとの間の整合性が崩れてしまう。

（３．３）整合性を保ったリモートコピー停止処理
そこで、図１０に、コピーグループ内の全ての副論理ディスク間での整合性を保ちつつ、リモートコピー処理を停止する方法の一例を示す。

グループ管理ソフト1は、システム管理ソフト１５やアプリケーションＡ１４０から、リモートコピー停止指示を受信する。リモートコピー停止指示にはコピーグループ番号が含まれている（ステップ１４００１）。

グループ管理ソフト1は、コピーグループリスト１４２０とサブコピーグループリスト１４５０とペア情報表１４４０から、リモートコピー停止指示にて指定されたコピーグループに含まれるペアを見つける（ステップ１４００２）。

グループ管理ソフト1は、ステップ１４００２で見つけたペア各々について、ペアを構成する正論理ディスクを制御する正制御装置に対して、アプリケーションＡ１４０から当該正論理ディスクへの書き込み要求の処理を一時停止するように指示する。指示を受信した正制御装置は、停止指示を受信する前に既に正制御装置が受信している当該正論理ディスクへの書き込み要求のみを実行し、停止指示を受信した後に受信した当該正制御ディスクへの書き込み要求は実行せずに保留する（ステップ１４００３）。その後、指示を受信した正制御装置は停止指示に対する完了報告をグループ管理ソフト１に送信する。

ステップ１４００３にて書き込み要求を一時停止するように指示した正制御装置が全て、指示に従って書き込み処理を保留すると（即ち全ての正制御装置から完了報告が返ってきたら）、グループ管理ソフト1は、ステップ１４００２にて見つけたペア各々について、ペアを構成する正論理ディスクを制御する正制御装置に対して、当該ペアに関するリモートコピー処理を停止するよう、リモートコピー停止指示を発行する。このリモートコピー停止指示を受信した正制御装置はリモートコピーの停止処理を開始する（ステップ１４００４）。

ここで、当該ペア間のリモートコピー種別が同期リモートコピーであれば、ステップ１４００３にて正制御装置が書き込み要求の一時停止指示を受信するよりも前に受信した書き込み要求は、当該正制御装置によって実行され、副ストレージシステムにも当該書き込み要求に基づくライトデータが送信されている。同期リモートコピーにおいては、副ストレージシステムにライトデータが送信された後に正制御装置がホストに対して完了報告を送信し、これによって書き込み要求に対する処理が完了するからである。従って正制御装置は当該ペアについてはすぐリモートコピー処理を停止できる。

一方当該ペア間のリモートコピー種別が非同期リモートコピーであれば、正制御装置は正ストレージシステムにデータを書き込むと、副ストレージシステムにデータを書き込む前にホストに完了報告を送信するから、正制御装置にはステップ１４００３にて正制御装置が一時停止指示を受信するより前に受信した書き込み要求に基づくライトデータでありながら、未だ副ストレージシステムに送信されていないライトデータ（サイドファイルデータと呼ぶ）が存在し得る。係る場合には正制御装置はこの様なサイドファイルデータを副制御装置に送信した後にリモートコピー処理を停止する。尚、非同期リモートコピーの場合、全ての制御装置が正常に動作しているのであれば、サイドファイルの送信前に書き込みを再開しても良い。

リモートコピー処理の停止指示を発行した後、グループ管理ソフト1は、ステップ１４００３にて一時保留した書き込み要求処理の再開を、正制御装置に指示する。当該再開指示を受け付けた正制御装置は、ステップ１４００３にて停止していた書き込み要求処理を再開する（ステップ１４００５）。尚、再開されるのは正論理ディスクへの書き込み処理であって、ステップ１４００４にて停止されたリモートコピー処理は再開されない。従って書き込み要求の再開によって正論理ディスクへ書き込まれるデータは、副論理ディスクへはコピーされない。

グループ管理ソフト1は、ステップ１４００１にて受信したリモートコピー停止指示にて指定されたコピーグループと、このコピーグループに属するサブコピーグループの状態をＳｕｓｐｅｎｄｉｎｇとする（即ち、コピーグループリスト１４２０とサブコピーグループリスト１４５０の状態欄を書き換える）（ステップ１４００６）。

グループ管理ソフト1は、ステップ１４００２にて見つけたペアのペア状態を監視する（ステップ１４００７）。監視方法は上述の図８のステップ１２００５にて述べた方法と同様である。

リモートコピー停止指示にて指定されたコピーグループに属する全てのペアのペア状態がＳｕｓｐｅｎｄ状態となったら（ステップ１４００８）、ステップ１４００６にて更新したコピーグループとサブコピーグループの状態をＳｕｓｐｅｎｄとする（１４００９）。

なお、グループ管理ソフト１が正制御装置に発行する書き込み要求の一時停止指示（ステップ１４００３）、リモートコピー停止指示（ステップ１４００４）、書き込み要求の再開指示（ステップ１４００５）には、以下の情報が含まれる。

（Ａ）正制御装置（コピー元制御装置）ID
（Ｂ）正論理ディスク番号
（Ｃ）副制御装置（コピー先制御装置）ID
（Ｄ）副論理ディスク番号
しかし、上記情報の変わりとして指示の対象となるペアのペア番号を用いてもよいまた、図８のステップ１２００４にて説明したのと同様の方法を用いれば、管理ソフト１はコピーグループ番号とサブコピーグループ番号の組やペアグループ番号を指定してこれらの指示を正制御装置に発行することもできる。

なお、ステップ１４００３からステップ１４００５にて書き込み要求処理が一時停止している間、ホストが正制御装置の機能が停止していると誤解しないように、正制御装置からなんらかの信号をホストに送ることが考えられる。例えば、特許文献２では正制御装置がＥｘｔｅｎｄｅｄＬｏｎｇＢｕｓｙをホストに返しており、本実施形態においてもこの方法を使用することができる。

また、ホストがＳＣＳＩを用いて正制御装置に対して正論理ディスクに対するＩＯ要求（書き込み要求も含まれる）を発行している場合は、正制御装置がＩＯ要求に対してホストに返信する返事に含まれるステータスバイトに、Ｂｕｓｙステータス若しくはＣｈｅｃｋＣｏｎｄｉｔｉｏｎステータスを設定して、これを受信したホストが書き込み要求を発行しなおす方法も考えられる。この場合書き込み要求の再発行は、ホストで実行されるＯＳ中のＳＣＳＩデバイスドライバによって実行されるため、ＳＣＳＩデバイスドライバより上位層で実行されるホスト上のファイルシステムや、ホストのＯＳ上で実行されるアプリケーションＡ１８０に対しては、書き込み要求の再発行を隠すことができる。

また、ホストがｉＳＣＳＩを用いて正制御装置に対し正論理ディスクへの書き込み要求を発行している場合には、ホストはＦｉｂｒｅＣｈａｎｎｅｌやＦＩＣＯＮより低信頼なＩＰ網をＴＣＰの再送機能を用いて高信頼化しているため、１分程度正制御装置がホストに何も応答を返さなくてもホストが誤解することはない。

図１０に示す処理によれば、コピーグループに属する全てのペアについて、一旦正論理ディスクに対する書き込み要求の処理が停止された後に、このコピーグループに属するペアについてのリモートコピーが停止される。従ってコピーグループに属する副論理ディスクの整合性を維持しつつ、コピーグループに属するペアのリモートコピーを停止することができる。

例えば前述と同様、コピーグループに同期リモートコピー方式のペアA及びペアBが存在し、このコピーグループに対するリモートコピー停止指示をグループ管理ソフト１が受信する場合を考える。この場合図１０によれば、まずペアAとペアBについて各ペアを構成する正論理ディスクA及び正論理ディスクBへの書き込み処理が一時停止される。この後まずリモートコピー停止指示に基きペアAに関するリモートコピーが停止され、その後にホスト１００がペアAを構成する正論理ディスクAに対してデータ１を書き込み、更にその後にホスト１００がペアBを構成する正論理ディスクBに対しデータ２を書き込み、その後にリモートコピー停止指示に基きペアBに関するリモートコピーが停止されたものとする（書き込み処理の一時停止以外は図９と同じ）。

この場合、データ１についてはペアAのリモートコピーが停止されているので、正論理ディスクAを制御する正制御装置は、データ１をペアAを構成する副論理ディスクAに対して送信することなく、ホストに完了報告を返信する。一方、ペアBのリモートコピーはまだ停止されていない間にデータ２の書き込みが行われているが、ペアBを構成する正論理ディスクBへの書き込み要求の処理は一時停止されている。従って正論理ディスクBを制御する正制御装置は、データ2を正論理ディスクBに書き込むことも、ペアBを構成する副論理ディスクBに対してデータ２を送信することもない。

この結果データ１及びデータ2は共に副論理ディスクに格納されない。副論理ディスクに格納されるのは、コピーグループに属するペアについて書き込み要求の処理の一時停止指示が発行される前に正制御装置が処理した書き込み要求に基くデータのみとなる。係るデータは同期リモートコピー方式に基き、正論理ディスクへの書き込み順序通りに副論理ディスクにも書き込まれる。従って図１０に示す処理によれば、コピーグループに属する複数の副論理ディスク間の整合性を維持しつつコピーグループに属するペアのリモートコピーを停止することができる。

尚、コピーグループに属するペアのコピー種別が非同期リモートコピーである場合には、前述の様にライトデータに付与されたシーケンシャル番号順に副制御装置が副論理ディスクにデータを格納したり、特許文献１に示す技術を用いることにより、リモートコピー処理が停止された場合であっても複数の論理ディスク間の整合性を維持することができる。

（３．４）コピー再開
図９若しくは図１０に示す処理によりリモートコピーが停止されたコピーグループについて、リモートコピーを再開するための処理内容は、基本的に図８に示すリモートコピー開始処理と同じである。但し、既にコピーグループ、サブコピーグループは構成されているので、ステップ１２０００は省略可能である。

また、リモートコピーを停止している間に正論理ディスクに対するライトデータがホストから書き込まれた場合、正制御装置がライトデータの書き込み位置をビットマップ等を用いて記録しておけば、ステップ１２００４にて正制御装置から副制御装置へコピーすべきデータは、記録しておいた書き込み位置に書き込まれているデータのみで済む。

（３．５）障害発生によるリモートコピー処理の停止
図１１に、複数のペアを含むコピーグループ内で任意のペアが障害Ｓｕｓｐｅｎｄとなった場合に、コピーグループに含まれる全ての副論理ディスクの整合性を保ちつつ残りのペアのコピーを停止する方法を示す。

ホストのアプリケーションが、障害Ｓｕｓｐｅｎｄ状態のペアを構成している正論理ディスクに対する、書き込み要求を発行する（ステップ１６００１）。

書き込み要求を受信した正制御装置は、書き込み要求が障害Ｓｕｓｐｅｎｄ状態のペアの正論理ディスクに対する要求だと判断したら、その書き込み要求に対する処理を保留する（ステップ１６００２）。

ペア状態が障害Ｓｕｓｐｅｎｄである場合、正制御装置は、正論理ディスクの障害によりこの正論理ディスクに対するデータの書き込み処理が実行できなかったり、通信障害により副制御装置へデータを送信できなかったり、副論理ディスクの障害により副ストレージシステムへのライトデータの書き込みが失敗に終わることから、書き込み要求が障害Ｓｕｓｐｅｎｄ状態のペアの正論理ディスクに対する要求だと判断することができる。そこで、書き込み要求が障害Ｓｕｓｐｅｎｄ状態のペアの正論理ディスクに対する要求であった場合には、正制御装置はその書き込み要求に対する処理を保留する旨をホストに通知する。なお、通知の際はペアである副制御装置と副論理ディスクを識別する情報を合わせて通知してもよい。

グループ管理ソフト1は、正制御装置が発行した通知を検出して、アプリケーションが発行した書き込み要求が保留された旨を検知したら、ペア情報表を参照して一時保留された書き込み要求の対象となっている正論理ディスクと合わせて通知された副論理ディスクを含むコピーグループを見つける（ステップ１６００３）。

グループ管理ソフト1は、コピーグループリスト１４２０とサブコピーグループリスト１４５０とペア情報表１４４０から、ステップ１６００３にて見つけたコピーグループに含まれる他のペアを見つける（ステップ１６００４）。

グループ管理ソフト1は、ステップ１６００４で見つけた各ペアについて、このペアの正論理ディスクを制御している正制御装置を見つけ、見つけた正制御装置に対してアプリケーションＡ１４０からの当該正論理ディスクに対する書き込み要求の処理を保留するよう、書き込み要求の処理の一時停止指示を発行する（ステップ１６００５）。

この書き込み要求の処理の一時停止指示を受信した正制御装置は、一時停止指示にて指定された正論理ディスクについて、一時停止指示を受信する前に受信した書き込み要求は実行し、一時停止指示を受信した後に受信した書き込み要求の処理は一時保留する。そして一時停止指示を受信した正制御装置は、書き込み要求の処理を保留すると、完了報告をグループ管理ソフト１に返信する。

グループ管理ソフト1は、ステップ１６００５にて書き込み要求の処理の一時停止を指示した全ての正制御装置から完了報告を受信すると、ステップ１６００４にて見つけた各ペアの正論理ディスクを制御する正制御装置に対して、当該ペアについてのリモートコピー停止指示を送信する（ステップ１６００６）。指示を受けた正制御装置は、指示において指定されたペアについてのリモートコピー処理を停止する。正制御装置におけるリモートコピーの停止処理は前述の図１０のステップ１４００４と同様の方法にて実行される。

グループ管理ソフト1は、ステップ１６００６においてリモートコピー処理を停止した後、ステップ１６００４にて保留した書き込み要求の処理を再開するよう正制御装置に指示する（ステップ１６００７）。当該再開指示を受け付けた正制御装置は書き込み要求処理を再開する。ここで再開される処理は、図１０のステップ１４００５と同様、正論理ディスクへのデータの書き込み処理であって、リモートコピー処理は停止されたままである。従って書き込み要求の再開によって正論理ディスクへ書き込まれるデータは、副論理ディスクへはコピーされない。

グループ管理ソフト1は、ステップ１６００３にて見つけたコピーグループと、このコピーグループに属するサブコピーグループの状態をＳｕｓｐｅｎｄｉｎｇとする（ステップ１６００８）。尚ステップ１６００７とステップ１６００８の実行順序は逆であっても良い。

更にグループ管理ソフト１はステップ１６００４にて見つけたペアのペア状態を監視する（ステップ１６００９）。監視方法は図８にて述べた方法と同様である。監視対象のペアの状態が全てＳｕｓｐｅｎｄ状態となったら（ステップ１６０１０）、ステップ１６００８で更新した、コピーグループの状態とサブコピーグループの状態を障害Ｓｕｓｐｅｎｄとする（ステップ１６０１１）。

図１１に示した障害発生時におけるリモートコピー処理の停止方法は、コピーグループを構成するペアのリモートコピー種別が同期リモートコピーである場合に有効である。図１０と同様、コピーグループ内のあるペアが障害Ｓｕｓｐｅｎｄ状態になった場合には、このペアに対する書き込み要求の処理を一時保留すると共に、このペアと同じコピーグループに属する他のペアについての書き込み要求の処理も一時保留してから、各ペアのリモートコピー処理を停止しているからである。従って、コピーグループ内のあるペアが障害Ｓｕｓｐｅｎｄ状態となった場合に、このコピーグループ内に属する副論理ディスクの整合性を維持しつつ、このコピーグループに属する他のペアのリモートコピー処理を停止することができる。

一方リモートコピー種別が非同期リモートコピーである場合には、例えば特許文献１に記載の方法等を用いて、障害発生時の整合性を確保する必要がある。

なお、図１０にて説明したリモートコピーの停止処理と同様、ステップ１６００５からステップ１６００７にて正制御装置が書き込み要求の処理を一時停止している間、ホストが正制御装置の機能が停止していると誤解しない様に、正制御装置からなんらかの信号をホストに送信することが望ましい。この方法としては図１０にて説明したのと同様の方法を採用することができる。

また、ステップ１６００３において、グループ管理ソフト1が正制御装置にて書き込み要求の処理が保留されている旨を知る方法として、以下の方法が考えられる。

（Ａ）ホストが正制御装置からＥｘｔｅｎｄｅｄＬｏｎｇＢｕｓｙを受け取ったら、ホストのＯＳがＥｘｔｅｎｄｅｄＬｏｎｇＢｕｓｙの受信をコンソールに出力するので、グループ管理ソフト1はコンソールへの出力を監視することにより、書き込み要求処理の保留を検出する。

（Ｂ）ホストが正制御装置から、ＳＣＳＩステータスバイトにＢｕｓｙステータス若しくはＣｈｅｃｋＣｏｎｄｉｔｉｏｎステータスを含む返信を受信したら、ホストのＯＳはその旨をコンソールやログファイルへ出力するので、グループ管理ソフト1はコンソール若しくはログファイルを監視することにより、書き込み要求処理の保留を検出する。

尚、グループ管理ソフト１が正制御装置に発行する書き込み要求の一時停止指示（ステップ１６００５）、リモートコピー停止指示（ステップ１６００６）、書き込み要求の再開指示（ステップ１６００７）には、指示の対象となるペアのペア番号が含まれている。また、図８のステップ１２００４にて説明したのと同様の方法を用いれば、管理ソフト１はコピーグループ番号とサブコピーグループ番号の組やペアグループ番号を指定してこれらの指示を正制御装置に発行することもできる。

更に、ステップ１６００３からステップ１６００５に示す、書き込み要求処理の一時保留の監視から、書き込み要求処理の停止処理については、グループ管理ソフト１に代わってホストのＯＳ上で動作するデバイスドライバが実行しても良い。

第２の実施例について説明する。

図１２は、第２の実施例における計算機システムの構成例を示す図である。

計算機システムはホスト（１００ａ、１００ｂ）と管理計算機１０と、ストレージシステム（４０１０、４０２０、４０３０、４０４０）を有する。各ストレージシステムは実施例１と同様、制御装置と論理ディスク（４０１１、４０２１、４０３１、４０４１）を含む。

ホスト１００ａ、ホスト１００ｂ、管理計算機１０はネットワーク１７を介して相互に接続されている。またホスト１００ａ、ホスト１００ｂ、管理計算機１０、正ストレージシステム（４０１０、４０２０）もネットワークを介して接続されている。

更に正ストレージシステム４０１０と副ストレージシステム４０３０間、正ストレージシステム４０２０と副ストレージシステム４０４０間は各々接続されており、これらのストレージシステムはリモートコピーを実行している。

ホスト１００ａには、メモリにＯＳ１７０ａとアプリケーションＡ１４０ａが格納されており、これをＣＰＵが実行する。アプリケーションＡはＳＣＳＩ以外のプロトコルに従って論理ディスク４０１１へデータの読み書きを行う。

ホスト１００ｂでは、メモリにＯＳ１７０ｂとアプリケーションＢ１４０ｂが格納されており、これをＣＰＵが実行する。アプリケーションＢはＳＣＳＩプロトコルに従って論理ディスク４０２１へ読み書きを行う。

ここで、アプリケーションＡとアプリケーションＢは、お互いに通信しながら、共同で一つの処理を行っているものとする。従って、もしアプリケーションＢのある処理が、アプリケーションＡのある処理の完了後に実行する必要がある処理である場合には、アプリケーションＡは処理の完了メッセージをネットワーク１７を介してアプリケーションＢへ転送し、アプリケーションＢはアプリケーションＡからの完了メッセージを受信してから処理を実行することにより、お互いが同期を取っている。

論理ディスク４０１１と論理ディスク４０３１はリモートコピーのペア（４０５０）である。また、論理ディスク４０２１と論理ディスク４０４１もまた、リモートコピーのペア（４０６０）である。

管理計算機１０は、メモリにグループ管理ソフト1が格納されておりＣＰＵがグループ管理ソフト１を実行している。グループ管理ソフト1は、ペア４０５０とペア４０６０をコピーグループとして一括操作するものとする。なお、グループ管理ソフトはホスト１００ａやホスト１００ｂに含まれても良い。

ホストや管理計算機、ストレージシステムの構成については、実施例１と同様であるので、図１２では省略する。

実施例２では、ＳＣＳＩプロトコルを用いるホスト１００ｂがデータを書き込むペア４０６０と、ＳＣＳＩ以外のプロトコルを用いるホスト１００ａがデータを書き込むペア４０５０間において障害発生時のコンシステンシを保つことができる。以下にペア４０５０若しくはペア４０６０に障害が発生した場合の手順を示す。

図１３は、図１２に示すシステムにおいてペア４０５０に障害が生じた場合の処理の一例を示す図である。

ホスト１００ａのアプリケーション１４０ａが、非ＳＣＳＩプロトコルに従って正ストレージシステム４０１０の正論理ディスク４０１１に対して書き込み要求を発行する（ステップ１８００１）。

正ストレージシステム４０１０の正制御装置は、受信した書き込み要求の対象のペアが障害Ｓｕｓｐｅｎｄであることを検出し、ホスト１００ａに対してＥｘｔｅｎｄｅｄＬｏｎｇＢｕｓｙステータスを返し、正論理ディスク４０１１に対する書き込み処理を一時停止する（ステップ１８００２）。障害Ｓｕｓｐｅｎｄの検出方法は上述の図１１にて述べた方法と同様である。

ホスト１００ａのＯＳ１７０ａは、ＥｘｔｅｎｄｅｄＬｏｎｇＢｕｓｙステータスを受信したことを、ネットワークを介して管理計算機１０のグループ管理ソフト1へ通知する。この通知には障害Ｓｕｓｐｅｎｄとなったペアの以下の情報が含まれる。

（Ａ）正制御装置（コピー元制御装置）ID
（Ｂ）正論理ディスク番号
（Ｃ）副制御装置（コピー先制御装置）ID
（Ｄ）副論理ディスク番号
しかし、その代わりとしてペア番号を含めてもよい。グループ管理ソフト1は、受信した情報を用いてペア情報表を参照し、障害Ｓｕｓｐｅｎｄとなったペアが所属するコピーグループを見つける（ステップ１８００３）。

グループ管理ソフト1は更に、コピーグループリスト、サブコピーグループリスト、ペア情報表を用いて、ステップ１８００３にて見つけたコピーグループに所属する他のペアを見つける（ステップ１８００４）。

グループ管理ソフト1は、ステップ１８００４で見つけたペアの正論理ディスクを制御している正制御装置を特定し、この正制御装置に当該正論理ディスクへの書き込み要求の処理を停止するように指示する。この指示を受信した正制御装置は、書き込み要求の処理の停止指示を受信する前に受信した当該正論理ディスクに対する書き込み要求は実行し、停止指示を受信した後に受信した当該正論理ディスクに対する書き込み要求は保留する（ステップ１８００５）。尚、書き込み処理停止中の正論理ディスクに書き込み要求が到着した場合は、正制御装置は以下の処理を行う。

（Ａ）到着した書き込み要求が、非ＳＣＳＩプロトコルに従った書き込み要求である場合は、ＥｘｔｅｎｄｅｄＬｏｎｇＢｕｓｙステータスを返す。

（Ｂ）到着した書き込み要求が、ＳＣＳＩプロトコルに従った書き込み要求である場合には、ＢｕｓｙステータスまたはＣｈｅｃｋＣｏｎｄｉｔｉｏｎステータスを返す。

即ち、正制御装置は、書き込み停止中の正論理ディスクに対してホスト１００aからアクセスがあった場合には、ＥｘｔｅｎｄｅｄＬｏｎｇＢｕｓｙステータスを返し、ホスト１００ｂからアクセスがあった場合には、ＢｕｓｙステータスまたはＣｈｅｃｋＣｏｎｄｉｔｉｏｎステータスを返す。

なお正制御装置は、それぞれの正論理ディスクについて、上記方法（Ａ）及び（Ｂ）の使い分けを行うために、各正論理ディスクがホストからどのプロトコルに従ってアクセスされるかを記憶している。

書き込み処理が停止されると、正制御装置はグループ管理ソフト１に完了報告を返す。

ステップ１８００５で書き込み要求の処理の停止指示を発行した全ての正制御装置から完了報告が返ってきたら、グループ管理ソフト1は、ステップ１８００４にて見つけたペアについて、ペアを構成する正論理ディスクを制御する正制御装置に対してリモートコピーの停止を指示する。このリモートコピー停止指示を受け付けた正制御装置は、指示にて指定されたペアのリモートコピー処理を停止する（ステップ１８００６）。

リモートコピー停止指示を発行した後にグループ管理ソフト1は、ステップ１８００５にて書き込み要求の処理を一時停止させた正論理ディスクについて、書き込み要求の処理の再開を指示する。この指示を受信した正制御装置は、書き込み処理を再開する（ステップ１８００７）。

グループ管理ソフト1は、ステップ１８００３にて見つけたコピーグループと、このコピーグループに属するサブコピーグループの状態をＳｕｓｐｅｎｄｉｎｇとする（ステップ１８００８）。

グループ管理ソフトはステップ１８００３にて見つけたコピーグループに属するペアのペア状態を監視する（ステップ１８００９）。全てのペアがＳｕｓｐｅｎｄ状態となったら（ステップ１８０１０）、ステップ１８００８にて更新した状態をＳｕｓｐｅｎｄとする（１８０１１）。

尚、図１３においてはＳＣＳＩプロトコル以外のプロトコルに従ってアクセスされるペア４０５０に障害が生じた場合を例に説明したが、ＳＣＳＩプロトコルでアクセスされるペア４０６０に障害が生じた場合にも同様の方法によって整合性を確保することができる。この場合にはステップ１８００２において、正ストレージシステム４０２０の正制御装置が、受信した書き込み要求の対象のペアが障害Ｓｕｓｐｅｎｄであることを検知し、ホスト１００ｂに対してＢｕｓｙステータスまたはＣｈｅｃｋＣｏｎｄｉｔｉｏｎステータスを返し、正論理ディスク４０２１に対する書き込み処理を一時停止する。

また、グループ管理ソフト１が正制御装置に発行する書き込み要求の一時停止指示（ステップ１８００５）、リモートコピー停止指示（ステップ１８００６）、書き込み要求の再開指示（ステップ１８００７）には、指示の対象となる以下の情報が含まれる。

（Ａ）正制御装置（コピー元制御装置）ID
（Ｂ）正論理ディスク番号
（Ｃ）副制御装置（コピー先制御装置）ID
（Ｄ）副論理ディスク番号
しかし、その代わりとしてペアのペア番号を含めてもよい。また、図８のステップ１２００４にて説明したのと同様の方法を用いれば、管理ソフト１はコピーグループ番号とサブコピーグループ番号の組やペアグループ番号を指定してこれらの指示を正制御装置に発行することもできる。

以上の様に、ストレージシステムの制御装置が、自身が制御する論理ディスクについて、ホストからＳＣＩＳプロトコルに従ってアクセスされるのか、ＳＣＳＩプロトコル以外のプロトコルに従ってアクセスされるのかを管理することによって、リモートコピーのペアに障害が生じた場合に適切な方法でホストに障害を通知することができる。従って、ＳＣＳＩプロトコルでアクセスされる論理ディスクによって構成されるペアと、ＳＣＳＩプロトコル以外のプロトコルに従ってアクセスされる論理ディスクによって構成されるペアとの間で、障害発生時に整合性を確保しつつ、リモートコピーを停止することが可能となる。

次に実施例３について説明する。

図１４は、第３の実施例における３サイト計算機システムの構成例を示す図である。３サイト計算機システムはサイトＡ、サイトＢ、サイトＣの３つのサイトから構成される。

サイトＡには、ホスト１００ａ、ストレージシステムＡＡ１７００１、ストレージシステムＡＢ１７００２が含まれる。ストレージシステムＡＡは正制御装置と正論理ディスク１７０１１を、ストレージシステムＡＢは正制御装置と正論理ディスク１７０１２を有する。ホスト１００ａはアプリケーションプログラムＡ１４０ａ、グループ管理ソフト１、ＯＳ(Operating System)１７０ａを有する。アプリケーションＡはサイトＡの正論理ディスク（１７０１１、１７０１２）へデータの読み書きを行う。

サイトＢにはストレージシステムＢＡ１７００３とストレージシステムＢＢ１７００４が存在し、ストレージシステムＢＡは副制御装置と副論理ディスク１７０１３、ストレージシステムＢＢは副制御装置と副論理ディスク１７０１４を有する。

サイトＣにはストレージシステムＣＡ１７００５とストレージシステムＣＢ１７００６が存在し、ストレージシステムＣＡは副制御装置と副論理ディスク１７０１５、ストレージシステムＣＢは副制御装置と副論理ディスク１７０１６を有する。

正論理ディスク１７０１１と副論理ディスク１７０１３はリモートコピーのペア（１７０２１）である。正論理ディスク１７０１２と副論理ディスク１７０１４もリモートコピーのペア（１７０２２）である。正論理ディスク１７０１１はまた、副論理ディスク１７０１５とペア（１７０３１）でもある。同様に、正論理ディスク１７０１２は、副論理ディスク１７０１６ともペア（１７０３２）である。ペア１７０２１とペア１７０２２のコピー種別は非同期、ペア１７０３１とペア１７０３２のコピー種別は同期であるものとする。従って、本実施例ではサイトＡから、サイトＢとサイトＣへ並行してリモートコピーが実行される。

尚、ホストや管理計算機、ストレージシステムの構成については、実施例１と同様であるので、図１４では省略する。

グループ管理ソフト１は、ペア１７０２１と１７０２２をコピーグループ１と、ペア１７０３１と１７０３２をコピーグループ２とするように、コピーグループ、サブコピーグループ、ペアを設定する。

この結果ホスト１００ａに設定されるコピーグループリスト、サブコピーグループリスト、ペア情報表の一例を図１５に示す。尚、図１５に示すコピーグループリスト、サブコピーグループリスト、ペア情報表は、図６及び図７に示す処理に従って作成される。

コピーグループリストには、コピーグループ１とコピーグループ２が登録され、各々のコピーグループにはサブコピーグループリストへのポインタが登録される。

コピーグループが２つ存在するので、サブコピーグループリストは各コピーグループに対応して２つ存在する。サブコピーグループリストには、正制御装置ごとに同じコピーグループに属するペアがサブコピーグループとしてまとめて登録される。図１４に示すシステムでは、コピーグループ１には、ストレージシステムAAの正制御装置をコピー元制御装置とするペア１７０２１が属するサブコピーグループ１と、ストレージシステムABの正制御装置をコピー元制御装置とするペア１７０２２が属するサブコピーグループ２が含まれる。この２つのサブコピーグループのコピー種別は共に非同期である。一方コピーグループ２には、ストレージシステムAAの正制御装置をコピー元制御装置とするペア１７０３１が属するサブコピーグループ１と、ストレージシステムABの正制御装置をコピー元制御装置とするペア１７０３２が属するサブコピーグループ２が含まれる。この２つのサブコピーグループのコピー種別は共に同期である。

図１４に示すシステムにはペアが４つ存在するので、ペア情報表には４つのペア（ペア１７０２１、１７０２２、１７０３１、１７０３２）が登録されている。

係る状態において、ペア１７０３２に障害が生じてペア状態が障害Ｓｕｓｐｅｎｄとなった場合を想定する。この場合、図１１に示す処理が実行されることによって、コピーグループ１に属するペア１７０３１とペア１７０３２のリモートコピー処理は停止される。しかし障害Ｓｕｓｐｅｎｄとなったペア１７０３２とは異なるコピーグループ２に属するペア１７０２１とペア１７０２２については、リモートコピー処理は停止されないので、サイトＡからサイトＢへのリモートコピーは継続した状態となる。

以上の様に、本実施形態によれば、グループ管理ソフトは、コピーグループ毎に整合性を維持しつつリモートコピー処理を停止することができる。従って３サイト構成の計算機システムにおいて、サイトＡとサイトＢ間のリモートコピーのペアと、サイトＡとサイトＣ間のリモートコピーのペアとを各々別のコピーグループに属するよう管理しておけば、サイトＡとサイトＣ間に障害が生じてリモートコピーが停止してしまった場合に、サイトＣの副論理ディスク間の整合性を維持しつつ、サイトＡとサイトＢとの間のリモートコピー処理は継続させることができる。

実施形態１における計算機システムの一例を示す図である。同期リモートコピーのペア状態の状態遷移の一例を示す図である。非同期リモートコピーのペア状態の状態遷移の一例を示す図である。コピーグループリスト、サブコピーグループリスト、ペア情報表各々の一例と、これらのリストの関係を示す図である。コピーグループの構成の一例を示す図である。コピーグループの作成手順の一例を示す図である。サブコピーグループの作成手順の一例を示す図である。コピーグループ単位でリモートコピーの初期コピーを実行するための処理の一例を示す図である。コピーグループ単位でリモートコピーを停止するための処理の一例を示す図である。副論理ディスク間での整合性を維持しつつ、コピーグループ単位でリモートコピーを停止するための処理の一例を示す図である。あるペアが障害サスペンドとなった場合に、当該ペアと同じコピーグループに属するペアのリモートコピーを、当該コピーグループに属する副論理ディスクの整合性を維持しつつ停止するための処理の一例を示す図である。実施形態２における計算機システムの一例を示す図である。実施形態２において、あるペアに障害が生じた際の処理の一例を示す図である。実施形態３における３サイト計算機システムの構成例を示す図である。実施形態３における３サイト計算機システムの、コピーグループリスト、サブコピーグループリスト、ペア情報表の一例を示す図である。

符号の説明

１グループ管理ソフト
１００ホスト
１０００正制御装置
１４２０コピーグループリスト
１４４０ペア情報表
１４５０サブコピーグループリスト
１６００正ディスク装置
２０００副制御装置
２６００副ディスク装置

Claims

計算機からデータが書き込まれる複数の第一の論理ディスクを有する第一のシステムと、
前記第一のシステムに接続され、複数の第二の論理ディスクを有する第二のシステムと、
前記第一のシステムに接続され、複数の第三の論理ディスクを有する第三のシステムと、
コピーグループ管理部とを有するシステムにおける、リモートコピーの制御方法であって、
前記第一のシステムと前記第二のシステムとの間には、各々コピー元である第一の論理ディスク及びコピー先である第二の論理ディスクを有する同期タイプのリモートコピーペアが複数構成されており、当該複数の同期タイプのリモートコピーペアにおいては、第一のシステムから第二のシステムへ送信されるデータが更新順序の整合性を維持しつつ複数の第二の論理ディスクのいずれかに格納され、
前記コピーグループ管理部は、前記複数の同期タイプのリモートコピーペアを同期タイプのコピーグループとして管理し、
前記第一のシステムと前記第三のシステムとの間には、各々コピー元である第一の論理ディスク及びコピー先である第三の論理ディスクを有する非同期タイプのリモートコピーペアが複数構成されており、当該複数の非同期タイプのリモートコピーペアにおいては、第一のシステムから第三のシステムへ送信されるデータが更新順序の整合性を維持しつつ複数の第三の論理ディスクのいずれかに格納され、
前記コピーグループ管理部は、前記複数の非同期タイプのリモートコピーペアを非同期タイプのコピーグループとして管理し、
前記コピーグループ管理部が、いずれかの第一の論理ディスクに関するリモートコピー処理の障害通知を受信すると、
前記コピーグループ管理部は、前記障害通知が、前記第一の論理ディスクを有する同期タイプのリモートコピーペア及び前記第一の論理ディスクを有する非同期タイプのリモートコピーペアの内、いずれのリモートコピーペアにおけるリモートコピー処理に関するものであるかを特定するための情報を取得し、
前記情報を用いて特定されるリモートコピーペアと同じコピーグループに属する他のリモートコピーペアのリモートコピー処理を停止するために、前記コピーグループ管理部は、前記情報を用いて、前記同期タイプのコピーグループ若しくは前記非同期タイプのコピーグループのいずれに属するリモートコピーペアのリモートコピー処理を停止すべきかを決定することを特徴とするリモートコピーの制御方法。
請求項１記載のリモートコピーの制御方法であって、
前記障害通知には、障害に係るリモートコピーペアに含まれるコピー先論理ディスクを特定するための情報が含まれており、
前記コピーグループ管理部は、前記コピー先論理ディスクを特定するための情報を取得して、前記同期タイプのコピーグループ若しくは前記非同期タイプのコピーグループのいずれに属するリモートコピーペアのリモートコピー処理を停止すべきかを決定することを特徴とするリモートコピーの制御方法。
請求項１記載のリモートコピーの制御方法であって、
前記コピーグループ管理部が前記同期タイプのコピーグループに属するリモートコピーペアのリモートコピー処理を停止する旨を決定した場合に、
前記コピーグループ管理部は、当該同期タイプのコピーグループに属する同期タイプのリモートコピーペアを特定し、特定された同期タイプのリモートコピーペアに関するリモートコピー処理を、データの更新順序の整合性を維持しつつ停止するよう前記第一のシステムに指示することを特徴とするリモートコピーの制御方法。
請求項３記載のリモートコピーの制御方法であって、
前記コピーグループ管理部は、前記第一のシステムに前記同期タイプのリモートコピーペアに関するリモートコピー処理を停止するよう指示する場合に、前記同期タイプのリモートコピーペアに属する第一の論理ディスクに対する書き込み要求の処理を保留するよう前記第一のシステムに指示し、当該書き込み要求の処理が保留されたことを確認した後に、前記同期タイプのリモートコピーペアに関するリモートコピー処理を停止するよう前記第一のシステムに指示することを特徴とするリモートコピーの制御方法。
請求項４記載のリモートコピーの制御方法であって、
前記第一のシステムには、各々第一の論理ディスクを有する複数の第一のストレージシステムが含まれており、
前記第二のシステムには、各々第二の論理ディスクを有する複数の第二のストレージシステムが含まれており、
前記第三のシステムには、各々第三の論理ディスクを有する複数の第三のストレージシステムが含まれており、
前記コピーグループ管理部は、前記第一のシステムに前記同期タイプのリモートコピーペアに関するリモートコピー処理を停止するよう指示する場合に、前記同期タイプのコピーグループに属する同期タイプのリモートコピーペアを構成する第一の論理ディスクを有する第一のストレージシステムに対して、当該第一の論理ディスクに対する書き込み要求の処理を保留するよう指示し、当該指示を行った全ての第一のストレージシステムから当該指示に対する完了報告を受信した後に、前記第一のストレージシステムに対して前記同期タイプのリモートコピーペアに関するリモートコピー処理を停止するよう指示することを特徴とするリモートコピーの制御方法。
請求項５記載のリモートコピーの制御方法であって、
前記コピーグループ管理部から書き込み要求の処理を保留するよう指示された第一のストレージシステムは、当該指示を受ける前に受信した前記第一の論理ディスクに対する書き込み要求の処理は実行し、当該指示を受けた後に受信した前記第一の論理ディスクに対する書き込み要求の処理は保留して、前記コピーグループ管理部に完了報告を送信することを特徴とするリモートコピーの制御方法。
請求項１記載のリモートコピーの制御方法であって、
前記同期タイプのコピーグループに属する複数のリモートコピーペアに関するリモートコピー処理の停止方法と、前記非同期タイプのコピーグループに属する複数のリモートコピーペアに関するリモートコピー処理の停止方法とは異なることを特徴とするリモートコピーの制御方法。
複数の第一の論理ディスクを有する第一のシステムと、
前記第一のシステムに接続され、複数の第二の論理ディスクを有する第二のシステムと、
前記第一のシステムに接続され、複数の第三の論理ディスクを有する第三のシステムと、
コピーグループ管理部とを有しており、
前記第一のシステムと前記第二のシステムとの間には、各々コピー元である第一の論理ディスク及びコピー先である第二の論理ディスクを有する同期タイプのリモートコピーペアが複数構成されており、当該複数の同期タイプのリモートコピーペアにおいては、第一のシステムから第二のシステムへ送信されるデータが更新順序の整合性を維持しつつ複数の第二の論理ディスクのいずれかに格納され、
前記コピーグループ管理部は、前記複数の同期タイプのリモートコピーペアを有する同期タイプのコピーグループを管理し、
前記第一のシステムと前記第三のシステムとの間には、各々コピー元である第一の論理ディスク及びコピー先である第三の論理ディスクを有する非同期タイプのリモートコピーペアが複数構成されており、当該複数の非同期タイプのリモートコピーペアにおいては、第一のシステムから第三のシステムへ送信されるデータが更新順序の整合性を維持しつつ複数の第三の論理ディスクのいずれかに格納され、
前記コピーグループ管理部は、前記複数の非同期タイプのリモートコピーペアを有する非同期タイプのコピーグループを管理し、
前記コピーグループ管理部が、いずれかの第一の論理ディスクに関するリモートコピー処理の障害通知を受信すると、
前記コピーグループ管理部は、前記障害通知が、前記第一の論理ディスクを有する同期タイプのリモートコピーペア及び前記第一の論理ディスクを有する非同期タイプのリモートコピーペアの内、いずれのリモートコピーペアにおけるリモートコピー処理に関するものであるかを特定するための情報を取得し、
前記情報を用いて特定されるリモートコピーペアと同じコピーグループに属する他のリモートコピーペアのリモートコピー処理を停止するために、前記コピーグループ管理部は、前記情報を用いて、前記同期タイプのコピーグループ若しくは前記非同期タイプのコピーグループのいずれに属するリモートコピーペアのリモートコピー処理を停止すべきかを決定し、
前記同期タイプのコピーグループに属するリモートコピーペアのリモートコピー処理を停止する場合に、前記コピーグループ管理部は、当該同期タイプのコピーグループに属する同期タイプのリモートコピーペアを特定し、特定された同期タイプのリモートコピーペアに関するリモートコピー処理を、データの更新順序の整合性を維持しつつ停止するよう前記第一のシステムに指示することを特徴とするリモートコピーシステム。
請求項８記載のリモートコピーシステムであって、
前記障害通知には、障害に係るリモートコピーペアに含まれるコピー先論理ディスクを特定するための情報が含まれており、
前記コピーグループ管理部は、前記コピー先論理ディスクを特定するための情報を取得して、前記同期タイプのコピーグループ若しくは前記非同期タイプのコピーグループのいずれに属するリモートコピーペアのリモートコピー処理を停止すべきかを決定することを特徴とするリモートコピーシステム。
請求項８記載のリモートコピーシステムであって、
前記コピーグループ管理部は、前記第一のシステムに前記同期タイプのリモートコピーペアに関するリモートコピー処理を停止するよう指示する場合に、前記同期タイプのリモートコピーペアに属する第一の論理ディスクに対する書き込み要求の処理を保留するよう前記第一のシステムに指示し、当該書き込み要求の処理が保留されたことを確認した後に、前記同期タイプのリモートコピーペアに関するリモートコピー処理を停止するよう前記第一のシステムに指示することを特徴とするリモートコピーシステム。