JP3563907B2 - 並列計算機 - Google Patents
並列計算機 Download PDFInfo
- Publication number
- JP3563907B2 JP3563907B2 JP01619697A JP1619697A JP3563907B2 JP 3563907 B2 JP3563907 B2 JP 3563907B2 JP 01619697 A JP01619697 A JP 01619697A JP 1619697 A JP1619697 A JP 1619697A JP 3563907 B2 JP3563907 B2 JP 3563907B2
- Authority
- JP
- Japan
- Prior art keywords
- file
- nodes
- node
- logical
- secondary storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Multi Processors (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は，複数の計算ノードがネットワークで接続された並列計算機に関し，特に大容量のデータを格納するファイルシステムを持つ並列計算機に関する。
【０００２】
【従来の技術】
近年，科学技術計算等の分野において，大量のデータを高速に入出力することが可能な計算機システムが求められている。また，並列処理技術の成熟に伴い，並列計算機においてプログラムを並列化することによって，処理時間の短縮を図ることが行われている。しかし，並列計算機上で動作するプログラムにおいて大量のデータ入出力を行う場合には，データ入出力処理が処理全体のボトルネックとなってしまう。したがって，このようなプログラムの性能を向上させるためには，データ入出力処理を高速化することが重要である。
【０００３】
従来の並列計算機システムにおいては，単一のディスク記憶装置もしくは複数のディスク記憶装置を一つのノード（計算機）に接続して，この入出力用のノード（以下，Ｉ／Ｏノードという）をファイルサーバとして使用していた。
【０００４】
このＩ／Ｏノードでは，他のノードからファイル入出力要求を受け付け，ディスク記憶装置との間で入出力を行い，結果を要求の発行元へ返す。しかし，単一のＩ／Ｏノードの通信能力，ＣＰＵ能力，Ｉ／Ｏ能力には限界があり，大容量のファイル入出力要求が発行された場合や，多数のノードから同時に入出力要求が発行された場合には，性能の低下が避けられなかった。
【０００５】
【発明が解決しようとする課題】
従来技術では，並列計算機上で大容量の入出力を必要とするアプリケーションプログラムを同時に実行させると，Ｉ／Ｏノードにおける入出力処理がシステム全体のボトルネックとなり，性能が低下するという問題点があった。
【０００６】
本発明は上記問題点を解決し，並列計算機上に複数のＩ／Ｏノードを用意し，一つの論理的なファイルを複数のＩ／Ｏノード上に分散配置することにより，大容量入出力処理においてもＩ／Ｏノードの負荷を軽減し，入出力処理の性能向上，ひいてはシステム全体の性能向上を図ることを目的とする。
【０００７】
【課題を解決するための手段】
図１は本発明の概要説明図である。
図１において，１ａ〜１ｃはそれぞれＣＰＵおよび主記憶装置を有する計算ノード，２は各計算ノードに対して共通のファイルアクセス機能を提供するネットワークファイルシステム，２１は一つの論理的なファイルを表すメタファイル，２２はファイルの実体を格納するノードのリストを指定する構成ファイル，３１，３２は入出力処理を分担するＩ／Ｏノード，４はネットワーク，５１は計算ノードから一つの論理的なファイルとして扱われる論理ファイル，５２ａ〜５４ａ，５２ｂ〜５４ｂはそれぞれ論理ファイル５１の実体を分割して格納するパーティションファイル，６１，６２は磁気ディスク装置等の二次記憶装置を表す。
【０００８】
第１の発明は，複数の計算ノード１ａ〜１ｃがネットワーク４で接続された並列計算機において，ネットワーク４に接続される複数の計算ノード１ａ〜１ｃまたは他のＩ／Ｏノード３１，３２に接続される複数の二次記憶装置６１，６２と，計算ノード１ａ〜１ｃが処理するデータを保持するための一つの論理的なファイルである論理ファイル５１を，複数の二次記憶装置６１，６２に分割して格納するパーティションファイル５２ａ〜５４ａ，５２ｂ〜５４ｂと，計算ノード１ａ〜１ｃによる論理ファイル５１に対する入出力要求に対して，複数の二次記憶装置６１，６２上のデータを並行して入出力するファイル操作手段であるネットワークファイルシステム２を備えることを特徴とする。
【０００９】
この発明によれば，従来一つのノード上の二次記憶装置に格納されていたファイルを，複数のＩ／Ｏノード３１，３２上の二次記憶装置６１，６２にパーティションファイル５２ａ〜５４ａ，５２ｂ〜５４ｂとして分割して格納するため，各Ｉ／Ｏノード３１，３２の入出力処理は並行して行うことができ，ファイルの入出力の性能を向上させることが可能である。
【００１０】
特に第１の発明は，一つの論理ファイル５１を表すメタファイル２１を有し，ネットワークファイルシステム２は，ファイル操作時にメタファイル２１を参照することにより，論理ファイル５１と各Ｉ／Ｏノード３１，３２上に格納されているファイルの実体であるパーティションファイル５２ａ〜５４ａ，５２ｂ〜５４ｂとを結び付けてファイルにアクセスするように構成されていることを特徴とする。
【００１１】
このようにすると，利用者のアプリケーションプログラム等は，論理ファイル５１が複数の実体から構成されることを意識することなく，あたかも実体が一つであるかのようにして使用することができる。
【００１２】
また，第１の発明は，さらにメタファイル２１がすべての計算ノード１ａ〜１ｃから参照可能な二次記憶装置上に設けられていることを特徴とする。こうすることにより，ある計算ノードで作成した並列ファイル（論理ファイル５１）を，他の計算ノードでも利用することが可能になる。さらにまた，論理ファイル５１の生成時に，そのファイルの実体を格納するＩ／Ｏノード３１，３２等のリストを指定する構成ファイル２２を持つことを特徴とする。こうすることにより，システム構成の変化に対応して，容易にＩ／Ｏノード構成を変更することが可能である。
【００１３】
第２の発明は，上記第１の発明の構成に加えて，論理ファイル５１の生成時に，その論理ファイル５１の実体を分割するストライプ数を指定する手段を有することを特徴とする。こうすることにより，アプリケーションプログラムの開発者，管理者，利用者等は，ファイルサイズ，アプリケーションの性質等を考慮して，ファイル毎に最適なストライプ数を設定することができる。
【００１４】
第３の発明は，上記第１の発明の構成に加えて，論理ファイル５１の生成時に，その論理ファイル５１の実体を分割するデータ長（ストライプ幅）を指定する手段を有することを特徴とする。こうすることにより，アプリケーションプログラムの開発者，管理者，利用者等は，ファイルサイズ，アプリケーションの性質等を考慮して，ファイル毎に最適なストライプ幅を設定することができる。
【００１６】
第４の発明は，上記第１の発明の構成に加えて，さらに論理ファイル５１の生成時に，そのファイルの実体を格納するノードを構成ファイル２２が保持するノードのリスト中からランダムに選択し，その選択されたノードから分割数分のノードを抽出する手段を有することを特徴とする。こうすることにより，作成する並列ファイル毎に使用するＩ／Ｏノードが異なることになり，特定のＩ／Ｏノードに負荷が集中することを避けることが可能になる。
【００１７】
第５の発明は，上記第１の発明の構成に加えて，論理ファイル５１の生成時に，そのファイルの実体を格納する各Ｉ／Ｏノード３１，３２のパーティションファイル５２ａ，５２ｂ，…のファイル名に，各計算ノード１ａ〜１ｃのサイト名，プロセスＩＤまたは時間もしくは順序情報を付加することを特徴とする。乱数等を使ってパーティションファイル名を決定すると，異なる論理ファイルのパーティションファイル名が重複してしまう可能性があるが，こうすることにより，パーティションファイル名の重複を避けることが可能である。
【００１８】
第６の発明は，上記第１の発明の構成に加えて，ネットワークファイルシステム２のファイル操作手段が，あらかじめ設定された環境変数の値によって論理ファイル５１の並列ファイルを操作するか通常の物理ファイル（非並列ファイル）を操作するかを区別するようにしたことを特徴とする。こうすることにより，非並列ファイル，並列ファイルのいずれを扱う際も共通のプログラムを利用することが可能であり，プログラムの修正は不要である。
【００１９】
第７の発明は，上記第１の発明の構成に加えて，論理ファイル５１のオープン処理時に，複数の計算ノード１ａ〜１ｃのうちの代表となる計算ノード（マスタ）のみが論理ファイル５１の実体を格納する二次記憶装置６１，６２を有するＩ／Ｏノード３１，３２との通信処理を行い，同じ論理ファイル５１を使用する他の計算ノード（スレーブ）は，代表となる計算ノードから結果を受け取るようにしたことを特徴とする。
【００２０】
このように，オープン処理において，マスタの計算ノードのみが代表してＩ／Ｏノード３１，３２と通信することにより，計算ノード１ａ〜１ｃとＩ／Ｏノード３１，３２間の通信量を削減することが可能であり，システム全体の性能向上を図ることができる。
【００２１】
第８の発明は，上記第１の発明の構成に加えて，計算ノード１ａ〜１ｃ上にルート権限の仲介プロセスを有するとともに，Ｉ／Ｏノード３１，３２上にルート権限のデーモンプロセスを有し，計算ノード１ａ〜１ｃ上のユーザプロセスは，仲介プロセスおよびデーモンプロセスを経由して，Ｉ／Ｏノード３１，３２上に入出力用サーバプロセス（以下，Ｉ／Ｏサーバプロセスという）を起動して，論理ファイル５１の実体にアクセスするようにしたことを特徴とする。
【００２２】
こうすることにより，ファイルのアクセス権限を持たないユーザが，偽のメッセージをＩ／Ｏサーバプロセスへ送って，ファイルをアクセスすることを防ぐことができる。
【００２３】
第９の発明は，上記第８の発明の構成に加えて，さらに計算ノード１ａ〜１ｃ上に監視用デーモンプロセスを有し，論理ファイル５１を操作中にユーザプロセスが異常終了すると，監視用デーモンプロセスは，ユーザプロセスの異常終了を検出し，Ｉ／Ｏノード３１，３２上のデーモンプロセスに入出力要求のキャンセルを依頼し，依頼されたデーモンプロセスは，Ｉ／Ｏサーバプロセスを強制終了させるように構成されていることを特徴とする。
【００２４】
こうすることより，ユーザプロセスが並列プロセスを操作中に異常終了した場合に，対応するＩ／Ｏサーバプロセスも終了させることが可能である。この機構がないと，無駄なＩ／Ｏサーバプロセスが永遠に生き残ってしまい，Ｉ／Ｏノードの負荷が増大してしまう。
【００２５】
【発明の実施の形態】
以下，図面を参照しながら，本発明の実施の形態を説明する。
例えば，図１に示すように，データ処理用の計算ノードが３台（計算ノード１ａ〜１ｃ），データ入出力用のＩ／Ｏノードが２台（Ｉ／Ｏノード３１，３２）がネットワーク４に接続されて，並列計算機が構成されているものとする。Ｉ／Ｏノード３１，３２には，磁気ディスク装置等の大量のデータを格納するための二次記憶装置６１，６２が接続されている。データ入出力用のＩ／Ｏノード３１，３２は，データ処理用の計算ノード１ａ〜１ｃとは別に専用で設けられるほうが入出力処理の高速化のために望ましい。しかし，システムによっては計算ノードがＩ／Ｏノードの機能を兼ね備えていてもよい。
【００２６】
本発明では，一つの論理ファイル５１を複数のＩ／Ｏノード３１，３２上の二次記憶装置６１，６２に分割して格納する。その論理ファイル５１に対して入出力を行いたい計算ノード１ａ〜１ｃでは，ネットワークファイルシステム２が提供する機能を利用し，ネットワーク４を介して各Ｉ／Ｏノード３１，３２に入出力要求を発行する。
【００２７】
また，本システムでは，一つの論理ファイル５１を表すメタファイル２１が設けられる。図２にそのメタファイル２１の形式例を示す。
メタファイル２１には，例えば図２（Ａ）に示すように，論理ファイルであることを示す識別情報（ｓｐｆｓｆｉｌｅ），ストライプ数（ファイル分割数），ストライプ幅（分割するデータ長），Ｉ／Ｏノード名，実体のファイル名（各パーティションファイル５２ａ〜５４ａ，５２ｂ〜５４ｂの名前）に関する情報が格納されている。なお，ｓｐｆｓは，Ｓｃａｌａｂｌｅ ａｎｄ Ｐａｒａｌｌｅｌ Ｆｉｌｅ Ｓｙｓｔｅｍ の略である。
【００２８】
図２（Ｂ）は，論理ファイル５１のデータ分割例を示しており，第１〜第ｎのＩ／Ｏノード（図１では，Ｉ／Ｏノード３１，３２）に対して，指定されたストライプ幅のデータ長分ずつそれぞれ順番にパーティションファイルとしてデータが割り当てられる様子を示している。
【００２９】
ファイルを操作するときには，ネットワークファイルシステム２によってこのメタファイル２１を参照することにより，ファイルの実体，すなわちパーティションファイル５２ａ〜５４ａ，５２ｂ〜５４ｂにアクセスすることができる。
【００３０】
図３は，ｍｙｔｅｓｔという名前のメタファイル２１を，各計算ノード１ａ，１ｂが参照する様子を示している。ネットワークファイルシステム２によって，メタファイル２１を格納した二次記憶装置を，ファイル操作を必要とするすべての計算ノード１ａ〜１ｃから参照できるようにしている。このメタファイル２１の名前“ｍｙｔｅｓｔ”は，実質的に論理ファイルの名前となる。ファイルの実体（実際のデータ）は，指定されたストライプ数，ストライプ幅に応じてパーティションファイル５２ａ，５２ｂとして分割して保存される。
【００３１】
図４は，各計算ノード上で動作するアプリケーションプログラムが並列ファイル生成時に，分割する数（ストライプ数）を指定する命令記述の例を示している。図４に示すように，ｓｐｆｓ＿ｏｐｅｎ関数において，生成する論理ファイルの名前（ｆｉｌｅｎａｍｅ）と，ストライプ数（ｓｔｒｉｐｅ＿ｎｏ）を指定すると，ネットワークファイルシステム２では，指定された数に応じたパーティションファイル５２ａ〜５４ａ，５２ｂ〜５４ｂを作成する。この命令記述では，処理結果の値が変数ｅｒｒ に返却される。
【００３２】
図５は，各計算ノード上で動作するアプリケーションプログラムが並列ファイル生成時に，分割するデータ長（ストライプ幅）を指定する命令記述の例を示している。図５に示すように，ｓｐｆｓ＿ｏｐｅｎ関数において，生成する論理ファイルの名前（ｆｉｌｅｎａｍｅ）と，ストライプ幅（ｓｔｒｉｐｅ＿ｓｉｚｅ）を指定すると，ネットワークファイルシステム２では，指定されたストライプ幅に従ってファイルを分割する。この命令記述では，処理結果の値が変数ｅｒｒ に返却される。
【００３３】
図６は，図１に示す構成ファイル２２の形式例を示す。
システム管理者は，あらかじめ規定されたディレクトリに構成ファイル２２を用意する。構成ファイル２２には，ファイルの実体（パーティションファイル５２ａ，５２ｂ，…）を格納するＩ／Ｏノード３１，３２のリストと，パーティションファイルのプレフィックス名を指定する。ネットワークファイルシステム２では，この構成ファイル２２を参照してパーティションファイル５２ａ，５２ｂ，…を作成するＩ／Ｏノードを決定する。構成ファイル２２は，システム全体に一つだけあらかじめ定められた特定のファイル名で用意される。
【００３４】
図７は，パーティションファイルを設けるＩ／Ｏノードを決定する処理の例を示している。
計算ノード１ａ〜１ｃ上で動作するアプリケーションプログラム中で論理ファイル５１の生成を要求する命令が発行されると，ネットワークファイルシステム２では，構成ファイル２２を参照し，Ｉ／Ｏノード数を得て，０から（Ｉ／Ｏノード数−１）までの乱数ｊを算出する。次に，構成ファイル２２のｊ番目のエントリから，ストライプ数（ｓｔｒｉｐｅ＿ｎｏ個）分のＩ／Ｏノードを選び出し，それをパーティションファイルを設けるＩ／Ｏノードのリストとする。
【００３５】
図８は，パーティションファイル名を付与する処理の例を示している。
計算ノード１ａ〜１ｃ上で動作するアプリケーションプログラム中で論理ファイル５１の生成を要求する命令が発行されると，その延長でネットワークファイルシステム２は，Ｉ／Ｏノード３１，３２上にパーティションファイル５２ａ，５２ｂ，…を作成する。各パーティションファイル５２ａ，５２ｂ，…のファイル名は，ネットワークファイルシステム２が自動的に生成するが，その際にシステム管理者が記述した構成ファイル２２に書かれたファイルのプレフィックス名を使用し，そのプレフィックス名の後に計算ノードのサイトＩＤ，プロセスＩＤ，現在時刻，シーケンスカウントを付加したものをパーティションファイル名として使用する。なお，サイトＩＤは，各ノードのマシンにあらかじめ付加された識別子である。シーケンスカウントは０から始まり，パーティションファイルを一つ生成する毎に増加する。
【００３６】
図９は，並列ファイルを識別する処理の例を示す。
プログラム利用者は，ファイル操作を行うプログラムを実行する前に，特定の環境変数（ここではこの環境変数名をＳＰＦＳとして説明する）に，“ｙｅｓ”（値＝１）か“ｎｏ”（値＝０）を設定しておく。プログラム中に並列ファイル操作命令が存在すると，ネットワークファイルシステム２では，この環境変数ＳＰＦＳを調べ，“ｙｅｓ”であれば指定されたファイルは，分割された複数のパーティションファイルからなる並列ファイルであるとみなし，そのファイル操作を行う。また，“ｎｏ”であれば，指定されたファイルは通常の非並列ファイルであるとみなし，そのファイル操作を行う。
【００３７】
図１０は，論理ファイルのオープン処理時の通信の例を示す図である。なお，図１０の例では，Ｉ／Ｏノードが３台あるものとしている。
計算ノード１ａ〜１ｃ上で動作する並列プログラムにおいて，複数のプロセスで一つのファイルを共用する際，同時にファイルのオープン（ｏｐｅｎ）命令が発行される。ネットワークファイルシステム２（図１０では図示せず）では，ｏｐｅｎを発行したプロセス間で同期を取り，例えば計算ノード１ｂの代表のプロセス（マスタプロセスという）のみがファイルの存在するＩ／Ｏノード３１，３２，３３へオープン処理のためのメッセージを送る。
【００３８】
各Ｉ／Ｏノード３１，３２，３３では，計算ノード１ｂ上のマスタプロセスからメッセージを受け取ると，該当するパーティションファイルのオープン処理を行い，結果を計算ノード１ｂ上のマスタプロセスへ返す。マスタプロセスは，その結果を他の計算ノード１ａ，１ｃ上のプロセスへ通知する。このように，マスタプロセスのみが代表してＩ／Ｏノードと通信することにより，計算ノード１ａ〜１ｃとＩ／Ｏノード３１〜３３間の通信量を削減することが可能であり，システム全体の性能向上を図ることができる。
【００３９】
図１１は，論理ファイルに対するアクセス権限のチェックのための機構を示す図である。
図１１に示すように，デーモンプロセス７１が，各Ｉ／Ｏノード３上にルート権限で実行される常駐プロセスとして用意される。マスタのユーザプロセス１１は，論理ファイル（並列ファイル）のオープン時に，ｆｏｒｋ命令（例えばＵＮＩＸシステムの場合）などにより，計算ノード１上に仲介プロセス１２を生成する。
【００４０】
仲介プロセス１２には，ｓｅｔｕｉｄビットが設定されており，ルート権限で動作する。ルート権限は，特権的なプロセスの実行資格である。仲介プロセス１２は，特権ポートを使ってＩ／Ｏノード３上のデーモンプロセス７１と通信する。デーモンプロセス７１に送るデータは，ユーザプロセス１１が通信に使うポート番号（ユーザプロセス１１より通知されたもの）とユーザプロセス１１のユーザ識別子（ｕｉｄ）とグループ識別子（ｇｉｄ）である。
【００４１】
デーモンプロセス７１は，Ｉ／Ｏサーバプロセス７２の生成要求が一般ポートから要求されたものである場合，この要求を無視する。特権ポートから送られたものである場合には，指定されたユーザ識別子のＩ／Ｏサーバプロセス７２をｆｏｒｋ命令等により起動し，Ｉ／Ｏサーバプロセス７２のポート番号を仲介プロセス１２に返す。デーモンプロセス７１は，それをユーザプロセス１１に返す。ユーザプロセス１１は，仲介プロセス１２に通知したポートを使って，Ｉ／Ｏサーバプロセス７２と通信する。
【００４２】
Ｉ／Ｏサーバプロセス７２は，登録されていないアドレス（サイトＩＤとポート番号）から入出力処理を依頼された場合，この要求を無視する。ここで登録されたアドレスとは，Ｉ／Ｏサーバプロセス７２の生成時にデーモンプロセス７１から通知されたユーザプロセス１１（マスタ，スレーブ全て）のアドレスである。
【００４３】
こうすることにより，ファイルのアクセス権限を持たないユーザが，偽のメッセージをＩ／Ｏサーバプロセス７２へ送って，ファイルをアクセスすることを防ぐことができる。
【００４４】
図１２は，ユーザプロセスの異常終了時にＩ／Ｏサーバプロセスを強制的に終了させる機構の説明図である。
ユーザプロセス１１が並列ファイルをオープンすると，ユーザプロセス１１と計算ノード１上の監視用のデーモンプロセス１３との間にコネクションが張られる。ユーザプロセス１１が並列ファイルのクローズ時に，正常終了をデーモンプロセス１３に伝え，コネクションを解消する。ユーザプロセス１１が並列ファイルをクローズしないで終了すると，デーモンプロセス１３がユーザプロセス１１の異常終了を検出し，Ｉ／Ｏノード３上のデーモンプロセス７２にＩ／Ｏサーバプロセス７２のキャンセルを依頼する。Ｉ／Ｏノード３上のデーモンプロセス７１は，まだＩ／Ｏサーバプロセス７２が動いているなら，強制的にＩ／Ｏサーバプロセス７２を終了させる。
【００４５】
【実施例】
図１３は，本発明の一実施例構成図であり，ネットワーク４上にＣＰＵおよび主記憶装置を備えた複数のノードが接続された並列計算機を示している。
【００４６】
ノードは，アプリケーションプログラム１４ａ，１４ｂを実行させる計算ノード１ａ，１ｂと，計算ノード１ａ，１ｂから要求されたファイルの入出力処理を専門に行うＩ／Ｏノード３１，３２の２種類に大別される。全計算ノード１ａ，１ｂは，並列ファイルのメタファイル２１を格納するための二次記憶装置２４を共用する。各Ｉ／Ｏノード３１，３２には，それぞれ並列ファイルのパーティションファイルを格納するための磁気ディスク装置等の二次記憶装置６１，６２が接続されている。
【００４７】
アプリケーションプログラム１４ａ，１４ｂには，所定のファイルＩ／Ｏライブラリ（図示省略）がリンクされている。また，計算ノード１ａ，１ｂおよびＩ／Ｏノード３１，３２のいずれにも，デーモンプロセス１３ａ，１３ｂ，７１，７３が常駐している。Ｉ／Ｏサーバプロセス７２，７４は，並列ファイルのオープン（ｏｐｅｎ）時に生成され，クローズ（ｃｌｏｓｅ）時に消滅する。
【００４８】
図１４は，並列ファイルのオープン時の計算ノード上の処理の流れを示している。
並列ファイルのオープン処理開始時に，まずステップＳ１では，同時にオープン（ｏｐｅｎ）をかけた他のプロセスと同期を取る。次に，ステップＳ２では，構成ファイル２２を読み込み，Ｉ／Ｏノード情報とファイルプレフィックス情報を入手する。以下，自ノードがマスタかスレーブかによって，処理が別れる（ステップＳ３）。
【００４９】
自ノードがマスタである場合，ステップＳ４により，指定された名前のメタファイル２１（論理ファイル名）が既に存在するかどうかを調べ，存在すればそのメタファイル２１からパーティションファイル情報を読み込む。指定された名前のメタファイルが存在せず，かつファイルの生成（ｃｒｅａｔｅ）が指定されていれば，ステップＳ５において，新たなメタファイル２１を作り，パーティションファイル情報をその中に設定する。
【００５０】
ステップＳ６では，該当するＩ／Ｏノード３１，３２と通信し，ｃｒｅａｔｅの場合，Ｉ／Ｏノード３１，３２上にパーティションファイルを生成する。もしくは，既にパーティションファイルが存在する場合には，そのすべてのファイルをオープンする。その後，ステップＳ７で，スレーブプロセスへオープン完了を通知する。
【００５１】
自ノードがスレーブの場合，ステップＳ８において，マスタプロセスからオープン完了通知を受け取る。
上記ステップＳ６による処理において，Ｉ／Ｏノード３１，３２上では，デーモンプロセス７１，７３が，マスタの計算ノード１ａまたは１ｂからのオープン要求メッセージを受け付け，メッセージの正当性を確かめた後にＩ／Ｏサーバプロセス７２，７４を生成し，パーティションファイルのオープン処理を行う。
【００５２】
図１５は，並列ファイルのライト（ｗｒｉｔｅ）時の計算ノード上の処理の流れを示している。
ステップＳ１１では，ユーザ（アプリケーションプログラム）が要求したファイルオフセットと書き込みデータ長とから，要求された書き込みデータがどのパーティションファイルに該当するかを計算し，それらの各パーティションファイルに対するＩ／Ｏ要求リストを作成する。
【００５３】
次に，ステップＳ１２では，各パーティションファイルごとにデータをユーザバッファからネットワークファイルシステム２が管理する転送用バッファへコピーする。
【００５４】
その後，ステップＳ１３では，各パーティションファイルが存在する該当Ｉ／Ｏノードへｗｒｉｔｅ要求を送る。複数のＩ／Ｏノードが該当する場合には，すべてのＩ／Ｏノードに対して並行してｗｒｉｔｅ要求を送る（ステップＳ１４，Ｓ１３）。
【００５５】
その後，ステップＳ１５において，ｗｒｉｔｅの結果を各Ｉ／Ｏノードから受け取る。複数のＩ／Ｏノードに対してｗｒｉｔｅ要求を送った場合には，それらのすべてのＩ／Ｏノードからｗｒｉｔｅの結果を受け取る（ステップＳ１６，Ｓ１５）。結果の受け取りがすべて終了した場合には，ｗｒｉｔｅ処理を終了する。
【００５６】
並列ファイルのリード（ｒｅａｄ）時の処理もほぼ同様であるので，その詳しい説明は省略する。
次に，ネットワークファイルシステム２が，並列ファイルのために，ファイルＩ／Ｏライブラリとして提供する関数の仕様について説明する。
【００５７】
オープンの関数は，例えばＣ言語の形式で表すと，次のように定義される。
ｉｎｔ ｓｐｆｓ＿ｏｐｅｎ （ｃｏｎｓｔ ｃｈａｒ ＊ｆｉｌｅｎａｍｅ， ｉｎｔ ｆｌａｇ， ｍｏｄｅ＿ｔ ｍｏｄｅ，ｉｎｔ ｉｏｎｎｏ， ｌｏｎｇ ｓｔｒｉｐｅ＿ｓｉｚｅ，…）
この関数の入力情報において，ｆｉｌｅｎａｍｅはファイル名である。
【００５８】
ｆｌａｇはフラグであり，以下の情報を指定することができる。
ＳＰＦＳ＿ＲＤＷＲ ：リード／ライト
ＳＰＦＳ＿ＲＤＯＮＬＹ：リードオンリ（読み出しのみ）
ＳＰＦＳ＿ＷＲＯＮＬＹ：ライトオンリ（書き込みのみ）
ＳＰＦＳ＿ＣＲＥＡＴ ：ファイルを生成する。
【００５９】
ＳＰＦＳ＿ＴＲＵＮＣ ：既存ファイルをリード／ライトまたはライトオンリでオープンしたときにサイズを０にする。
ｍｏｄｅはアクセスモードを表し，以下の情報の指定が可能である。
【００６０】
ＳＰＦＳ＿ＩＲＵＳＲ ：所有者はリード可能
ＳＰＦＳ＿ＩＷＵＳＲ ：所有者はライト可能
ＳＰＦＳ＿ＩＲＧＲＰ ：所有グループのメンバはリード可能
ＳＰＦＳ＿ＩＷＧＲＰ ：所有グループのメンバはライト可能
ＳＰＦＳ＿ＩＲＯＴＨ ：他人もリード可能
ＳＰＦＳ＿ＩＷＯＴＨ ：他人もライト可能
ｉｏｎｎｏ はストライプ装置数を指定する。
【００６１】
ｓｔｒｉｐｅ＿ｓｉｚｅはストライプ幅を指定する。
他にグループ内のプロセス数，プロセス識別子のリスト等を指定することもできるが，本発明の要旨には関係ないため説明を省略する。
【００６２】
このオープン関数の出力として，ファイルハンドルの情報を返す。エラーが発生した場合には，−１の値を返す。なお，既存ファイルをオープンする場合には，入力情報のうち，アクセスモード，ストライプ装置数，ストライプ幅は無視される。
【００６３】
クローズの関数は，次のように定義される。
ｉｎｔ ｓｐｆｓ＿ｃｌｏｓｅ（ｉｎｔ ｆｈ）
このクローズ関数の入力のｆｈは，オープン時に通知されたファイルハンドルである。出力として，正常終了の場合には０を，エラーの場合には−１の値を返す。オープンを発行した全プロセスが，クローズを発行しなければならない。
【００６４】
ライトの関数は，次のように定義される。
ｉｎｔ ｓｐｆｓ＿ｗｒｉｔｅ （ｉｎｔ ｆｈ， ｃｈａｒ ＊ｂｕｆ， ｓｉｚｅ＿ｔ ｓｉｚｅ）
ここで入力情報のｆｈはファイルハンドル，ｂｕｆ はバッファ， ｓｉｚｅは転送長である。
【００６５】
ライト関数の出力は，実際にライトした転送長であり，エラーが発生した場合には−１の値を返す。ファイルポインタは，実際にライトした転送長分進む。
リードの関数は，次のように定義される。
【００６６】
ｉｎｔ ｓｐｆｓ＿ｒｅａｄ（ｉｎｔ ｆｈ， ｖｏｉｄ ＊ｂｕｆ， ｓｉｚｅ＿ｔ ｓｉｚｅ）
ここで入力情報のｆｈはファイルハンドル，ｂｕｆ はバッファ， ｓｉｚｅは転送長である。
【００６７】
リード関数の出力は，実際に読み込んだ転送長であり，エラーが発生した場合には−１の値を返す。ホールの取り扱いは，標準のＵＮＩＸシステム等と同様である。ファイルポインタは，実際に読み込んだ転送長分進む。
【００６８】
シークの関数は，次のように定義される。
ｉｎｔ ｓｐｆｓ＿ｓｅｅｋ（ｉｎｔ ｆｈ， ｌｏｎｇ ｌｏｎｇ ｏｆｆｓｅｔ， ｉｎｔ ｗｈｅｎｃｅ）
ここで入力情報のｆｈはファイルハンドル，ｏｆｆｓｅｔはオフセットを指定するものである。このオフセットの指定において，２Ｇバイトを超えるファイルの利用が可能である。
【００６９】
ｗｈｅｎｃｅでは，以下の情報を指定することができる。
ＳＰＦＳ＿ＳＥＥＫ＿ＳＥＴ ：ファイルの先頭からシークする。
ＳＰＦＳ＿ＳＥＥＫ＿ＣＵＲ ：現ファイルポインタからシークする。
【００７０】
シーク関数の出力として，正常終了の場合には０を，エラーが発生した場合には−１の値を返す。
他に，Ｉ／Ｏの完了を待たない非同期のリード関数ｓｐｆｓ＿ａｒｅａｄ，Ｉ／Ｏの完了を待たない非同期のライト関数ｓｐｆｓ＿ａｗｒｉｔｅ，またこれらの非同期Ｉ／Ｏに対してＩ／Ｏの完了を確認するためのウエイト関数ｓｐｆｓ＿ａｗａｉｔ 等の関数が用意されている。また，エラーが発生した場合に，その詳細なエラーの種類を取得するための関数も用意されている。
【００７１】
次に，メタファイルの具体的な構成例について説明する。
並列ファイル（論理ファイル）は，複数のＵＮＩＸファイルで構成される。指定されたファイルの実体（パーティションファイル）がどこに存在するかは，指定されたファイル名を持つメタファイルの中に保存する。
【００７２】
以下の例の場合，ファイルｍｙｔｅｓｔは，ストライプ数が２で，ストライプ幅が１６Ｋバイト，ａｐｎｅｔ０００２ とａｐｎｅｔ０００３ のノード上の二つのパーティションファイルから構成されていることを示している。
【００７３】
並列ファイルを生成するＩ／Ｏノードは構成ファイル（ｃｏｎｆｉｇファイル）で指定する。以下の例の場合，ファイルはａｐｎｅｔ０００２ とａｐｎｅｔ０００３ の上に作られ，指定されたパス名プレフィックスが付加される。
【００７４】
【００７５】
【発明の効果】
以上説明したように，本発明によれば，複数のＩ／Ｏノードを使用して大容量入出力を高速に処理することが可能であり，並列アプリケーションプログラムの入出力（Ｉ／Ｏ）待ち時間の短縮，ひいてはシステム全体の性能向上に寄与するところが大きい。
【図面の簡単な説明】
【図１】本発明の概要説明図である。
【図２】メタファイルの形式例を示す図である。
【図３】メタファイルを各計算ノードが参照する様子を示す図である。
【図４】並列ファイル生成時のストライプ数の指定の例を示す図である。
【図５】並列ファイル生成時のストライプ幅の指定の例を示す図である。
【図６】構成ファイルの形式例を示す図である。
【図７】パーティションファイルを設けるＩ／Ｏノードを決定する処理の例を示す図である。
【図８】パーティションファイル名を付与する処理の例を示す図である。
【図９】並列ファイルを識別する処理の例を示す図である。
【図１０】論理ファイルのオープン処理時の通信の例を示す図である。
【図１１】アクセス権限のチェックのための機構を示す図である。
【図１２】ユーザプロセスの異常終了時にＩ／Ｏサーバプロセスを強制的に終了させる機構の説明図である。
【図１３】本発明の一実施例構成図である。
【図１４】並列ファイルのオープン時の計算ノード上の処理の流れを示す図である。
【図１５】並列ファイルのライト時の計算ノード上の処理の流れを示す図である。
【符号の説明】
１ａ，１ｂ，１ｃ 計算ノード
２ ネットワークファイルシステム
２１ メタファイル
２２ 構成ファイル
３１，３２ Ｉ／Ｏノード
４ ネットワーク
５１ 論理ファイル
５２ａ〜５４ａ，５２ｂ〜５４ｂ パーティションファイル
６１，６２ 二次記憶装置
【発明の属する技術分野】
本発明は，複数の計算ノードがネットワークで接続された並列計算機に関し，特に大容量のデータを格納するファイルシステムを持つ並列計算機に関する。
【０００２】
【従来の技術】
近年，科学技術計算等の分野において，大量のデータを高速に入出力することが可能な計算機システムが求められている。また，並列処理技術の成熟に伴い，並列計算機においてプログラムを並列化することによって，処理時間の短縮を図ることが行われている。しかし，並列計算機上で動作するプログラムにおいて大量のデータ入出力を行う場合には，データ入出力処理が処理全体のボトルネックとなってしまう。したがって，このようなプログラムの性能を向上させるためには，データ入出力処理を高速化することが重要である。
【０００３】
従来の並列計算機システムにおいては，単一のディスク記憶装置もしくは複数のディスク記憶装置を一つのノード（計算機）に接続して，この入出力用のノード（以下，Ｉ／Ｏノードという）をファイルサーバとして使用していた。
【０００４】
このＩ／Ｏノードでは，他のノードからファイル入出力要求を受け付け，ディスク記憶装置との間で入出力を行い，結果を要求の発行元へ返す。しかし，単一のＩ／Ｏノードの通信能力，ＣＰＵ能力，Ｉ／Ｏ能力には限界があり，大容量のファイル入出力要求が発行された場合や，多数のノードから同時に入出力要求が発行された場合には，性能の低下が避けられなかった。
【０００５】
【発明が解決しようとする課題】
従来技術では，並列計算機上で大容量の入出力を必要とするアプリケーションプログラムを同時に実行させると，Ｉ／Ｏノードにおける入出力処理がシステム全体のボトルネックとなり，性能が低下するという問題点があった。
【０００６】
本発明は上記問題点を解決し，並列計算機上に複数のＩ／Ｏノードを用意し，一つの論理的なファイルを複数のＩ／Ｏノード上に分散配置することにより，大容量入出力処理においてもＩ／Ｏノードの負荷を軽減し，入出力処理の性能向上，ひいてはシステム全体の性能向上を図ることを目的とする。
【０００７】
【課題を解決するための手段】
図１は本発明の概要説明図である。
図１において，１ａ〜１ｃはそれぞれＣＰＵおよび主記憶装置を有する計算ノード，２は各計算ノードに対して共通のファイルアクセス機能を提供するネットワークファイルシステム，２１は一つの論理的なファイルを表すメタファイル，２２はファイルの実体を格納するノードのリストを指定する構成ファイル，３１，３２は入出力処理を分担するＩ／Ｏノード，４はネットワーク，５１は計算ノードから一つの論理的なファイルとして扱われる論理ファイル，５２ａ〜５４ａ，５２ｂ〜５４ｂはそれぞれ論理ファイル５１の実体を分割して格納するパーティションファイル，６１，６２は磁気ディスク装置等の二次記憶装置を表す。
【０００８】
第１の発明は，複数の計算ノード１ａ〜１ｃがネットワーク４で接続された並列計算機において，ネットワーク４に接続される複数の計算ノード１ａ〜１ｃまたは他のＩ／Ｏノード３１，３２に接続される複数の二次記憶装置６１，６２と，計算ノード１ａ〜１ｃが処理するデータを保持するための一つの論理的なファイルである論理ファイル５１を，複数の二次記憶装置６１，６２に分割して格納するパーティションファイル５２ａ〜５４ａ，５２ｂ〜５４ｂと，計算ノード１ａ〜１ｃによる論理ファイル５１に対する入出力要求に対して，複数の二次記憶装置６１，６２上のデータを並行して入出力するファイル操作手段であるネットワークファイルシステム２を備えることを特徴とする。
【０００９】
この発明によれば，従来一つのノード上の二次記憶装置に格納されていたファイルを，複数のＩ／Ｏノード３１，３２上の二次記憶装置６１，６２にパーティションファイル５２ａ〜５４ａ，５２ｂ〜５４ｂとして分割して格納するため，各Ｉ／Ｏノード３１，３２の入出力処理は並行して行うことができ，ファイルの入出力の性能を向上させることが可能である。
【００１０】
特に第１の発明は，一つの論理ファイル５１を表すメタファイル２１を有し，ネットワークファイルシステム２は，ファイル操作時にメタファイル２１を参照することにより，論理ファイル５１と各Ｉ／Ｏノード３１，３２上に格納されているファイルの実体であるパーティションファイル５２ａ〜５４ａ，５２ｂ〜５４ｂとを結び付けてファイルにアクセスするように構成されていることを特徴とする。
【００１１】
このようにすると，利用者のアプリケーションプログラム等は，論理ファイル５１が複数の実体から構成されることを意識することなく，あたかも実体が一つであるかのようにして使用することができる。
【００１２】
また，第１の発明は，さらにメタファイル２１がすべての計算ノード１ａ〜１ｃから参照可能な二次記憶装置上に設けられていることを特徴とする。こうすることにより，ある計算ノードで作成した並列ファイル（論理ファイル５１）を，他の計算ノードでも利用することが可能になる。さらにまた，論理ファイル５１の生成時に，そのファイルの実体を格納するＩ／Ｏノード３１，３２等のリストを指定する構成ファイル２２を持つことを特徴とする。こうすることにより，システム構成の変化に対応して，容易にＩ／Ｏノード構成を変更することが可能である。
【００１３】
第２の発明は，上記第１の発明の構成に加えて，論理ファイル５１の生成時に，その論理ファイル５１の実体を分割するストライプ数を指定する手段を有することを特徴とする。こうすることにより，アプリケーションプログラムの開発者，管理者，利用者等は，ファイルサイズ，アプリケーションの性質等を考慮して，ファイル毎に最適なストライプ数を設定することができる。
【００１４】
第３の発明は，上記第１の発明の構成に加えて，論理ファイル５１の生成時に，その論理ファイル５１の実体を分割するデータ長（ストライプ幅）を指定する手段を有することを特徴とする。こうすることにより，アプリケーションプログラムの開発者，管理者，利用者等は，ファイルサイズ，アプリケーションの性質等を考慮して，ファイル毎に最適なストライプ幅を設定することができる。
【００１６】
第４の発明は，上記第１の発明の構成に加えて，さらに論理ファイル５１の生成時に，そのファイルの実体を格納するノードを構成ファイル２２が保持するノードのリスト中からランダムに選択し，その選択されたノードから分割数分のノードを抽出する手段を有することを特徴とする。こうすることにより，作成する並列ファイル毎に使用するＩ／Ｏノードが異なることになり，特定のＩ／Ｏノードに負荷が集中することを避けることが可能になる。
【００１７】
第５の発明は，上記第１の発明の構成に加えて，論理ファイル５１の生成時に，そのファイルの実体を格納する各Ｉ／Ｏノード３１，３２のパーティションファイル５２ａ，５２ｂ，…のファイル名に，各計算ノード１ａ〜１ｃのサイト名，プロセスＩＤまたは時間もしくは順序情報を付加することを特徴とする。乱数等を使ってパーティションファイル名を決定すると，異なる論理ファイルのパーティションファイル名が重複してしまう可能性があるが，こうすることにより，パーティションファイル名の重複を避けることが可能である。
【００１８】
第６の発明は，上記第１の発明の構成に加えて，ネットワークファイルシステム２のファイル操作手段が，あらかじめ設定された環境変数の値によって論理ファイル５１の並列ファイルを操作するか通常の物理ファイル（非並列ファイル）を操作するかを区別するようにしたことを特徴とする。こうすることにより，非並列ファイル，並列ファイルのいずれを扱う際も共通のプログラムを利用することが可能であり，プログラムの修正は不要である。
【００１９】
第７の発明は，上記第１の発明の構成に加えて，論理ファイル５１のオープン処理時に，複数の計算ノード１ａ〜１ｃのうちの代表となる計算ノード（マスタ）のみが論理ファイル５１の実体を格納する二次記憶装置６１，６２を有するＩ／Ｏノード３１，３２との通信処理を行い，同じ論理ファイル５１を使用する他の計算ノード（スレーブ）は，代表となる計算ノードから結果を受け取るようにしたことを特徴とする。
【００２０】
このように，オープン処理において，マスタの計算ノードのみが代表してＩ／Ｏノード３１，３２と通信することにより，計算ノード１ａ〜１ｃとＩ／Ｏノード３１，３２間の通信量を削減することが可能であり，システム全体の性能向上を図ることができる。
【００２１】
第８の発明は，上記第１の発明の構成に加えて，計算ノード１ａ〜１ｃ上にルート権限の仲介プロセスを有するとともに，Ｉ／Ｏノード３１，３２上にルート権限のデーモンプロセスを有し，計算ノード１ａ〜１ｃ上のユーザプロセスは，仲介プロセスおよびデーモンプロセスを経由して，Ｉ／Ｏノード３１，３２上に入出力用サーバプロセス（以下，Ｉ／Ｏサーバプロセスという）を起動して，論理ファイル５１の実体にアクセスするようにしたことを特徴とする。
【００２２】
こうすることにより，ファイルのアクセス権限を持たないユーザが，偽のメッセージをＩ／Ｏサーバプロセスへ送って，ファイルをアクセスすることを防ぐことができる。
【００２３】
第９の発明は，上記第８の発明の構成に加えて，さらに計算ノード１ａ〜１ｃ上に監視用デーモンプロセスを有し，論理ファイル５１を操作中にユーザプロセスが異常終了すると，監視用デーモンプロセスは，ユーザプロセスの異常終了を検出し，Ｉ／Ｏノード３１，３２上のデーモンプロセスに入出力要求のキャンセルを依頼し，依頼されたデーモンプロセスは，Ｉ／Ｏサーバプロセスを強制終了させるように構成されていることを特徴とする。
【００２４】
こうすることより，ユーザプロセスが並列プロセスを操作中に異常終了した場合に，対応するＩ／Ｏサーバプロセスも終了させることが可能である。この機構がないと，無駄なＩ／Ｏサーバプロセスが永遠に生き残ってしまい，Ｉ／Ｏノードの負荷が増大してしまう。
【００２５】
【発明の実施の形態】
以下，図面を参照しながら，本発明の実施の形態を説明する。
例えば，図１に示すように，データ処理用の計算ノードが３台（計算ノード１ａ〜１ｃ），データ入出力用のＩ／Ｏノードが２台（Ｉ／Ｏノード３１，３２）がネットワーク４に接続されて，並列計算機が構成されているものとする。Ｉ／Ｏノード３１，３２には，磁気ディスク装置等の大量のデータを格納するための二次記憶装置６１，６２が接続されている。データ入出力用のＩ／Ｏノード３１，３２は，データ処理用の計算ノード１ａ〜１ｃとは別に専用で設けられるほうが入出力処理の高速化のために望ましい。しかし，システムによっては計算ノードがＩ／Ｏノードの機能を兼ね備えていてもよい。
【００２６】
本発明では，一つの論理ファイル５１を複数のＩ／Ｏノード３１，３２上の二次記憶装置６１，６２に分割して格納する。その論理ファイル５１に対して入出力を行いたい計算ノード１ａ〜１ｃでは，ネットワークファイルシステム２が提供する機能を利用し，ネットワーク４を介して各Ｉ／Ｏノード３１，３２に入出力要求を発行する。
【００２７】
また，本システムでは，一つの論理ファイル５１を表すメタファイル２１が設けられる。図２にそのメタファイル２１の形式例を示す。
メタファイル２１には，例えば図２（Ａ）に示すように，論理ファイルであることを示す識別情報（ｓｐｆｓｆｉｌｅ），ストライプ数（ファイル分割数），ストライプ幅（分割するデータ長），Ｉ／Ｏノード名，実体のファイル名（各パーティションファイル５２ａ〜５４ａ，５２ｂ〜５４ｂの名前）に関する情報が格納されている。なお，ｓｐｆｓは，Ｓｃａｌａｂｌｅ ａｎｄ Ｐａｒａｌｌｅｌ Ｆｉｌｅ Ｓｙｓｔｅｍ の略である。
【００２８】
図２（Ｂ）は，論理ファイル５１のデータ分割例を示しており，第１〜第ｎのＩ／Ｏノード（図１では，Ｉ／Ｏノード３１，３２）に対して，指定されたストライプ幅のデータ長分ずつそれぞれ順番にパーティションファイルとしてデータが割り当てられる様子を示している。
【００２９】
ファイルを操作するときには，ネットワークファイルシステム２によってこのメタファイル２１を参照することにより，ファイルの実体，すなわちパーティションファイル５２ａ〜５４ａ，５２ｂ〜５４ｂにアクセスすることができる。
【００３０】
図３は，ｍｙｔｅｓｔという名前のメタファイル２１を，各計算ノード１ａ，１ｂが参照する様子を示している。ネットワークファイルシステム２によって，メタファイル２１を格納した二次記憶装置を，ファイル操作を必要とするすべての計算ノード１ａ〜１ｃから参照できるようにしている。このメタファイル２１の名前“ｍｙｔｅｓｔ”は，実質的に論理ファイルの名前となる。ファイルの実体（実際のデータ）は，指定されたストライプ数，ストライプ幅に応じてパーティションファイル５２ａ，５２ｂとして分割して保存される。
【００３１】
図４は，各計算ノード上で動作するアプリケーションプログラムが並列ファイル生成時に，分割する数（ストライプ数）を指定する命令記述の例を示している。図４に示すように，ｓｐｆｓ＿ｏｐｅｎ関数において，生成する論理ファイルの名前（ｆｉｌｅｎａｍｅ）と，ストライプ数（ｓｔｒｉｐｅ＿ｎｏ）を指定すると，ネットワークファイルシステム２では，指定された数に応じたパーティションファイル５２ａ〜５４ａ，５２ｂ〜５４ｂを作成する。この命令記述では，処理結果の値が変数ｅｒｒ に返却される。
【００３２】
図５は，各計算ノード上で動作するアプリケーションプログラムが並列ファイル生成時に，分割するデータ長（ストライプ幅）を指定する命令記述の例を示している。図５に示すように，ｓｐｆｓ＿ｏｐｅｎ関数において，生成する論理ファイルの名前（ｆｉｌｅｎａｍｅ）と，ストライプ幅（ｓｔｒｉｐｅ＿ｓｉｚｅ）を指定すると，ネットワークファイルシステム２では，指定されたストライプ幅に従ってファイルを分割する。この命令記述では，処理結果の値が変数ｅｒｒ に返却される。
【００３３】
図６は，図１に示す構成ファイル２２の形式例を示す。
システム管理者は，あらかじめ規定されたディレクトリに構成ファイル２２を用意する。構成ファイル２２には，ファイルの実体（パーティションファイル５２ａ，５２ｂ，…）を格納するＩ／Ｏノード３１，３２のリストと，パーティションファイルのプレフィックス名を指定する。ネットワークファイルシステム２では，この構成ファイル２２を参照してパーティションファイル５２ａ，５２ｂ，…を作成するＩ／Ｏノードを決定する。構成ファイル２２は，システム全体に一つだけあらかじめ定められた特定のファイル名で用意される。
【００３４】
図７は，パーティションファイルを設けるＩ／Ｏノードを決定する処理の例を示している。
計算ノード１ａ〜１ｃ上で動作するアプリケーションプログラム中で論理ファイル５１の生成を要求する命令が発行されると，ネットワークファイルシステム２では，構成ファイル２２を参照し，Ｉ／Ｏノード数を得て，０から（Ｉ／Ｏノード数−１）までの乱数ｊを算出する。次に，構成ファイル２２のｊ番目のエントリから，ストライプ数（ｓｔｒｉｐｅ＿ｎｏ個）分のＩ／Ｏノードを選び出し，それをパーティションファイルを設けるＩ／Ｏノードのリストとする。
【００３５】
図８は，パーティションファイル名を付与する処理の例を示している。
計算ノード１ａ〜１ｃ上で動作するアプリケーションプログラム中で論理ファイル５１の生成を要求する命令が発行されると，その延長でネットワークファイルシステム２は，Ｉ／Ｏノード３１，３２上にパーティションファイル５２ａ，５２ｂ，…を作成する。各パーティションファイル５２ａ，５２ｂ，…のファイル名は，ネットワークファイルシステム２が自動的に生成するが，その際にシステム管理者が記述した構成ファイル２２に書かれたファイルのプレフィックス名を使用し，そのプレフィックス名の後に計算ノードのサイトＩＤ，プロセスＩＤ，現在時刻，シーケンスカウントを付加したものをパーティションファイル名として使用する。なお，サイトＩＤは，各ノードのマシンにあらかじめ付加された識別子である。シーケンスカウントは０から始まり，パーティションファイルを一つ生成する毎に増加する。
【００３６】
図９は，並列ファイルを識別する処理の例を示す。
プログラム利用者は，ファイル操作を行うプログラムを実行する前に，特定の環境変数（ここではこの環境変数名をＳＰＦＳとして説明する）に，“ｙｅｓ”（値＝１）か“ｎｏ”（値＝０）を設定しておく。プログラム中に並列ファイル操作命令が存在すると，ネットワークファイルシステム２では，この環境変数ＳＰＦＳを調べ，“ｙｅｓ”であれば指定されたファイルは，分割された複数のパーティションファイルからなる並列ファイルであるとみなし，そのファイル操作を行う。また，“ｎｏ”であれば，指定されたファイルは通常の非並列ファイルであるとみなし，そのファイル操作を行う。
【００３７】
図１０は，論理ファイルのオープン処理時の通信の例を示す図である。なお，図１０の例では，Ｉ／Ｏノードが３台あるものとしている。
計算ノード１ａ〜１ｃ上で動作する並列プログラムにおいて，複数のプロセスで一つのファイルを共用する際，同時にファイルのオープン（ｏｐｅｎ）命令が発行される。ネットワークファイルシステム２（図１０では図示せず）では，ｏｐｅｎを発行したプロセス間で同期を取り，例えば計算ノード１ｂの代表のプロセス（マスタプロセスという）のみがファイルの存在するＩ／Ｏノード３１，３２，３３へオープン処理のためのメッセージを送る。
【００３８】
各Ｉ／Ｏノード３１，３２，３３では，計算ノード１ｂ上のマスタプロセスからメッセージを受け取ると，該当するパーティションファイルのオープン処理を行い，結果を計算ノード１ｂ上のマスタプロセスへ返す。マスタプロセスは，その結果を他の計算ノード１ａ，１ｃ上のプロセスへ通知する。このように，マスタプロセスのみが代表してＩ／Ｏノードと通信することにより，計算ノード１ａ〜１ｃとＩ／Ｏノード３１〜３３間の通信量を削減することが可能であり，システム全体の性能向上を図ることができる。
【００３９】
図１１は，論理ファイルに対するアクセス権限のチェックのための機構を示す図である。
図１１に示すように，デーモンプロセス７１が，各Ｉ／Ｏノード３上にルート権限で実行される常駐プロセスとして用意される。マスタのユーザプロセス１１は，論理ファイル（並列ファイル）のオープン時に，ｆｏｒｋ命令（例えばＵＮＩＸシステムの場合）などにより，計算ノード１上に仲介プロセス１２を生成する。
【００４０】
仲介プロセス１２には，ｓｅｔｕｉｄビットが設定されており，ルート権限で動作する。ルート権限は，特権的なプロセスの実行資格である。仲介プロセス１２は，特権ポートを使ってＩ／Ｏノード３上のデーモンプロセス７１と通信する。デーモンプロセス７１に送るデータは，ユーザプロセス１１が通信に使うポート番号（ユーザプロセス１１より通知されたもの）とユーザプロセス１１のユーザ識別子（ｕｉｄ）とグループ識別子（ｇｉｄ）である。
【００４１】
デーモンプロセス７１は，Ｉ／Ｏサーバプロセス７２の生成要求が一般ポートから要求されたものである場合，この要求を無視する。特権ポートから送られたものである場合には，指定されたユーザ識別子のＩ／Ｏサーバプロセス７２をｆｏｒｋ命令等により起動し，Ｉ／Ｏサーバプロセス７２のポート番号を仲介プロセス１２に返す。デーモンプロセス７１は，それをユーザプロセス１１に返す。ユーザプロセス１１は，仲介プロセス１２に通知したポートを使って，Ｉ／Ｏサーバプロセス７２と通信する。
【００４２】
Ｉ／Ｏサーバプロセス７２は，登録されていないアドレス（サイトＩＤとポート番号）から入出力処理を依頼された場合，この要求を無視する。ここで登録されたアドレスとは，Ｉ／Ｏサーバプロセス７２の生成時にデーモンプロセス７１から通知されたユーザプロセス１１（マスタ，スレーブ全て）のアドレスである。
【００４３】
こうすることにより，ファイルのアクセス権限を持たないユーザが，偽のメッセージをＩ／Ｏサーバプロセス７２へ送って，ファイルをアクセスすることを防ぐことができる。
【００４４】
図１２は，ユーザプロセスの異常終了時にＩ／Ｏサーバプロセスを強制的に終了させる機構の説明図である。
ユーザプロセス１１が並列ファイルをオープンすると，ユーザプロセス１１と計算ノード１上の監視用のデーモンプロセス１３との間にコネクションが張られる。ユーザプロセス１１が並列ファイルのクローズ時に，正常終了をデーモンプロセス１３に伝え，コネクションを解消する。ユーザプロセス１１が並列ファイルをクローズしないで終了すると，デーモンプロセス１３がユーザプロセス１１の異常終了を検出し，Ｉ／Ｏノード３上のデーモンプロセス７２にＩ／Ｏサーバプロセス７２のキャンセルを依頼する。Ｉ／Ｏノード３上のデーモンプロセス７１は，まだＩ／Ｏサーバプロセス７２が動いているなら，強制的にＩ／Ｏサーバプロセス７２を終了させる。
【００４５】
【実施例】
図１３は，本発明の一実施例構成図であり，ネットワーク４上にＣＰＵおよび主記憶装置を備えた複数のノードが接続された並列計算機を示している。
【００４６】
ノードは，アプリケーションプログラム１４ａ，１４ｂを実行させる計算ノード１ａ，１ｂと，計算ノード１ａ，１ｂから要求されたファイルの入出力処理を専門に行うＩ／Ｏノード３１，３２の２種類に大別される。全計算ノード１ａ，１ｂは，並列ファイルのメタファイル２１を格納するための二次記憶装置２４を共用する。各Ｉ／Ｏノード３１，３２には，それぞれ並列ファイルのパーティションファイルを格納するための磁気ディスク装置等の二次記憶装置６１，６２が接続されている。
【００４７】
アプリケーションプログラム１４ａ，１４ｂには，所定のファイルＩ／Ｏライブラリ（図示省略）がリンクされている。また，計算ノード１ａ，１ｂおよびＩ／Ｏノード３１，３２のいずれにも，デーモンプロセス１３ａ，１３ｂ，７１，７３が常駐している。Ｉ／Ｏサーバプロセス７２，７４は，並列ファイルのオープン（ｏｐｅｎ）時に生成され，クローズ（ｃｌｏｓｅ）時に消滅する。
【００４８】
図１４は，並列ファイルのオープン時の計算ノード上の処理の流れを示している。
並列ファイルのオープン処理開始時に，まずステップＳ１では，同時にオープン（ｏｐｅｎ）をかけた他のプロセスと同期を取る。次に，ステップＳ２では，構成ファイル２２を読み込み，Ｉ／Ｏノード情報とファイルプレフィックス情報を入手する。以下，自ノードがマスタかスレーブかによって，処理が別れる（ステップＳ３）。
【００４９】
自ノードがマスタである場合，ステップＳ４により，指定された名前のメタファイル２１（論理ファイル名）が既に存在するかどうかを調べ，存在すればそのメタファイル２１からパーティションファイル情報を読み込む。指定された名前のメタファイルが存在せず，かつファイルの生成（ｃｒｅａｔｅ）が指定されていれば，ステップＳ５において，新たなメタファイル２１を作り，パーティションファイル情報をその中に設定する。
【００５０】
ステップＳ６では，該当するＩ／Ｏノード３１，３２と通信し，ｃｒｅａｔｅの場合，Ｉ／Ｏノード３１，３２上にパーティションファイルを生成する。もしくは，既にパーティションファイルが存在する場合には，そのすべてのファイルをオープンする。その後，ステップＳ７で，スレーブプロセスへオープン完了を通知する。
【００５１】
自ノードがスレーブの場合，ステップＳ８において，マスタプロセスからオープン完了通知を受け取る。
上記ステップＳ６による処理において，Ｉ／Ｏノード３１，３２上では，デーモンプロセス７１，７３が，マスタの計算ノード１ａまたは１ｂからのオープン要求メッセージを受け付け，メッセージの正当性を確かめた後にＩ／Ｏサーバプロセス７２，７４を生成し，パーティションファイルのオープン処理を行う。
【００５２】
図１５は，並列ファイルのライト（ｗｒｉｔｅ）時の計算ノード上の処理の流れを示している。
ステップＳ１１では，ユーザ（アプリケーションプログラム）が要求したファイルオフセットと書き込みデータ長とから，要求された書き込みデータがどのパーティションファイルに該当するかを計算し，それらの各パーティションファイルに対するＩ／Ｏ要求リストを作成する。
【００５３】
次に，ステップＳ１２では，各パーティションファイルごとにデータをユーザバッファからネットワークファイルシステム２が管理する転送用バッファへコピーする。
【００５４】
その後，ステップＳ１３では，各パーティションファイルが存在する該当Ｉ／Ｏノードへｗｒｉｔｅ要求を送る。複数のＩ／Ｏノードが該当する場合には，すべてのＩ／Ｏノードに対して並行してｗｒｉｔｅ要求を送る（ステップＳ１４，Ｓ１３）。
【００５５】
その後，ステップＳ１５において，ｗｒｉｔｅの結果を各Ｉ／Ｏノードから受け取る。複数のＩ／Ｏノードに対してｗｒｉｔｅ要求を送った場合には，それらのすべてのＩ／Ｏノードからｗｒｉｔｅの結果を受け取る（ステップＳ１６，Ｓ１５）。結果の受け取りがすべて終了した場合には，ｗｒｉｔｅ処理を終了する。
【００５６】
並列ファイルのリード（ｒｅａｄ）時の処理もほぼ同様であるので，その詳しい説明は省略する。
次に，ネットワークファイルシステム２が，並列ファイルのために，ファイルＩ／Ｏライブラリとして提供する関数の仕様について説明する。
【００５７】
オープンの関数は，例えばＣ言語の形式で表すと，次のように定義される。
ｉｎｔ ｓｐｆｓ＿ｏｐｅｎ （ｃｏｎｓｔ ｃｈａｒ ＊ｆｉｌｅｎａｍｅ， ｉｎｔ ｆｌａｇ， ｍｏｄｅ＿ｔ ｍｏｄｅ，ｉｎｔ ｉｏｎｎｏ， ｌｏｎｇ ｓｔｒｉｐｅ＿ｓｉｚｅ，…）
この関数の入力情報において，ｆｉｌｅｎａｍｅはファイル名である。
【００５８】
ｆｌａｇはフラグであり，以下の情報を指定することができる。
ＳＰＦＳ＿ＲＤＷＲ ：リード／ライト
ＳＰＦＳ＿ＲＤＯＮＬＹ：リードオンリ（読み出しのみ）
ＳＰＦＳ＿ＷＲＯＮＬＹ：ライトオンリ（書き込みのみ）
ＳＰＦＳ＿ＣＲＥＡＴ ：ファイルを生成する。
【００５９】
ＳＰＦＳ＿ＴＲＵＮＣ ：既存ファイルをリード／ライトまたはライトオンリでオープンしたときにサイズを０にする。
ｍｏｄｅはアクセスモードを表し，以下の情報の指定が可能である。
【００６０】
ＳＰＦＳ＿ＩＲＵＳＲ ：所有者はリード可能
ＳＰＦＳ＿ＩＷＵＳＲ ：所有者はライト可能
ＳＰＦＳ＿ＩＲＧＲＰ ：所有グループのメンバはリード可能
ＳＰＦＳ＿ＩＷＧＲＰ ：所有グループのメンバはライト可能
ＳＰＦＳ＿ＩＲＯＴＨ ：他人もリード可能
ＳＰＦＳ＿ＩＷＯＴＨ ：他人もライト可能
ｉｏｎｎｏ はストライプ装置数を指定する。
【００６１】
ｓｔｒｉｐｅ＿ｓｉｚｅはストライプ幅を指定する。
他にグループ内のプロセス数，プロセス識別子のリスト等を指定することもできるが，本発明の要旨には関係ないため説明を省略する。
【００６２】
このオープン関数の出力として，ファイルハンドルの情報を返す。エラーが発生した場合には，−１の値を返す。なお，既存ファイルをオープンする場合には，入力情報のうち，アクセスモード，ストライプ装置数，ストライプ幅は無視される。
【００６３】
クローズの関数は，次のように定義される。
ｉｎｔ ｓｐｆｓ＿ｃｌｏｓｅ（ｉｎｔ ｆｈ）
このクローズ関数の入力のｆｈは，オープン時に通知されたファイルハンドルである。出力として，正常終了の場合には０を，エラーの場合には−１の値を返す。オープンを発行した全プロセスが，クローズを発行しなければならない。
【００６４】
ライトの関数は，次のように定義される。
ｉｎｔ ｓｐｆｓ＿ｗｒｉｔｅ （ｉｎｔ ｆｈ， ｃｈａｒ ＊ｂｕｆ， ｓｉｚｅ＿ｔ ｓｉｚｅ）
ここで入力情報のｆｈはファイルハンドル，ｂｕｆ はバッファ， ｓｉｚｅは転送長である。
【００６５】
ライト関数の出力は，実際にライトした転送長であり，エラーが発生した場合には−１の値を返す。ファイルポインタは，実際にライトした転送長分進む。
リードの関数は，次のように定義される。
【００６６】
ｉｎｔ ｓｐｆｓ＿ｒｅａｄ（ｉｎｔ ｆｈ， ｖｏｉｄ ＊ｂｕｆ， ｓｉｚｅ＿ｔ ｓｉｚｅ）
ここで入力情報のｆｈはファイルハンドル，ｂｕｆ はバッファ， ｓｉｚｅは転送長である。
【００６７】
リード関数の出力は，実際に読み込んだ転送長であり，エラーが発生した場合には−１の値を返す。ホールの取り扱いは，標準のＵＮＩＸシステム等と同様である。ファイルポインタは，実際に読み込んだ転送長分進む。
【００６８】
シークの関数は，次のように定義される。
ｉｎｔ ｓｐｆｓ＿ｓｅｅｋ（ｉｎｔ ｆｈ， ｌｏｎｇ ｌｏｎｇ ｏｆｆｓｅｔ， ｉｎｔ ｗｈｅｎｃｅ）
ここで入力情報のｆｈはファイルハンドル，ｏｆｆｓｅｔはオフセットを指定するものである。このオフセットの指定において，２Ｇバイトを超えるファイルの利用が可能である。
【００６９】
ｗｈｅｎｃｅでは，以下の情報を指定することができる。
ＳＰＦＳ＿ＳＥＥＫ＿ＳＥＴ ：ファイルの先頭からシークする。
ＳＰＦＳ＿ＳＥＥＫ＿ＣＵＲ ：現ファイルポインタからシークする。
【００７０】
シーク関数の出力として，正常終了の場合には０を，エラーが発生した場合には−１の値を返す。
他に，Ｉ／Ｏの完了を待たない非同期のリード関数ｓｐｆｓ＿ａｒｅａｄ，Ｉ／Ｏの完了を待たない非同期のライト関数ｓｐｆｓ＿ａｗｒｉｔｅ，またこれらの非同期Ｉ／Ｏに対してＩ／Ｏの完了を確認するためのウエイト関数ｓｐｆｓ＿ａｗａｉｔ 等の関数が用意されている。また，エラーが発生した場合に，その詳細なエラーの種類を取得するための関数も用意されている。
【００７１】
次に，メタファイルの具体的な構成例について説明する。
並列ファイル（論理ファイル）は，複数のＵＮＩＸファイルで構成される。指定されたファイルの実体（パーティションファイル）がどこに存在するかは，指定されたファイル名を持つメタファイルの中に保存する。
【００７２】
以下の例の場合，ファイルｍｙｔｅｓｔは，ストライプ数が２で，ストライプ幅が１６Ｋバイト，ａｐｎｅｔ０００２ とａｐｎｅｔ０００３ のノード上の二つのパーティションファイルから構成されていることを示している。
【００７３】
【００７４】
【発明の効果】
以上説明したように，本発明によれば，複数のＩ／Ｏノードを使用して大容量入出力を高速に処理することが可能であり，並列アプリケーションプログラムの入出力（Ｉ／Ｏ）待ち時間の短縮，ひいてはシステム全体の性能向上に寄与するところが大きい。
【図面の簡単な説明】
【図１】本発明の概要説明図である。
【図２】メタファイルの形式例を示す図である。
【図３】メタファイルを各計算ノードが参照する様子を示す図である。
【図４】並列ファイル生成時のストライプ数の指定の例を示す図である。
【図５】並列ファイル生成時のストライプ幅の指定の例を示す図である。
【図６】構成ファイルの形式例を示す図である。
【図７】パーティションファイルを設けるＩ／Ｏノードを決定する処理の例を示す図である。
【図８】パーティションファイル名を付与する処理の例を示す図である。
【図９】並列ファイルを識別する処理の例を示す図である。
【図１０】論理ファイルのオープン処理時の通信の例を示す図である。
【図１１】アクセス権限のチェックのための機構を示す図である。
【図１２】ユーザプロセスの異常終了時にＩ／Ｏサーバプロセスを強制的に終了させる機構の説明図である。
【図１３】本発明の一実施例構成図である。
【図１４】並列ファイルのオープン時の計算ノード上の処理の流れを示す図である。
【図１５】並列ファイルのライト時の計算ノード上の処理の流れを示す図である。
【符号の説明】
１ａ，１ｂ，１ｃ 計算ノード
２ ネットワークファイルシステム
２１ メタファイル
２２ 構成ファイル
３１，３２ Ｉ／Ｏノード
４ ネットワーク
５１ 論理ファイル
５２ａ〜５４ａ，５２ｂ〜５４ｂ パーティションファイル
６１，６２ 二次記憶装置
Claims (9)
- 複数の計算ノードがネットワークで接続された並列計算機において，
前記ネットワークに接続される複数の計算ノードまたは他の入出力用のノードに接続される複数の二次記憶装置と，
前記二次記憶装置が接続される計算ノードまたは他の入出力用のノードのすべてのノードのリスト情報が格納された構成ファイルと，
前記計算ノードが処理するデータを保持するための一つの論理的なファイルが保持するデータを，前記構成ファイルに格納されたノードのリスト情報から選択された複数のノードにそれぞれ接続される複数の二次記憶装置に分割して格納する手段と，
すべての前記計算ノードから参照可能な二次記憶装置上に設けられ，前記一つの論理的なファイルが保持するデータの前記複数の二次記憶装置への分割情報を保持するメタファイルと，
前記計算ノードによる前記論理的なファイルに対する入出力要求に対して，前記複数の二次記憶装置上のデータを並行して入出力するファイル操作手段とを備え，
前記ファイル操作手段は，ファイル操作時に前記メタファイルを参照することにより，論理的なファイルと前記複数の二次記憶装置上に格納されている当該論理的なファイルが保持するデータとを結び付けてデータにアクセスするように構成された
ことを特徴とする並列計算機。 - 請求項１記載の並列計算機において，
前記論理的なファイルの生成時に，論理的なファイルを分割する数を指定する手段を有する
ことを特徴とする並列計算機。 - 請求項１記載の並列計算機において，
前記論理的なファイルの生成時に，論理的なファイルを分割するデータ長を指定する手段を有する
ことを特徴とする並列計算機。 - 請求項１記載の並列計算機において，
前記論理的なファイルの生成時に，前記一つの論理的なファイルが保持するデータを格納する複数の二次記憶装置を決定する際に，前記構成ファイルに格納されたノードのリスト情報中のランダムに選択されたノードから分割数分のノードを抽出し，それらのノードに接続される複数の二次記憶装置を，前記データを格納する二次記憶装置として決定する手段を有する
ことを特徴とする並列計算機。 - 請求項１記載の並列計算機において，
前記論理的なファイルの生成時に，ファイルの実体を格納する各ノードのパーティションファイルのファイル名に，前記計算ノードのサイト名，プロセスＩＤまたは時間もしくは順序情報を付加することにより，ファイル名の重複を防ぐようにした
ことを特徴とする並列計算機。 - 請求項１記載の並列計算機において，
前記ファイル操作手段は，あらかじめ設定された環境変数の値によって前記論理的なファイルを操作するか通常の物理ファイルを操作するかを区別するようにした
ことを特徴とする並列計算機。 - 請求項１記載の並列計算機において，
前記論理的なファイルのオープン処理時に，前記複数の計算ノードのうちの代表となる計算ノードのみが前記論理的なファイルを格納する二次記憶装置を有するノードとの通信処理を行い，同じ論理的なファイルを使用する他の計算ノードは，前記代表となる計算ノードから結果を受け取るようにした
ことを特徴とする並列計算機。 - 請求項１記載の並列計算機において，
前記計算ノード上にルート権限の仲介プロセスを有するとともに，前記論理的なファイルを格納する二次記憶装置を有するノード上にルート権限のデーモンプロセスを有し，
前記計算ノード上のユーザプロセスは，前記仲介プロセスおよび前記デーモンプロセスを経由して前記論理的なファイルを格納する二次記憶装置を有するノード上に入出力用サーバプロセスを起動して前記論理的なファイルにアクセスするようにした
ことを特徴とする並列計算機。 - 請求項８記載の並列計算機において，
前記計算ノード上に監視用デーモンプロセスを有し，
前記論理的なファイルを操作中にユーザプロセスが異常終了すると，前記監視用デーモンプロセスは，ユーザプロセスの異常終了を検出し，前記論理的なファイルを格納する二次記憶装置を有するノード上のデーモンプロセスに入出力要求のキャンセルを依頼し，
依頼されたデーモンプロセスは，前記入出力用サーバプロセスを強制終了させる
ことを特徴とする並列計算機。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01619697A JP3563907B2 (ja) | 1997-01-30 | 1997-01-30 | 並列計算機 |
| US08/902,157 US6065065A (en) | 1997-01-30 | 1997-07-29 | Parallel computer system and file processing method using multiple I/O nodes |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01619697A JP3563907B2 (ja) | 1997-01-30 | 1997-01-30 | 並列計算機 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10214257A JPH10214257A (ja) | 1998-08-11 |
| JP3563907B2 true JP3563907B2 (ja) | 2004-09-08 |
Family
ID=11909766
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01619697A Expired - Fee Related JP3563907B2 (ja) | 1997-01-30 | 1997-01-30 | 並列計算機 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6065065A (ja) |
| JP (1) | JP3563907B2 (ja) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7107395B1 (en) * | 1998-12-31 | 2006-09-12 | Emc Corporation | Apparatus and methods for operating a computer storage system |
| US6920537B2 (en) * | 1998-12-31 | 2005-07-19 | Emc Corporation | Apparatus and methods for copying, backing up and restoring logical objects in a computer storage system by transferring blocks out of order or in parallel |
| US6347341B1 (en) * | 1999-02-22 | 2002-02-12 | International Business Machines Corporation | Computer program product used for exchange and transfer of data having a siga vector and utilizing a queued direct input-output device |
| GB2356473B (en) * | 1999-07-06 | 2001-11-28 | Matsushita Electric Ind Co Ltd | Real-time distributed file system |
| US6519697B1 (en) | 1999-11-15 | 2003-02-11 | Ncr Corporation | Method and apparatus for coordinating the configuration of massively parallel systems |
| US6745240B1 (en) | 1999-11-15 | 2004-06-01 | Ncr Corporation | Method and apparatus for configuring massively parallel systems |
| US6418526B1 (en) | 1999-11-15 | 2002-07-09 | Ncr Corporation | Method and apparatus for synchronizing nodes in massively parallel systems |
| US6412002B1 (en) * | 1999-11-15 | 2002-06-25 | Ncr Corporation | Method and apparatus for selecting nodes in configuring massively parallel systems |
| US6741738B2 (en) * | 2000-03-13 | 2004-05-25 | Tms, Inc. | Method of optical mark recognition |
| JP3557994B2 (ja) * | 2000-04-05 | 2004-08-25 | 日本電気株式会社 | ファイルデータ格納装置及び方法並びに記録媒体 |
| CA2413434A1 (en) | 2000-06-26 | 2002-01-03 | International Business Machines Corporation | Data management application programming interface for a parallel file system |
| US7991917B1 (en) | 2000-07-05 | 2011-08-02 | Mcafee, Inc. | High performance packet processing using a general purpose processor |
| KR100343231B1 (ko) * | 2000-08-28 | 2002-07-10 | 전창오 | 클러스터 파일 시스템 및 시스템내의 매핑 방법 |
| US7865485B2 (en) * | 2003-09-23 | 2011-01-04 | Emc Corporation | Multi-threaded write interface and methods for increasing the single file read and write throughput of a file server |
| US8244903B2 (en) * | 2003-12-22 | 2012-08-14 | Emc Corporation | Data streaming and backup systems having multiple concurrent read threads for improved small file performance |
| JP4291281B2 (ja) * | 2005-02-03 | 2009-07-08 | 富士通株式会社 | 情報処理システム、計算ノード、情報処理システムの制御方法 |
| US7779008B2 (en) * | 2005-02-16 | 2010-08-17 | Oracle International Corporation | Parallel partition-wise aggregation |
| JP4640854B2 (ja) * | 2007-12-28 | 2011-03-02 | 株式会社日立製作所 | ディスクアレイ制御方法及びディスクアレイ制御装置 |
| US8447938B2 (en) * | 2008-01-04 | 2013-05-21 | International Business Machines Corporation | Backing up a deduplicated filesystem to disjoint media |
| US20090222509A1 (en) * | 2008-02-29 | 2009-09-03 | Chao King | System and Method for Sharing Storage Devices over a Network |
| JP5288272B2 (ja) * | 2009-05-21 | 2013-09-11 | 日本電気株式会社 | Ｉ／ｏノード制御方式及び方法 |
| JP5525798B2 (ja) * | 2009-11-20 | 2014-06-18 | 株式会社ニューフレアテクノロジー | 荷電粒子ビーム描画装置およびその帯電効果補正方法 |
| JP2011159165A (ja) * | 2010-02-02 | 2011-08-18 | Fujitsu Ltd | 並列計算機システム、並列計算機システムの制御方法及び制御プログラム |
| US9058334B2 (en) * | 2010-02-11 | 2015-06-16 | Emc Corporation | Parallel file system processing |
| US9021229B2 (en) | 2010-04-14 | 2015-04-28 | International Business Machines Corporation | Optimizing a file system for different types of applications in a compute cluster using dynamic block size granularity |
| JP2014157384A (ja) * | 2011-04-04 | 2014-08-28 | Hitachi Ltd | 並列化設計支援システム、プログラム、および方法 |
| JP6382454B2 (ja) * | 2014-11-06 | 2018-08-29 | 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． | 分散ストレージ及びレプリケーションシステム、並びに方法 |
| CN110058792B (zh) * | 2018-01-18 | 2022-08-30 | 伊姆西Ip控股有限责任公司 | 扩大存储空间的方法、设备以及计算机程序产品 |
| CN116795636B (zh) * | 2023-06-21 | 2024-02-13 | 广州市玄武无线科技股份有限公司 | 一种业务系统数据监控方法、装置、电子设备及存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5403639A (en) * | 1992-09-02 | 1995-04-04 | Storage Technology Corporation | File server having snapshot application data groups |
| US5649200A (en) * | 1993-01-08 | 1997-07-15 | Atria Software, Inc. | Dynamic rule-based version control system |
| US5819061A (en) * | 1994-07-25 | 1998-10-06 | International Business Machines Corporation | Method and apparatus for dynamic storage reconfiguration in a partitioned environment |
| US5768623A (en) * | 1995-09-19 | 1998-06-16 | International Business Machines Corporation | System and method for sharing multiple storage arrays by dedicating adapters as primary controller and secondary controller for arrays reside in different host computers |
| US5862325A (en) * | 1996-02-29 | 1999-01-19 | Intermind Corporation | Computer-based communication system and method using metadata defining a control structure |
| US5752042A (en) * | 1996-06-07 | 1998-05-12 | International Business Machines Corporation | Server computer for selecting program updates for a client computer based on results of recognizer program(s) furnished to the client computer |
| US5857197A (en) * | 1997-03-20 | 1999-01-05 | Thought Inc. | System and method for accessing data stores as objects |
-
1997
- 1997-01-30 JP JP01619697A patent/JP3563907B2/ja not_active Expired - Fee Related
- 1997-07-29 US US08/902,157 patent/US6065065A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10214257A (ja) | 1998-08-11 |
| US6065065A (en) | 2000-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3563907B2 (ja) | 並列計算機 | |
| US11436163B2 (en) | System and method for logical deletion of stored data objects | |
| US6119118A (en) | Method and system for extending file system metadata | |
| US6714949B1 (en) | Dynamic file system configurations | |
| US7831643B1 (en) | System, method and computer program product for multi-level file-sharing by concurrent users | |
| JP3790661B2 (ja) | アクセス制御システム | |
| US6275867B1 (en) | Operation-partitioned off-loading of operations in a distributed environment | |
| US5642501A (en) | Computer method and apparatus for asynchronous ordered operations | |
| US7584228B1 (en) | System and method for duplication of virtual private server files | |
| US8943279B1 (en) | System and method for toggling a storage system versioning feature | |
| JPH06231022A (ja) | コンピュータシステムに用いる名前スペースの一部分を別の名前スペースの一部分として利用可能にするための装置及びその方法 | |
| US8533170B1 (en) | System and method for determining the latest version of a stored data object | |
| BG63374B1 (bg) | Метод за управление на компютърна система и компютърна система | |
| US6865741B1 (en) | Determining completion of transactions processing in a dynamically changing network | |
| EP3340099B1 (en) | Program operation monitoring control device, distributed object generation and management device, recording medium, and program operation monitoring system | |
| US6418484B1 (en) | Method of remotely executing computer processes | |
| US7689999B2 (en) | Sharing dynamically changing resources in software systems | |
| JPH0622015B2 (ja) | データ処理システムの制御方法 | |
| JP3138575B2 (ja) | フアイル複写移行方式 | |
| Lewan et al. | The OSI file service | |
| JPH1165895A (ja) | ロギングファイル管理システム及び管理方法 | |
| JPH11232109A (ja) | クラスオブジェクトのロード方法 | |
| JPH08320862A (ja) | 文書管理システム及び文書管理方法 | |
| JP2001195292A (ja) | 電子ファイリングシステムおよび文書作成方法 | |
| Burns et al. | Dynamic Evaluation of Complex Locking in Distributed Systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040210 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040412 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040601 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040604 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090611 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100611 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110611 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120611 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120611 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130611 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |