JP2010517177A - 装置ラックの冷却性能を評価するためのシステムおよび方法 - Google Patents

Abstract

本発明のいくつかの態様は、データセンタを設計し解析するためのシステムおよび方法に関する。一態様では、データセンタの冷却特性を決定する方法に関する。本方法は、データセンタ内の装置の構成に関するデータを受信するステップと、装置の構成内のラッククラスタを特定するステップと、少なくとも一つのラッククラスタの少なくとも一つの装置ラックの捕獲指標を決定するステップとを含む。

Description

少なくとも本発明の一実施形態は、一般的には設備電力と冷却とを解析し管理するための方法およびシステムに関する。

コンピュータ、通信、その他電子機器のための集中型データセンタは、長年にわたって使用されてきた。最近、インターネットの使用が増大するに伴いインターネットサービスプロバイダ（ＩＳＰ）、アプリケーションサービスプロバイダ（ＡＳＰ）、インターネットコンテンツプロバイダに対しホスティングサービスを提供する大規模なデータセンタが益々普及しつつある。典型的な集中型データセンタは、電力、冷却、および外部通信設備への接続を必要とする多数の装置のラックを含む。現代のデータセンタとネットワーク室においては、これらの設備において使用されるコンピュータ装置の密度の増加が設備の冷却および電力システムに負担をかけている。以前は、データ設備内の装置筐体毎の典型的な消費電力は約１ｋｗ程度であった。装置ラック内でブレードサーバとその他高電力密度装置を使用する状況では、装置ラックが１０ｋＷまたは２５ｋＷもの大きさの消費電力を持つことは珍しくない。

通常、コンピュータ装置により消費される電力は熱に変換され、したがって設備の冷却要件は設備の電力要件に基づいて決定される。典型的なデータセンタは、冷却空気をデータセンタ全体に配送するために上げ床下の空気プレナムを利用する。一つまたは複数のコンピュータ室空調機（ＣＲＡＣ：ｃｏｍｐｕｔｅｒ ｒｏｏｍ ａｉｒ ｃｏｎｄｉｔｉｏｎｅｒ）またはコンピュータ室空気処理機（ＣＲＡＨ：ｃｏｍｐｕｔｅｒ ｒｏｏｍ ａｉｒ ｈａｎｄｌｅｒ）は通常、データ室の周囲に沿って分散される。これらのユニットは室からまたは天井プレナムから還気を吸い込み、冷却空気を上げ床下に配送する。床下からの冷却空気がラック内の装置を冷却できるように、冷却対象の装置のラックの前またはラックの下に有孔タイルを配置することができる。最近、データセンタ内のホットアイルから暖気を吸い込みデータセンタのコールドアイルに冷気を戻すために列内冷却機（ｉｎ−ｒｏｗ ｃｏｏｌｅｒ）が使用されてきた。

コンピュータ装置の冷却と電力要件の増大に伴い、データセンタ管理者は、設備を最初に設計するとき、あるいは新規または交換装置を追加する可能性の有るとき、設備内で利用可能な適切な電力と冷却があるかどうかを判断する必要がある。通常、データセンタ管理者は、データセンタの全冷却能力が全消費電力量に対し十分かどうかがを知ることができるか、あるいはそれを決定することができる。しかしながら設備内のホットスポットは特に高電力密度装置が使用される場所で成長する可能性があり、設備レベルで冷却能力を単に解析するだけでは十分ではないであろう。ホットスポットを特定するために、データセンタ管理者は最後の手段として設備全体にわたる手動の温度測定を行い、ホットスポットを補正するための修理を実施しようとするかもしれない。このような修理は、有孔床パネルの再配置または交換、筐体の再配置、および／または冷却能力の追加を伴う場合が有る。いずれにせよこれらの修理は通常、試行錯誤ベースで行われる。いくつかのホットスポットは無くすことができるかもしれないが、この修理は設備内の冷却空気の再方向付けのために他のホットスポットを生じさせる場合が有る。この試行錯誤手法は装置の予期しない故障につながる可能性があり、クリティカルなデータセンタにおいて受け入れがたい。このような故障を回避するために、データセンタ管理者は通常、設備を過剰設計し、したがって設備をその全能力まで使用することができない。

無次元の捕獲指標（ＣＩ：ｃａｐｔｕｒｅ ｉｎｄｅｘ）は少なくとも一実施形態において使用される冷却性能メトリックであり、ラックへの冷気の供給あるいはラックからの熱風の除去に関連する空気流パターンに基づく。捕獲指標は通常、０〜１００％の間の値を有するラック毎のメトリックである。高い値は通常、良好な冷却性能と、冷却アーキテクチャの拡張性を意味する。いくつかの実施形態では、捕獲指標は、ラック吸気口温度と他の冷却指標とに関する追加情報を提供する。少なくとも一実施形態では捕獲指標の２つの変形を使用することができる。一つはコールドアイル解析用であり、もう一つはホットアイル解析用である。

本発明の一態様はデータセンタの冷却特性を決定する方法に関する。本方法は、データセンタ内の装置の構成に関するデータを受信するステップと、装置の構成内のラッククラスタを特定し、ラッククラスタ毎に当該ラッククラスタがホットアイルクラスタおよびコールドアイルクラスタのいずれであるかを判断するステップと、少なくとも一つのラッククラスタがホットアイルクラスタまたはコールドアイルクラスタとして特定されたことに基づき、当該少なくとも一つのラッククラスタの少なくとも一つの装置ラックの捕獲指標を決定するステップとを含む。

本方法では、データを受信するステップはさらに、少なくとも一つのラッククラスタに利用可能な冷却空気の空気流と、冷却空気の温度とを含む、装置に関連する空気流と電力とに関する情報を受信するステップを含んでよい。さらに、空気流に関する情報は、冷却機により吸い込まれるラック高温排気の空気流を含んでよく、またラック高温排気の温度を含んでもよい。ラッククラスタは少なくとも一つのホットアイルクラスタを含んでよく、また少なくとも一つのコールドアイルクラスタを含んでよい。本方法はさらに、装置の構成に少なくとも部分的に基づき捕獲指標を決定するための計算モデルを選択するステップと、選択された計算モデルを使用して捕獲指標を計算するステップとを含む。選択された計算モデルは代数モデルであってよい。一つのバージョンでは、代数モデルはラックにおける全供給空気流に対する全捕獲空気流の比に基づきホットアイルクラスタ内のラックの捕獲指標を計算し、全捕獲空気流はホットアイルクラスタ内のすべての冷却機の空気流と冷却機からラックまでの水平距離とに基づき計算され、全供給空気流はラックの空気流と隣接ラックの空気流とラックから隣接ラックの水平距離とに基づき計算される。全供給空気流および全捕獲空気流は、ラックの反対側の列内にあるラックの計算された空気流を重み付けする結合係数を使用してさらに計算されてよい。

本方法の別のバージョンでは、代数モデルは、ラックにおける全捕獲空気流に対する全供給空気流の比に基づき、上げ床を有するコールドアイルクラスタ内のラックの捕獲指標を計算し、全捕獲空気流はラックの空気流と隣接ラックの空気流とラックからの隣接ラックの水平距離とに基づいて計算され、全供給空気流は上げ床のタイルの空気流に関連するラックにおける供給空気流とラックからのタイルの幾何学的距離とに基づいて計算される。全捕獲空気流は、ラックの反対側の列内にあるラックの計算された空気流を重み付けする結合係数を使用してさらに計算されてよい。

別のバージョンでは、代数モデルは、ラックにおける全捕獲空気流に対する全供給空気流の比に基づき、上げ床と少なくとも一つの冷却機との両方を有するコールドアイルクラスタ内のラックの捕獲指標を計算し、全捕獲空気流はラックの空気流と隣接ラックの空気流とラックからの隣接ラックの水平距離とに基づいて計算され、全供給空気流は、（１）上げ床のタイルの空気流に関連するラックにおける供給空気流とラックからのタイルの幾何学的な距離と、（２）コールドアイルクラスタ内の冷却機の空気流と冷却機の空気流経路とラックからの冷却機の水平距離とに基づいて計算される。

本方法の他のバージョンでは、選択された計算モデルは、数値流体力学（ＣＦＤ：ｃｏｍｐｕｔａｔｉｏｎａｌ ｆｌｕｉｄ ｄｙｎａｍｉｃｓ）モデル、ニューラルネットワークモデル、またはＰＤＡ−ＣＦＤモデルであってよい。

本方法では、データセンタは、装置ラックの列内に配置された少なくとも一つの列内冷却ユニット（ｉｎ−ｒｏｗ ｃｏｏｌｉｎｇ ｕｎｉｔ）を含んでよく、本方法はさらに、列内冷却ユニットに関連するクラスタ内のラック毎の捕獲指標に基づいて少なくとも一つの列内冷却ユニットへの還気の温度を決定するステップを含んでよい。本方法はさらに、少なくとも一つのラッククラスタの全消費電力を決定し、全消費電力の指示を与えるステップを含んでよい。本方法はさらに、捕獲指標と閾値とを比較して、捕獲指標が閾値未満である場合に指示を与えるステップを含んでよい。本方法は、閾値未満の捕獲指標を有する少なくとも一つのクラスタのラックの指示に基づいて少なくとも一つのクラスタのレイアウトを最適化し、最適化されたレイアウトを与えるステップを含んでよい。

別の態様はコンピュータ読取可能媒体に関する。このコンピュータ読取可能媒体は、プロセッサに、データセンタ内の装置の構成に関するデータを受信させ、装置の構成内のラッククラスタを特定し、ラッククラスタ毎にラッククラスタがホットアイルクラスタおよびコールドアイルクラスタのいずれであるかを判断判断させ、少なくとも一つのラッククラスタをホットアイルクラスタまたはコールドアイルクラスタとして特定したことに基づき、当該少なくとも一つのラッククラスタの少なくとも一つの装置ラックの捕獲指標を決定させる命令を含む命令のシーケンスを格納する。

コンピュータ読取可能媒体は、プロセッサに、装置に関連する空気流と電力とに関する情報を受信させる命令をさらに含んでよく、また、コンピュータ読取可能媒体は、プロセッサに、少なくとも一つのラッククラスタに利用可能な冷却空気の空気流と冷却空気の温度とに基づき捕獲指標を決定させる命令を含んでよい。命令のシーケンスは、プロセッサに、冷却機により吸い込まれるラック高温排気の空気流に基づいて捕獲指標を決定させ、ラック高温排気の温度に基づいて捕獲指標を決定させる命令をさらに含んでよい。命令のシーケンスは、プロセッサに、列内冷却機を有するホットアイルクラスタの少なくとも一つのラックの捕獲指標を決定させる命令をさらに含んでよい。命令のシーケンスは、プロセッサに、上げ床の有孔タイルから冷却空気を受け取る一つのコールドアイルクラスタの少なくとも一つのラックの捕獲指標を決定させる命令を含んでよい。データセンタは、装置ラックの列内に配置された少なくとも一つの列内冷却ユニットを含んでよく、命令のシーケンスはさらに、プロセッサに、列内冷却ユニットに関連するクラスタ内のラック毎の捕獲指標に基づいて少なくとも一つの列内冷却ユニットへの還気の温度を決定させる命令を含んでよい。命令のシーケンスは、プロセッサに、少なくとも一つのラッククラスタの全消費電力を決定させ、全消費電力の指示を与えさせる命令をさらに含んでよい。命令のシーケンスは、プロセッサに、捕獲指標と閾値とを比較させて、捕獲指標が閾値未満の場合に指示を与えさせる命令をさらに含んでよい。命令のシーケンスは、プロセッサに、閾値未満の捕獲指標を有する少なくとも一つのクラスタのラックの指示に基づいて少なくとも一つのクラスタのレイアウトを最適化させ、最適化されたレイアウトを与えさせる命令をさらに含んでよい。

別の態様はデータセンタ管理システムに関する。データセンタ管理システムは、データを格納するためのメモリと、メモリに接続されたコントローラであって、データセンタ内の装置の構成に関するデータを受信し、装置の構成内のラッククラスタを特定し、ラッククラスタ毎にラッククラスタがホットアイルクラスタおよびコールドアイルクラスタのいずれであるかを判断し、少なくとも一つのラッククラスタをホットアイルクラスタまたはコールドアイルクラスタとして特定したことに基づき、当該少なくとも一つのラッククラスタの少なくとも一つの装置ラックの捕獲指標を決定するように構成されたコントローラ
とを含む。

本システムでは、コントローラは、装置に関連する空気流と電力とに関する情報を受信するように構成され、また、少なくとも一つのラッククラスタに利用可能な冷却空気の空気流に基づいて捕獲指標を決定するように構成されてよい。コントローラは、冷却空気の温度と、冷却機により吸い込まれるラック高温排気の空気流と、ラック高温排気の温度とに基づいて捕獲指標を決定するように構成されてよい。コントローラは、列内冷却機を有するホットアイルクラスタの少なくとも一つのラックの捕獲指標を決定するように構成され、上げ床の有孔タイルから冷却空気を受け取る一つのコールドアイルクラスタの少なくとも一つのラックの捕獲指標を決定するように構成されてよい。コントローラはさらに、列内冷却ユニットに関連するクラスタ内のラック毎の捕獲指標に基づいて少なくとも一つの列内冷却ユニットへの還気の温度を決定するように構成されてよい。コントローラはさらに、少なくとも一つのラッククラスタの全消費電力を決定し、全消費電力の指示を与えるように構成されてよい。コントローラはさらに、捕獲指標と閾値とを比較して捕獲指標が閾値未満である場合に指示を与えるように構成されてよい。コントローラはさらに、閾値未満の捕獲指標を有する少なくとも一つのクラスタのラックの指示に基づいて少なくとも一つのクラスタのレイアウトを最適化し、最適化されたレイアウトを与えるように構成されてよい。本システムはさらに、コントローラに接続されたグラフィック出力装置を含むことができ、コントローラは、少なくとも一つのラッククラスタのレイアウトのグラフィック出力をグラフィック出力装置に提供するように構成されてよい。

添付図面は原寸に比例して描かれるようには意図されていない。添付図面では、様々な図面において例示される同様なまたはほぼ同様な各構成要素は同様な参照符号により表される。明暸性の目的のため、すべての構成要素がすべての図面でラベル表示されないことがある。

データセンタ内のコールドアイルを囲むラックのクラスタを示す。 データセンタ内のホットアイルを囲むラックのクラスタを示す。 一実施形態の処理のフローチャートを示す。 一実施形態による捕獲指標の計算の例を示す。 第２の実施形態における捕獲指標の計算の例を示す。 一実施形態におけるＣＦＤ計算に従って使用されるコールドアイルを囲むラックのクラスタの例を示す。 一実施形態におけるＣＦＤ計算に従って使用されるホットアイルを囲むラックのクラスタの例を示す。 一実施形態によるクラスタ全体の性能メトリックの計算を実証する例を示す。 一実施形態によるクラスタ全体の性能メトリックの計算を実証する例を示す。 一実施形態における、冷却性能の計算に使用されるラックのクラスタの平面図を示す。 冷却性能が最適化された図６ｂのラックのクラスタの平面図を示す。 一実施形態の代数法に従って捕獲指標を決定する際に使用される線図を示す。 少なくとも一つの実施形態に従って使用されるＰＤＡ境界条件を実証する例を示す。 少なくとも一つの実施形態に従って使用されるＰＤＡ境界条件を実証する例を示す。 少なくとも一実施形態に従って解析することができるデータセンタのレイアウトを示す。 図９ａのデータセンタレイアウトの一部分に対し一実施形態に従って行なわれた解析の結果を示す。 少なくとも一実施形態に従って解析することができるデータセンタのレイアウトを示す。 図１０ａのデータセンタレイアウトの一部分に対し一実施形態に従って行なわれた解析の結果を示す。 ２つの異なるラッククラスタに対する本発明のＣＩ計算方法の比較を示す。 ２つの異なるラッククラスタに対する本発明のＣＩ計算方法の比較を示す。 図１１ａと１１ｂのラッククラスタの最適化されたレイアウトを示す。 図１１ａと１１ｂのラッククラスタの最適化されたレイアウトを示す。 本発明のいくつかの実施形態において使用され得るコンピュータシステムの機能ブロック線図である。 図１３のコンピュータシステムと共に使用し得る記憶システムの機能ブロック線図である。

本発明の実施形態は、以下の説明に記載あるいは添付図面に例示された構造の詳細と構成要素の配置に限定されない。本発明の実施形態は、様々なやり方で実施または実行することができる。また、本明細書で使用される語法と用語は、説明する目的のためであり、限定するものと見なすべきでない。本明細書における「含む」、「備える」、または「有する」、「含有する」、「係わる」そしてその変形の使用は、以下でリスト表示される項目と、その等価物と、追加項目とを包含することを意味する。データセンタ内では、電子回路装置のラックは通常は列を成して配置され、冷却空気は有孔床タイルを通って上げ床を介し供給される。暖気は通常は部屋環境へ戻され、最終的には部屋の周囲に配置された冷却ユニットへ戻される。別の選択肢は、ラック負荷と冷却源とを緊密にマッチさせるためにラックの列内あるいはそのまわりに冷却ユニットを直接設置することである。すべての必要な冷却は局所的に供給されるのでこのような設計は本質的に拡張性がある。いずれのアーキテクチャによっても、装置は、低温供給流と高温還流の分離を大いに促進するためにコールドアイルとホットアイルを互い違いにした状態で配置されることが多い。このような装置の配置は、データセンタ装置に効率的に冷却を提供するために用いられ得るが、データセンタ管理者は正確にデータセンタの冷却性能を決定することができないという事実は、依然としてデータセンタの高価な過剰設計につながり、過熱により装置の故障に至る可能性がある。参照により本明細書に援用する２００６年１月２７日出願の米国特許出願第１１／３４２，３００号「Ｍｅｔｈｏｄｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｍａｎａｇｉｎｇ Ｆａｃｉｌｉｔｙ Ｐｏｗｅｒ ａｎｄ Ｃｏｏｌｉｎｇ」は、複数列の装置ラックを有するデータセンタの冷却性能を解析するためのシステムおよび方法を開示する。この参照出願では、捕獲指標（ＣＩ）を含む多様なメトリックを使用してデータセンタの冷却性能を評価するために、気流解析を用いる。本明細書で検討される他のメトリックは、再循環指標（ＲＩ：Ｒｅｃｉｒｃｕｌａｔｉｏｎ Ｉｎｄｅｘ）、供給熱指標（ＳＨＩ：Ｓｕｐｐｌｙ Ｈｅａｔ Ｉｎｄｅｘ）、戻り熱指標（ＲＨＩ：Ｒｅｔｕｒｎ
Ｈｅａｔ Ｉｎｄｅｘ）、ラック冷却指標（ＲＣＩ：Ｒａｃｋ Ｃｏｏｌｉｎｇ Ｉｎｄｅｘ）を含む。再循環指標（ＲＨＩ）と供給熱指標（ＳＨＩ）は、エンタルピーをベースとし、したがって温度に基づき低温供給流と高温戻り流との分離度を測定する。ラック冷却指標（ＲＣＩ）は、データセンタ内の複数ラックが、ある推奨吸気口温度範囲内に保たれているかの程度の測度である。参照出願では、ラックの捕獲指標は、ラックによりホットアイル内に放出されホットアイルと境界を成す冷却ユニットにより捕獲される空気の百分率として定義される。本明細書で検討される少なくとも一実施形態は、ホットアイル
とコールドアイルの両方に対し捕獲指標メトリックを使用することによりデータセンタの冷却性能を解析し最適化するシステムおよび／または方法に関する。ラックのコールドアイル捕獲指標は、一実施形態では局所冷却源（例えば有孔床タイルまたは局所冷却機）から発生する、ラックにより吸入された空気の割合として定義される。ホットアイル捕獲指標は、一実施形態では局所抽出手段（例えば、局所冷却機または返し通気口）により捕獲される、ラックにより排出された空気の割合として定義される。

図１ａに、上げ床環境における単純なコールドアイルクラスタ１０２を示す。クラスタ１０２は、第１列に配置された装置ラック１０４ａと第２列に配置された装置ラック１０４ｂを含み、装置ラック１０４ａの前面は装置ラック１０４ｂの前面に対向する。コールドアイル１０６は第１列を第２列から分離する。コールドアイルはラック内の装置に対して冷気を提供する上げ床の有孔タイル１０８を含む。装置ラック１０４ａと１０４ｂは、装置が冷気をラックの前面内へ受け入れラックの後部から暖気を排出するように構成される。本明細書に記載の少なくとも一実施形態では、すべてのラック吸気口温度が規定範囲内に確実に維持されることを設計目標とする。使用する戦略は、ラックが、電子回路装置により既に加熱された暖かい再循環空気ではなく、有孔タイルからの冷却空気流を主として吸入することを保証することである。ラック同士は非常に異なる空気流要件を有してもよく、またラック同士は極近傍の有孔タイルのすべて（コールドアイル全体を含み得る）により供給される冷却空気流を求めて互いに奪い合ってもよい。したがって、冷却性能を決定するのは、供給温度と周囲の室温に加えてコールドアイル内とその周囲の空気流動力学である。コールドアイルクラスタは、特定の実施形態において使用される特に有用な設計解析単位である。

図１ｂに、局所列内冷却機１２０を有する硬質床環境における単純なホットアイルクラスタ１１２を示す。クラスタ１１２は、第１列に配置された装置ラック１１４ａと第２列に配置された装置ラック１１４ｂを含み、装置ラック１１４ａの後部は装置ラック１１４ｂの後部に対向する。装置ラック１１４ａと１１４ｂは、装置が冷気をラックの前面内へ受け入れ、暖気をラックの後部からホットアイル内に排出するように構成される。同図の各列内冷却機１２０は、ホットアイルから暖気を吸い込み冷気をラック１１４ａだけでなくラック１１４ｂと他の隣接ラック（図示せず）の前面に供給する１／２ラック幅の冷却ユニットである。特定の実施形態では、図１ｂのように高温ラックの排気が局所的に捕獲される場合、局所冷却機（または返し通気口）が高温ラックの排気流の大部分を捕獲するとともに冷却空気を室温またはほぼ室温のコールドアイルに供給するように構成される「ルーム・ニュートラル：ｒｏｏｍ−ｎｅｕｔｒａｌ」設計戦略を採用することができる。ルーム・ニュートラル目標を実現すると、多くのこのようなクラスタを、全体の部屋環境の正味加熱が無いかあるいはほとんど無い状態でデータセンタの全体にわたって展開することができ、すべての装置吸気口は一様に調整された空気を受け取ることになる。したがって、冷却設計は「拡張可能」である。ルーム・ニュートラル設計戦略を用いる少なくともいくつかの実施形態では、ホットアイルは物理的に囲まれることにより周囲のデータセンタ環境から分離される。したがってルーム・ニュートラル設計戦略の成功を決定するのはホットアイル内とその周囲の空気流動力学であり、したがってホットアイルクラスタは本発明の少なくともいくつかの実施形態において特に有用な設計解析単位である。

各ラックの捕獲指標は、少なくともいくつかの実施形態では局所冷却源（例えば、ラックの極近傍の有孔タイル空気流または冷却機抽出空気流）を参照して定義されるので、本明細書における検討と実例は個々のクラスタに焦点を当てる。但し、いくつかの実施形態における捕獲指標の使用は図１ａと１ｂに示されるクラスタのタイプに限定されない。コールドアイルクラスタは例えば、ラックの直ぐ隣にある必要も無い多くの有孔タイルによって対処される単列のラックとして定義されてよいであろう。

上述のように、各ラックのコールドアイル捕獲指標は、少なくともいくつかの実施形態では局所冷却源（例えば有孔床タイルまたは局所冷却機）から発生する、ラックにより吸入された空気の割合として定義される。ホットアイル捕獲指標は、局所抽出手段（例えば、局所冷却機または返し通気口）により捕獲されるラックにより排出される空気の割合として定義される。したがってＣＩは０と１００％の間で変化し、より良好な冷却性能は一般的にはより大きなＣＩ値で示される。コールドアイル解析では、高いＣＩは、ラックにより吸入される空気の大部分が、部屋環境から吸い込まれるのではなくむしろ局所冷却源から、あるいは電子回路装置により既に加熱されてしまったであろう空気から来ることを保証する。この場合、ラック吸気口温度は有孔タイル空気流温度に緊密に追随することになり、そしてこれらの温度が所望の範囲内にあると仮定すると、許容可能な冷却が達成される。ホットアイル解析では、高いＣＩは、ラック排気が局所的に捕獲されることと、周囲の部屋環境の加熱がほとんど存在しないこととを保証する。

良好な（高い）ＣＩ値は通常、良好な冷却性能を意味するが、低いＣＩ値は許容できない冷却性能を必ずしも意味しない。例えば、有孔タイルからではなくむしろ周囲の部屋環境から空気流の大部分を吸い込む上げ床環境におけるラックでは、ラックのコールドアイルＣＩは低くなる。しかしながら周囲の部屋環境が十分に低温の場合、ラックの吸気口温度は依然として許容可能と考えられる。この場合、ラックの冷却要件は、ラックのクラスタ内の有孔タイルではなくむしろ外部の部屋環境により満たされる。この処理がデータセンタ全体にわたって何度も繰り返されると、設備冷却は複雑となるであろうし、また予測不能となるかもしれない。高いＣＩ値は、本質的に拡張可能なクラスタレイアウトとより予測可能な部屋環境とをもたらす。

上記の実施形態では、ＣＩは局所冷却源に対するラックレベル量として定義された。他の実施形態では、ＣＩの定義は、吸気口と排気口の任意のグループ化（例えば単独の有孔タイルに関連する単独のサーバ）まで拡張されてよいであろう。この場合、メトリックは、単独の有孔タイルから発生する、サーバにより吸入された空気流の割合を示すであろう。

少なくともいくつかの実施形態における捕獲指標は、「ラック吸気口空気流がどこから生じたか」（コールドアイルＣＩ）、または「排気流が最終的にどこへ移動したか」（ホットアイルＣＩ）を定量化する。少なくともいくつかの実施形態では、ＣＩは局所冷却源に対してラック毎に計算され、したがって局所的に供給される冷却と周囲の部屋環境から吸い込まれる冷却との内訳を定量化する。例えば（図３Ａ）、６５％のＣＩを有するコールドアイル上げ床のクラスタ内のラックは、その冷却空気流の６５％をそれ自身のコールドアイルから受け取り、残りの３５％を部屋環境から受け取る。したがって、ＣＩは、冷却ソリューションの部屋独立性（ｒｏｏｍ−ｉｎｄｅｐｅｎｄｅｎｃｅ）と拡張性に関するラック毎の測度である。

少なくとも一実施形態では、捕獲指標メトリックは、データセンタの冷却性能を評価するためにそして冷却性能を最適化するために、データセンタ管理アプリケーション内で使用される。この評価と最適化は、データセンタの初期設計の一部として、データセンタの改修の一部として、あるいは既存のデータセンタにおいて定期的に行われてもよい。さらに、少なくともいくつかの実施形態では、列内冷却機の戻り温度は解析の一部として決定されてよく、この戻り温度は、データセンタの冷却性能を最適化するために、そして冷却機が効率的に動作することを保証するために使用することができる。データセンタ管理アプリケーションは、データセンタ内のサーバ上の他のアプリケーションと共存してよいし、また専用サーバ上で動作させてもよい、および／またはＡｍｅｒｉｃａｎ Ｐｏｗｅｒ
Ｃｏｎｖｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ｗｅｓｔ Ｋｉｎｇｓｔｏｎ， ＲＩから入手可能なＩｎｆｒａＳｔｒｕＸｕｒｅ ＣｅｎｔｒａｌとＩｎｆｒａＳｔ
ｒｕＸｕｒｅ Ｍａｎａｇｅｒなどの既存のデータセンタ管理ソリューションに組み込まれてもよい。

次に、処理２００のフローチャートを示す図２を参照して、少なくとも一実施形態に従ってデータセンタ管理アプリケーションを使用することによりデータセンタを設計し解析する処理２００について説明する。本処理の第一段階２０２では、データセンタの初期レイアウトが決定される。レイアウトは、新しいデータセンタ、既存のデータセンタ、または更新されるデータセンタのためのものであってよい。一実施形態では、レイアウトは、例えば既存のＣＡＤ情報を用いてアプリケーションに提供されてもよいが、他の実施形態では、上に参照した米国特許出願第１１／３４２，３００号明細書においてさらに説明されるようにレイアウトはアプリケーションにより自動的に決定されてよい。

処理の次の段階２０４では、ラックのクラスタは、クラスタが通常、長さがほぼ等しく低温またはホットアイルにより互いに分離された２つの平行な列の装置から成るレイアウトにおいて特定される。ホットアイルクラスタ、コールドアイルクラスタ、混合モードクラスタが特定される。コールドアイルクラスタは通常、上げ床冷却を使用するクラスタの解析に用いられ、ホットアイルクラスタは通常、列内冷却機を使用するクラスタの解析に用いられる。ホットアイルクラスタとコールドアイルクラスタに加えて、特定のラックのクラスタは、列内冷却機と有孔タイル冷却の両方が使用される場合は混合モードクラスタとして識別することができる。混合モードクラスタについては、少なくとも一実施形態ではコールドアイルＣＩ解析が使用される。一実施形態では、ラックは２つ以上のクラスタに含まれていてもよく、ラックのＣＩは、クラスタ毎のこのようなラックについて管理されてよい。ラックに対し複数のＣＩ値が決定される場合、より高いＣＩがラックのＣＩとして解析の際に選ばれるが、他の実施形態では、より低いＣＩを使用してもよい、あるいは両方を使用してもよい、あるいはＣＩ値の平均値または他のある数学的な組み合わせを使用してもよい。

処理の次の段階２０６ではクラスタが選択され、段階２０８では、選択されたクラスタに対し捕獲指標解析が行われ、捕獲指標はクラスタ内のラック毎に決定される。解析の実行の詳細を以下に示す。後述のように、本発明のいくつかの実施形態では、捕獲指標を決定するために多様な計算方法を使用することができる。

本処理の段階２１０では、クラスタの各ラックのＣＩは、最大目標ラック吸気口温度と有孔タイルと冷却機により供給される冷却空気流を含む供給空気流温度間の温度差に依存し得る閾値と比較される。目標温度と供給温度との差が低減されるにつれ、「良好な」冷却性能のＣＩ閾値は増大する。一実施形態では、データセンタ管理アプリケーションはクラスタのＣｌ結果を表示画面上に提供する。画面上では、ラックのＣＩが満足（緑）、不満足（赤）、またはマージナル（黄色）であることを示すために、ＣＩの計算値を緑、黄色、赤などのカラーコードと共に表示することができる。クラスタ内のラックのそれぞれが満足な結果を有すれば、本処理は段階２１２において、解析すべきクラスタがまだ存在するかどうかを決定する。段階２１２の結果が「ＹＥＳ」であれば、本処理は次のクラスタが選択され解析される段階２０６に戻る。段階２１２の結果が「ＮＯ」であれば、本処理は段階２１４で終了する。段階２１０の結果が「ＮＯ」であれば、本処理は、性能を向上させるためにクラスタレイアウトが最適化される最適化段階２１６に進む。最適化後、処理は、最適化されたレイアウトのＣＩを確定するために段階２０６に戻る。

最適化処理中に、クラスタ内のラックと冷却機の位置、使用される冷却機のタイプ、有孔パネルの位置、および他の変数は、クラスタ内の各ラックのＣＩが閾値より大きくなるまで最適化することができる。少なくとも一実施形態では最適化処理はデータセンタ管理アプリケーションにより自動化され実行されてよく、他の実施形態ではユーザは冷却性能
を最適化するためにデータセンタの設計を修正する必要があるかもしれない。さらに他の実施形態では、最適化処理は自動最適化とユーザ入力との組み合わせを含んでよい。最適化処理についての詳細は以下に示される。

上述の処理２００を使用することで、満足な冷却性能を有するデータセンタレイアウトを形成するために捕獲指標メトリックを使用することができる。次に、本発明のいくつかの実施形態におけるＣＩの使用に関する特定の例とさらなる詳細についてさらに詳細に説明する。上述のように、ＣＩメトリックは、図１ｂに示すような局所冷却機を有するホットアイルクラスタ内のラックと冷却機の配置を最適化するために使用することができる。少なくとも一実施形態におけるクラスタの設計目標は、部屋の正味加熱がないようにすべてのラックの排気が冷却機により確実に捕獲されることである。この場合、許容可能な（または最適の）ソリューションが発見されるまで適切な設計変更が実施されるように、ラック毎のＣＩ値は各ラックの空気流がどれだけ捕獲されるかを明確に示す。この場合、ラック吸気口温度と温度ベース指標は高温ラックの排気の不完全な捕獲の徴候を示すのみであるが、一方、ＣＩ値はラック吸気口温度の上昇の原因となるラックを特定する。問題ラックが特定されると、設計ソリューションを発見することは通常、かなり単純明快な処理である。例えば、電子回路装置またはコンピュータ負荷を移動してもよいし、冷却機を追加してもよい、あるいは個別のラックの排気またはホットアイル全体の排気を物理的に含ませてもよい。局所冷却機環境におけるホットアイルクラスタのレイアウトを最適化するためにＣＩ値を使用することを例示する実例を以下に示す。

上げ床環境では、高温ラックの排気は「部屋を通って」冷却ユニットに戻されるのでルーム・ニュートラル設計戦略は通常は採用できない。この場合、Ｃｌ解析の焦点は、ホットアイルではなくむしろコールドアイル内とその周囲の空気流と温度にある。そして許容可能な（あるいは最適の）ソリューションが発見されるまで適切な設計変更が実施されるように、ラック吸気口温度は問題ラックを明確に特定する。例えば、電子回路装置負荷またはコンピュータ負荷を移動してもよいし、有孔タイルのタイプと位置を変更してもよいし、あるいは追加の冷却ユニットを加えてもよい。上げ床環境（あるいはコールドアイルが設計焦点である他の環境）では、ＣＩ値がラック吸気口温度に加えてあるいはその代わりに役立つ２つの主な理由がある。第１に、上述のように、ＣＩ値は冷却源がどこから供給されるのかを示し、したがって設計の部屋独立性と拡張性を測定する。そのすべてが許容可能なまたは理想的なラック吸気口温度をもたらす一定の組の装置を配置する複数のやり方があるかもしれないが、最良のレイアウトは部屋環境に最小の影響を及ぼすものであろう。部屋環境に及ぼすクラスタの全体的影響は、全消費電力（後述のＣＩに基づくクラスタ全体のメトリック）から決定することができる。第２に、いくつかのアプリケーションでは、温度を予測できないときでも空気流パターンをある程度の正確さで予測することができる。

少なくとも一実施形態では、各ラックのＣＩは数値流体力学（ＣＦＤ）または同様なシミュレーションに基づいて計算される。ＣＩを計算するために、コールドアイル解析においてラックにより吸入されるあるいはホットアイル解析において冷却機により吸入される空気流の源は定量的に確定される。これは、流体内の任意の点における化学種ｉの濃度が次のように定義される数値モデルに一つまたは複数の不活性濃度化学種を戦略的に入れることにより実現することができる。

ここで、本明細書における「流体」は空気とすべての濃度化学種を指す。各濃度化学種にはデータセンタの空気に一致する物理的性質が割り当てられる。この目的は単に不活性追跡子として機能することだけである。通常、冷却空気供給またはラック排気時における濃度化学種は、数値モデルでは値「１」に規定される。換言すれば、冷却またはラック排気の流れは不活性追跡子濃度のみから成るようにする。濃度化学種が低温またはホットアイル内およびその周囲で移動するにつれて、これらは他の流体と混じる。このとき、捕獲指標を計算するためにラックまたは冷却機吸気口において計算された濃度化学種の希釈量を使用することができる。

上に概説した技術は、空気流を支配する他の保存方程式と共に同時に化学種保存方程式が解かれるＣＦＤ解析を介し実施される。あるいは、不活性濃度化学種は空気流パターンに影響を与えないので、その濃度分布は既知の空気流とは別に決定されてよい（例えば後処理ステップとして）。

コールドアイルクラスタ内の各ラックのＣＩは、クラスタ内に配置された有孔床タイルまたは冷却機から直接来るラックの空気流の割合として計算される。したがって一つの濃度化学種（Ｃ^１、または単にＣ）のみが定義される必要があり、この濃度化学種はすべての有孔タイルまたは局所冷却機から出てくる空気を特定するために使用される。クラスタに入るすべての冷却空気流には通常、濃度Ｃ_{ｃｏｏｌｉｎｇ}が割り当てられ、各ラックｉにおける捕獲指標を次のように計算することができる。

ここで、Ｃ_ｉはラックｉの吸気口における濃度である。Ｃ_{ｃｏｏｉｉｎｇ}の値は任意であるので、捕獲指標を各ラックにおける計算吸気口濃度に数値的に等しくする数値解析ではＣ_{ｃｏｏｌｉｎｇ}＝１と設定すると便利である。

ＣＩ_ｉ＝Ｃ_ｉ （３）
必ずしも冷却空気流のすべての局所源にＣ_{ｃｏｏｌｉｎｇ}の値を割り当てる必要がないことに留意されたい。例えば、ただ一つの有孔タイルからの空気流をＣ_{ｃｏｏｌｉｎｇ}で「タグ付け」すれば、計算される捕獲指標はラックの空気流のどれだけがその一つの有孔タイルから生じたかを示す。

図３ａに、上げ床環境におけるラック２３０のコールドアイル捕獲指標を計算する単純な例を示す。Ｃ＝１の濃度が有孔タイル空気流に対し指定される。ラックの空気流の一部は有孔タイルから直接生じ、残りは部屋環境から吸い込まれた空気またはラック排気から成る。２つの流れは混じり、数値解析は、ラック吸気口における濃度がＣ＝０．７５であることと、捕獲指標は式（３）に基づいて７５％であることを示す。コールドアイル捕獲指標の定義と一致して、図３ａは、ラックの空気流の７５％が有孔タイルから直接来たことを示す：ＣＩ＝６７５／９００＝０．７５。

ホットアイルクラスタ内の各ラックのＣＩは、ラックのクラスタ内のすべての冷却機により捕獲されるラックの空気流の割合として計算することができる。各ラックからの空気流を追跡するために、一つの濃度化学種Ｃ^ｉが使用され各ラックからの排気を個々に特定する。（別の手法は、単独の化学種濃度を使用し、そしてその代りに、クラスタ内のすべてのラックをカバーするのに必要な回数だけ計算を実行することにより一度にただ一つのラックのＣＩを計算することであろう。）冷却機（または局所抽出手段）ｊにより捕獲さ
れるラックｉから排出された空気の割合は、

ここで、
Ｃ^ｉ _ｉは排気またはラックｉにおいて指定された化学種ｉの濃度である。

Ｃ^ｉ _ｊは冷却機ｊの吸気口において計算された化学種ｉの濃度である。
Ｑ_ｉはラックｉを通る容積空気流速度である。

Ｑ_ｊは冷却機ｊを通る容積空気流速度である。
便宜上、濃度とラックの指標は対応する。例えば、濃度化学種１はラック１の排気に割り当てられ、濃度化学種２はラック２の排気に割り当てられ、等々。式（４）のｆ_ｉｊは、各ラックからどれだけの空気流が局部クラスタ内の各特定の冷却機により捕獲されるかを正確に定量化するので、本発明のいくつかの実施形態ではそれ自体で有用であろう。捕獲指標は、ラックｉから排出され冷却機ｊにより捕獲された空気の割合の合計である（Ｎ個の局所冷却機すべてにわたって合計された）。

Ｃ^ｉ _ｉの値は任意であるので、数値解析においてＣ^ｉ _ｉ＝１と設定すると便利であり、捕獲指標は次のようになる。

コールドアイル捕獲指標とは異なり、ホットアイル捕獲指標計算はラック（と冷却機）の空気流速度に依存する。ＣＩの変形の両方はラック空気流速度に対し定義されるので相違が生じ、コールドアイル解析における当該の計算値はラック吸気口濃度であり、ホットアイル解析におけるものは冷却機吸気口濃度である。

上記検討では、捕獲指標は局所冷却機を参照して計算される。各ラックからどれだけの空気流が、部屋の周囲近くに配置された従来の冷却ユニットあるいは隣のラックのクラスタ内の局所冷却機などの任意の抽出手段へ最終的には移動するかを確定するために、同じ手順を踏むことができるであろう。

図３ｂには、列内冷却機２５０を有する局所冷却機環境におけるラック２４０のホットアイル捕獲指標を計算する単純な例を示す。Ｃ＝１（一つのラックのみが存在し、したがって本例では当該の一濃度化学種が存在するので濃度化学種を特定するための肩文字は不要である）の濃度はラックの排気において指定される。ラックの排気の一部は冷却機２５０により捕獲されるが、その残りは部屋環境内に逃げる。冷却機は、当該のラックから、他のラックから、または部屋環境から空気流を吸い込む。数値解析は、冷却機２５０抽出
手段における濃度がＣ＝０．３５であること、そして図３ｂに示すように、式（６）に基づいて計算されるようにＣＩ＝０．７８であることを示す。ホットアイル捕獲指標の定義と一致して、図３ｂは、ラックの空気流の７８％が冷却機により捕獲されることを示す：ＣＩ＝７０２／９００＝０．７８。ＣＩは常に０と１間の数であるので、式（６）はクラスタ内の各ラックに関連する物理的に可能な冷却機吸気口濃度を制限する。

次に、図１ａと１ｂのクラスタを、コールドアイルとホットアイルの捕獲指標の計算と物理的解釈を実証するためにＣＦＤ解析により解析する。ＣＦＤソフトウェアプログラムは多くの情報源から入手可能であり、一実施形態では、ＣＦＤ解析はＦｌｏｍｅｒｉｃｓ，Ｇｒｏｕｐ ＰＬＣ，Ｓｕｒｒｅｙ，ＵＫから入手可能なＦｌｏｖｅｎｔ Ｓｏｆｔｗａｒｅ ｖ ６．１を用いて実行される。空気流はコールドアイルの例では天井を通って一様に排出されるという例外を除いて、小さな密閉部屋環境を両方の場合に仮定する。あるいは、コールドアイルの例では、上げ床プレナムを含む周囲のデータセンタ全体をシミュレートすることができるかもしれない。コールドアイルとホットアイル内とその周囲の空気流パターン、したがって計算されたＣＩは幾分異なるであろう。しかしながらＣＩの計算技術と物理的解釈は同じであろう。

図４ａと４ｂに、ラック１０４ａ、１０４ｂ、１１４ａ、１１４ｂのそれぞれに割り当てられた電力値と識別ラベルを示す。この解析における単純化のため、ラック空気流は各ラックにわたる想定２０°Ｆの温度上昇に基づいて選択される。ラックは、前面から後面への空気流を有する単純な「ブラックボックス」としてモデル化される。コールドアイル例における有孔床タイルは、タイル当たり一様な３５０ｃｆｍを供給する。ホットアイル例における１／２ラック幅の冷却機は、それぞれがラック空気流に対し反対方向に２９００ｃｆｍの「前面から後面への」空気流を有するブラックボックスとしてモデル化される。異なる実施形態では、これらの仮定は特定の部屋、ラック、装置パラメータに対処するために変更されてよい。

コールドアイル例、図４（ａ）では、Ｃ＝１は有孔床タイルから出てくる空気流に割り当てられる。ＣＦＤシミュレーションにおいて計算されたラック吸気口濃度は、数値的に所望のＣＩ値に等しい。その結果を表１にまとめる。

非常に低いＣＩ値のため、ラックＢ１は有孔タイルから直接には空気流を少ししか受け取らない。逆に、はるかに大きなＣＩ値を有するラックＡ２は、有孔床タイルから直接、その空気流の大部分を受け取る。冷却性能は許容し難いこと、クラスタレイアウトは拡張可能なソリューションを表さないことは、低いＣＩ値（そして図４ａ）から明らかである。

図４ｂのホットアイル例では、５つの濃度化学種を使用し、クラスタ内の各ラックに一
つが割り当てられる。濃度Ｃ^１ _１はラックＡ１の排気に割り当てられ、Ｃ^２ _２はラックＡ２の排気に割り当てられ、…、Ｃ^５ _５はラックＢ３に割り当てられる。冷却機吸気口濃度はＣＦＤシミュレーションを使用することにより得られ、ＣＩ値は式（６）に従って計算される。例えば、ラックＢ１に関連するＣＩは、表２を参照して以下のように計算される。

ＣＩ値は６６％であるので、ラックＢ３からの空気流の３４％は冷却機により捕獲されず、ホットアイルから逃げる。さらに、ラックＡ１を出る空気流の大部分は、冷却機により捕獲される（式（６）に基づき計算されるように、冷却機Ａ１により９７％、冷却機Ａ２により２％）。ホットアイルクラスタの冷却性能はコールドアイルクラスタより良好であると考えられるが、低いＣＩ値は冷却性能が依然として許容できないかもしれないということを示し、クラスタは恐らく拡張可能なソリューションではない。

上述のように、ラックレベル捕獲指標は、局所的に供給されるラックの冷却源の割合を測定する。しかしながら全クラスタの全体的性能と拡張性を他のものと比較するために、本発明のいくつかの実施形態ではクラスタ全体のメトリックを使用することができる。少なくとも本発明の一実施形態では、処理２００の完了時、管理アプリケーションはラックのクラスタからの全消費電力を決定する。そして管理アプリケーションは、クラスタの各ラックに好適な捕獲指標を維持しつつクラスタの全消費電力をさらに低減するために、クラスタのレイアウトを最適化することができる。

全消費電力について、図５ａと５ｂに示す単純な局所冷却機コールドアイルクラスタ２６０と単純なホットアイルクラスタ２８０を参照しさらに検討する。コールドアイル解析では「他の冷却空気」は部屋環境へ失われた未捕獲の冷却空気流を表し、ホットアイル解析における「他の加熱された」空気は他のラックと部屋環境からの暖気を表す。示された温度は、ラックの吸気口と排気口および冷却機の抽出口と供給口にわたってとられた平均値であると仮定する。いずれの解析についても、ラック空気流は２つの部分に分離することができ、ＣＩとＱ_ｒの積はラック空気流の「所望の」部分であり、残り（１−ＣＩ）Ｑ_ｒは「所望でない」部分である。

ホットアイル解析の場合には、目標は外部データセンタ環境の加熱を最小化することである。図５ｂを参照すると、この消費電力は、ラックの排気流（クラスタから離れる）の部分のエンタルピー上昇と等価である。

ここで、
ρは空気の密度である。

Ｑ_ｒはラック容積空気流速度である。
ｃ_ｐは定圧時の空気の比熱である。

Ｔ_{ｒ，ｅｘｈ}はラックの排気温度である。
Ｔ_ｒ，ｉｎはラック吸気口温度である。

Ｐは全ラック電力である。
クラスタから逃げる全電力は、ｎ個のラックすべてにわたる式（８）の合計である。

コールドアイルクラスタの場合には、クラスタの外の部屋環境により供給される冷却量を最小化することが望ましい。図５ａを参照すると、この冷却力は外部部屋環境から吸い込まれるラック空気流の部分のエンタルピー上昇と等価であり、次のように計算することができる。

部屋により供給される全外部冷却力はｎ個のラックすべてにわたる式（１０）の合計である。

したがって、低温またはホットアイル解析いずれについても、全体としてデータセンタ環境へ最小の正味加熱／冷却影響を与えるレイアウトは、

を最小化することにより見出すことができ、単純化のため、本明細書では少なくともいくつかの実施形態では、低温およびホットアイルアプリケーションの両方の全消費電力と呼ばれる。

当然ながら、全消費電力が０に等しくなるような過剰供給冷却は常に可能であるが、このようなレイアウトはエネルギー効率の観点から最適ではないと考えられる。理想的な場合、全冷却機空気流は全ラック空気流と一致し、全消費電力は０であろう。さらに、ＣＩはもっぱら空気流に基づくので、全消費電力を最小化することは、ラック吸気口温度が最小化されることあるいは実際に所望の動作範囲内になることを必ずしも意味しない。これは、例えば冷却源が実質的に供給不足であるような場合である。全消費電力のメトリックは、全クラスタが、部屋環境に与える正味加熱／冷却の影響という観点で別のものと比較されるようにし、したがってクラスタのレイアウトを最適化するために特に有用である。例えば、いくつかの別のレイアウトは吸気口温度ベースでは許容可能であろう（実際、すべての吸気口温度はある理想的なレベル（例えば７２°Ｆ）であってもよい）。しかしながら全消費電力に基づき最良のレイアウトを特定することは依然として可能である。

次に、一実施形態による、クラスタレイアウトを最適化するために全消費電力メトリックを捕獲指標と組み合わせて使用する例を説明する。図６ａと６ｂに、一定の密度のラックと冷却機の２つの別の配置（ホットアイルクラスタを含む）を示す。図６ａは初期レイアウトを示し、図６ｂは、後述のようにＣＩと全消費電力を利用して同定され得る最適化レイアウトを示す。同図では周囲環境は示されないが、局所冷却機クラスタは、幅２２フィート、奥行き１８フィート、高さ１２フィートで設置された唯一の装置である（完全なデータセンタは一般性を失うことなく同様なやり方で考察され得ることに留意されたい）。冷却機は２７２０ｃｆｍの速度で６８°Ｆの空気を供給する。ラック電力は図に示され、空気流速度はラック全体にわたる２０°Ｆ温度上昇に基づく。ラック空気流に対する全冷却の比はこのクラスタでは約１．４である。ラック吸気口温度は、第一種装置のＡＳＨＲＡＥ（２００４）により望まれるように６８°Ｆ〜７７°Ｆの範囲であることが望ましい。冷却機は空気流を６８°Ｆで供給するので、我々は温度上限に対する性能のみを考察する必要がある。空気流と温度はＣＦＤシミュレーションと計算されたラックレベル（ＳＨＩ、最大ラック吸気口温度、ＣＩ）とから決定された。クラスタレベル（正味消費電力、ＳＨＩ、ＲＣＩ_ＨＩ）メトリックは同図に示される。

図６ａに、ラックと冷却機の任意であるが現実的な配置を表す初期レイアウトを示す。冷却性能は９８％のＲＣＩ_Ｈｉで示されるように、ＡＳＨＲＡＥ（２００４）にかろうじて準拠しており、２つのラックのみが最大推奨温度７７°Ｆを若干上回る。計算吸気口温度はどのラックが「準拠しない」かを示すが、何が原因でこれら２つのラックに過度に暖気を受け取らせたかを明らかにしない。温度上昇過大の原因を理解するために、ＣＩ値を考察する。２つの仕様外ラックのＣＩ値はかなり高く、したがって過度の吸気口温度は恐らくそれ自身の排気の結果では無い。問題の暖気は、比較的低いＣｌ値（８２〜８４％の範囲）を有する反対側の（下の）列内のラックから生じた可能性がむしろ高い。周囲の部屋環境の全体の加熱の測定値は、全消費電力（初期レイアウトでは６．６ｋＷである）によりもたらされ得る。例示のクラスタは密閉された環境にあり、したがって考察すべき定常状態では全ラックと冷却機電力間のバランスが存在する。対照的に、全消費電力は、冷却機により直接捕獲されない暖気の加熱効果を定量化する。この例として、冷却機により直接捕獲されない暖気はラックを通って再循環される。データセンタ全体を考えると、未捕獲の暖気は隣のラックまたはデータセンタの他の部分に影響を与えるかもしれない。

ＣＩは各ラックの排気が捕獲される程度を明確に示すので、ＣＩは、レイアウトを最適化する目的のための吸気口温度またはＳＨＩより設計戦略に緊密に整合する。例えば、初期レイアウトにおいて、クラスタの左側では冷却が十分（恐らく過剰に）あり、クラスタの右側では冷却が不十分であることは計算ＣＩから理解される（温度からは明確ではないが）。全データセンタを考えると、吸気口温度と不完全なラック排気捕獲との間の因果関係はさらに複雑かつ間接的であろう。この情報でもって、最適化レイアウトを、試行錯誤またはある形式の最適化手法により見出すことができる。図６ｂに最適化レイアウトを示
す。すべてのメトリックは、６９°Ｆの最大吸気口温度を有するはるかに改善された性能を示す。ラックレベルのＳＨＩは吸気口温度にＣＩよりもより緊密に追随し、一方、クラスタレベルのＳＨＩは全消費電力にうまく追随する。後者の２つの量はそれぞれ、初期レイアウトから最適化レイアウトまで大幅に改善された。ＲＣＩ_Ｈｉは９８％から１００％まで２パーセントのみ改善されたが、これはＡＳＨＲＡＥ（２００４）仕様への準拠が手始めには合理的に良好であったということを反映している。

上述のいくつかの実施形態では、データセンタ管理アプリケーションは、データセンタ内のラックのクラスタの冷却性能を解析し最適化するために捕獲指標メトリックを利用する。捕獲指標を決定するためにＣＦＤソフトウェアを使用することができるが、ＣＦＤ解析の性能は複雑でかつ計算集約型である。実行されるシミュレーションと使用されるコンピュータハードウェアに依存するが、シミュレーションを走らせるには数分から恐らく数時間を必要とするであろう。クラスタ内のラックの多くの可能なレイアウトのＣＩを速やかに決定することが望ましい場合、ＣＦＤシミュレーションを走らせるのに必要な時間は最適化ルーチン中に特に問題となる。本発明のいくつかの実施形態では計算時間を低減するために、他のほぼリアルタイムの解析技術を用いてクラスタ内のラックのＣＩを決定する。これらの技術としては、代数手法、ニューラルネットワーク技術、部分減結合通路（ＰＤＡ：ｐａｒｔｉａｌｌｙ ｄｅｃｏｕｐｌｅｄ ａｉｓｌｅ）ＣＦＤ技術が挙げられる。

代数手法では、ホットアイル構成とコールドアイル構成に対し別個の計算方式が用いられる。ホットアイル構成の代数手法は、「ラック・冷却機相互作用はラックと冷却機に関連する空気流の大きさとそれらの相対的な幾何学的位置とに主として依存する」という前提に基づく。各位置のラック（または列に沿ったより狭いスライス部）は、他の位置へ空気流を供給するためのあるポテンシャルを有すると考えられる。このポテンシャルは分離の距離に反比例する。さらに、ラックが他の位置へ供給することができる空気流の量はそれ自身の全空気流が増加するにつれて増加する。特定の位置Ａ_ｉ（Ａ列に沿った６インチのスライス部すなわち「スロット」を表すことができる）に供給することができる正味空気流は次のように適切に表されることがわかった。

ここで、
（Ｑ_Ａｉ）_{ｓｕｐ ｎｅｔ}＝すべてのラックからの寄与を含む、位置Ａ_ｉへ供給することができる正味最大空気流
（Ｑ_Ａｉ）_{ｓｕｎ ｓｅｌｆ}＝位置Ａ_ｉにおいてラックにより供給される空気流
（Ｑ_Ｂｉ）_{ｓｕｐ ｓｅｌｆ}＝位置Ｂ_ｉにおいてラックにより供給される空気流
Δｘ＝位置（スロット）ｉとｊ間の水平距離
Ｅ、Ｆは経験定数である。

Ｄ＝反対列からの影響を考慮した経験的「結合」定数
定数Ｄ、Ｅ、Ｆは、代数モデルの結果と、理論上は実験的測定から決定することができる実際のまたは既知の値とを比較することにより決定することができる。しかしながらＣＦＤモデリングは、多数の可能性のあるレイアウトに対しデータを生成する、より実用的な手段を提供する。これら定数は、ラックのタイプ、ラックの排気、周囲の環境温度等のアプリケーションの詳細に依存して異なる値を取ってもよい。

Ｂ列内の様々な位置へ供給することができる正味最大空気流は、類似したやり方で計算される。

最後に、式（１２）と同じ物理的形式を有する式（１３）は、任意の位置で捕獲し得る正味最大空気流を計算するためにラックではなくむしろ冷却機に適用される。

ここで、
（Ｑ_Ａｉ）_{ｃａｐ ｎｅｔ}＝すべての冷却機からの寄与を含む、位置Ａ_ｉへ供給することができる正味最大空気流
（Ｑ_Ａｊ）_{ｃａｐ ｓｅｌｆ}＝位置Ａ_ｊの冷却機により捕獲された空気流
（Ｑ_Ｂｊ）_{ｃａｐ ｎｅｔ}＝位置Ｂ_ｊで冷却機により捕獲された空気流
Δｘ＝位置（スロット）ｉとｊ間の水平距離
Ａ、Ｂは経験定数である。

Ｃ＝反対列からの影響を考慮した経験的「結合」定数
定数Ａ、Ｂ、Ｃは、上述のように実験的測定すなわちＣＦＤから決定することができる。これらの定数は、冷却機のタイプ、ラックの排気、周囲の環境温度等のアプリケーションの詳細に依存して異なる値を取ってもよい。

定数ＣとＤは通路幅に依存していてもよいが、一方、定数Ａ、Ｂ、Ｅ、Ｆは通常はホットアイル幅に依存しないことがわかった。

このとき、ＣＩは、任意の位置で捕獲された正味空気流と供給された正味空気流との比として見積もられ、１００％で上限を定められた値によるパーセントとして表わされる。

式（１２）、（１３）による計算は通常、そのコードがすべての標準的な幅の装置へ適用可能となるように、両方の列に沿った６インチスロット毎に実行され、その結果は、提示される前に実際の全ラック幅にわたって平均化される。

コールドアイル構成の代数手法は、ホットアイルに用いられたものと同様なやり方で計算される。しかしながらコールドアイル解析では、ラックが空気流を「捕獲」し、冷却機は空気流を「供給」する。さらに、冷却空気流は有孔床タイルと冷却機の任意の組み合わせによって供給されてもよい。各装置位置は他の位置からの空気流を捕獲するあるポテンシャルを有すると考えられる。このポテンシャルは分離の距離に反比例する。さらに、ラックが捕獲することができる空気流の量はそれ自身の空気流が増加するにつれ増加する。特定の位置Ａ_ｉ（Ａ列に沿った任意のスライス部を表すことができる）で捕獲され得る正味空気流は次のように適切に表されることがわかった。

ここで、
（Ｑ_Ａｉ）_{ｃａｐ ｎｅｔ}＝他のすべてのラックからの寄与を含む、位置Ａ_ｉで捕獲
することができる正味最大空気流
（Ｑ_Ａｉ）_{ｃａｐ ｓｅｌｆ}＝位置Ａ_ｉでラックにより捕獲される空気流
（Ｑ_Ｂｉ）_{ｃａｐ ｓｅｌｆ}＝位置Ｂ_ｉでラックにより捕獲される空気流
Δｘ＝位置（スロット）ｉとｊ間の水平距離
Ａ，Ｂは経験定数
Ｃは反対列からの影響を考慮した経験的「結合」定数
Ｃは通常、通路幅によって変化するが、定数Ａ、Ｂは典型的な設計パラメータの範囲に固定される。

列Ｂ内の様々な位置で捕獲され得る正味最大空気流は、類似のやり方で計算される。
任意の装置位置へ空気流を供給するために有孔タイルのポテンシャルを計算するとき、有孔タイル（タイルスロット）の各６”ストリップは、すべての装置位置へ空気流を供給するためのあるポテンシャルを有すると考えられる。後述のモデルは、コールドアイルの幅にわたって３つの有孔タイルが存在すると仮定する。有孔タイルの列は、１、２、または３の値を取ることができる指標ｋにより参照される。ｋ＝１とｋ＝３のタイルの列は装置列Ａ、Ｂそれぞれに隣接し、ｋ＝２は有孔タイルの中間列を指す。モデルは、有孔タイルの任意の数の列を取り扱うために一般化することができる。

任意の装置位置へ空気流を供給するタイルのポテンシャルは分離の距離に反比例し、タイルが供給することができる空気流の量はそれ自身の全空気流が増加するにつれ増加する。すべてのタイルスロットにより特定のラック位置Ａ_ｉへ供給され得る正味空気流は次のように適切に表されることがわかった。

ここで、
（Ｑ_Ａｉ）_{ｓｕｐ ｎｅｔ}＝すべてのタイルからの寄与を含む、位置Ａ_ｉへ供給することができる正味最大空気流
（Ｑ_Ａｉ）_{ｓｕｐ ｓｅｌｆ}＝装置位置Ａ_ｉの直ぐ隣にあるタイルスロットにより供給される空気流（これは、装置位置Ａ_ｉの列ｋ＝１、位置ｉにおけるタイルスロットである。）
（Ｑ_ｋｊ）_{ｓｕｐ ｓｅｌｆ}＝列ｋ、位置ｊにおいてタイルスロットにより供給される空気流
上記加算における「他のすべてのタイルスロット位置」は、装置位置の直ぐ隣のタイルスロット（（Ｑ_Ａｉ）_{ｓｕｐ ｓｅｌｆ}項により捕獲される）を除いたすべてのタイルスロット位置を含む。

ＥとＦは典型的な設計パラメータの範囲に固定され、Ｄｉｓｔａｎｃｅ（ｉ，ｊ，ｋ）はラックＡとタイルスロット（ｋ，ｊ）（位置ｊの列ｋ）間の距離である。Ｄｉｓｔａｎｃｅ（ｉ，ｊ，ｋ）の計算を以下に示す。すべての式においてフィート単位が用いられる。装置位置とタイルスロット間の距離は、図７に例示されるように、コールドアイルと境界を成す装置スロットの中間とタイルスロットの中心とに対してとられる。

列Ｂ内の様々な位置へ供給することができる正味最大空気流は同様なやり方で計算される。

少なくとも一つの冷却機を含むコールドアイルクラスタに関しては、各冷却機はすべての装置位置へ空気流を供給するポテンシャルを有すると考えられる。冷却機の正反対側のラックは、冷却機からの直接空気流のほとんどを受け取る。各装置位置に供給される空気流の量は、ある有効範囲内の循環を形成する冷却機空気流の経路に従って変化する。すべての冷却機により特定のラック位置Ａ_ｉへ供給することができる正味空気流は次のように適切に表されることがわかった。

ここで、
（Ｑ_Ａｉ）_{ｃｏｏｌｅｒ ｎｅｔ}＝すべての冷却機により位置Ａ_ｉへ供給することができる正味最大空気流
（Ｑ_Ａｉ）_{ｃｏｏｌｅｒ ｓｅｌｆ}＝位置Ａ_ｉにおいて冷却機により供給される空気流
（Ｑ_Ｂｉ）_{ｃｏｏｌｅｒ ｓｅｌｆ}＝位置Ｂ_ｉにおいて冷却機により供給される空気流
ＧとＨは典型的な設計パラメータの範囲に固定された経験定数である。

Ｄは反対列からの影響を考慮した経験的「結合」定数である。
ＥｆｆＤｉｓは、冷却機空気流パターンが装置位置に影響を与え得る、列に沿った実効距離を表す経験定数である。これは、冷却機のタイプ、通路幅、他の設計パラメータに依存してもよい。

Δｘは、位置ｉとｊ間の装置列に沿った距離として定義される。

このとき、ＣＩは、任意の位置における供給された正味空気流と捕獲された正味空気流との比として見積もられ、１００％で上限を定められた値によるパーセントとして表わされる。

式（１４）〜（１６）による計算は通常、そのコードがすべての標準的な幅の装置へ適用可能となるように、両方の列に沿った６インチのスロット毎に実行され、その結果は、提示される前に実際の全ラック幅にわたって平均化される。

少なくとも一実施形態では、部分減結合通路（ＰＤＡ）ＣＦＤ解析を用いて捕獲指標を決定する。部分減結合通路方法では、あたかも周囲のデータセンタ環境から「減結合された」ように、一回にただ一つの低温またはホットアイルが解析される。周囲環境の影響は、分離通路解析のために選択された境界条件において「部分的に」考慮される。分離通路内の空気流パターンはＣＦＤから直接決定される。空気流パターンは既知であるので、ラック毎の捕獲指標（ＣＩ）と温度などの性能メトリックは容易に計算される。

少なくとも一実施形態では、ＰＤＡ方法は、ラックの実質的に等長の２つの列により形成される装置のクラスタと、随意的に、低温またはホットアイルをはさんで相互に配置された局所冷却機と、に適用される。装置のこのようなグループ分けは、当然ながら、低温ラック吸気口と高温ラック排気流の本質的な分離のために好ましい配置である。このようなクラスタのメンバーであるデータセンタ内のすべてのラックは、ＰＤＡベースのツールを繰り返し適用することにより解析することができる。ＰＤＡ方法はレイアウト最適化ツールのエンジンとしても機能する。ＰＤＡ方法は、レイアウト最適化ツールのエンジンとしても機能することができる。あるいはＰＤＡ方法は、「トレーニングデータ」（さらに高速の設計ツールと解析ツールを開発するために使用できる）を速やかに生成するために用いられてもよい。

ＰＤＡ方法については上に参照した米国特許出願第１１／３４２，３００号明細書に記載される。この参照出願に記載されるように、ＰＤＡ方法は、上げ床環境におけるコールドアイル周辺のラックのクラスタを解析するために使用することができる。コールドアイル内の空気流は、「理想的」なものとして十分にモデル化することができる。その利点の一つは、各ラックが空気流を吸い込む唯一のラックである場合に存在するであろう空気流パターンを単純に加算することにより完全なコールドアイル空気流パターンを決定できることである。つまり、「要素の」ラック空気流は、ＣＦＤ解析から決定して（オフラインで）、経験的モデルに格納することができる。このとき冷却メトリックは、最終結果の空気流パターンに基づき計算することができる。参照出願では、ＰＤＡは、空気流を決定するための重ね合わせ方法と併せて使用される。ＰＤＡ重ね合せはここで検討した本発明の実施形態と共に使用されてよい。しかしながら、局所冷却機が存在する場合、この方法は従来の上げ床コールドアイルの解析に限定されるかもしれなく、また不均一な有孔タイルレイアウトへ拡張することは困難であるかもしれない。ここに記載の本発明のいくつかの実施形態に使用されるＰＤＡ−ＣＦＤ方法は、ＰＤＡ重ね合わせ方法を越えて機能性を向上させた。

一実施形態では、ＰＤＡ−ＣＦＤ方法は、図１ａと１ｂに示されたような２つの等長列
の装置から成る単独の装置のクラスタと共に使用するために適用可能である。実際、列長にわずかなミスマッチすなわち相対的オフセットがある場合、等長要件を達成するために仮想的な「零空気流装置」を加えてもよい。このとき、解析対象の通路（または計算領域）は、大きな環境から「切り出される」と単純な矩形形状のものとなる。すなわち境界条件が決定されなければならない表面は最小サイズのものとなり、簡単に定義される。

床と装置面に沿った境界条件（ＢＣ：Ｂｏｕｎｄａｒｙ Ｃｏｎｄｉｔｉｏｎ）は既知であると仮定する。床は、有孔タイル空気流を表す既知の温度での指定流入の部分を有してもよいが、そうでなければ固体表面である。装置面に沿って、流速（コールドアイル解析におけるラックまたはホットアイル解析における冷却機の流出、あるいはホットアイル解析におけるラックまたはコールドアイル解析における冷却機の既知の温度での流入）は既知である。有孔タイルの空気流速度は測定から知られるか、あるいは推定される。

正確で詳細な上部および端部境界条件が既知であれば、分離通路解析結果もまた厳密に正確であろう。本発明のいくつかの実施形態では、十分に正確でしかも実用的な上部および両端の境界条件を選択することにより、捕獲指標を推定するためにＰＤＡ−ＣＦＤ方法が使用できるようになる。境界条件を決定するための一手法は、空気流が、通路内空気流の物理学により決定付けられるままに出入りすることができるように、上部および両端を「オープン」にすること（一様圧力境界条件）である。この手法は周囲の部屋環境の影響を考慮しないし、また典型的なアプリケーションに対し許容可能な結果をもたらさない。しかしながら境界の一部分を「オープン」にすることは望ましく、一実施形態による別の手法では、両端ではなくむしろ上部が「オープン」境界として規定される。上部境界はかなり大きいと考えられ、また流入と流出両方の多くの領域を有するであろう。上部の適正な指定速度境界条件を決定し、経験的モデルとして格納することは非実用的かもしれない。上部を「オープン」にした状態で、部屋環境のある影響を組み入れるために両端に沿った速度を規定する。端部空気流は一般的にはかなり複雑であるが、適切な近似を実現するためには、かなり一様な空気流を境界の大部分にわたって指定することだけが必要である。一手法では、通路の各端は、一様な流入または流出が割り当てられる２つの等幅の垂直ストリップに分けられる。少なくとも一実施形態では、端部空気流が内方向であるすべての通路の上部と両端に沿った温度は、本解析に対する入力である。通常、これらの温度は、当面の課題においては温度の両極端の間で適切に推定することができ、その誤差は、浮力がいくぶん影響を受けるという点で空気流パターンに２次的影響を与えるのみである。図８ａおよび８ｂに、図１ａと１ｂの例のＰＤＡ境界条件を示す。

端部空気流と、考察され得る部屋環境の無限の組み合わせとをモデル化するための多くの方法がある。少なくともいくつかの実施形態によるＰＤＡ方法は、上部および端部空気流に対し粗い近似を与える。通路の上部は「オープン」のままであり、そして両端はそれぞれただ２つの規定流れ境界条件に分けられることを想起されたい。長いクラスタでは、通路の中間に向かう空気流は端部空気流によって影響されない。

端部空気流はクラスタ詳細と部屋環境により影響される。前者は、存在し得るすべてのラック、冷却機、および有孔タイルの詳細だけでなくクラスタの幾何学的形状も含む。後者は、取り囲む部屋の形状、隣接装置の詳細、つまりクラスタを直接取り囲む空気流と温度に関与するあるいはそれらに影響を与える部屋内のすべてを含む。列の両端に最も近いラック、冷却機、および有孔タイルは通常、端部空気流に最も大きな影響を及ぼす。

有孔タイル空気流とクラスタの極周辺の環境との温度の差（すなわち浮力）は、多くの実際的な場合、最も重大な「部屋の影響」である。ラック位置と空気流の影響を考慮するために、何千もの部屋全体のＣＦＤシミュレーションが機器配置を変えて実行された。最終的には、コールドアイル端部空気流（４つのコールドアイル端部空気流うちのそれぞれ
）は以下の多項回帰モデルにより無次元の形式で表されることが確定した。

ここで、Ｑ^＊ _ＡｉとＱ^＊ _Ｂｉは、ＡとＢのそれぞれの列内の端部から位置ｉにおけるラックの無次元の空気流速度であり、ａは多項回帰係数であり、ＡＲは全ラック空気流に対する全冷却空気流の比であり、ΔＴ^＊は無次元の温度差であり、そしてｎは列当たりのラックの数である。無次元の空気流は、その対応する次元量をタイルごとの空気流速度で割ることにより形成される。無次元の温度差は、供給空気流と取り囲む部屋環境との温度差を典型的な２０°Ｆ（１１℃）の温度差尺度で割ったものとして定義される。列の端部に最も近いラックは端部空気流に最も大きな影響を与えるので、ａ_Ａｉとａ_Ｂｉの係数は式（１７）において左から右へ大きさが減少する。式（１７）において唯一の部屋環境パラメータはΔＴ^＊であるので、他の部屋影響（例えば天井高さ、壁と他の装置の近接度等）は、このような当該の変形毎に回帰係数の一意な組を生成することにより考慮される。しかしながら上述のように、ΔＴは支配的な部屋環境パラメータであり、このパラメータが十分合理的に推定される限り、様々な部屋環境に対し本発明のいくつかの実施形態では良好な端部空気流推定を行うことができる。

局所冷却機・ホットアイルアプリケーションの端部空気流は、同様な一般的なやり方で計算することができる。しかしながらこれらのアプリケーションでは、ラックと冷却機空気流に伴う勢力（ｍｏｍｅｎｔｕｍ ｆｏｒｃｅｓ）が支配的であり、浮力は端部空気流に影響をほとんど与えない。さらに、一般的なモデルは、ラックと冷却機の任意の配置を取り扱うことができる必要がある。さらに、局所冷却機は１フィート（３００ｍｍ）または２フィート（６００ｍｍ）幅であってよく、ラックは２フィート（６００ｍｍ）または２．５フィート（７５０ｍｍ）幅であってよい。ホットアイル端部空気流は以下の多重線形回帰モデルにより今回は有次元形式で表すことができる。

ここで、Ｑ_ＡｉとＱ_Ｂｉは、ＡとＢのそれぞれの列内の端部からの位置ｉにおけるラックまたは冷却機の有次元の空気流速度である、ａは線形回帰線係数であり、ｎは列当たりの「スロット」の数である。非次元化が行える便利な空気流尺度がないため、この場合、有次元の空気流は一般的に対処し易い。ラック空気流はホットアイル内に向けられ、正符号を有する。冷却機空気流はホットアイルから外に向けられ、負符号を有する。各指標ｉは、全対象物（０．５フィート（１５０ｍｍ）がモデルで取り扱われる対象物幅の中の最大公約数である）ではなくむしろ、クラスタまたは「スロット」の０．５フィート（１５０ｍｍ）のスライス部を表す。（当然ながら、一般的なラック幅も考慮するように同様なやり方で上げ床コールドアイルモデルを定式化することができる。）前と同様に、列の端部に最も近いラックと冷却機は端部空気流に最も大きな影響を与え、ａ_Ａｉとａ_Ｂｉの係数は式（１８）において左から右へ大きさが減少する。式（１８）は部屋環境パラメータを含まないので、回帰係数の新しい一意な組は当該の部屋環境ごとに決定される。実際は、ある合理的な部屋環境（例えばデータセンタ内のクラスタの対称的なレイアウト）に対
して決定された端部空気流モデルが実際の部屋環境の範囲で合理的な推定を提供し少なくとも本発明のいくつかの実施形態で使用されるように、局所冷却機ホットアイルの端部空気流はラックと特には冷却機空気流（比較的高い）に左右される傾向がある。

一般的には、単純回帰モデルは、より大きな決定係数（Ｒ^２）から明らかなように局所冷却機アプリケーションではなくむしろ上げ床アプリケーションに対し端部空気流のいくぶん良好な予測をもたらす。これは、同様な回帰係数が後者のアプリケーションではラックと冷却機の両方に対して使用されるという事実による。さらに、空気流パターンは局所冷却機が存在すると、単に、より複雑になる。

最後に、端部空気流モデルは、局所冷却機アプリケーションと、局所冷却機−有孔タイル−コールドアイルの混合アプリケーションとを含む他のアプリケーションに対し、同様の手法に従う本発明のいくつかの実施形態で開発することができる。ＰＤＡ方法は、データセンタのリアルタイムおよびほぼリアルタイムの冷却性能計算機を開発するために少なくともいくつかの実施形態で使用される。このようなツールは、多大な時間を必要とし得るデータセンタの全ＣＦＤシミュレーションを必要とすることなく科学的な解析とレイアウト最適化を容易にする。次に、少なくともいくつかの実施形態のＰＤＡ−ＣＦＤ計算機について、具体例を参照してさらに詳細に説明する。

図９ａに、ラック３０２、３０４、３０６、３０８の４つの列と、４つのＣＲＡＣユニット３１２、３１４、３１６、３１８とを含む上げ床データセンタの一部分を示す。これは交互配置のコールドアイルとホットアイルを使用した標準的な設計であり、ホットアイルの両端に位置するＣＲＡＣユニットを７枚タイルピッチで繰り返す。天井は上げ床の上１２フィート（３．７ｍ）に位置する。ラックの電力と空気流速度は図９ｂに示される。ＣＲＡＣとラック空気流の全比が０．９となるように、ＣＲＡＣ空気流は４２００ｃｆｍ（２０００ ｌ／秒）である。有孔タイルを通る空気流は有孔タイル当たり一様な４２０ｃｆｍ（２００ ｌ／秒）と仮定する。

中央のコールドアイルと境界を成す中間のラックのクラスタ（列３０４、３０６を含む）の捕獲指標は、図９ａに示された環境の全部屋のＣＦＤに基づき、また本発明の実施形態によるＰＤＡ−ＣＦＤベースのツールを使用することにより計算された。後者は、かなり大きなオープン環境に基づき生成された端部空気流モデルを採用する。コールドアイルの両端に近い空気流を吸い込むＣＲＡＣを有する本例は、非常に異なる部屋環境を特徴とするが、その結果は図９ｂに示すように遜色が無い。捕獲指標傾向は十分に捕えられ、すべての予測は約７％以内で一致する。

図１０ａに、局所冷却機を利用するとともに列３２０、３２２、３２４、３２６、３２８、３３０を含む完全な硬質床データセンタを示す。天井高さは１２フィート（３．７ｍ）である。装置の中間のホットアイルクラスタ（列３２４、３２６）は、１２個のラックと４つの局所冷却機から成る。全冷却機とラックの空気流比は１．３である。図１０ｂには、中間のホットアイルクラスタについての、全ＣＦＤベースのツールとＰＤＡ−ＣＦＤベースのツールにより計算された捕獲指標の比較を示す。後者は、対称的境界がクラスタの周囲に存在すると仮定した環境に基づいて生成された端部空気流モデルを採用する。また、実際の部屋環境が非常に異なっても、図９ｂに示すように全体の捕獲指標予測は遜色が無い。捕獲指標傾向は十分に捕えられ、予測はすべて約１０％以内で一致する。

全ＣＦＤ結果とＰＤＡ−ＣＦＤ結果の比較は、２つの特定の実用的な例について上に示された。これらの例において、ＰＤＡ−ＣＦＤ結果における誤差の一部は端部空気流モデルのためであろう（すなわち、誤った平均空気流値が割り当てられていたかもしれない）、そして別の部分は、「オープン」な上部とかなり一様な端部空気流境界条件という基本
的なＰＤＡ仮定に固有の誤差によるものであろう。本発明のいくつかの実施形態では、ＰＤＡ−ＣＦＤを含むＰＤＡベースのツールは冷却性能の合理的な推定（様々な設計選択が考察されるので、通常は正しい方向に傾く）を提供する。

ＰＤＡ−ＣＦＤ計算機を使用する本発明のいくつかの実施形態においてデータセンタを解析する際、一般的にホットアイルクラスタは、データセンタ設計が局所冷却機または返し通気口を含む場合は好ましい解析単位である。この場合、「ルーム・ニュートラル」戦略を採用することができる。上げ床（局所返し通気口のない）環境と、上げ床と局所冷却機の混合環境とを含む他のアプリケーションでは、コールドアイルクラスタを解析することができる。また、ＰＤＡ−ＣＦＤ手法は、より広範囲の最適化ツールの冷却エンジンとして利用されてもよいし、あるいは経験的計算機をトレーニングするための大量のデータを速やかに生成するために間接的に利用されてもよい。

少なくともいくつかの実施形態では、ＣＦＤまたはＰＤＡ−ＣＦＤ解析が行われる際、一様な６”×６”×６”セルを使用した計算上の格子が用いられる。この寸法のセルの使用は必要以上の数のセルを生成することなく通路を微調整し、これにより速度と精度との十分なバランスをもたらす。さらに、この寸法のセルを使用すると装置境界および通路幅とうまく整合する。典型的なラックと冷却機は１フィート、２フィートまたは２．５フィートの幅を有し、通路は通常、３フィート〜６フィートの範囲（６”間隔）である。

少なくともいくつかの実施形態では、以下に説明するように、空気流を解析しラック毎の捕獲指標またはラックのクラスタの捕獲指標を生成するために人工ニューラルネットワーク（一般には単にニューラルネットワーク（ＮＮ）と呼ばれる）を用いることができる。一般的に、ニューラルネットワークはよく知られている。通常は、ＮＮは、入力層、隠れ層、出力層から成る。各層は多くのニューロンから成る。隠れ層と出力層のニューロンはそれぞれ、前の層内のニューロンに連結される。ＮＮの他の重要な要素としては、各リンクに関連する重み、随意のバイアス項、活性化関数と伝達関数が挙げられる。ＮＮの「知識」は結合重みとして格納される。モデルの非線形性と複雑性はそれぞれ、活性化関数と伝達関数と、隠れ層内のニューロンの数とにより捕えられる。

逆伝搬トレーニングアルゴリズム（ｂａｃｋ−ｐｒｏｐａｇａｔｉｏｎ ｔｒａｉｎｉｎｇ ａｌｇｏｒｉｔｈｍ）を用いる多層パーセプトロン（ＭＬＰ：Ｍｕｌｔｉｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）はすべてのニューラルネットワークモデルのうちで最も一般的であり、少なくとも本発明のいくつかの実施形態において使用される。２進のＳ字状活性化関数もまた、本発明の実施形態に十分に適している。捕獲指標のように、この関数は０〜１の範囲を有し、以下の形式を有する。

任意の層の出力は次の層への入力となる。以下の式は、層の出力と２層間の相互結合重みとを関連付ける。

ここで、Ａ_ｉは、２番目の層内のすべてのユニットに信号を一斉通報する第１層内の入力ユニットである。Ａ_ｊは２番目の層のｊ番目のニューロンの出力であり、Ｗ_ｉｊは２層間の結合重みを表し、ｂ_ｊはユニットｊ上のバイアスであり、ｎは第１層内のユニットの数である。活性化関数ｆは人工ニューロンに非線形利得を与える。重みは、適用可能なメトリック（例えば平均２乗誤差（ＭＳＥ））の最小値を生成するために繰り返しにより決定される。

ここで、Ｎはトレーニングケースの総数であり、Ｃｌ_{ｄｅｓｉｒｅｄ}とＣＩ_{ｐｒｅｄｉｃｔｅｄ}は、例えばＣＦＤまたはＰＤＡ−ＣＦＤとニューラルネットワークモデルによりそれぞれ予測された既知の値である。

初期の重みは小さなランダム値に設定される。逆伝搬アルゴリズムは、各トレーニングパターンが提示された後、重みを更新し、そして最良の重みがトレーニング処理中に保存される。

本発明のいくつかの実施形態におけるＮＮの使用の一つの利点は、クラスタレイアウト詳細（入力ベクトル）とその結果のラック捕獲指標（出力ベクトル）との間の非線形関係を確立する能力にある。前者としては、ラックと冷却機の物理的な配置、ラックの電力と空気流、冷却機の空気流が挙げられる。少なくともいくつかの実施形態では、何千もの仮想的であるが現実的なクラスタレイアウトが設計され、次に、ホットアイルＣＩ値はレイアウト毎に数値流体力学（ＣＦＤ：Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｆｌｕｉｄ Ｄｙｎａｍｉｃｓ）を用いて計算される。最後に、ＮＮモデルは、入力ベクトルと出力ベクトルの関係を「学習する」ようにトレーニングされる。トレーニングデータは従来のＣＦＤ解析により生成されてもよいが、上述のＰＤＡ−ＣＦＤ技術を用いることによりかなりの時間節約を達成することができる。十分なトレーニングデータが与えられると、ニューラルネットワークは、実質的に任意のデータセンタ冷却アプリケーションに適用することができる。しかしながら、一例として、図１１に示すようなホットアイルと境界を成す１４フィート（４．２７ｍ）長のラックのクラスタと冷却機のＣＩ値の予測について以下に説明する。同様の方法は、他のクラスタ長のＮＮモデルを設計するように適合させることができる。

例えば、ここで考察されるトレーニングデータを生成するために上述のＰＤＡ−ＣＦＤ計算機を使用する。各シミュレーションでは、上部境界条件は、空気流が通路（０ゲージ圧、６８°Ｆ）に入るか出るように「オープン」である。一定の空気流と温度（「流入」の場合）の境界条件は、通路の両端で指定される。上述のＦｌｏｖｅｎｔ ＣＦＤエンジンは、部分減結合されたホットアイル内の空気流パターンとＣＩ値を計算するために用いられる。６インチの格子寸法が格子感度解析に基づき使用され、ｋ−ε乱流モデルが採用される。

入出力データ間の効果的なマッピングを作製するために、ＮＮモデルは現実的なシナリオを使用してトレーニングされる。ソフトウェアツールは、ＮＮトレーニングの代表的なクラスタレイアウトを設計するためにＥｘｃｅｌとＶＢＡを使用して作成された。設計された各クラスタレイアウトは、クラスタ内のラックと冷却機とに関する情報とそれらの相対位置をすべて含む。この例では、ニューラルネットワークモデルは、入力として２フィート（６１０ｍｍ）または２．５フィート（７６２．５ｍｍ）幅のラックと１フィート（
３０５ｍｍ）幅の局所冷却機を受け入れるように設計された。０．５フィート（１５２．５ｍｍ）は対象物幅の中の最大公約数であるので、ＮＮモデルは、クラスタの０．５フィート（１５２．５ｍｍ）のスライス部すなわち「スロット」に基づく。例えば、２ｋＷの電力と３２０ｃｆｍ（０．１５ｍ^３／秒）の空気流の２フィート（６１０ｍｍ）幅のラックは、実際には、それぞれが０．５ｋＷの電力と８０ｃｆｍ（０．０３８ｍ^３／秒）の空気流で幅が０．５フィート（１５２．５ｍｍ）の４つの個別の対象物としてモデル化される。このとき、捕獲指標はラックの４つのスロットのそれぞれに対し計算され、次に、冷却計算機ツールのユーザに提示される前に平均化される。この手法は、モデル化されなければならない変数の数を実質的に増加させるが、レイアウト生成、ＰＤＡ−ＣＦＤによるトレーニングケースの生成、およびＮＮモデル生成を著しく簡単にする。

この例では、トレーニングケースは、ホットアイルから２９００ｃｆｍの暖気を抽出する１フィート（３０５ｍｍ）幅の冷却機を含む。ラック空気流は、１６０ｃｆｍ／ｋＷ（１ｋＷ当たり０．０７６ｍ^３／秒）の速度で規定ラック電力にリンクされる。これは、ラック全体にわたる２０°Ｆ（１１℃）の温度上昇を仮定することと等価である。２，０００個の代表的なクラスタレイアウト（シナリオ）が作成され、そのすべては、等しい列長を有する１４フィート（４．２７ｍ）長である。各シナリオの完全な記述は、装置の両方の列のスロットごとの電力値を含む。ラックについては、スロット電力は正の数として表される。冷却機については、スロット電力は、１６０ｃｆｍ／ｋＷ（１ｋＷ当たり０．０７６ｍ^３／秒）で割られた冷却機空気流比率として定義され負符号で規定された「有効電力」に基づく。例えば、一列内の最初の２つの対象物がそれぞれ、４ｋＷ、２フィート（６１０ｍｍ）幅のラックと２９００ｃｆｍ（１．３８ｍ^３／秒）、１フィート（３０５ｍｍ）幅の冷却機である場合、最初の６つのスロットの入力データは以下の通りであろう：１ｋＷ、１ｋＷ、１ｋＷ、１ｋＷ、−９．０６２５ｋＷ、−９．０６２５ｋＷ。

トレーニングシナリオ毎に、ラック電力は、０〜１０ｋＷの範囲の可能な電力値のプールから選ばれ、冷却機の数は、全体のクラスタ空気比（全ラック空気流に対する全冷却機の比）が１〜４の（現実的）範囲となるように選択される。本明細書では１４フィート（４．２７ｍ）長のクラスタが考察されるが、一般的には４^＊Ｌ個のスロットが存在する（Ｌはクラスタ長）。スロット位置は図１１ａと図１１ｂでは、ＲＡ_１，ＲＡ_２，...，ＲＡ_２８，そしてＲＢ_１，ＲＢ_２，...，ＲＢ_２８とラベル付けされる。

ＣＩは、ＰＤＡ−ＣＦＤに基づいてすべてのシナリオのすべてのラックスロットに対して計算され、ソフトウェアツールはこの処理を自動化するためにＥｘｃｅｌとＶＢＡを用いて作成された。すべてのスロットにおけるその対応するＣｌ値と共に有効スロット電力は、ニューラルネットワークのトレーニングデータセットを含む。ラック電力、有効冷却機電力、および全体のクラスタ空気比はＮＮモデルに対する入力であり、各スロットにおけるＣＩ値は所望出力としてＮＮモデルに提示される。

少なくとも一つの例では、各クラスタは、軸方向中央平面と縦方向中央平面の両方に関し幾何学的に対称的であり、３つの追加のトレーニングレイアウトはＰＤＡ−ＣＦＤにより解析された（非対称）レイアウト毎に得られる。これらの新しいレイアウトは同じインベントリーの装置を有し、したがってもとの計算されたレイアウトと同じ空気比を有するが、装置の順番は異なる。したがってトレーニングレイアウトの４分の１のみをＰＤＡ−ＣＦＤにより実際に計算する必要がある。この技術を使用すると、ＰＤＡ−ＣＦＤにより計算された２，０００個のレイアウトは合計８，０００個のトレーニングレイアウトを生成する。

後述のＥｘｃｅｌとＶＢＡベースのツールはニューラルネットワークをトレーニングするために使用される。ＮＮモデルの過剰トレーニングおよび予測性を監視するために、ク
ラスタレイアウトの４分の１がトレーニングセットから無作為に選択され、別に取って置かれる。ＮＮは一度にただ一個のスロットに対してトレーニングされ、トレーニングパラメーターは学習過程を早めるために調整される。ニューラルネットワークトレーニング処理中、各スロット（ＲＡ_１，ＲＡ_２，......，ＲＡ_２８，ＲＢ_１，ＲＢ_２，......，ＲＢ_２８）における有効電力とＡＲは、各スロットにおけるＣＩ値を予測するためにネットワークに繰り返し提示される。予測と所望のＣＩ値間の誤差が計算され、次に、ネットワークにフィードバックされる（関連誤差の逆伝搬）。このとき、重みは、ネットワーク予測のＣＩ値をＰＤＡ−ＣＦＤからのものに一致させるように調整される。ベストマッチを生成する重みが保存され、次に、新しい任意の組のクラスタ入力データのＣＩ値を予測するためにこれを使用することができる。

また、クラスタの幾何学的対称性のために、列のおよそ半分の長さをカバーするスロットのみ、すなわち２^＊Ｌが偶数の場合は最初のＬスロット、そして２^＊Ｌが奇数の場合は最初のＬ＋１のスロットがトレーニングされる。残りのスロットにおけるＣＩ値は、この半分のクラスタの結果の適切な再解釈により直接決定することができる。効率的なことに加えて、この対称性の利用は、ＮＮ出力を完全に対称的にさせる。

上述のように、規定クラスタレイアウトのＣＩ値を計算するためにＥｘｃｅｌとＶＢＡベースのソフトウェアツールを使用することができる。次に、この計算の処理についてさらに説明する。ツールのユーザは入力情報のやりとりをし、図１１ａと１１ｂに示すものと同様なクラスタの平面図を表示する単純なグラフィカルユーザインタフェースを介しネットワークの出力を観測する。

処理の第一段階では、ユーザはグラフィック的にクラスタレイアウト情報を入力する。各ラックの電力と各冷却機の空気流だけでなくラックと冷却機の位置も定義される（適用可能なＮＮモデルが利用可能ならば、取り囲む部屋環境をさらに記述するために付加的情報を入力してもよい）。空気比は規定のレイアウトに基づいて計算される。

第２の段階では、ラックと冷却機情報は各スロットにおける有効電力（ラックに対しては正値、冷却機に対しては負値）に変換される。そして、これらの入力値はさらにスケーリングされる。次にスケーリング入力値に入力層と隠れ層間の結合重みを掛ける。結果値は（Ｓ字状）活性化関数を使用することにより合計されて処理される。結果値は、入力層と隠れ層間の重みを掛けられ、（Ｓ字状）活性化関数により合計されて処理され、そしてニューラルネットワークＣＩ値を得るために逆スケーリングされる。次に、スロットにおけるＣＩ値は、最終的なＣＩ値を生成するために最終的に実際の対象物幅にわたって平均化される。

上記の例は十分に定義されたラックのクラスタを取り扱い、ＣＩ値のみが予測される。ただし、他のアプリケーションを取り扱うために、そして再循環指標（ＲＩ）、供給熱指標（ＳＨＩ）、戻り熱指標（ＲＨＩ）、ラック冷却指標（ＲＣＩ）、または直接に装置吸気口温度などの他のデータセンタ関係の冷却性能メトリックを予測するために、ＮＮモデルをトレーニングすることもできる。

ＮＮ計算機の計算は非常に速いので、ＮＮ計算機はいくつかの実施形態では最適化機能性を構築することができる「冷却予測エンジン」として使用される。

本発明のいくつかの実施形態では、ラックのクラスタ内の冷却性能を把握するためにメトリック捕獲指標と全消費電力を使用することに加えて、クラスタの性能を把握して最適化するためにホットアイル内の冷却機への空気の戻り温度を使用することができる。捕獲指標を決定するためにＰＤＡ−ＣＦＤ計算機を使用すると、戻り温度は解析の一部として
計算され、出力として利用可能である。戻り温度が直接計算されない場合、戻り温度は、以下に説明される本発明の一実施形態に従ってＣＩ値に基づいて推測することができる。

戻り温度計算機では、すべての冷却機にわたる平均の戻り温度は、冷却機により捕獲されたラック空気流の量を規定する既知のＣＩ値に基づいて最初に推定される。

いくつかの実施形態では、大域平均冷却機戻り温度はクラスタ内の各冷却機の戻り温度の推定値として使用されてよい。しかしながら、任意の個別の冷却機は、当該の冷却機の極近傍のＣＩとラック排出気温度に主として基づいて、この平均値以下またはそれ以上の戻り温度を有してもよい。少なくともいくつかの実施形態では、個別の冷却機戻り温度は以下のモデルに基づいて推定される。この手法における全体戦略は、最初に、正確な絶対温度を考慮せずに冷却機ごとの戻り温度変動を考慮することであり、次に、上述のように戻り温度が大域平均値と一致するようにすべての値をスケーリングすることである。

任意の冷却機に対する戻り温度は次のように推定することができる。

計算機により使用されるｆ_ｉｊに対し以下の経験的な推定値が上記条件を満たす。

αは通常、モデル予測とその対応するＣＦＤ予測との比較により経験的に決定される定数であり、典型的な設計パラメータの範囲内で固定される。Δｘは、同じまたは反対の列のいずれかにおける、すべてのラック冷却機ペアの、ラック排気口の中心から冷却機抽出口の中心までの距離として計算される。

一旦ｆ_ｉｊが計算されると、冷却機戻り温度は式（２３）から計算することができる。最終的に、冷却機戻り温度はすべて大域平均値戻り温度に基づいてスケーリングされる。

本発明のいくつかの実施形態では、クラスタ内で使用される冷却機の容量を決定するために戻り温度を使用することができる。戻り温度はこの量に強く依存する。冷却機容量を正確に推定する能力は、設計目標を満たすのに必要な冷却機の数（冷却冗長度を設けることを含む）の正確な予測を可能にする。次に、（ＣＩ予測だけでなく）戻り温度も、手動でまたは最適化アルゴリズムを介し決定されるレイアウト設計に影響を与え得る。

本発明のいくつかの実施形態では、ラックのクラスタの冷却特性を決定することに加えて、冷却性能を最適化することもまた望ましくそして可能である。最適化の例は次のものを含む。

１）物理的空間制約条件と、冷却と電力の冗長度目標とを所与として、ＩＴ装置ラックの最良のレイアウトを決定すること。これは、規定目標を達成するのに必要なＵＰＳ、ＰＤＵ、および他の配電装置だけでなく冷却機の数を決定し、次に、全消費電力を最小化するような一つまたは複数の設計目標に対しこの装置のすべての最良のレイアウトを決定することを含んでよい。

２）すべてのラックが設計ＣＩ閾値をちょうど達するまで、一つまたは複数の冷却機の空気流を減少させることにより装置の規定クラスタに必要な冷却空気流の量を最小化すること。

３）例えば、すべてのラックについて、最小のＣＩ要件を満たしながら全消費電力を最小化するために、装置の規定クラスタにおいてラックの熱負荷を再配分すること。この例は、コンピュータ作業負荷としたがって熱とを移動することができるサーバ仮想化に適用可能である。

４）全消費電力または他の設計目標に対して追加の熱負荷を配置する（例えば、サーバを設置する）ために最良の位置を特定すること。

少なくともいくつかの実施形態では、ＮＮ計算機の計算は非常に速く、ＮＮ計算機は最適化機能性が構築される冷却予測エンジンとして使用される。但し他の実施形態では、最適化処理においては本明細書に記載の他の計算機もまた使用することができる。一実施形態では、ＮＮツールは市販の最適化ツールと組み合わせられる。一実施形態では、最適化ツールは遺伝的アルゴリズムを使用し、最適化ツールは、いくつかの可能なクラスタレイアウトのうちで自動的に最良のクラスタレイアウトを示唆する統合化ツールを生成するために、例えばＰａｌｉｓａｄｅ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ｉｔｈａｃａ，ＮＹから入手可能なＲｉｓｋ Ｏｐｔｉｍｉｚｅｒを使用することにより実装されてよい。

例えば、図１１ａと１１ｂのクラスタにおいて装置を再配置して最適レイアウト（すべてのラックのＣＩが８５％より大きいという制約を前提として、全消費電力が最小化されるレイアウト）にする問題について考察する。図１２ａと１２ｂには、比較のためにＰＤＡ−ＣＦＤから計算された値と共にその結果の最適化配置を示す。図１１ａの対称的なレイアウトの最適レイアウトを決定することは比較的簡単である。しかしながら、多くの独特の可能な配置を有する図１１ｂなどのクラスタレイアウトは大きなチャレンジをもたらす。これらの問題については、ＮＮモデルと一緒になった最適化ツールは特に価値のあるツールである。この組み合わせツールは、ある冷却要件、あるいは規定の冷却目的を達成するのに必要な追加の冷却の量を前提に、クラスタ内に設置され得る最大の追加熱負荷（装置）を決定することなどのような、他の複雑なデータセンタ設計チャレンジに対処するのにも役立つ。いくつかの実施形態で使用される最適化ツールは、電力と冷却の観点からレイアウトを最適化しそして所望の冗長度レベルを提供するために冷却装置と組み合わせたデータセンタレイアウトにおける配電装置を最適化するために使用することができる。

上述のニューラルネットワーク計算機では、ニューラルネットワークモデルは、様々なレイアウトと長さのラッククラスタについて開発される。少なくとも一つの実施形態では、ニューラルネットワーク解析はクラスタまたはスロットの０．５フィートスライス部を含む。一実施形態では、ニューラルネットワーク計算機は、長いクラスタ（例えば３０フィートを越える）がこれらのクラスタのための特別のモデルを開発することなく解析され
るよう構成される。長い通路内では、ラックまたは冷却機の影響は距離の増加とともに減少し、そしてある距離で、ラックと冷却機の影響がそれほど深刻ではなくなり、ニューラルネットワーク解析において考慮される必要はない。経験的分析は、典型的なクラスタ内で１５フィートの距離を越えるとスロットは互いに影響を与えないことを発見した。この実施形態では、長さ３０フィートまでのクラスタのニューラルネットワーク計算は上述のように実行される。３０フィートを越えるクラスタでは、スロット位置のＣＩ値は、３０フィート範囲内のスロットの影響に基づいて計算される。一例として、３４フィート長のクラスタでは、解析はクラスタの左の角の第１列から開始される。ＣＩ値は最初の１５フィートの長さをカバーするスロットについて決定され、そしてあたかも３０フィート長のクラスタに対してかのように計算される。ここではクラスタの最も右側の４フィート長に対応するスロットからの影響は無いものと仮定する。中間のスロット（最初の１５フィート後の）のＣＩ値は、当該のスロットの両側の最初の１５フィートの距離を考慮することにより計算される。同様にして、対称性は、クラスタの他端から始まるＣＩ値を計算するために用いられる。

本発明による様々な実施形態は、上述のように一つまたは複数のコンピュータシステム上で実施することができる。例えば、本明細書に記載の計算と解析ツールを含むデータ管理者アプリケーションは、単独のコンピュータシステム、または複数のコンピュータシステムにおいて実施することができる。これらのコンピュータシステムは、例えばＩｎｔｅｌ ＰＥＮＴＩＵＭ（登録商標）タイプのプロセッサ、Ｍｏｔｏｒｏｌａ ＰｏｗｅｒＰＣ（登録商標）、ＳｕｎＵｌｔｒａＳＰＡＲＣ（登録商標）、Ｈｅｗｌｅｔｔ−Ｐａｃｋａｒｄ ＰＡ−ＲＩＳＣプロセッサ、または他のタイプのプロセッサに基づくものなどの汎用コンピュータであってよい。

例えば、本発明の様々な態様は、図１３に示されるもののような汎用のコンピュータシステム９００において実行する特殊なソフトウェアとして実施することができる。コンピュータシステム９００は、ディスクドライブ、メモリ、またはデータを格納するための他の装置などの一つまたは複数のメモリ装置９０４に接続されたプロセッサ９０３を含んでよい。メモリ９０４は通常、コンピュータシステム９００の動作中にプログラムとデータを格納するために用いられる。コンピュータシステム９００はまた、追加記憶容量を提供する記憶システム９０６を含んでよい。コンピュータシステム９００の構成要素は、一つまたは複数のバス（例えば、同じマシン内で集積化される構成要素間の）、および／またはネットワーク（例えば、個別の離散的なマシン上に存在する構成要素間の）を含むことができる相互接続メカニズム９０５により結合されてよい。相互接続メカニズム９０５は、システム９００のシステム構成要素間の通信（例えばデータ、命令）の交換を可能にする。

コンピュータシステム９００はまた、一つまたは複数の入力装置９０２（例えば、キーボード、マウス、トラックボール、マイクロホン、タッチスクリーン）と、一つまたは複数の出力装置９０７（例えば、プリンタ装置、表示画面、スピーカー）とを含む。さらに、コンピュータシステム９００は、コンピュータシステム９００を通信ネットワークに接続する一つまたは複数のインターフェース（図示せず）を（相互接続メカニズム９０５に加えてあるいはその代替として）含むことができる。

図１４にさらに詳細に示される記憶システム９０６は通常、コンピュータと読取り可能でかつ書込み可能な不揮発性記録媒体９１１とを含む。不揮発性記録媒体９１１には、プロセッサにより実行されるプログラムを、あるいは本明細書に記載の実施形態に関連する一つまたは複数の機能を実行するプログラムにより処理される媒体９１１内またはその上に格納される情報を、定義する信号が格納される。媒体は例えばディスクまたはフラッシュメモリであってよい。通常、動作中、プロセッサは、データが不揮発性記録媒体９１１
から別のメモリ９１２内に読み込まれるようにし、これにより媒体９１１にアクセスするより速いプロセッサによる情報へのアクセスを可能にする。通常、メモリ９１２はダイナミックランダムアクセスメモリ（ＤＲＡＭ）またはスタティックメモリ（ＳＲＡＭ）などの揮発性ランダムアクセスメモリである。メモリ９１２は図示のように記憶システム９０６またはメモリシステム９０４内に配置されてよい。プロセッサ９０３は通常、ＩＣメモリ９０４、９１２内のデータを操作し、処理の完了後、データを媒体９１１へ複製する。媒体９１１とＩＣメモリ素子９０４、９１２間のデータ移動を管理するための様々なメカニズムはよく知られているが、本発明はそれらに限定されない。本発明は特定のメモリシステム９０４または記憶システム９０６に限定されない。

コンピュータシステムは、特別にプログラムされた特殊目的のハードウェア、例えば特定用途向け集積回路（ＡＳＩＣ）を含んでよい。本発明の態様は、ソフトウェア、ハードウェアまたはファームウェア、あるいはその任意の組み合わせにおいて実施することができる。さらに、このような方法、行為、システム、およびシステム要素とその構成要素は、上述のコンピュータシステムの一部、あるいは独立構成要素として実現されてもよい。

コンピュータシステム９００は、本発明の様々な態様が実行され得る一タイプのコンピュータシステムとして一例として示されるが、本発明の態様は図１３に示すようなコンピュータシステム上で実施されることに限定されないことを理解すべきである。本発明の様々な態様は、図１３に示す異なるアーキテクチャまたは構成要素を有する一つまたは複数のコンピュータ上で実行されてもよい。さらに、本発明の実施形態の機能または処理はプロセッサまたはコントローラ上で実行されるものとして本明細書（または特許請求の範囲）では記載されるが、このような記載は、その機能を実行するために２つ以上のプロセッサまたはコントローラを用いるシステムを含むことを意図する。

コンピュータシステム９００は、高級コンピュータプログラミング言語を用いることによりプログラム可能な汎用のコンピュータシステムであってよい。コンピュータシステム９００は特別にプログラムされた特殊目的ハードウェアを用いて実施されてもよい。コンピュータシステム９００において、プロセッサ９０３は、通常、Ｉｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎから入手可能な周知のＰｅｎｔｉｕｍ（登録商標）クラスのプロセッサなどの市販のプロセッサである。他の多くのプロセッサが入手可能である。このようなプロセッサは通常、例えばＭｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＷｉｎｄｏｗｓ（登録商標）９５、Ｗｉｎｄｏｗｓ（登録商標）９８、Ｗｉｎｄｏｗｓ（登録商標）ＮＴ、Ｗｉｎｄｏｗｓ（登録商標）２０００（Ｗｉｎｄｏｗｓ（登録商標）ＭＥ）またはＷｉｎｄｏｗｓ（登録商標）ＸＰオペレーティングシステム、Ａｐｐｌｅ Ｃｏｍｐｕｔｅｒから入手可能なＭＡＣ ＯＳ（登録商標） Ｓｙｓｔｅｍ Ｘオペレーティングシステム、Ｓｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓから入手可能なＳｏｌａｒｉｓ（登録商標）オペレーティングシステム、または様々な情報源から入手可能なＵＮＩＸ（登録商標）オペレーティングシステムであってよいオペレーティングシステムを実行する。他の多くのオペレーティングシステムを用いてもよい。

プロセッサとオペレーティングシステムは併せて、高級プログラミング言語のアプリケーションプログラムが書かれるコンピュータプラットフォームを定義する。本発明の実施形態は特定のコンピュータシステムプラットフォーム、プロセッサ、オペレーティングシステム、またはネットワークに限定されないことを理解すべきである。また、本発明は特定のプログラミング言語またはコンピュータシステムに限定されないことは当業者に明らである。さらに、他の適切なプログラミング言語と他の適切なコンピュータシステムを使用し得ることを理解すべきである。

コンピュータシステムの一つまたは複数の部分は、通信網に接続された一つまたは複数
のコンピュータシステムにわたって分散されてもよい。例えば、データセンタの増築または設計機能を実行するコンピュータシステムは、データセンタの構成要素を監視し管理するシステムマネージャから遠く離れて配置されてもよい。これらのコンピュータシステムもまた汎用のコンピュータシステムであってよい。例えば、本発明の様々な態様は、一つまたは複数のクライアントコンピュータにサービス（例えばサーバ）を提供するようにあるいは分散形システムの一部として全体タスクを実行するように構成された一つまたは複数のコンピュータシステム間で分散されてもよい。例えば、本発明の様々な態様は、本発明の様々な実施形態に従って様々な機能を実行する一つまたは複数のサーバシステム間に分散された構成要素を含むクライアントサーバまたは多階層システム上で実行されてもよい。これらの構成要素は、通信プロトコル（例えばＴＣＰ／ＩＰ）を使用する通信ネットワーク（例えばインターネット）上で通信を行う実行可能コード、中間コード（例えばＩＬ）、またはインタープリータコード（例えばＪａｖａ（登録商標））であってよい。例えば、レイアウトを設計するのに使用される装置データを格納するために一つまたは複数のデータベースサーバを使用してもよい。本発明の実施形態に関連する冷却計算を効率的に実行するために一つまたは複数のサーバを使用してもよい。

本発明は、任意の特定のシステムまたはシステム群上で実行することに限定されないということを理解されたい。また、本発明は、いかなる特定の分散アーキテクチャ、ネットワーク、または通信プロトコルにも限定されないことを十分に理解するべきである。

本発明の様々な実施形態は、ＳｍａｌｌＴａｌｋ（登録商標）、Ｊａｖａ（登録商標）、Ｃ＋＋、Ａｄａ、またはＣ＃（Ｃ−Ｓｈａｒｐ）などのオブジェクト指向プログラミング言語を使用してプログラムすることができる。他のオブジェクト指向プログラミング言語を使用してもよい。あるいは、機能プログラミング言語、記述プログラミング言語、および／または論理プログラミング言語が使用されてもよい。本発明の様々な態様は、プログラムによらない環境（例えば、ブラウザプログラムのウィンドウ内で見たとき、グラフィカルユーザインタフェース（ＧＵＩ）の様相を呈するかあるいは他の機能を実行するＨＴＭＬ、ＸＭＬ、または他のフォーマットで生成された文書）において実施されてもよい。本発明の様々な態様は、プログラムされたまたはプログラムによらない要素、またはその任意の組み合わせとして実施されてよい。

上述のシステムおよび方法の実施形態は、多数の装置ラックを有する比較的大きなデータセンタにおける使用のために一般的に説明された。しかしながら本発明の実施形態は、より小さなデータセンタ、およびデータセンタ以外の設備と共に使用されてもよい。さらに、上述のように、本発明のいくつかの実施形態は、上げ床を有さない設備だけでなく上げ床を有する設備と共に使用されてもよい。上述の本発明の実施形態において、解析の結果は、リアルタイムまたはほぼリアルタイムで提供されるものとして記述されてもよい。当業者により理解されるように、用語「リアルタイム」の使用は、結果が直ちに入手可能であるということを示唆することを意味するのではなく、むしろ結果は、短期間（ほんの数分など）にわたって多様な設計を試みる能力を設計者に与える際に速やかに入手可能であることを示唆することを意味する。

本発明の少なくとも一実施形態のいくつかの態様をこうして説明したので、当業者には様々な変更、修正、そして改良が容易に想起されるということを理解すべきである。このような改造、修正、改良は、本開示の一部であり、かつ本発明の趣旨および範囲内であることを意図している。したがって、前述の説明と図面はほんの一例にすぎない。

Claims (47)

1. データセンタの冷却特性を決定する方法であって、
   前記データセンタ内の装置の構成に関するデータを受信するステップと、
   前記装置の構成内のラッククラスタを特定し、ラッククラスタ毎に当該ラッククラスタがホットアイルクラスタおよびコールドアイルクラスタのいずれであるかを判断するステップと、
   前記少なくとも一つのラッククラスタがホットアイルクラスタまたはコールドアイルクラスタとして特定されたことに基づき、当該少なくとも一つのラッククラスタの少なくとも一つの装置ラックの捕獲指標を決定するステップとを備える、方法。
2. 前記データを受信するステップは、前記装置に関連する空気流と電力とに関する情報を受信するステップをさらに含む、請求項１に記載の方法。
3. 空気流に関する前記情報は、前記少なくとも一つのラッククラスタに利用可能な冷却空気の空気流を含む、請求項２に記載の方法。
4. 前記空気流に関する情報は、前記冷却空気の温度を含む、請求項３に記載の方法。
5. 空気流に関する前記情報は、冷却機により吸い込まれるラック高温排気の空気流を含む、請求項２に記載の方法。
6. 前記空気流に関する情報は、前記ラック高温排気の温度を含む、請求項５に記載の方法。
7. 前記ラッククラスタは、少なくとも一つのホットアイルクラスタを含む、請求項１に記載の方法。
8. 前記ラッククラスタは、少なくとも一つのコールドアイルクラスタを含む、請求項１に記載の方法。
9. 前記装置の前記構成に少なくとも部分的に基づき前記捕獲指標を決定するための計算モデルを選択するステップと、
   選択された前記計算モデルを使用して前記捕獲指標を計算するステップとをさらに備える、請求項１に記載の方法。
10. 前記選択された計算モデルは、代数モデルである、請求項９に記載の方法。
11. 前記代数モデルは、前記ラックにおける全供給空気流に対する全捕獲空気流の比に基づきホットアイルクラスタ内のラックの前記捕獲指標を計算し、前記全捕獲空気流は、前記ホットアイルクラスタ内のすべての冷却機の空気流と、前記冷却機から前記ラックまでの水平距離とに基づき計算され、前記全供給空気流は、前記ラックの空気流と、隣接ラックの空気流と、前記ラックからの前記隣接ラックの水平距離とに基づき計算される、請求項１０に記載の方法。
12. 前記全供給空気流および前記全捕獲空気流は、前記ラックの反対側のラックの計算空気流を重み付けする結合係数を使用してさらに計算される、請求項１１に記載の方法。
13. 前記代数モデルは、前記ラックにおける全捕獲空気流に対する全供給空気流の比に基づき、上げ床を有するコールドアイルクラスタ内のラックの前記捕獲指標を計算し、前記全
    捕獲空気流は、前記ラックの空気流と、隣接ラックの空気流と、前記ラックからの前記隣接ラックの水平距離とに基づいて計算され、前記全供給空気流は、前記上げ床のタイルの空気流に関連する前記ラックにおける供給空気流と前記ラックからの前記タイルの幾何学的距離とに基づいて計算される、請求項１０に記載の方法。
14. 前記全捕獲空気流は、前記ラックの反対側のラックの前記計算空気流を重み付けする結合係数を使用してさらに計算される、請求項１３に記載の方法。
15. 前記代数モデルは、前記ラックにおける全捕獲空気流に対する全供給空気流の比に基づき、上げ床と少なくとも一つの冷却機との両方を有するコールドアイルクラスタ内のラックの前記捕獲指標を計算し、前記全捕獲空気流は、前記ラックの空気流と、隣接ラックの空気流と、前記ラックからの前記隣接ラックの水平距離とに基づいて計算され、前記全供給空気流は、（１）前記上げ床のタイルの空気流に関連する前記ラックにおける供給空気流と、前記ラックからの前記タイルの幾何学的な距離と、（２）前記コールドアイルクラスタ内の冷却機の空気流と、前記冷却機の空気流経路と、前記ラックからの前記冷却機の水平距離とに基づいて計算される、請求項１０に記載の方法。
16. 前記選択された計算モデルは、数値流体力学モデルである、請求項９に記載の方法。
17. 前記選択された計算モデルは、ニューラルネットワークモデルである、請求項９に記載の方法。
18. 前記選択された計算モデルは、ＰＤＡ−ＣＦＤモデルである、請求項９に記載の方法。
19. 前記データセンタは、装置ラックの列内に配置された少なくとも一つの列内冷却ユニットを含み、
    前記方法は、前記列内冷却ユニットに関連するクラスタ内のラック毎の前記捕獲指標に基づいて前記少なくとも一つの列内冷却ユニットへの還気の温度を決定するステップをさらに備える、請求項１に記載の方法。
20. 少なくとも一つのラッククラスタの全消費電力を決定し、前記全消費電力の指示を与えるステップをさらに備える、請求項１に記載の方法。
21. 前記捕獲指標と閾値とを比較して、前記捕獲指標が前記閾値未満である場合に指示を与えるステップをさらに備える、請求項１に記載の方法。
22. 前記閾値未満の捕獲指標を有する少なくとも一つのクラスタのラックの指示に基づいて少なくとも一つのクラスタのレイアウトを最適化し、最適化されたレイアウトを与えるステップをさらに備える、請求項２１に記載の方法。
23. 命令のシーケンスを格納したコンピュータ読取可能媒体であって、前記命令はプロセッサに、
    前記データセンタ内の装置の構成に関するデータを受信させ、
    前記装置の構成内のラッククラスタを特定し、ラッククラスタ毎に当該ラッククラスタがホットアイルクラスタおよびコールドアイルクラスタのいずれであるかを判断させ、
    前記少なくとも一つのラッククラスタをホットアイルクラスタまたはコールドアイルクラスタとして特定したことに基づき、当該少なくとも一つのラッククラスタの少なくとも一つの装置ラックの捕獲指標を決定させる、コンピュータ読取可能媒体。
24. 前記命令のシーケンスは、前記プロセッサに、前記装置に関連する空気流と電力とに関
    する情報を受信させる命令をさらに含む、請求項２３に記載のコンピュータ読取可能媒体。
25. 前記命令のシーケンスは、前記プロセッサに、前記少なくとも一つのラッククラスタに利用可能な冷却空気の空気流に基づいて捕獲指標を決定させる命令をさらに含む、請求項２３に記載のコンピュータ読取可能媒体。
26. 前記命令のシーケンスは、前記プロセッサに、前記冷却空気の温度に基づいて捕獲指標を決定させる命令をさらに含む、請求項２５に記載のコンピュータ読取可能媒体。
27. 前記命令のシーケンスは、前記プロセッサに、冷却機により吸い込まれるラック高温排気の空気流に基づいて捕獲指標を決定させる命令をさらに含む、請求項２３に記載のコンピュータ読取可能媒体。
28. 前記命令のシーケンスは、前記プロセッサに、前記ラック高温排気の温度に基づいて捕獲指標を決定させる命令をさらに含む、請求項２７に記載のコンピュータ読取可能媒体。
29. 前記命令のシーケンスは、前記プロセッサに、列内冷却機を有するホットアイルクラスタの少なくとも一つのラックの捕獲指標を決定させる命令をさらに含む、請求項２３に記載のコンピュータ読取可能媒体。
30. 前記命令のシーケンスは、前記プロセッサに、上げ床の有孔タイルから冷却空気を受け取る一つのコールドアイルクラスタの少なくとも一つのラックの捕獲指標を決定させる命令をさらに含む、請求項２３に記載のコンピュータ読取可能媒体。
31. 前記データセンタは、装置ラックの列内に配置された少なくとも一つの列内冷却ユニットを含み、
    前記命令のシーケンスは、前記プロセッサに、前記列内冷却ユニットに関連するクラスタ内のラック毎の前記捕獲指標に基づいて前記少なくとも一つの列内冷却ユニットへの還気の温度を決定させる命令を含む、請求項２３に記載のコンピュータ読取可能媒体。
32. 前記命令のシーケンスは、前記プロセッサに、少なくとも一つのラッククラスタの全消費電力を決定させ、前記全消費電力の指示を与えさせる命令をさらに含む、請求項２３に記載のコンピュータ読取可能媒体。
33. 前記命令のシーケンスは、前記プロセッサに、前記捕獲指標と前記閾値とを比較させて、前記捕獲指標が前記閾値未満の場合に指示を与えさせる命令をさらに含む、請求項２３に記載のコンピュータ読取可能媒体。
34. 前記命令のシーケンスは、前記プロセッサに、前記閾値未満の捕獲指標を有する少なくとも一つのクラスタのラックの指示に基づいて少なくとも一つのクラスタのレイアウトを最適化させ、最適化されたレイアウトを与えさせる命令をさらに含む、請求項に３３記載のコンピュータ読取可能媒体。
35. データセンタ管理システムであって、
    データを格納するメモリと、
    前記メモリに接続されたコントローラとを備え、前記コントローラは、
    前記データセンタ内の装置の構成に関するデータを受信し、
    前記装置の構成内のラッククラスタを特定し、ラッククラスタ毎に前記ラッククラスタがホットアイルクラスタおよびコールドアイルクラスタのいずれであるかを判断し、
    前記少なくとも一つのラッククラスタをホットアイルクラスタまたはコールドアイルクラスタとして特定したことに基づき、当該少なくとも一つのラッククラスタの少なくとも一つの装置ラックの捕獲指標を決定する、ように構成されている、データセンタ管理システム。
36. 前記コントローラは、さらに、前記装置に関連する空気流と電力とに関する情報を受信するように構成される、請求項３５に記載のデータセンタ管理システム。
37. 前記コントローラは、さらに、前記少なくとも一つのラッククラスタに利用可能な冷却空気の空気流に基づいて捕獲指標を決定するように構成される、請求項３５に記載のデータセンタ管理システム。
38. 前記コントローラは、さらに、前記冷却空気の温度に基づいて捕獲指標を決定するように構成される、請求項３７に記載のデータセンタ管理システム。
39. 前記コントローラは、さらに、冷却機により吸い込まれるラック高温排気の空気流に基づいて捕獲指標を決定するように構成される、請求項３５に記載のデータセンタ管理システム。
40. 前記コントローラは、さらに、前記ラック高温排気の温度に基づいて捕獲指標を決定するように構成される、請求項３９に記載のデータセンタ管理システム。
41. 前記コントローラは、さらに、列内冷却機を有するホットアイルクラスタの少なくとも一つのラックの捕獲指標を決定するように構成される、請求項３５に記載のデータセンタ管理システム。
42. 前記コントローラは、さらに、上げ床の有孔タイルから冷却空気を受け取る一つのコールドアイルクラスタの少なくとも一つのラックの捕獲指標を決定するように構成される、請求項３５に記載のデータセンタ管理システム。
43. 前記コントローラは、さらに、前記列内冷却ユニットに関連するクラスタ内のラック毎の前記捕獲指標に基づいて少なくとも一つの列内冷却ユニットへの還気の温度を決定するように構成される、請求項３５に記載のデータセンタ管理システム。
44. 前記コントローラは、さらに、少なくとも一つのラッククラスタの全消費電力を決定し、前記全消費電力の指示を与えるように構成される、請求項３５に記載のデータセンタ管理システム。
45. 前記コントローラは、さらに、前記捕獲指標と閾値とを比較して、前記捕獲指標が前記閾値未満である場合に指示を与えるように構成される、請求項３５に記載のデータセンタ管理システム。
46. 前記コントローラは、さらに、前記閾値未満の捕獲指標を有する少なくとも一つのクラスタのラックの指示に基づいて少なくとも一つのクラスタのレイアウトを最適化し、最適化されたレイアウトを与えるように構成される、請求項４５に記載のデータセンタ管理システム。
47. 前記コントローラに接続されたグラフィック出力装置をさらに備え、前記コントローラは、当該グラフィック出力装置に、少なくとも一つのラックのクラスタのレイアウトのグラフィック出力を与えるように構成される、請求項３５に記載のデータセンタ管理システ
    ム。

Images