TWI232382B

TWI232382B - A distributed storage system for data-sharing among client computers running different operating system types

Info

Publication number: TWI232382B
Application number: TW092133499A
Authority: TW
Inventors: Jaishankar Moothedath Menon; David Allan Pease; Robert Michael Rees
Original assignee: Ibm
Priority date: 2002-12-18
Filing date: 2003-11-28
Publication date: 2005-05-11
Also published as: US20040122917A1; AU2003302963A1; WO2004055679A2; WO2004055679A3; TW200422855A; AU2003302963A8

Description

1232382

五、發明說明（1) 一、【發明所屬之技術領域】本發明與電腦儲存系統有關，並且特別針對一儲存系統’此儲存系統能夠在不同作業系統（如：Aix、Li nux/、 Windows等等）之客戶端電腦之間提供資料共享。二、【先前技術】一般說來，今日的資料系統支援著執行不同作業系統的客戶‘電腦’例如W i n d 〇 w s、L i n u X、S ο 1 a r i s和A I X等作業系統。一個實用的資料系統即便在不同的軟體基礎下，也能谷許電腦之間可以輕易地共享資料。因此，相關聯的資料健存系統必須包含合適的支援功能，以便不同作業系統的電腦彼此間能夠共享資料。舉例來說，一個分散式儲存系統必須容許執行著不同作業系統的電腦，如A I X、 Linux和Windows等作業系統，彼此能夠存取以及共享資料。無論是否執行相同的作業系統，由一台電腦所產生的檔案要能被另外一台電腦找到並且劉覽。在不同的電腦之間容許檔案共享之儲存系統，其工作模式如下。一伺服器（通稱為檔案伺服器），設置在需要共享檔案的電腦之間，而資料則儲存在磁碟上。想要分享檔案的電腦執行一個叫做客戶端槽案系統（^丨1 e s y s t e m c 1 i e n t )的程式。客戶端稽案系統則使用一個定義好的網路檔案協定，例如網路檔案系統（N F s)，來與此檔案伺服器進行聯絡。當一檔案被一電腦建立出來後，此檔案會

4IBM03131TW.ptd ^- 第7頁 1232382 五、發明說明（2) ^過此檔案伺服器被寫入磁碟當中。當此檔案被相同的電月®或是其他的電腦讀取時，資料會從磁碟中被讀出來，經由此稽案祠服器’最後被傳送至想要讀取此檔案的電腦。圖1顯示習知技藝中一儲存系統，此儲存系統利用一檔案祠服器在不同的客戶端電腦間支援資料共享。客戶端電腦 1 0 1、1 0 2、與1 0 3，每一台都執行著不同的操作系統。檔案飼服器1 0 5被提供在客戶端電腦1 〇丨到1 〇 3之間，並且分早磁碟1 0 6。不同的客戶端1 〇丨到1 〇 3使用標準的網路協定與檀案祠服器1 0 5進行聯繫，其中標準的網路協定例如網路檔案系統（NFS) 、Andrew檔案系統（AFS)以及公用網際網路檔案系統（CIFS)等等。在檔案伺服器中，檔案被組織成樹狀結構或是階層結構。圖2說明了一個檔案階;層的範例。此階層包含了目錄以及檔案。檔案就是樹上的葉子節點。在圖2中，階層裡有二個檔案。這些稽案是目錄『/almaden/storage』的一部分。依次來說，此目錄是目錄『/a 1 made η』的一部分，以此類推。除了能夠讀寫檔案以外，電腦可以藉由對檔案伺服器發出各種其他的指令，而獲得檔案以及目錄的資訊。關於檔案以及目錄的資訊通稱為『元資料』。舉例來說，發出一個『RE ADD IR』的指令可以列出目錄上的所有内容。一個發出對應於/almaden/storage的『 READDIR』指令會

4IBM03131TW.ptd 第8頁 1232382 五、發明說明（3) 在此目錄中列出二個檔案。對一個檔案發出一個『STAT』的指令便會獲得關於此檔案的資訊，例如：此擋案是何時被建立以及此檔案有多大。 ' 為了能夠回應像『READDIR』以及『STAT』這樣的指士 ’檔$伺服器會把元資料保留在磁碟當中。元資料通常 =二、，資料本身的大小。舉例來說，檔 ::播案保留5。。位元組大小的元資料資訊。宰要 =千均可能是丨萬6千位元組。因此，根據以上的例' 斜66 Γ貝料的大小是原資料大小的1 / 3 2。一般說來，元資到ίο%。小會依據資料被儲存的規格，介在原諸大小的1% 不被入：；同一時_，其他電腦將馬入相^的棺案。正在寫入檔案的雷腦，曰破鎖定，叫做寫入鎖定（write i〇ck)。二檔案 f由棺案飼服器維護。胃由寫入鎖定，播案飼：貝訊則止同一時間裡有其他電腦寫入相同的檔案了态可以防 L知腦間提供資料共享的儲存“ 衣之木構具有數個缺點。當在資一糸統，加時，將會增加資料存取時外的 :用者回應時間。，者，由於複數個词$而影響到 7日客戶的大量資料，所以電腦需 k吊需要處理那—個構案词服

纖 4IBM03l31TW.ptd 第9頁 1232382 五、發明說明（4) 器擁有所需資料。另外，並沒有容易的方法去平衡多重檔案伺服器間的負載。當一個檔案伺服器失效，它也會遺失關於寫入鎖定的資訊，此寫入鎖定則適用於一台或是多台電腦。這會造成檔案訛誤。最後，每當一個檔案伺服器要被另一個由不同製造商所生產的檔案伺服器所取代時，在新的檔案伺服器執行作業之前，所有資料必須從舊的檔案伺服器複製到新的檔案伺服器。因此，需要一個儲存系統，此儲存系統在執行不同作業系統之客戶端電腦間容許有效率的資料共享，並且沒有上述舊有系統架構的缺點。三、【發明内容】本發明之一目的在於提供一種分散式儲存系統以及方法，可在執行不同作業系統的客戶端電腦間提供資料共享 ° 本發明的另一個目的在於提供一種分散式儲存系統，在不同的伺服器中維護資料以及元資料，用以克服在資料路徑中資料移轉的潛在瓶頸。本發明之另一目的在於提供一種分散式儲存系統，在此分散式儲存系統内，複數個客戶端電腦透過一儲存網路來存取資料，並且透過一控制網路來存取元資料。

4IBM03131TW.ptd 第10頁 1232382

五、發明說明（5) 本發明之再一目的在於為分散式儲存系統中伺服器聯繫協定，如此將會使此儲存系統電腦中的本地檔案系統/ 複數個客戶端電腦提供與此的一儲存槽（Storage Tank) 中的檔案系統如同是客戶端本發明再進一一個客戶端程式，儲存槽協定。旁目的是在每一個客戶端電腦上提供戶端程式提供客戶端功能來支援此二了 ·達成^些目的，本發明提供一種分散式儲存系、，充，/、中資料轉移係以兩個邏輯網路當基礎，進而此分散式儲存系統支援在不同的客戶端電腦間進行資料共享。複數個共享儲存池（shared storage ρο〇ι)被附加在一儲存網路上；並且透過此儲存網路，客戶端電腦可以在此儲存池中存取資料。第二網路是一控制網路；透過此控制網路’客戶端電腦在資料路徑效能不會降低的情形下，便可獲得7G資料。客戶端電腦為了元資料作業而與一個或複數個元資料伺服器進行聯繫。為了負載平衡以及故障轉移處理的目的’元資料伺服器較佳係被串集形成一個元資料伺服器叢集。控制網路最好在一個用戶既存的I P網路上實施0 複數個客戶端電腦在此控制網路上利用此儲存槽協定

4IBM03131TW.ptd 第11頁 1232382 伺服器之分散儲存槽一個客作業系程式與理盗則是一平器之間定。作被接受導入一進行聯繫。在每一此複五、發明說明（6) 來與此複數個戶端電腦上，式，此程式包一個檔案系統 manager)，以容許此客戶端客戶端狀態管個元資料伺服的資料存取鎖功能’它必須元資料本發明含支援介面、及一個複數個的媒介業系統協定的功能。戶狀態管理器統（0 S )服務。客戶端電腦應台限定之檔案。它維護所有服務是客戶端個新的作業系 :供一客戶客戶端程 (client 此播案系用進行聯系統以及屬於客戶作業系統統。數個客端程式包含 state 統介面繫。此此複數端電腦的特有此儲存槽協料伺服器來獲得個協定，此複數定，進而使此複並且可靠的。一複數個客戶端程定容許諸如目個客戶數個客旦一伺式可重定。如果一元資料伺服此元資料本身存系統只需要將此可避免移動資複數個客戶端程式從此複數個元資錄以及播案資訊的元資料。使用這端程式能也夠獲取並且維護存取鎖戶端之間的資料共享總是前後一致服器故障，透過此儲存槽協定，此新判定他們對新伺服器保持的鎖器被一新型態的伺服器取代，此儲料移動到此新的元資料伺服器，如所造成的風險。 % 1 j發明額外的目的以及優點，將會在以下的敘述中提恭Μ ί部分將會在敛述以及所附圖式中顯現，或是從本發明的實施例中獲悉。 1232382 五、發明說明（7) 四、【實施方式】本發明將會先描述貝料以及元資料伺服器和方法。然而，對於習施於被程式控制或在其料處理系統，包含中央式儲存、連接匯流排以含了適當的程式裝置來再者，本發明亦可的磁碟或是其他類似的處理系統，可包含一個法，供導引此資料處理明所欲涵蓋之範圍之内 f:同的客戶端電腦間，利用分離 =1料ί享的分散式儲存系統，方面被設計I裝置，例如一^ 處理單元：記憶體、輸出/入、程、 2 ί:適當的魬件。這樣的系統包執行本發明的運作。實施於一個產σ w , f ，例如一預先紀錄電細程式產品，此產品用於一資料紀錄於其上的儲存媒體以及程式方糸統。這樣的裝置與產品亦在本發圖3是根據本發明之^ &勒《 —、#六數個客戶端電腦301可在一2::系統300的方塊圖。複料以；5八I資粗>•在或複數個儲存池302當中存取資料以及分旱貝料。每一綠在唏q η 9 只存裝置，例如館存：二了複數個共享儲電腦301以五個不同的作業系統表示：AIX、S01aris、k HP/UX’ Linux 以及 Wind〇ws 2〇〇〇/χρ。除此之外一戶端電腦310—般用來管理及監視分散式儲存系統3〇〇的能。雖然圖1只有顯示出五台客戶端電腦3〇1，本發明的儲 1232382 五、發明說明（8) 存系統3 0 0可以支援數千台執杆# Q n , ^ Q Λ 1 每五種作業系統的客戶 301。客戶端電腦301透過一個紗六加^ ^ ^ M i \ 個儲存網路304連接到共享儲存裝置3 0 3並且藉由一控制網敗q n w .^ 一 t αϊ剌、祠路306來與複數個元資料伺服 ^05進仃連接。疋資料被保留在元資料儲存3〇7當中。此是既存的儲域網路（StGrage area network， SANs)的其中之一。每一客戶端電腦301執行一個稱為客戶端程式（未顯不）的軟體，圖4將在以下詳細描述。此客戶端程式聯繫此客戶電腦上個別執行的作業系統之一槽案系統介面。舉例來說，在基於Uiux的電腦系統上，此客戶端程式會和一虛擬檔案系統（VFS)介面進行聯繫；在基於？]111(1〇^的電腦系統亡，此客戶端程式會和一可安裝式檔案系統（ifs)介面進行聯繫。執行其他作業系統的客戶端電腦可能會使用相似的棺案介面。圖3中，客戶端電腦3 〇丨的檔案系統介面如下所示·· AIX、Solaris、hp/UX以及Linux等作業系統為 VFS，而Windows作業系統則為IFS。 ,在圖3的左邊，複數個元資料伺服器305被串集在一起形成一個το資料伺服器叢集3 〇 9。依據這樣的組態，維護使用者資料的儲存裝置及系統被分散在這些處理使用者元資料的伺服器當中。本發明的儲存系統3 0 0包含了兩個邏輯網路：一控制

4IBM03131TW.ptd 第14頁 1232382 五、發明說明（9) 網路3 0 6以及一儲存網路3 0 4。此控制網路3 〇 6被客戶端_ 案系統3 0 1用來與複數個元資料伺服器3 〇 5進行聯繫。此_ 制網路3 0 6只傳送訊息以及元資料，所以在其上的資料控移量是最小的。參照圖4至6，在本發明的一實施例胃中，制網路30 6透過錯存槽協定來實施在一個客戶既存的控 TCP/IP網路之上，此儲存槽協定將在以下被詳細描述。儲存系統3 0 0的第二個網路是儲存網路3 〇 4 , 域=路（Storage Area Network’ SAN)。客戶端電腦 3’〇b 疋資料祠服器305以及共享儲存裝置3〇3都會連接到一古 ::網”04。此儲存網賴4被用來在客戶端電腦3。：迷 =料儲存302中之儲存裝置：303之間，提供所有的資料由從資料路徑中移除元資料飼服器3〇5發 =統30。會消除存在於目前資料共享儲存 2 旎負擔以及潛在瓶頸。双一個基於Windows之完冷胂你蛴fTFO ^ | 戶鳊電腦上的可安裝式檔案系統CIFS)，或是一個基於Uni完尔統（VFS)，係安裝在每—客戶1 = 4電腦上的虛擬槽案系的請求以分享儲存網路304上2 301上。當發送一資料 VFS會將元資料的請求以及寫=儲存裝置3〇3時，IFS或是料伺服器3 0 5的其中之一。^ $所定導引至此複數個70資附加在儲存網路304上的儲存ζ端電腦3〇1可以直接從任何記憶體當中積極主動地快取幹裝/中存取資料。他們可在 ^茱資料，就如同他們從元資

Ml 4IBM03131TW.ptd 第15 頁 — 1232382 五、發明說明（ίο) |料飼服器301裡獲得的元資料以及鎖定。本發明的儲存系統300會支援複數個儲存池302的資料，以及支援複數個元資料飼服器305的元案 I和元資料分別被保存在錯存系統300當冲。一元資料1 包含：-標準檔案之元資料，例如：檔案名稱、建立控制’也會包含播案資料在磁碟中的位置’ 丨产可用的直’爾0Tten^ Ust)。元資料被保存在高效能、高 L個SM，戈β 1服器儲存當中（它可能像是資料儲存於同 |叢隼令^古^^ 個分離的SAN之中），並且必須可以被電：L存取丨會提供元資料給客，透:電^ 池3〇t其資料區=data bl〇ck)被儲存在儲存置在儲存網路304= 空儲存山裝置κ303必須被配料伺服器3 0 5存取. ?戶端電腦3 01以及元資 :一塊區域給子Λ =裝=3情=要酉己 =V;5:;果;…，也二=戶及端\資別的安全需求。服益3〇5存取的區域，以滿足特以及元資料儲存可此立一個專供元資料伺服器305 〇 7存取的區域，來保護元資料。 4IBM03131TW.ptd 第16頁 1232382 五、發明說明（11) 次士丨Γ客戶α安裝（customer丨“^^以““可只使用一元 i二一习二0Γ元資料伺服器3 0 5的一叢集30 9、或是複 π 兀貝料叢木3〇9,每一叢集3 0 9都包含了複數個元資料 =二叢集的元資料飼服器職供_ 數Μ处^ 2 -增^的延展性。在元資料叢集3 0 9中的此複 _ι & =二t，服裔305是互連的，不是在它們自己的高速时T疋相同的ΙΡ控制網路306中，此複數個元資料 =器3 0 客戶端電腦3 0 1進行聯繫。&含被元資料祠服 :集309管理之元資料的專用伺服器儲存能夠被附加在用儲存網路上，或許在一個分離的區域裡被附加在公用儲存網路3 0 4上。儲存槽協定（St〇rage Tank Pr〇t()⑶υ 為了描述分散式儲存系統3 0 0中儲存槽協定，定義關鍵名詞如下： ^ 物件（Ob ject): —物件是隸屬於儲存系統3〇〇之檔案系統當中，用作儲存以及管理的最小邏輯單元。目錄以及槽案都异是物件。檔案系統中的每一個物件都被給定一個唯一的物件識別碼（Object ID)。檔案（File): —檔案是包含使用者資料（user data) 的一傳統檔案系統物件。目錄（Directory): —目錄是檔案的邏輯分組，可視

4IBM03131TW.Ptd 第17頁 1232382 五、發明說明（12) 於為命名空間階層的部分。在本發明的儲存系統3 〇〇卷目錄只存在於元資料伺服器3 05當中，而不像一物^ ’ 儲存池3 0 2裡的使用者資料空間當中。子個儲存池的一部份，儲存池則定義如下容器（Container): —容器是總體命名空間 name- tree)的子樹（subtree)。為了負載平衡以及技 al 目的，它群組了一組物件。容器中的物件將不只為的容體（Volume): —容體是一個輸出儲存裝置，〜口 ▲ 是一個實體裝置或是一個邏輯裴置。容體被加到儲$ Z能中，而且必須被所有需要在容體中存取資料的伺以客戶端存取。窃Μ及儲存池（Storage pool): 的集合。它為了空間的配置而輯分組。容器中的檔案可以屬器可以在一單一儲存池中擁有儲存池是一個或複數個容體對容器提供了一個容體的邏於不同的儲存池。複數個容儲存。服供了 —個介於客戶端電腦301以及元資料祠服益3 0 5之間進行聯墼的以及資料-致性㈣、，：V協定。此協定實施一鎖定表現的像是-個本：稽；：：許儲存系統30◦被視為二 -個分散式儲存環境。此健存槽協定的目標是在兄理楗供介於客戶端電腦3 0 1以及元

1232382 五、發明說明（13) 資料伺服器3 0 5之間充足的資料一致性。當使用此儲存槽協定，客戶端電腦3 〇丨裡的客戶式可以決定哪一個儲存裝置303要來存取它們的資料。一元資料伺服器305處置不同部分的命名空間階層樹（μ space hierarchy^換言之，一組不同的容器），並且，戶端程式可以決定要連接哪一個元資料伺服器3〇5 所需的資料。即使客戶端程式接觸糾獲仔抑。n r ^枉A接觸到一個錯的元資料伺服态3 0 5，廷個伺服器可以自動導向客戶元資料伺服器。由於元資料可能分/^程式到對的那-=免服器所產生太多元資料的問題都透過它們的客戶端程式，儲定，這將使檔案在此複數：客戶：：協定提供了資料存鎖享；或是當需要的時候；=電”間進行共擁有對檔案的排他地存取。者乂將谷許客戶端程式祠服器305會對客戶端程式開放的時候，元資料從播案中讀取資料時，健存當客戶端電腦301 的最新資料，此最新資料θ 2保證它總是讀到檔案裡案内。、、疋由，、他客戶端電腦寫在此檔儲存客戶端（St〇rage Clients) 本發明的分I $ #六& 欣式儲存系統3 〇〇能同的客戶端電腦

1232382 五、發明說明（14) 301 間，例如執行 Wind〇ws 2〇〇〇、ΑΙχ、s〇Uris、Linux以及HP-UX等作業系統，進行檔案的全資料（ful丨data)共享以及透通資料（transparent data)共享。所有在此複數個客戶端電腦3 0 1裡的客戶端程式都能利用一致的總體命名空，來存取相同的資料。一致的總體命名空間為所有的客戶端程式，提供對於儲存系統30 0中之命名樹（name tree) 有一致觀點的能力。這樣的能力不需改變既存的使用者應 Z °這些應用只需要使用相同的介面來存取儲存系統3 〇〇當中的資料，就和它們存取本體（本區）檔案系統一樣。客戶端電腦301中的客戶端程式會把所有的元資料作業導引到此複數個元資料伺服器3〇5的其中之一内，並且把所有的資料作業導引到附加在高速儲存網路3 〇 4上的儲存裝置3 0 3内。每一個客戶端程式會讓被本身電腦作業系統看見的元資料（以及執行在這個系統上的任何應甩）看起來就如同一個從本體、本區附加的檔案系統所讀到的元料一樣。圖4顯示了一實施例的主要組件，其中一客戶端程式 4 0 0在一客戶端電腦3 〇 1裡。當使用者應用4 〇 2在使用者空間401裡運作時，客戶端程式4〇〇則在核心空間（kernei s p a c e ) 4 11裡運作。在其他子系統之中，針對一個典型的客戶端電腦，核心空間41 1包含了一個記憶體子系統4〇7以及裝置驅動器406。客戶端程式4 0 0由三個組件組成：_檔

4IBM03131TW.ptd 第20頁 1232382 五、發明說明（15) 案系統介面4 0 3、一客戶狀態管理器（CSM ) 4 0 4以及一作業系統（0S)服務4 05。將此客戶端程式4 0 0轉移到一個新的作業系統會牽連到平台限定之檔案系統介面4 〇 3以及作業系統服務4 0 5。此客戶狀態管理器4 〇 4包含了檔案系統相關功能（file system-related function)，以支援此分散式儲存系統3 0 0，此客戶狀態管理器4〇4是跨平台並且不需要被改變的。IFS介面（基於windows的客戶端電腦）以及VFS介面（基於Unix的客戶端電腦）係利用平台的本機記憶體子統40 7以及裝置驅動器4〇 6。 ” 儲存槽協定的客戶端係藉由客戶狀態管理器（csm 4〇4而實施^ CSM404維護全部的鎖定，包括對話鎖定 (session lock)以及資料鎖定（data 1〇ck)。開啟儲存池30 2裡的檔案。CSM4〇4^演特定平台客f二系統介面4 0 3以及此複數個元資料>n 槽案者。是双1U 70貝枓伺服器305之間的中間一客戶端電腦3 0 1裡的客戶端襄，λ ^ 300裡的一檔案系統被視為客戶端^ 〇會使儲存系統統。它就像本區檔案系統一樣擁有上的另^一個檔案系不出從儲存池3 0 2中存取檔案以及你目同的語意。使用者看檔案之間的差異。舉例來說，要本區檔案系統中存取 3 0 0裡之檔案系統中的檔案，一應汗文一個置放在儲存系統開啟請求。客戶端檔案系統介面:發布一標準的檔案 3 g傳遞此請求至c S Μ

1232382 五、發明說明（16) 404，CSM 404利用既存於快取ψ夕蚀〜从加a 士丄、取T之鎖定的標準，以決定此請求能否被滿足。若否，c S Μ 4 0 4合叙心*私/ Μ 4 υ 4會與此複數個元資料伺服器305接觸，以獲得檔案元資料以Λ^ u u貝针以及鎖定。檔幸元資料提供關於此檔案的資訊給客戶踹兹彳 lL ^ ^ 案的属性以及播案在儲存Ϊ二：=，：：案資訊包含播 π丨丁衣直d U d中的位置。鎖定則提供需要開啟檔案以及讀寫資料的特權給客戶端程式。、Z' 讀寫請求也必須被傳送至CSM 404，來保證鎖定與存取請求能夠相符。舉例來說，如果請求是一寫入請求，但鎖定只能讀取，CSM 404會與元資料伺服器3 0 5進行聯繫以請求升級鎖定。一旦獲得了所需要的鎖定，檔案資料可以在此儲存網路3 0 4之上直接被存取。在本發明之分散式儲存系統3 0 0中的檔案存取鎖定可以被儲存在快取記憶體令並且是搶占式（preemptible) 的。也就是說，檔案存取鎖定可以被一元資料伺服器3 0 5 收回。這容許存取檔案系統的客戶端程式4 0 0保留分散式的鎖定，即便在沒有開放檔案機會的情況下。因此，在相同客戶端程式 4 0 0上一後續應用上的既定檔案的請求，此請求能在不招致接觸伺服器的負擔以及獲得新鎖定的負擔下被滿足。如果客戶端程式40 0為一播案凊求一個不相谷鎖定而此鎖定被快取在另一台客戶中，元資料伺服器3 0 5 將會要求其他客戶端程式4 0 0釋放它的鎖定。如果沒有開放檔案的機會，客戶端程式4 0 〇將會順從。否則的話，請

4IBM03131TW.ptd 第22頁 1232382 五、發明說明（π) 求中的客戶端程式4 〇〇會被迫等待 CSM 404也會實施在以基於租賃協 protocol)的客戶端，此協定會保護分^eas^-based 於因網路故障而造成的一致性錯誤。式儲存系統30 0免系統中的每一個客戶端電腦3〇1維護一料伺服器3〇5為著每一個客戶端/伺服器交互作用而被2。此租賃會隨果元資料伺服器30 5無法隨著客戶來^會性地更新。如程式4 0 0會被認為是失效；並且，元資此租賃，客戶端 -個計時器。㈣㈣束的時候，元服器3Q5會設定设★疋並且酼忍地如供鎖疋給新的客戶端程式。在客戶端之中，當租賃到期的時候，客戶端程式4〇〇必須將全部的已使用資料（dirty data)從本身的快取中寫入磁碟。對客戶端程式之快取資料的存取動作將遭到懸置，直到租賃結束為止。在客戶端電腦3 0 1裡的客戶端快取被用做達成元資料以及資料的低潛時（low-1 atency)存取。一客戶端可快如下：資料（Data)-快取資料容許客戶端程式4〇0區域性和潛在性地執行檔案讀寫，消除對SM所附之儲存裝置3〇3的 I / 0作業。 1232382 五、發明說明（18) 元資料（Metadata)—快取元資料容許客戶端程式400 區域性地執行複數個元資料存取，而不用與一元資料伺服器3 0 5接觸。（要注意所有的元資料更新會被發送至元資料伺服器3 0 5 ) 鎖定（Locks)—快取鎖定容許客戶端程式4〇〇區域性地對檔案授與複數個開放，而不用與一元資料祠服器3 〇 5接觸。本發明的客戶端程式40 0在記憶體中執行所有的快取。就一個槽案的所有資料而言，如果客戶端程式的快取沒有足夠的空間，客戶端程式400會只從共享儲存裝置\〇3 中讀取資料，而此檔案則存於此共享儲存裝置上。由於客戶端程式4 0 0可以直接對所有附加在儲存網路3 〇 4上的儲存裝置3 0 3進行存取，所以資料存取得以迅速。對一個快取子程式4 0 0來說’對一專用本地磁碟快取資料是沒有必的。元資料词服器（Metadata Servers) 在本發明的具體實施例中，儲存系統3 〇〇裡每一二元資料伺服器3 0 5都是手提式的、使用者層次的、c + +廉用便易於移動到新的作業系統上。轉移可以藉由Linu^、以 A IX、SUN以及 Windows來完成。對複數個作業系統的援在元資料伺服器叢集3 0 9的平台選擇上提供了'彈性:、士

1232382 五、發明說明（19) 會容許一系列的效能選項。舉例來說，執行L i 1111义的】n t e j 處理器為了高效低成本的延展性而被使用；然而，執行 A I X的I BM SP2超級電腦為了高階延展性而被使用。元資料服務（Metadata Services) 一疋資料伺服器3 Ο 5被設計來執行元資料更新、提供伺服檔案系統元資料至此複數個客戶端電腦3〇丨（透過此複數個客戶端程式40 0 )、將檔案和資料鎖定授與客戶端、以及檢測客戶端故障和執行客戶端恢復。企業可以使用一單一=資料伺服器3 0 5、一個伺服器的叢集3〇9或是複數個伺服器叢集3 0 9。使用一叢集組態的元資料伺服器會有以下的效益：欠負載平衡一對於儲存系統300之檔案系統的工作量以 f二f結構，會被劃分並分配給叢集309中的此複數個元服”05。㈣維持叢集工作量的平衡是一個連續元資料伺服器305處置一組不同的容器。使衡^ ^沾程序會使檔案系統的工作量平衡。一個工作量平衡過程的例子包含了以下的作業：十 (a )紀錄每個容器的活動 ” (b )配置最忙石彔的定考认 2,以此類推飼服器卜第二忙碌的給飼服器 (c )第N + 1個忙碌的容扯 (d)^ # P- ^ /被扣疋回伺服器1 ,以此類推中收集到的新活動資％，/間隔内，使用最後一個小時 ° ’重新指定容器給元資料伺服器

1232382 五、發明說明（20) 305 當對元資料祠服器3 0 5的容器的指定改變時，資料不需要被移動。所有的元資料伺服器3 0 5在重新指定後可以存取所有的元資料，並且針對比從前多樣化且不同的容器開始處理元資料作業。故障轉移處理—此複數個元資料伺服器3 〇 5較佳為具有一叢集協定。在伺服器故障或是此複數個元資料伺服器 3 0 5間之網路連接性損失的事件中，叢集服務會產生一個被重組的新叢集309,負載會被分散到新叢集3 0 9裡的此複數個元資料伺服器3 0 5之間。 • ^展性（Scalabilty)—管理者可以增加更多的元資料 H器305到一叢集309當中，或是增加更多的伺服器叢集 /9到，存網路304當中以伺服更多的資料以及更多的客戶 |端電腦30 1。以上描述的叢集服務會從一新群組中偵測到 ===資料伺服器3 0 5,並且重新分散負載以平衡遍及在 =:裡所有的元資料祠服器3〇5上的工作。要注意的是 =数個疋資料伺服器叢集3〇9為了儲存系統護以上描述之—致的總體命名空間。會/、门維鎖疋：^新列定（Lock Reassertion) 當—元資料伺服器3 0 5失效的時候，透過客戶端程式

1232382 五、發明說明（21) 400,客戶端電腦3〇1可以重新判定 — 3 05所保持的鎖定。因為客戶端電腦、/貧料伺服器新元資料伺服器305的鎖定，因此在可以重新判定對應下，由於祠服器故障所引起的剛的儲存系統架構 A問碭將可被避免。圖5係在伺服器故障的情況下，元資料词服器重新判定存取鎖定的過程之\%式40 0對新的 5〇1’新的元資料飼服器305負責一接管=圖：在步驟器。在步驟5 0 2當中，一客戶端失效的70負料伺服偵測到舊的元資料词服器；=制網路306 :驟503中與新的元資料伺:服器二；：端：ίΓ在保持的存取鎖定。在步驟Λ歹J對f的元資料飼服器3 0 5所客戶端程式400發送一砝f 七新的兀資料伺服器305對戶端程式4 0 0的一系列，=禮^確認代表已收到來自於客料伺服器3 0 5接著開4 5 0 6中’新的元資的存取鎖定。 °實踐來自於客戶端程式400的已確認現行刀政式儲存系，同供應商的檔案伺服哭也取=疋田吝戶心要用來自不全部的資料從舊的浐：來代舊的檔案伺服器日夺，需要將在本發明的儲存系^服器移動到新的槽案*服器裡。有元資料需要從舊的丄因為資：由元資料區分，所以只器裡。連接到儲存.2貝料伺服器移動到新的元資料飼服存、、周路3 04之儲存池裡的資料不需要被移

4IBM03131TW.ptd

第27頁

1232382 五、發明說明（22) ί絲因i:身！!只有資料大小的1 %到1 〇%，客戶由於不需一移二料而筇省了大量的時間。舉例來說，移動一兆位兀的兀貝料會比移動—百兆位元的資料來的快。圖6係替換儲左么圖》在步驟em i統300裡的元資料祠服器305之流程 4e T 新的元資料伺服器3 0 5針對檔案系統的 2 = H〇t)發出1『READDIR』的指令。根目錄的内 =t : t ^錄以及檔案名稱的列表，在步驟6 0 2中被矜ΐ發出杳1〇3，新的元資料伺服器305對每一個回覆的細系赞出一查詢，以々呈資料。在步驟604中，了失區二位址上關於播案及資訊的元案連接的回覆資訊，會被失幹效入的:上料'服器上目錄及樓在步驟6 0 5中，儲存系统到新的元資料祠服器30 5。 -個『mDDIR』^ ΓΠ每個回覆目錄或子目錄發出體檔案階層（檔案樹，fil/ 606中，儲存系統會確認整 (traversed)。如果有，替換是否有被遍歷完成，如同步驟60 6所於-、兀負料伺服器305的程序就算内的所有檔案，整個程序合^ YES”。若否，對檔案系統步驟6 0 2所指示的"NO，，。 ’驟6 0 2再重複一次，如同雖然本發明以實施例揭露如發明，任何熟習此技藝者，、’......並非用以限定本内，當可作各種之更動與潤飾不脫離本發明之精神和範圍視後附之申請專利範圍所界本因此本發明之保護範圍當欠考為準。-

1^2382 圖式簡單說明 __ 所附圖【以以：明】 -口說明書解釋本發明圖1是習知技街之—株來提供不同的客館存系統方塊圖，利用_ 圖2顯示習知技^腦間之資料共享；服裔圖3是一方塊圖' Hf飼服器之檔案階層；件；說月根據本發明的分散 ® 的刀政式儲存系統組口 4疋方塊圖，說日4曰从體實施例；根據本發明之支援客戶端程式的圖5是—流程圖，工的具程式對新的元資料飼服在琴一番飼紅服器故障的例子下，客戶端圖6是1程圖，說明^存取鎖定的程序；及資料飼服器移動資料到新據的本發J月的情形下’從故障的元 j新的几資料伺服器的程序。兀 1 〇 2電腦 1〇4網路標準協定 1 0 6磁碟 3 0 1客戶端電腦 3 0 3儲存裝置 3 0 5元資料伺服器 3 0 7元資料儲存 3 10管理客戶端 ※元件符號說明 1 01電腦 1 0 3電腦 % 1 〇 5檔案伺服器 3 0 0儲存系統 3 0 2資料儲存 3 0 4儲存網路 3 0 6控制網路 3 0 9元資料伺服器

1232382 圖式簡單說明 4 0 1使用者空間 4 0 3檔案系統介面 4 0 5作業系統服務 4 0 7記憶體子系統 4 0 9元資料伺服器 4 1 1核心空間 4 0 2使用者應用 4 0 4客戶狀態管理器 4 0 6裝置驅動器 4 0 8元資料伺服器叢集 4 1 0儲存槽協定

4IBM03131TW.ptd 第30頁

Claims

1232382 六、申請專利範圍 1· 一種分散式儲在会間提供資料共享，¥、八” 在不同之複數個客戶端電腦複數個儲存分該：：政式儲存系統包含：一資料； / ，、儲存該複數個客戶端電腦所存取之端電腦；兀貝料伺服器’提供-元資料給該複數個客戶存池；-存凋路’連接該複數個客戶端電腦與該複數個儲一控制網路，連接資料伺服器；該複數個客戶端電腦與該複數個元資料其:透存網路來存取該 2·Λ申Λ專利範圍第1項所述之分散式儲存系統，其中每都有一客戶端程式1來與該複數個儲存池以及該複數個元資料伺服器進行溝通。 3.如申請專利範圍第2項所述之分散式儲存系統，其中該客戶端程式使用一儲存槽協定（Storage Tad pr〇tc)C()1) 來與該複數個元資料伺服器進行溝通。 4 ·如申請專利範圍第2項所述之分散式儲存系統，其中該客戶端程式包含一檔案系統介面，該檔案系統介面用'來^ 一樓案系統與複數個使用者應用進行溝通，一客戶狀態管

第31頁 1232382 六、申請專利範圍理器用來提供資料一致性（data consistency)，以及複數個作業系統服務（operating system service)用來與該複數個元資料伺服器進行溝通。 5 ·如申請專利範圍第4項所述之分散式儲存系統，其中該客戶狀態管理器使用複數個資料存取鎖定（data access 1 o c k )來提供資料一致性。 6 ·如申請專利範圍第5項所述之分散式儲存系統，其中該複數個資料存取鎖定包含複數個對話鎖定（session lock) 以及複數個資料鎖定。 7 ·如申請專利範圍第2項所述之分散式儲存系統，其中該客戶端程式以基於Unix的“客戶端電腦上與一虛擬播案系統（Virtual File System，VFS)介面進行溝通。 8.如申請專利範圍第2項所述之分散式儲存系統，其中該客戶端程式在基於Windows的一客戶端電腦上與一可安裝式槽案系統（Installable File System，IFS)介面進行溝通0 9 · 一種提供資料共享的方法，使用在一分散式儲存系統中，該分散式儲存系統被不同之複數個客戶端電腦在取，該方法包含： +

在每一該複數個客戶端電腦上提供一作客戶端程式（ODeaH , · ^ Perating~system specific client program)，用來存取該複數個元資料伺服器和該複存池。 1 0 ·如申請專利範圍第9項所述之方法，其中該客」式使用一儲存槽協定來與該複數元資料伺服器進行 1 1 ·如申請專利範圍第1 0項所述之方法，其甲該客式包含一檔案系統介面，該檔案系統介面用來讓一統以及複數個使用者應用進行溝通，一客戶狀態管來提供資料一致性，以及複數個作業系統服務用來數個元資料伺服器進行；籌通。 1 2 ·如申咕專利範圍第11項所述之方法，其中該客管理器使用複數個資料存取鎖定來提供資料一致性 1 3 ·如申請專利範圍第丨2項所述之方法，其中該複料存取鎖定包含複數個對話鎖定以及複數個資料鎖池藉由複數個電腦連限定之數個儲 3端程溝通。戶端程檔案系理器用與該複戶狀態數個資定0

1232382 六、申請專利範圍 ^ =申請專利範圍第9項所述之方*，其中該客與—虛擬播案系絶Μ (Virtual File System，VFS)介面進行溝通。如申請專利範圍第9項所述之方法，兑中該客戶式在基於Windows的一客戶端電腦上 ^ 統（Installable File System，Ιρς、人了女裝 ^ 檔案系 Υ 111 1FS)介面進行溝通。八散彳3 :,程式產时’供一分散式儲存系統所使用，該腦程式產品包含：鲕電細所存取，该電一電腦可讀取媒體； -料儲存裝置’提供於該電腦可讀取媒，供儲存 ΐΠΐ;儲存池十’該複數個儲存池藉由-儲存網路來與遠複數個客戶端電腦連結；力一 =i資料儲存裝置，提供於該電腦可讀取媒體，供儲 :抑ί ^料在禝數個元資料伺服器中，該複數個元資料伺服㈣，-控制網路來與該複數個客戶端電腦連結；以及私加# r取裝置，提供於該電腦可讀取媒體，在每一該複 •端電腦上提供一作業系統限定之客戶端程式一 ng system specific client program)，用來存取遠禝數個元資料伺服器和該複數個儲存池。

1232382 六、申請專利範圍 1 7 ·如申請專利範圍第1 6項所述之電腦程式產品，其中該客戶端程式使用一儲存槽協定來與該複數元資料伺服器進行溝通。 1 8 ·如申請專利範圍第1 7項所述之電腦程式產品，其中該客戶端程式包含一檔案系統介面，該檔案系統介面用來讓一檔案系統以及複數個使用者應用進行溝通，一客戶狀態管理器用來提供資料一致性（data consistency)，以及複數個作業系統服務（operating system service)用來與該複數個元資料伺服器進行溝通。 1 9 ·如申請專利範圍第1 8項所述之電腦程式產品，其中該客戶狀態管理器使用複數個資料存取鎖定（data access 1 o c k )來提供資料一致性。 2 〇 ·如申請專利範圍第1 9項所述之電腦程式產品，其中該複數個資料存取鎖定包含複數個對話鎖定（sessi〇n 以及複數個資料鎖定。 2 1 ·如申請專利範圍第1 6項所述之電腦程式產品，其中該客戶端程式以基於Unix的一客戶端電腦上與一虛擬槽案系統（Virtual File System’ VFS)介面進行溝通。 2 2 ·如申請專利範圍第1 6項所述之電腦程式產品，其中該

4IBM03131TW.ptd 第35頁 1232382 六、申請專利範圍客戶端程式在基於Windows的一客戶端電腦上與一可安裝式樓案系統（Installable File System，IFS)介面進行溝通。

4IBM03131TW.ptd 第36頁