西西軟件園多重安全檢測(cè)下載網(wǎng)站、值得信賴的軟件下載站!
軟件
軟件
文章
搜索

首頁(yè)西西教程軟件使用 → SAN存儲(chǔ)區(qū)域網(wǎng)絡(luò)共享軟件全攻略

SAN存儲(chǔ)區(qū)域網(wǎng)絡(luò)共享軟件全攻略

相關(guān)軟件相關(guān)文章發(fā)表評(píng)論 來(lái)源:本站整理時(shí)間:2011/1/12 15:15:06字體大。A-A+

作者:佚名點(diǎn)擊:305次評(píng)論:0次標(biāo)簽: SAN 共享管理

  • 類型:壁紙主題大。3.8M語(yǔ)言:中文 評(píng)分:5.0
  • 標(biāo)簽:
立即下載

在高性能專用存儲(chǔ)網(wǎng)絡(luò)需求的驅(qū)使下,SAN存儲(chǔ)區(qū)域網(wǎng)絡(luò)系統(tǒng)大量應(yīng)用于高性能計(jì)算網(wǎng)絡(luò)系統(tǒng)、大型網(wǎng)站系統(tǒng)、非線性編輯系統(tǒng)等網(wǎng)絡(luò)系統(tǒng)中,存儲(chǔ)設(shè)備與計(jì)算機(jī)主機(jī)系統(tǒng)之間一對(duì)一的關(guān)系,被可供多個(gè)系統(tǒng)共享同一個(gè)存儲(chǔ)設(shè)備網(wǎng)絡(luò)的關(guān)系所取代。為確保多大量客戶端主機(jī)對(duì)同一存儲(chǔ)設(shè)備的共享訪問 權(quán)限和和管理權(quán)限的統(tǒng)一,就需要安裝專門的存儲(chǔ)共享管理軟件或采用專門的共享文件系統(tǒng)。SANergy、ImageSAN、StorNext、GPFS、 CXFS等軟件或文件系統(tǒng)就是為了實(shí)現(xiàn)存儲(chǔ)設(shè)備共享而開發(fā)的。


一、典型SAN共享系統(tǒng)
在說到SAN網(wǎng)絡(luò)存儲(chǔ)共享管理軟件之前(假設(shè)你對(duì)SAN、NAS、DAS和ISCSI技術(shù)的特點(diǎn)和區(qū)別已經(jīng)很熟悉),我們先來(lái)看一看常用的、或典型的FC-SAN存儲(chǔ)網(wǎng)絡(luò)和IP-SAN存儲(chǔ)網(wǎng)絡(luò)架構(gòu)的特點(diǎn)。
FC-SAN共享存儲(chǔ)系統(tǒng)結(jié)構(gòu)圖:



(圖1)
大型FC-SAN存儲(chǔ)共享系統(tǒng)經(jīng)常被稱“FC+LAN”雙網(wǎng)結(jié)構(gòu),這是指在本該系統(tǒng)由FC光纖通道網(wǎng)絡(luò)和LAN以太網(wǎng)絡(luò)兩個(gè)網(wǎng)絡(luò)共同構(gòu)成,其中以太網(wǎng)絡(luò)負(fù)責(zé)工作站與MDC(MetaData Controller)服務(wù)器與工作站之間的元數(shù)據(jù)信息傳輸和交換,F(xiàn)C光纖通道網(wǎng)絡(luò)只負(fù)責(zé)實(shí)際數(shù)據(jù)的高帶寬傳輸。這種網(wǎng)絡(luò)結(jié)構(gòu)可充分利用兩種網(wǎng)絡(luò)的特點(diǎn),發(fā)揮兩個(gè)網(wǎng)絡(luò)的最大效率。
IP-SAN共享存儲(chǔ)系統(tǒng)結(jié)構(gòu)圖:
以iSCSI設(shè)備為核心存儲(chǔ)的IP-SAN采用了與FC-SAN類似的結(jié)構(gòu),典型的ISCSI存儲(chǔ)網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)如下所示:



(圖2)
IP-SAN一般被稱為單網(wǎng)結(jié)構(gòu),是指MDC服務(wù)器與工作站之間的元數(shù)據(jù)和實(shí)際數(shù)據(jù)都是通過以太網(wǎng)絡(luò)來(lái)進(jìn)行傳輸和交換。單網(wǎng)結(jié)構(gòu)具有網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單,可充分利用現(xiàn)在設(shè)備,系統(tǒng)建設(shè)時(shí)對(duì)現(xiàn)在系統(tǒng)修改較小,管理維護(hù)方便等特點(diǎn)。
一、SANergy
SANergy可以理解為一個(gè)文件系統(tǒng)的擴(kuò)展,它能提升嵌入Windows NT、Windows 2000®、Unix和Machintosh操作系統(tǒng)內(nèi) 部的分布式數(shù)據(jù)共享能力。SANergy可以將標(biāo)準(zhǔn)網(wǎng)絡(luò)文件輸入/輸出,由LAN重新指向SAN。普通的網(wǎng)絡(luò)協(xié)議(CIF或NFS)在標(biāo)準(zhǔn)的LAN上建立 連接以共享文件,而數(shù)據(jù)本身通過更高效的SAN以高得多的帶寬傳輸。與SAN連接的存儲(chǔ)介質(zhì)可被格式化成NTFS、UFS或EXT FS格式或支持SANergy open API的任何其它文件系統(tǒng)。
SANergy將標(biāo)準(zhǔn)的Windows NT、Windows 2000、SUN Soloris™或Red Hat Linux® 文件服務(wù)器擴(kuò)展后,充當(dāng)共享式存儲(chǔ)器的元數(shù)據(jù)控制器(MDC)。這個(gè)MDC通過運(yùn)行SANergy客戶端軟件的計(jì)算機(jī),管理對(duì)SAN存儲(chǔ)器的訪問。通過提 供重要的文件系統(tǒng)元數(shù)據(jù),MDC在客戶計(jì)算機(jī)提出請(qǐng)求時(shí),管理對(duì)公用存儲(chǔ)器的訪問。然后,客戶機(jī)可以通過SAN的連接直接訪問該存儲(chǔ)器。
SANergy對(duì)大部分系統(tǒng)服務(wù)或應(yīng)用程序提供透明支持,使用戶能夠通過實(shí)施存儲(chǔ)區(qū)域網(wǎng)絡(luò) (SAN)透明地共享公用存儲(chǔ)器、卷和文件的存取;可以使UNIX®、Windows NT®和 Apple Macintosh系統(tǒng)在卷、文件和字節(jié)級(jí)上跨平臺(tái)共享存儲(chǔ)資源,從而比基于服務(wù)器共享的方式大大增加吞吐量,降低管理費(fèi)。
SANergy不是一個(gè)獨(dú)立的文件系統(tǒng),而只是一個(gè)文件I/O 重定向程序。它截取文件I/O 重定向到MDC 文件系統(tǒng)管理的磁盤,所以它只是一個(gè)SAN 文件系統(tǒng)外殼軟件。MDC對(duì)磁盤及文件系統(tǒng)的管理視主機(jī)平臺(tái)而定,如是Windows就是NTFS、Solaris,就是UFS、Linux就是EXT2等。在異構(gòu)操作系統(tǒng)平臺(tái)之間共享數(shù)據(jù)需要采用NFS 協(xié)議處理,性能表現(xiàn)不佳,實(shí)現(xiàn)可用性不高,不能滿足混合平臺(tái)、大量主機(jī)并發(fā)工作環(huán)境中的性能要求。
工作站以網(wǎng)絡(luò)文件系統(tǒng)方式安裝共享磁盤,而SANergy不是獨(dú)立的文件系統(tǒng),它必須以網(wǎng)絡(luò) 文件系統(tǒng)的形式安裝在主機(jī)上(Windows就是網(wǎng)絡(luò)盤符、UNIX和Linux就是NFS文件系統(tǒng)),那些不能在網(wǎng)絡(luò)文件系統(tǒng)上處理數(shù)據(jù)的應(yīng)用就無(wú)法運(yùn) 行,或運(yùn)行效率和很低。除了MDC 外,所有SANergy主機(jī)都無(wú)法為其他LAN主機(jī)提供數(shù)據(jù)共享,因?yàn)樗旧砭褪蔷W(wǎng)絡(luò)文件系統(tǒng),不能再次共享。
Metadata傳輸占用LAN帶寬高,占用MDC主機(jī)資源多,不能支持大量主機(jī)并發(fā)訪問。 SANergy使用NFS/CIFS文件傳輸協(xié)議傳輸Metadata信息,不僅占用很大的LAN帶寬,而且由于MDC必須運(yùn)行NFS/CIFS服務(wù)器處 理連接,所以消耗資源很大,在高負(fù)載環(huán)境中效率低下依賴其它文件系統(tǒng)技術(shù)處理硬件,在高負(fù)載環(huán)境中數(shù)據(jù)處理性能低下SANergy MDC只有在Windows或AIX環(huán)境下才可以雙機(jī)切換,而且需要機(jī)群軟件支持。如果MDC 主機(jī)是其它UNIX或Linux,就無(wú)切換功能。這個(gè)約束極大降低了SANergy系統(tǒng)的可靠性和可用性。

筆者注:
SANergy軟件安裝和使用簡(jiǎn)單方便,需要 進(jìn)行設(shè)置的參數(shù)項(xiàng)少,任何人只需要進(jìn)行簡(jiǎn)單地培訓(xùn)就可以使用。雖然SANergy軟件的官方價(jià)格仍然很高,但實(shí)際上其它盜版到處都有,不需要注冊(cè)碼且可以 長(zhǎng)期使用,與從官方購(gòu)買到的軟件完全相同。因此對(duì)于一些存儲(chǔ)需要共享但又不想花買正版軟件的人來(lái)講,應(yīng)該是一個(gè)不錯(cuò)的選擇。
然而,經(jīng)本人長(zhǎng)期親自使用后發(fā)現(xiàn), SANergy軟件的穩(wěn)定性和安全不足。雖然官方一直聲稱主機(jī)數(shù)沒有限制,但實(shí)際上當(dāng)網(wǎng)絡(luò)中的主機(jī)數(shù)量到達(dá)100-150時(shí),MDC服務(wù)器性能會(huì)大幅度降 低,經(jīng)常出現(xiàn)一些莫名其妙的問題,可能會(huì)引起數(shù)據(jù)丟失或文件系統(tǒng)損壞,系統(tǒng)運(yùn)行和維護(hù)管理要求嚴(yán)格,必須在對(duì)共享網(wǎng)絡(luò)存儲(chǔ)有深入了解的技術(shù)人員指導(dǎo)下來(lái)進(jìn) 行日常維護(hù)。目前官方已不再對(duì)SANergy的后期開發(fā)和升級(jí),改去開發(fā)新的共享軟件,但不知道還提供SANergy軟件的后期技術(shù)支持。
另外,SANergy軟件在異構(gòu)操作系統(tǒng)平臺(tái)下表現(xiàn)不佳,實(shí)際性能只相當(dāng)于同構(gòu)性的1/4-1/5,這個(gè)性能遠(yuǎn)不能滿足系統(tǒng)正常運(yùn)行的需要。

二、ImageSAN
ImageSAN是Rorke Data公司專門針對(duì)廣電行業(yè)音視頻(AV)SAN網(wǎng)絡(luò)存儲(chǔ)應(yīng)用而研發(fā)的,是Windows NT/2000/XP及Macintosh OSX環(huán)境及混合環(huán)境的SAN解決方案,并提供廣泛的應(yīng)用支持和高適應(yīng)性的容錯(cuò)能力。基于ImageSAN的存儲(chǔ)共享解決方案通過速度、協(xié)作和多任務(wù)提高了視頻、音頻及圖形編輯系統(tǒng)的網(wǎng)絡(luò)化處理能力。
MDC設(shè)置:ImageSAN可以保證卷Master的動(dòng)態(tài)切換,確保高可用性。在對(duì)等網(wǎng) 中,每一臺(tái)主機(jī)都有可能成為卷Master。從成本考慮,用戶根本不必花費(fèi)額外的MDC費(fèi)用。而從安全性等方面考慮,當(dāng)網(wǎng)絡(luò)中主機(jī)數(shù)量大于10時(shí),用戶往 往使用域模式(并不是必須如此,取決于用戶以太網(wǎng)的設(shè)置),單獨(dú)設(shè)置了一臺(tái)域服務(wù)器,ImageSAN就可以指定該服務(wù)器為Master。同類其它產(chǎn)品則 完全依賴MDC,MDC一旦出故障,將導(dǎo)致整個(gè)網(wǎng)絡(luò)癱瘓。
二次共享:在每一臺(tái)ImageSAN工作站上,SAN共享卷都直接顯示為本地硬盤。 由于具有所有本地硬盤的特性,SAN存儲(chǔ)卷可以再映射到以太網(wǎng)以便共享。這樣,SAN以外的以太網(wǎng)工作站也可以訪問SAN中的資料。更重要的是,SAN中 的每一臺(tái)主機(jī)都可以面向以太網(wǎng)共享同一SAN分區(qū)(用戶權(quán)限支持)。整個(gè)網(wǎng)絡(luò)的處理能力分擔(dān)了原來(lái)單臺(tái)服務(wù)器的負(fù)載,大大減小了網(wǎng)絡(luò)癱瘓的可能性。這一點(diǎn) 特別適合無(wú)卡網(wǎng)絡(luò)編輯的要求。
動(dòng)態(tài)高可用冗余標(biāo)準(zhǔn):ImageSAN網(wǎng)絡(luò)中的Master如果出故障,同一網(wǎng)絡(luò)中的工作站 都可以接管成為Master。而且,SAN中的每個(gè)卷都可以單獨(dú)指定自己的Master,也可讓網(wǎng)絡(luò)選舉產(chǎn)生Master,非常靈活。如果通過其他軟件管 理SAN,Master的MDC出故障,就要靠Slave的MDC接管。如果Slave的MDC也出故障,將導(dǎo)致整個(gè)網(wǎng)絡(luò)癱瘓。
筆者注:
ImageSAN軟件在視頻共享網(wǎng)絡(luò)環(huán)境中性能表現(xiàn)良好,但在非視頻共享環(huán)境中表現(xiàn)一般。感覺上ImageSAN實(shí)際使用的案例比較少,特別是大型網(wǎng)絡(luò)系統(tǒng)中很少用到ImageSAN,非視頻共享行業(yè)用戶對(duì)ImageSAN更少聽聞。
三、StorNext
StorNext FS是完全為SAN網(wǎng)絡(luò)環(huán)境設(shè)計(jì)的文件系統(tǒng),不依賴于任何現(xiàn)有操作系統(tǒng)中附帶的、獨(dú)立的、跨平臺(tái)SAN文件系統(tǒng)。
StorNext FS是真正的64位文件系統(tǒng),可以保證管理巨大的磁盤空間和文件數(shù)量,不同類型的主機(jī)可以同時(shí)以FC Direct I/O方式訪問數(shù)據(jù),中間不需要任何協(xié)議轉(zhuǎn)換。因此,StorNext FS 可以充分利用和發(fā)揮SAN 體系結(jié)構(gòu)的所有優(yōu)點(diǎn),完全擺脫現(xiàn)有文件系統(tǒng)產(chǎn)品的結(jié)構(gòu)束縛,特別是在混合平臺(tái)、大量主機(jī)并發(fā)工作環(huán)境中優(yōu)勢(shì)非常突出。采用日志型文件系統(tǒng)的設(shè)計(jì)保證系統(tǒng)的 可靠性、健壯性和快速恢復(fù)能力。
StorNext FS直接通過TCP/IP協(xié)議傳輸Metadata,MDC采用優(yōu)化算法處理Metadata,Metadata傳輸占用LAN帶寬低,占用MDC主機(jī)資 源少,可以支持大量主機(jī)并發(fā)訪問,因此傳輸和處理效率非常高,可以滿足大量主機(jī)在高負(fù)載環(huán)境下并行工作的要求。
StorNext FS具有自己的磁盤邏輯卷管理功能,可以優(yōu)化組合SAN中的磁盤資源,并且可以對(duì)SAN網(wǎng)絡(luò)鏈路進(jìn)行多通道并發(fā)處理、保證帶寬質(zhì)量和實(shí)現(xiàn)負(fù)載均衡。加上 StorNext SM 管理模塊,可以管理多種磁帶庫(kù)和磁帶介質(zhì)具備多種SAN網(wǎng)絡(luò)和磁盤優(yōu)化功能,可充分發(fā)揮硬件性能,在高負(fù)載環(huán)境中數(shù)據(jù)處理性能突出。
StorNext FS的Metadata控制器可以在任何類型的主機(jī)(多達(dá)7 臺(tái))中進(jìn)行切換,因此可以最大限度地保證系統(tǒng)的連續(xù)、可靠運(yùn)行。
由于StorNext FS 是獨(dú)立的文件系統(tǒng),工作站以本地文件系統(tǒng)方式安裝共享磁盤,共享磁盤直接顯示為本地磁盤,可進(jìn)行二次網(wǎng)絡(luò)共享,所有應(yīng)用軟件都可以以本地磁盤和文件系統(tǒng)方式處理StorNext FS 中的數(shù)據(jù)。
具有原始集成的HSM數(shù)據(jù)歸檔、遷移、備份和容災(zāi)功能(StorNext Storage Manager),StorNext FS是符合XDSM數(shù)據(jù)管理標(biāo)準(zhǔn)的文件系統(tǒng),具備內(nèi)置的數(shù)據(jù)遷移、保護(hù)、容災(zāi)等管理模塊 ?C StorNext Storage Manager 實(shí)現(xiàn)跨存儲(chǔ)介質(zhì)的、長(zhǎng)期的數(shù)據(jù)存儲(chǔ)和保護(hù)解決方案。

筆者注:
StorNext軟件是目前最熱門的存儲(chǔ)共享管理軟件,因此軟件價(jià)格也居高不下,當(dāng)網(wǎng)絡(luò)規(guī)模較大時(shí),可能StorNext軟件的購(gòu)置費(fèi)用就會(huì)占用非常大的一部分成本。
StorNext設(shè)置參數(shù)較多,技術(shù)人員要求較高。聽說朋友說StorNext的問題與SANergy相比并不少,且出了問題難以排查。

四、CXFS
CXFS是可擴(kuò)展的日志性群集文件系統(tǒng),具高可擴(kuò)展性。單一文件大小可以達(dá)到九百萬(wàn)TB,文件系統(tǒng)可以達(dá)到1800萬(wàn)TB。動(dòng)態(tài)分配算法使得一個(gè)文件系統(tǒng)可以存儲(chǔ)數(shù)百萬(wàn)個(gè)文件而不浪費(fèi)磁盤空間,單一目錄管理百萬(wàn)個(gè)文件而不影響性能。
CXFS通過使用先進(jìn)的XVM卷管理工具,一個(gè)磁盤卷可以有幾千個(gè)磁盤構(gòu)成,當(dāng)現(xiàn)有磁盤卷容量不能滿足用戶需求時(shí),可以在線增加新的磁盤,確保CXFS能滿足日見增長(zhǎng)的存儲(chǔ)需要。
網(wǎng) 絡(luò)的速度、服務(wù)器的能力和協(xié)議本身都是NFS性能的障礙。NFS協(xié)議是同步操作,每一數(shù)據(jù)塊請(qǐng)求都需要兩次網(wǎng)絡(luò)I/O;CXFS只通過網(wǎng)絡(luò)請(qǐng)求少量的 Metadata信息,大量的數(shù)據(jù)I/O是直接通過讀寫磁盤實(shí)現(xiàn)的。另外CXFS還可以在單一系統(tǒng)I/O路徑使用多塊FC卡增加I/O帶寬。因?yàn)镃XFS 服務(wù)器只在數(shù)據(jù)傳輸之初將文件信息和文件控制權(quán)限賦予CXFS客戶機(jī),而不參與每一次的數(shù)據(jù)傳輸,所以CXFS服務(wù)器并不需要很大即可支持大量的客戶機(jī)。
CXFS被設(shè)計(jì)成能自動(dòng)識(shí)別并恢復(fù)單點(diǎn)失敗,單點(diǎn)失敗包括:主Metadata服務(wù)器失敗、 SAN失敗、TCP/IP網(wǎng)絡(luò)失敗等。在CXFS配置中,一臺(tái)主機(jī)是Metadata服務(wù)器,所有其他主機(jī)都可以設(shè)計(jì)成備份Metadata 服務(wù)器,一個(gè)備份服務(wù)器探測(cè)到主Metadata服務(wù)器失敗后將自動(dòng)變成主Metadata服務(wù)器。

筆者注:
據(jù)官方工程師講,為了有效地利用CXFS文件系統(tǒng),建議除了普通的以太網(wǎng)絡(luò)和SAN網(wǎng)絡(luò)之間,再建立一個(gè)“第三網(wǎng)”,該網(wǎng)絡(luò)只負(fù)責(zé)CXFS管理服務(wù)器和客戶端工作站之間的元數(shù)據(jù)信息和指今的管理和傳輸。
筆者曾在2004年測(cè)試過CXFS文件系統(tǒng), 測(cè)試網(wǎng)絡(luò)采用雙網(wǎng)結(jié)構(gòu),未建立所謂的第三網(wǎng)。測(cè)試發(fā)現(xiàn)以太網(wǎng)的流量會(huì)隨CXFS文件系統(tǒng)使用時(shí)間的延續(xù)而不斷增加,網(wǎng)絡(luò)的效率也會(huì)不斷降低,直至最終網(wǎng)絡(luò) 堵塞。先后共三個(gè)時(shí)間三個(gè)不同網(wǎng)絡(luò)環(huán)境測(cè)試的結(jié)果相同。后聽說官方就此問題進(jìn)行了再次開發(fā)仍然未解決該問題。后來(lái)怎么樣就不是很清楚了。

五、GPFS
通用并行文件系統(tǒng) (General Parallel File System ?C GPFS)將所有的物理資源(包括服務(wù)器和磁盤陣列)都視為虛擬文件系統(tǒng)的對(duì)象,允許使用者共享分布在多個(gè)節(jié)點(diǎn)和多個(gè)磁盤上的文件。它允許并行的應(yīng)用程序 同時(shí)從GPFS 節(jié)點(diǎn)組(nodeset)中的任何節(jié)點(diǎn)訪問相同或不同的文件(節(jié)點(diǎn)組 nodeset 被定義為一組運(yùn)行相同版本GPFS的節(jié)點(diǎn))。
一個(gè)GPFS文件系統(tǒng)可以橫跨在群集內(nèi)的所有主機(jī)上,分布在所有磁盤上。GPFS文件系統(tǒng)在讀寫文件時(shí)采用條帶化技術(shù),將數(shù)據(jù)分成條帶并行寫入到該GPFS下的所有NSD中。在有高速數(shù)據(jù)通道的GPFS配置下,讀寫文件時(shí)可以通過所有主機(jī)的光纖通道訪問所有的磁盤。
GPFS文件系統(tǒng)的設(shè)計(jì)目標(biāo)是使數(shù)據(jù)分布在一個(gè)集群中的所有節(jié)點(diǎn)上,允許應(yīng)用程序通過標(biāo)準(zhǔn)的UNIX文件系統(tǒng)接口來(lái)訪問數(shù)據(jù)。大多數(shù)的UNIX文件系統(tǒng)被設(shè)計(jì)在單一服務(wù)器環(huán)境下使用,在這一環(huán)境下, 增加文件服務(wù)器也不會(huì)提高特定的文件存取的性能。
GPFS通過將I/O分布在多個(gè)硬盤提高性能,通過日志和復(fù)制的方式提高數(shù)據(jù)的可靠性,通過增加節(jié)點(diǎn)和在節(jié)點(diǎn)之間由SP Switch互聯(lián)提高系統(tǒng)的可擴(kuò)展性。
通過將文件分布在多個(gè)節(jié)點(diǎn)和磁盤上,GPFS可以超越單一節(jié)點(diǎn)和單一文件系統(tǒng)的性能極限。文件系統(tǒng)能夠跨越多個(gè)節(jié)點(diǎn)和多組磁盤,這些磁盤可以是使用 SSA 技術(shù)在HACMP群集里面直接地連接到每個(gè)節(jié)點(diǎn)上進(jìn)行物理共享,也可以是由IBM的VSD(Virtual Shared Disk)和SP Switch技術(shù)使經(jīng)過軟件進(jìn)行共享。
GPFS的系統(tǒng)資源可以動(dòng)態(tài)調(diào)整,可以在文件系統(tǒng)掛載情況下添加或者刪除硬盤。當(dāng)處于相對(duì)空閑時(shí),用戶可以在已配置的硬盤上重新均衡文件系統(tǒng)以提高吞吐量?梢栽诓恢匦聠(dòng)GPFS服務(wù)情況下添加新節(jié)點(diǎn)。
GPFS還通過用戶端的數(shù)據(jù)緩存,大的文件頁(yè)的支持 (16 kB- 1024 kB),文件預(yù)讀和延遲寫的功能等技術(shù)提高性能,其性能超過網(wǎng)絡(luò)性文件系統(tǒng) (NFS),分布式文件系統(tǒng)(DFS)和日志文件系統(tǒng) (JFS)。與這些文件系統(tǒng)不同,GPFS文件系統(tǒng)可以通過在群集或SP系統(tǒng)中增加節(jié)點(diǎn)的方式提高性能。
GPFS是一種日志文件系統(tǒng),為不同節(jié)點(diǎn)建立各自獨(dú)立的日志。日志種記錄Metadata的 分布,一旦節(jié)點(diǎn)發(fā)生故障后,可以保證快速恢復(fù)數(shù)據(jù)。GPFS fail-over功能通過規(guī)劃,將數(shù)據(jù)分布到不同failure group內(nèi)達(dá)到高可用性,減少單點(diǎn)故障的影響。為了保證數(shù)據(jù)可用性,GPFS在多個(gè)failure group內(nèi)為每個(gè)數(shù)據(jù)實(shí)例做備份,即使創(chuàng)建文件系統(tǒng)時(shí)沒有要求復(fù)制,GPFS也會(huì)自動(dòng)在不同的failure group內(nèi)復(fù)制恢復(fù)日志。
除了已有的AIX管理文件系統(tǒng)的命令, GPFS還提供簡(jiǎn)化多節(jié)點(diǎn)管理的功能。一個(gè)GPFS多節(jié)點(diǎn)命令能作用于集群中所有的節(jié)點(diǎn),并且可以從群集中的任何節(jié)點(diǎn)上操作。這些命令以現(xiàn)有的AIX文件 系統(tǒng)命令為基礎(chǔ), 并進(jìn)行了擴(kuò)充。GPFS支持X/Open 4.0的文件系統(tǒng)標(biāo)準(zhǔn),大多數(shù)的AIX和 UNIX操作系統(tǒng)的應(yīng)用程序不需要修改,就可以訪問GPFS文件系統(tǒng)上的數(shù)據(jù)。這些特性使得GPFS文件系統(tǒng)可以替代其他的UNIX文件系統(tǒng)。

筆者注:據(jù)朋友說,GPFS目前只能有IBM服務(wù)器和存儲(chǔ)平臺(tái)上正常運(yùn)行,其它的平臺(tái)運(yùn)行效率不佳。未經(jīng)證實(shí),也不知道是否正確。

六、GFS
Global 文件系統(tǒng)(Global File System, GFS)是一個(gè)可擴(kuò)展的分布式文件系統(tǒng),用于大型的、分布式的、對(duì)大量數(shù)據(jù)進(jìn)行訪問的應(yīng)用。每一臺(tái)linux主機(jī)都可以將網(wǎng)絡(luò)共享磁盤看作是本地磁盤,且GFS也以本地文件系統(tǒng)的形式出現(xiàn)。
采用GFS的存儲(chǔ)共享系統(tǒng)由一個(gè)master和大量的chunkserver構(gòu)成。只要資源和可靠性允許,chunkserver和client可以運(yùn)行在同一個(gè)機(jī)器上。
文件被分成固定大小的塊。每個(gè)塊由一個(gè)不變的、全局唯一的64位的chunk-h(huán)andle 標(biāo)識(shí),chunk-h(huán)andle是在塊創(chuàng)建時(shí)由 master分配的。ChunkServer將塊當(dāng)作Linux文件存儲(chǔ)在本地磁盤并可以讀和寫由chunk-h(huán)andle和位區(qū)間指定的數(shù)據(jù)。出于可靠 性考慮,每一個(gè)塊被復(fù)制到多個(gè)chunkserver上。默認(rèn)情況下,保存3個(gè)副本,但這可以由用戶指定。
Master維護(hù)文件系統(tǒng)所以的元數(shù)據(jù)(metadata),包括名字空間、訪問控制信息、 從文件到塊的映射以及塊的當(dāng)前位置。它也控制系統(tǒng)范圍的活動(dòng),如塊租約(lease)管理,孤兒塊的垃圾收集,chunkserver間的塊遷移。 Master定期通過HeartBeat消息與每一個(gè) chunkserver通信,給chunkserver傳遞指令并收集它的狀態(tài)。
與每個(gè)應(yīng)用相聯(lián)的GFS客戶代碼實(shí)現(xiàn)了文件系統(tǒng)的API并與master和chunkserver通信以代表應(yīng)用程序讀和寫數(shù)據(jù)?蛻襞cmaster的交換只限于對(duì)元數(shù)據(jù)(metadata)的操作,所有數(shù)據(jù)方面的通信都直接和chunkserver聯(lián)系。
客戶和chunkserver都不緩存文件數(shù)據(jù)。因?yàn)橛脩艟彺娴囊嫣幬⒑跗湮,這是由于數(shù)據(jù) 太多或工作集太大而無(wú)法緩存。不緩存數(shù)據(jù)簡(jiǎn)化了客戶程序和整個(gè)系統(tǒng),因?yàn)椴槐乜紤]緩存的一致性問題。但用戶緩存元數(shù)據(jù)(metadata)。 Chunkserver也不必緩存文件,因?yàn)閴K時(shí)作為本地文件存儲(chǔ)的。
元數(shù)據(jù)(metadata):master存儲(chǔ)了三種類型的metadata:文件的名字空 間和塊的名字空間,從文件到塊的映射,塊的副本的位置。所有的metadata都放在內(nèi)存中。前兩種類型的metadata通過向操作日志登記修改而保持 不變,操作日志存儲(chǔ)在master的本地磁盤并在幾個(gè)遠(yuǎn)程機(jī)器上留有副本。使用日志使得我們可以很簡(jiǎn)單地、可靠地更新master的狀態(tài),即使在 master崩潰的情況下也不會(huì)有不一致的問題。相反,mater在每次啟動(dòng)以及當(dāng)有 chuankserver加入的時(shí)候詢問每個(gè)chunkserver的所擁有的塊的情況。
以上所論述的都是目前常用的SAN網(wǎng)絡(luò)存儲(chǔ)共享管理軟件,實(shí)際上還有一些不常用或新開發(fā)的存儲(chǔ)共享管理軟件,如SANFS。國(guó)內(nèi)廣電行業(yè)兩大集成商也在開發(fā)自己的存儲(chǔ)共享管理軟件,目前第一個(gè)版本正準(zhǔn)備在一個(gè)大規(guī)模網(wǎng)絡(luò)系統(tǒng)中進(jìn)行測(cè)試。我期待其有良好的測(cè)試結(jié)果。
在本文的編寫過程中,我參考了一些公司官方資料或網(wǎng)友的文章,特些聲明并表示感謝

    相關(guān)評(píng)論

    閱讀本文后您有什么感想? 已有人給出評(píng)價(jià)!

    • 8 喜歡喜歡
    • 3 頂
    • 1 難過難過
    • 5 囧
    • 3 圍觀圍觀
    • 2 無(wú)聊無(wú)聊

    熱門評(píng)論

    最新評(píng)論

    發(fā)表評(píng)論 查看所有評(píng)論(0)

    昵稱:
    表情: 高興 可 汗 我不要 害羞 好 下下下 送花 屎 親親
    字?jǐn)?shù): 0/500 (您的評(píng)論需要經(jīng)過審核才能顯示)