Alluxio分布式存儲系統(tǒng)

Alluxio分布式存儲系統(tǒng)是一款非常便捷好用的數(shù)據(jù)庫框架，它結(jié)合了傳統(tǒng)數(shù)據(jù)庫分類齊全的優(yōu)點，又吸收了大數(shù)據(jù)存儲的優(yōu)勢，給用戶非常良好的使用體驗。讓用戶在更少的選擇中進(jìn)行更多的數(shù)據(jù)信息操作！

應(yīng)用簡介：

Alluxio發(fā)布了，Alluxio是一個高容錯的分布式文件系統(tǒng)，允許文件以內(nèi)存的速度在集群框架中進(jìn)行可靠的共享，類似Spark和 MapReduce。通過利用lineage信息，積極地使用內(nèi)存，Alluxio的吞吐量要比HDFS高300多倍。Alluxio都是在內(nèi)存中處理緩 存文件，并且讓不同的 Jobs/Queries以及框架都能內(nèi)存的速度來訪問緩存文件。

應(yīng)用產(chǎn)品特性：

Alluxio居于傳統(tǒng)大數(shù)據(jù)存儲和大數(shù)據(jù)計算框架(如Spark，Hadoop Mapreduce)之間；

在大數(shù)據(jù)領(lǐng)域，最底層的是分布式文件系統(tǒng)，如Amazon S3、Apache HDFS等，而較高層的應(yīng)用則是一些分布式計算框架，如Spark、MapReduce、Hbase、Flink等。

關(guān)于Alluxio：

與其他諸如HDFS、HBase、Spark等大數(shù)據(jù)相關(guān)框架一致，Alluxio也是一個主從結(jié)構(gòu)的系統(tǒng)。它的主節(jié)點為Master，負(fù)責(zé)管理全局的文件系統(tǒng)元數(shù)據(jù)，比如文件系統(tǒng)樹等，而從節(jié)點為Worker，負(fù)責(zé)管理本節(jié)點數(shù)據(jù)存儲服務(wù)。另外，Alluxio還有一個組件為Client，為用戶提供統(tǒng)一的文件存取服務(wù)接口。當(dāng)應(yīng)用程序需要訪問Alluxio時，通過客戶端先與主節(jié)點Master通訊，或許對應(yīng)文件的元數(shù)據(jù)，然后再和對應(yīng)Worker節(jié)點通訊，進(jìn)行實際的文件存取操作。所有的Worker會周期性地發(fā)送心跳給Master，維護(hù)文件系統(tǒng)元數(shù)據(jù)信息和確保自己被Master感知扔在集群中正常提供服務(wù)，而Master不會主動發(fā)起與其他組件的通信，它只是以回復(fù)請求的方式與其他組件進(jìn)行通信。這與HDFS、HBase等分布式系統(tǒng)設(shè)計模式是一致的。

相關(guān)視頻：