首頁 > 運維 > linux運維 > linux分散式檔案系統有哪些

linux分散式檔案系統有哪些

藏色散人
發布: 2023-03-21 10:20:15
原創
2159 人瀏覽過

linux分散式檔案系統有:1、OpenAFS,是一套開放原始碼的分散式檔案系統;2、MooseFs,是個具備容錯功能的網路分散式檔案統;3、googleFs,是一個可擴展分散式檔案系統等。

linux分散式檔案系統有哪些

本教學操作環境:linux5.9.8系統、Dell G3電腦。

linux分散式檔案系統有哪些?

  • NFS(www.tldp.org/HOWTO/NFS-HOWTO/index.html)

網頁檔案系統是FreeBSD支援的檔案系統中的一種,也被稱為NFS。

NFS允許一個系統在網路上與它人共用目錄和檔案。透過使用NFS, 使用者和程式可以像存取本機檔案一樣存取遠端系統上的檔案。它的好處是:

1、本機工作站使用更少的磁碟空間,因為通常的資料可以存放在一台機器上而且可以透過網路存取。

2、使用者不必在每個網路上機器裡面都有一個home目錄。 home目錄可以被放在NFS伺服器上並且在網路上處處可用。

3、諸如軟驅、CDROM、和ZIP之類的儲存設備可以在網路上面被別的機器使用。可以減少整個網路上的可移動介質設備的數量。

開發語言c/c ,可跨平台運作。

  • OpenAFS(www.openafs.org)

#OpenAFS是一套開放原始碼的分散式檔案系統,允許系統之間通過區域網路和廣域網路來分享檔案和資源。 OpenAFS是圍繞著一組叫做cell的文件伺服器組織的,每個伺服器的標識通常是隱藏在檔案系統中,從AFS客戶機登陸的用戶將分辨不出他們在那個伺服器上運行,因為從用戶的角度上看,他們想在有識別的Unix檔案系統語義的單一系統上運行。

檔案系統內容通常都是跨cell複製,一便一硬碟的失效不會損害OpenAFS客戶機上的運作。 OpenAFS需要高達1GB的大容量客戶機緩存,以允許存取經常使用的檔案。它是一個十分安全的基於kerbero的系統,它使用訪問控制列表(ACL)以便可以進行細粒度的訪問,這不是基於通常的Linux和Unix安全模型。開發協議IBM Public,運行在linux下。

  • MooseFs(derf.homelinux.org)

Moose File System是一個具備容錯功能的網路分散式檔案統,它將數據分佈在網路中的不同伺服器上,MooseFs透過FUSE使之看起來就是一個Unix的檔案系統。但有一點問題,它還是無法解決單點故障的問題。開發語言perl,可跨平台操作。

  • pNFS(www.pnfs.com)

網路檔案系統(Network FileSystem,NFS)是大多數區域網路(LAN)的重​​要的組成部分。但NFS不適用於高效能運算中苛刻的輸入書櫥密集型程序,至少以前是這樣。 NFS標準的罪行修改納入了Parallel NFS(pNFS),它是檔案共享的平行實現,將傳輸速率提高了幾個數量級。

開發語言c/c ,運行在linux下。

  • googleFs

據說是一個比較不錯的一個可擴展分散式檔案系統,用於大型的,分散式的,對大量資料進行存取的應用。它運行於廉價的普通硬體上,但可以提供容錯功能,它可以給大量的用戶提供效能較高的服務。 google自己開發的。

相關拓展:

##常用的分散式檔案系統有:GFS、TFS、HDFS、MooseFs、FastDfs、MogileFs、GridFs、MinIO、SeaweedFS、GlusterFS、Ceph 、GlusterFS等。

常見分散式檔案系統比對

1、GFS(Google File System)

Google公司為滿足公司需求而開發的基於Linux的可擴展的分散式檔案系統,用於大型的、分散式的、對大數據進行存取和應用,成本低,應用於廉價的普通硬體上,但不開源,暫不考慮。

2、TFS(Taobao File System)
阿里巴巴為滿足了淘寶對小文件存儲的需求而開發的一個可擴展、高可用、高性能、面向互聯網服務、開源的分佈式文件系統,主要針對海量的非結構化數據,它構築在普通的Linux機器叢集上,可為外部提供高可靠和高並發的儲存存取。 TFS為淘寶提供海量小文件存儲,通常文件大小不超過1M,這個也暫不考慮。

3、HDFS(Hadoop Distributed File System)
Hadoop分散式檔案系統,適合運行在通用硬體上做分散式儲存和運算,因為它具有高容錯性和可擴展性的特點,可部署在廉價的機器上,適合大數據的處理,在離線批量處理大數據上有先天的優勢。
Hadoop是Apache Lucene創始人Doug Cutting開發的使用廣泛的文本搜尋庫。它起源於Apache Nutch,後者是一個開源的網路搜尋引擎,本身也是Luene專案的一部分。 Aapche Hadoop架構是MapReduce演算法的開源應用,也是Google開創其帝國的重要基石。

4、MooseFS
MooseFS 是來自波蘭的開源且具備冗餘容錯功能的分散式POSIX 檔案系統,也是參考了GFS 的架構,實現了絕大部分POSIX 語義和API,它支持透過FUSE方式將檔案掛載操作,同時其提供的web管理介面非常方便查看目前的檔案儲存狀態,對master伺服器有單點依賴,用perl編寫,用於中、大型檔案應用,但效能相對較差,由於可能會即時存取所以暫不考慮。
備註:POSIX表示可移植作業系統介面(Portable Operating System Interface of UNIX,縮寫為 POSIX ),POSIX標準定義了作業系統應該為應用程式提供的介面標準

5、FastDFS
由淘寶的餘慶先生所開發的一個開源分散式檔案系統。它對文件進行管理,功能包括:文件儲存、文件同步、文件存取(文件上傳、文件下載)等,解決了大容量儲存和負載平衡的問題。適合以文件為載體的線上服務,如相簿網站、影片網站等等。 FastDFS為網路量身定制,充分考慮了冗餘備份、負載平衡、線性擴容等機制,並專注於高可用、高效能等指標,使用FastDFS搭建一套高效能的檔案伺服器叢集提供檔案上傳、下載等服務。但是FastDFS部署有點麻煩,而且它的SKD是不全的。

6、MogileFS
MogileFS是一套高效能開源的檔案自動備份元件,由Six Apart開發,廣泛應用在包括LiveJournal等web2.0網站上。支援多節點冗餘,可實現自動的檔案複製。不需要RAID,應用層可以直接實現RAID,不共享任何東西,透過叢集介面提供服務工作於應用層,沒有特殊的元件要求。使用HTTP方式通訊。

國內所知道的使用MogileFS 的公司有圖片託管網站yupoo又拍,digg, 土豆, 豆瓣,1 號店, 大眾點評,搜狗,安居客等等網站.基本很多網站容量,圖片都超過30T 以上。

7、GridFS
MongoDB是一種知名的NoSql資料庫,GridFS是MongoDB的一個內建功能,它用於儲存和恢復那些超過16M(BSON檔案限制)的檔案(如:圖片、音訊、視訊等),是檔案儲存的一種方式,但是它是儲存在MonoDB的集合中。它可以直接利用已建立的複製或分片機制,所以對於檔案儲存來說故障復原和擴充都很容易,且GridFS不產生磁碟碎片。

8、MinIO
MinIO 是基於Apache License v2.0開源協定的物件儲存服務。它相容於亞馬遜S3雲端儲存服務接口,非常適合用於儲存大容量非結構化的數據,例如圖片、視訊、日誌檔案、備份數據和容器/虛擬機鏡像等,而一個物件檔案可以是任意大小,從幾kb到最大5T不等。它也是一個非常輕的服務,可以很簡單的和其他應用的結合。 MinIO的特色在於簡單、輕量級,對開發者友好,學習成本低,安裝運維簡單,開箱即用。

9、SeaweedFS
SeaweedFS是基於go語言開發高度可擴展開源的分散式儲存系統,能儲存數十億檔案(最後受制於你的硬碟大小)、而且速度快,記憶體佔用小。上手使用比fastDFS簡單很多,自備Rest API。對於中小型檔案效率非常高,但是單一磁碟區最大容量被程式限製到30G,建議儲存檔案以100MB以內為主。

10、Ceph
Ceph是Red Hat旗下一個成熟的分散式檔案系統,而且還是一個有企業級功能的物件儲存生態環境。該系統具備高效能、高可用性、高可擴充性、即時儲存性等特點。雖然ceph很強大,但學習成本高、安裝運作複雜。 Ceph以C 編寫,儲存容量可輕鬆達到PB等級。

11、GlusterFS
GlusterFS 是由美國的Gluster 公司開發的POSIX 分散式檔案系統(以GPL 開源),它主要應用在叢集系統中,具有高擴展性、高可用性、高效能、可橫向擴充等特點,且沒有元資料伺服器的設計,讓整個服務沒有單點故障的隱患。該系統主要是為中大型檔案設計的,儲存容量可輕鬆達到PB。它有擴容縮容影響伺服器較多、遍歷目錄下檔案耗時、小檔案效能較差的缺點。

相關推薦:《Linux影片教學

以上是linux分散式檔案系統有哪些的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板