當前位置:首頁 » 服務存儲 » 文件分布式存儲文件存儲
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

文件分布式存儲文件存儲

發布時間: 2022-02-28 04:35:16

① 塊存儲、文件存儲、對象存儲這三者的本質差別是什麼

一、概念及區別

針對不同的應用場景,選擇的分布式存儲方案也會不同,因此有了對象存儲、塊存儲、文件系統存儲。這三者的主要區別在於它們的存儲介面:

1. 對象存儲:

也就是通常意義的鍵值存儲,其介面就是簡單的GET,PUT,DEL和其他擴展,

2. 塊存儲:

這種介面通常以QEMU Driver或者Kernel Mole的方式存在,這種介面需要實現Linux的BlockDevice的介面或者QEMU提供的BlockDriver介面,如Sheepdog,AWS的EBS,青雲的雲硬碟和阿里雲的盤古系統,還有Ceph的RBD(RBD是Ceph面向塊存儲的介面)

3. 文件存儲:

通常意義是支持POSIX介面,它跟傳統的文件系統如Ext4是一個類型的,但區別在於分布式存儲提供了並行化的能力,如Ceph的CephFS(CephFS是Ceph面向文件存儲的介面),但是有時候又會把GFS,HDFS這種非POSIX介面的類文件存儲介面歸入此類。

二、IO特點

按照這三種介面和其應用場景,很容易了解這三種類型的IO特點,括弧里代表了它在非分布式情況下的對應:1. 對象存儲(鍵值資料庫):

介面簡單,一個對象我們可以看成一個文件,只能全寫全讀,通常以大文件為主,要求足夠的IO帶寬。

2. 塊存儲(硬碟):

它的IO特點與傳統的硬碟是一致的,一個硬碟應該是能面向通用需求的,即能應付大文件讀寫,也能處理好小文件讀寫。但是硬碟的特點是容量大,熱點明顯。因此塊存儲主要可以應付熱點問題。另外,塊存儲要求的延遲是最低的。

3. 文件存儲(文件系統):

支持文件存儲的介面的系統設計跟傳統本地文件系統如Ext4這種的特點和難點是一致的,它比塊存儲具有更豐富的介面,需要考慮目錄、文件屬性等支持,實現一個支持並行化的文件存儲應該是最困難的。但像HDFS、GFS這種自己定義標準的系統,可以通過根據實現來定義介面,會容易一點。

因此,這三種介面分別以非分布式情況下的鍵值資料庫、硬碟和文件系統的IO特點來對應即可。至於冷熱、快慢、大小文件而言更接近於業務。但是因為存儲系統是通用化實現,通常來說,需要盡量滿足各種需求,而介面定義已經一定意義上就砍去了一些需求,如對象存儲會以冷存儲更多,大文件為主。

② 分布式存儲是什麼東西

關於分布式存儲實際上並沒有一個明確的定義,甚至名稱上也沒有一個統一的說法,大多數情況下稱作 Distributed Data Store 或者 Distributed Storage System。
其中維基網路中給 Distributed data store 的定義是:分布式存儲是一種計算機網路,它通常以數據復制的方式將信息存儲在多個節點中。
在網路中給出的定義是:分布式存儲系統,是將數據分散存儲在多台獨立的設備上。分布式網路存儲系統採用可擴展的系統結構,利用多台存儲伺服器分擔存儲負荷,利用位置伺服器定位存儲信息,它不但提高了系統的可靠性、可用性和存取效率,還易於擴展。
盡管各方對分布式存儲的定義並不完全相同,但有一點是統一的,就是分布式存儲將數據分散放置在多個節點中,節點通過網路互連提供存儲服務。這一點與傳統集中式存儲將數據集中放置的方式有著明顯的區分。

③ 分布式存儲與軟體定義存儲的區別

什麼是分布式存儲

關於分布式存儲實際上並沒有一個明確的定義,甚至名稱上也沒有一個統一的說法,大多數情況下稱作 Distributed Data Store 或者 Distributed Storage System。

其中維基網路中給 Distributed data store 的定義是:分布式存儲是一種計算機網路,它通常以數據復制的方式將信息存儲在多個節點中。

在網路中給出的定義是:分布式存儲系統,是將數據分散存儲在多台獨立的設備上。分布式網路存儲系統採用可擴展的系統結構,利用多台存儲伺服器分擔存儲負荷,利用位置伺服器定位存儲信息,它不但提高了系統的可靠性、可用性和存取效率,還易於擴展。

盡管各方對分布式存儲的定義並不完全相同,但有一點是統一的,就是分布式存儲將數據分散放置在多個節點中,節點通過網路互連提供存儲服務。這一點與傳統集中式存儲將數據集中放置的方式有著明顯的區分。

什麼是軟體定義存儲

SDS 的全稱是 Software Defined Storage ,字面意思直譯就是軟體定義存儲。關於 SDS 的定義可以參考全球網路存儲工業協會(Storage Networking Instry Association,SNIA),SNIA 在 2013 正式把 軟體定義存儲(SDS) 列入研究對象。

SNIA 對軟體定義存儲(SDS) 的定義是:一種具備服務管理介面的虛擬化存儲。 SDS 包括存儲池化的功能,並可通過服務管理介面定義存儲池的數據服務特徵。另外 SNIA 還提出 軟體定義存儲(SDS) 應該具備以下特性:

  • 自動化程度高 – 通過簡化管理,降低存儲基礎架構的運維開銷

  • 標准介面 – 支持 API 管理、發布和運維存儲設備和服務

  • 虛擬化數據路徑 – 支持多種標准協議,允許應用通過塊存儲,文件存儲或者對象存儲介面寫入數據

  • 擴展性 – 存儲架構具備無縫擴展規模的能力,擴展過程不影響可用性以及不會導致性能下降

  • 透明度 – 存儲應為用戶提供管理和監控存儲的可用資源與開銷

分布式存儲與軟體定義存儲的區別與聯系

軟體定義存儲(SDS) 的著重點在於存儲資源虛擬化和軟體定義,首先在形態上,軟體定義存儲(SDS)區別於傳統的「硬體定義」存儲,它不依賴專屬的硬體,可以讓存儲軟體運行在通用伺服器上,可避免硬體綁定以及有效降低硬體采購成本;擁有標准 API 介面和自動化工具,有效降低運維難度。存儲資源虛擬化,支持多種存儲協議,可整合企業存儲資源,提升存儲資源利用率。但從定義上來說,但 軟體定義存儲(SDS) 從部署形式上來看,並不一定是分布式或者是集中式的,也就是說 SDS 不一定是分布式存儲(雖然常見的 軟體定義存儲(SDS) 更多的是分布式的),SDS 存儲內部有可能是單機運行的,不通過網路分散存放數據的,這種形式的軟體定義存儲(SDS) 的擴展性就可能有比較大的局限。

分布式存儲,它的最大特點是多節點部署, 數據通過網路分散放置。分布式存儲的特點是擴展性強,通過多節點平衡負載,提高存儲系統的可靠性與可用性。與 軟體定義存儲(SDS)相反,分布式存儲不一定是軟體定義的,有可能是綁定硬體的,例如 IBM XIV 存儲,它本質上是一個分布式存儲,但實際是通過專用硬體進行交付的。那麼就依然存在硬體綁定,擁有成本較高的問題。

④ 各位使用的分布式文件存儲,有哪些產品使用體驗更好一些

我覺得XSKY星辰天合的XGFS文件存儲軟體不錯,這個軟體只需要三個全快閃記憶體元數據高可用節點,就可以高效保存和處理 100 億文件規模的數據。可以靈活擴展,滿足公司不斷增長的業務對性能和容量的需求。

⑤ 對象存儲、文件存儲和塊存儲有什麼區別

對象存儲、文件存儲和塊存儲區別為:存儲設備不同、特點不同、缺點不同。

一、存儲設備不同

1、對象存儲:對象存儲的對應存儲設備為swift,鍵值存儲。

2、文件存儲:文件存儲的對應存儲設備為FTP、NFS伺服器。

3、塊存儲:塊存儲的對應存儲設備為cinder,硬碟。

二、特點不同

1、對象存儲:對象存儲的特點是具備塊存儲的高速以及文件存儲的共享等特性。

2、文件存儲:文件存儲的特點是一個大文件夾,大家都可以獲取文件。

3、塊存儲:塊存儲的特點是分區、格式化後,可以使用,與平常主機內置硬碟的方式完全無異。

三、缺點不同

1、對象存儲:對象存儲的缺點是不兼容多種模式並行。

2、文件存儲:文件存儲的缺點是傳輸速率低。

3、塊存儲:塊存儲的缺點是不能共享數據。

⑥ 對象存儲、文件存儲和塊存儲的區別是什麼

對象存儲、文件存儲和塊存儲的區別如下:

1、速度不同

塊存儲:低延遲(10ms),熱點突出;

文件存儲:不同技術各有不同;

對象存儲:100ms-1s,冷數據;

2、可分步性不同

塊存儲:異地不現實;

文件存儲:可分布式,但有瓶頸;

對象存儲:分步並發能力高;

3、文件大小不同

塊存儲:大小都可以,熱點突出;

文件存儲:適合大文件;

對象存儲:適合各種大小;

4、介面不同

塊存儲:Driver,kernel mole ;

文件存儲:POSIX;

對象存儲:Restful API ;

5、典型技術不同

塊存儲:SAN;

文件存儲: HDFS,GFS;

對象存儲:Swift,Amazon S3;

6、適合場景不同

塊存儲:銀行;

文件存儲:數據中心;

對象存儲:網路媒體文件存儲。

(6)文件分布式存儲文件存儲擴展閱讀:

對象存儲、文件存儲和塊存儲的聯系:

通常來講,磁碟陣列都是基於Block塊的存儲,而所有的NAS產品都是文件級存儲。

1. 塊存儲:DAS SAN

a) DAS(Direct Attach Storage): 是直接連接於主機伺服器的一種存儲方式,每台伺服器有獨立的存儲設備,每台主機伺服器的存儲設備無法互通,需要跨主機存取資料室,必須經過相對復雜的設定,若主機分屬不同的操作系統,則更復雜。

應用:單一網路環境下且數據交換量不大,性能要求不高的環境,技術實現較早。

b) SAN(Storage Area Network): 是一種高速(光纖)網路聯接專業主機伺服器的一種存儲方式,此系統會位於主機群的後端,它使用高速I/O聯接方式,如:SCSI,ESCON及Fibre-Channels.特點是,代價高、性能好。但是由於SAN系統的價格較高,且可擴展性較差,已不能滿足成千上萬個CPU規模的系統。

應用:對網速要求高、對數據可靠性和安全性要求高、對數據共享的性能要求高的應用環境中。

2. 文件存儲

通常NAS產品都是文件級存儲。

NAS(Network Attached Storage):是一套網路存儲設備,通常直接連在網路上並提供資料存取服務,一套NAS儲存設備就如同一個提供數據文件服務的系統,特點是性價比高。

它採用NFS或CIFS命令集訪問數據,以文件為傳輸協議,可擴展性好、價格便宜、用戶易管理。目前在集群計算中應用較多的NFS文件系統,但由於NAS的協議開銷高、帶寬低、延遲大,不利於在高性能集群中應用。

3. 對象存儲:

總體上講,對象存儲同時兼具SAN高級直接訪問磁碟特點及NAS的分布式共享特點。

核心是將數據通路(數據讀或寫)和控制通路(元數據)分離,並且基於對象存儲設備(OSD),構建存儲系統,每個對象存儲設備具備一定的職能,能夠自動管理其上的數據分布。

對象儲存結構組成部分(對象、對象存儲設備、元數據伺服器、對象存儲系統的客戶端)

⑦ 如何實現不同地區文件分布式存儲

一種方案是:架設Hadoop集群作為雲存儲,類似網路雲盤。Hadoop集群的每個節點要麼在公網要麼在內網,如果公網和內網混合就需要用四層交換機把每個節點的埠映射出來。其他的方案可以參考這種模式。

⑧ 分布式文件/對象存儲系統

分布式存儲系統面向海量數據的存儲訪問與共享需求,提供基於多存儲節點的高性能,高可靠和可伸縮性的數據存儲和訪問能力,實現分布式存儲節點上多用戶的訪問共享。 目前業界比較流行的分布式存儲系統如下:HDFS、OpenStack Swift、Ceph、GlusterFS、Lustre、AFS、OSS。

⑨ 在大數量級的數據存儲上,比較靠譜的分布式文件存儲有哪些

一、 Ceph

Ceph最早起源於Sage就讀博士期間的工作、成果於2004年發表,並隨後貢獻給開源社區。經過多年的發展之後,已得到眾多雲計算和存儲廠商的支持,成為應用最廣泛的開源分布式存儲平台。
二、 GFS

GFS是google的分布式文件存儲系統,是專為存儲海量搜索數據而設計的,2003年提出,是閉源的分布式文件系統。適用於大量的順序讀取和順序追加,如大文件的讀寫。注重大文件的持續穩定帶寬,而不是單次讀寫的延遲。
三、 HDFS

HDFS(Hadoop Distributed File System),是一個適合運行在通用硬體(commodity hardware)上的分布式文件系統,是Hadoop的核心子項目,是基於流數據模式訪問和處理超大文件的需求而開發的。該系統仿效了谷歌文件系統(GFS),是GFS的一個簡化和開源版本。

⑩ 對象存儲、塊存儲、文件存儲分別是什麼有什麼區別

你可以把塊理解成整個硬碟,文件理解成硬碟中的文件,對象理解成很多台伺服器中的很多塊硬碟。