當前位置:首頁 » 服務存儲 » 對象存儲元數據目錄
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

對象存儲元數據目錄

發布時間: 2022-01-29 00:05:24

Ⅰ 什麼是對象存儲

對象存儲是用來描述解決和處理離散單元的方法的通用術語。對象在一個層結構中不會再有層級結構,是以擴展元數據為特徵的。
對象存儲,也叫做基於對象的存儲,是用來描述解決和處理離散單元的方法的通用術語,這些離散單元被稱作為對象。
就像文件一樣,對象包含數據,但是和文件不同的是,對象在一個層結構中不會再有層級結構。每個對象都在一個被稱作存儲池的扁平地址空間的同一級別里,一個對象不會屬於另一個對象的下一級。
文件和對象都有與它們所包含的數據相關的元數據,但是對象是以擴展元數據為特徵的。每個對象都被分配一個唯一的標識符,允許一個伺服器或者最終用戶來檢索對象,而不必知道數據的物理地址。這種方法對於在雲計算環境中自動化和簡化數據存儲有幫助。
對象存儲經常被比作在一家高級餐廳代客停車。當一個顧客需要代客停車時,他就把鑰匙交給別人,換來一張收據。這個顧客不用知道他的車被停在哪,也不用知道在他用餐時服務員會把他的車移動多少次。在這個比喻中,一個存儲對象的唯一標識符就代表顧客的收據。
由於對象存儲將遍布於很多節點且最新的數據並非總是可用,這將成為對象存儲最終一致性的問題。
所有的數據存儲都涉及到簡稱為cap的三個元素:一致性、可用性和分區。
如果只是執行了寫操作從而改變了一個對象,但有人正在從另外的節點訪問這個對象。節點可能會在不同的物理位置,因為對象存儲支持很大的地理擴展。新用戶可能正在讀取對象,但那是舊版本。這就是對象存儲的最終一致性問題,此時並沒有及時的同步。
這將成為問題,特別是利用對象存儲做協同的時候,廠商為保證對象存儲的一致性做了很好的工作,像是joyent以及他的manta
存儲服務,一旦對象更改將不支持讀取舊的內容。你必須等待,但你所讀取的內容會是一致的。

Ⅱ 對象存儲、塊存儲、文件存儲分別是什麼有什麼區別

你可以把塊理解成整個硬碟,文件理解成硬碟中的文件,對象理解成很多台伺服器中的很多塊硬碟。

Ⅲ 對象存儲、文件存儲和塊存儲的區別是什麼

對象存儲、文件存儲和塊存儲的區別如下:

1、速度不同

塊存儲:低延遲(10ms),熱點突出;

文件存儲:不同技術各有不同;

對象存儲:100ms-1s,冷數據;

2、可分步性不同

塊存儲:異地不現實;

文件存儲:可分布式,但有瓶頸;

對象存儲:分步並發能力高;

3、文件大小不同

塊存儲:大小都可以,熱點突出;

文件存儲:適合大文件;

對象存儲:適合各種大小;

4、介面不同

塊存儲:Driver,kernel mole ;

文件存儲:POSIX;

對象存儲:Restful API ;

5、典型技術不同

塊存儲:SAN;

文件存儲: HDFS,GFS;

對象存儲:Swift,Amazon S3;

6、適合場景不同

塊存儲:銀行;

文件存儲:數據中心;

對象存儲:網路媒體文件存儲。

(3)對象存儲元數據目錄擴展閱讀:

對象存儲、文件存儲和塊存儲的聯系:

通常來講,磁碟陣列都是基於Block塊的存儲,而所有的NAS產品都是文件級存儲。

1. 塊存儲:DAS SAN

a) DAS(Direct Attach Storage): 是直接連接於主機伺服器的一種存儲方式,每台伺服器有獨立的存儲設備,每台主機伺服器的存儲設備無法互通,需要跨主機存取資料室,必須經過相對復雜的設定,若主機分屬不同的操作系統,則更復雜。

應用:單一網路環境下且數據交換量不大,性能要求不高的環境,技術實現較早。

b) SAN(Storage Area Network): 是一種高速(光纖)網路聯接專業主機伺服器的一種存儲方式,此系統會位於主機群的後端,它使用高速I/O聯接方式,如:SCSI,ESCON及Fibre-Channels.特點是,代價高、性能好。但是由於SAN系統的價格較高,且可擴展性較差,已不能滿足成千上萬個CPU規模的系統。

應用:對網速要求高、對數據可靠性和安全性要求高、對數據共享的性能要求高的應用環境中。

2. 文件存儲

通常NAS產品都是文件級存儲。

NAS(Network Attached Storage):是一套網路存儲設備,通常直接連在網路上並提供資料存取服務,一套NAS儲存設備就如同一個提供數據文件服務的系統,特點是性價比高。

它採用NFS或CIFS命令集訪問數據,以文件為傳輸協議,可擴展性好、價格便宜、用戶易管理。目前在集群計算中應用較多的NFS文件系統,但由於NAS的協議開銷高、帶寬低、延遲大,不利於在高性能集群中應用。

3. 對象存儲:

總體上講,對象存儲同時兼具SAN高級直接訪問磁碟特點及NAS的分布式共享特點。

核心是將數據通路(數據讀或寫)和控制通路(元數據)分離,並且基於對象存儲設備(OSD),構建存儲系統,每個對象存儲設備具備一定的職能,能夠自動管理其上的數據分布。

對象儲存結構組成部分(對象、對象存儲設備、元數據伺服器、對象存儲系統的客戶端)

Ⅳ 塊儲存,對象存儲,文件存儲的區別和聯系

通常來講,磁碟陣列都是基於Block塊的存儲,而所有的NAS產品都是文件級存儲。
1. 塊存儲:DAS SAN
a) DAS(Direct Attach Storage): 是直接連接於主機伺服器的一種存儲方式,每台伺服器有獨立的存儲設備,每台主機伺服器的存儲設備無法互通,需要跨主機存取資料室,必須經過相對復雜的設定,若主機分屬不同的操作系統,則更復雜。
應用:單一網路環境下且數據交換量不大,性能要求不高的環境,技術實現較早。
b) SAN(Storage Area Network): 是一種高速(光纖)網路聯接專業主機伺服器的一種存儲方式,此系統會位於主機群的後端,它使用高速I/O聯接方式,如:SCSI,ESCON及Fibre-Channels.特點是,代價高、性能好。但是由於SAN系統的價格較高,且可擴展性較差,已不能滿足成千上萬個CPU規模的系統。
應用:對網速要求高、對數據可靠性和安全性要求高、對數據共享的性能要求高的應用環境中。

2. 文件存儲
通常NAS產品都是文件級存儲。
NAS(Network Attached Storage):是一套網路存儲設備,通常直接連在網路上並提供資料存取服務,一套NAS儲存設備就如同一個提供數據文件服務的系統,特點是性價比高。
它採用NFS或CIFS命令集訪問數據,以文件為傳輸協議,可擴展性好、價格便宜、用戶易管理。目前在集群計算中應用較多的NFS文件系統,但由於NAS的協議開銷高、帶寬低、延遲大,不利於在高性能集群中應用。

3. 對象存儲:
總體上講,對象存儲同時兼具SAN高級直接訪問磁碟特點及NAS的分布式共享特點。
核心是將數據通路(數據讀或寫)和控制通路(元數據)分離,並且基於對象存儲設備(OSD),構建存儲系統,每個對象存儲設備具備一定的職能,能夠自動管理其上的數據分布。
對象儲存結構組成部分(對象、對象存儲設備、元數據伺服器、對象存儲系統的客戶端)
3.1 對象
一個對象實際就是文件的數據和一組屬性信息的組合。
3.2 對象存儲設備(OSD)
OSD具有一定的智能,它有自己的CPU、內存、網路和磁碟系統。
OSD提供三個主要功能:包括數據存儲和安全訪問
(1)數據存儲 (2)智能分布 (3)每個對象元數據的管理
3.3 元數據伺服器(Metadata Server , MDS)
MDS控制Client與OSD對象的交互,主要提供以下幾個功能:
(1) 對象存儲訪問
允許Client直接訪問對象,OSD接收到請求時先驗證該能力,再訪問。
(2) 文件和目錄訪問管理
MDS在存儲系統上構建一個文件結構,限額控制、包括目錄、文件的創建、訪問控制等
(3) Client Cache 一致性
為提高性能,在對象存儲系統設計時通常支持Client的Cache。因此帶來了Cache一致性的問題,當Cache文件發生改變時,將通知Client刷新Cache,以防Cache不一致引發的問題。
對象存儲:
一個文件包含了屬性(術語叫matadata元數據,例如該文件的大小、修改時間、存儲路徑等)以及內容(簡稱數據)。
以往的文件系統,存儲過程將文件按文件系統的最小塊來打散,再寫進硬碟,過程中沒有區分元數據(metadata)和數據。而在每個塊最後才會告知下一個塊的地址,因此只能一個一個讀,速度慢。
而對象存儲則將元數據獨立出來,控制節點叫元數據伺服器(伺服器+對象存儲管理軟體),裡面主要存儲對象的屬性(主要是對象的數據被打散存放到了那幾台分布式伺服器中的信息),而其他負責存儲數據的分布式伺服器叫做OSD,主要負責存儲文件的數據部分。當用戶訪問對象時,會先訪問元數據伺服器,元數據伺服器只負責反饋對象存儲在那些OSD。假設反饋文件A存儲在B,C,D三台OSD,那麼用戶就會再次訪問三台OSD伺服器去讀取數據。
這時三台OSD同時對外傳輸數據,因此傳輸的速度就加快了。OSD伺服器數量越多,這種讀寫速度的提升就越大。
另一方面,對象存儲軟體有專門的文件系統,所以OSD對外又相當於文件伺服器,那麼就不存在文件共享方面的困難了,也解決了文件共享方面的問題。
因此對象存儲的出現,很好的結合了塊存儲與文件存儲的優點。

為什麼還要使用塊存儲和文件存儲:
1.有一類應用是需要存儲直接裸盤映射的,比如資料庫。因為資料庫需要存儲裸盤映射給自己後,再根據自己的資料庫文件系統來對了裸盤進行格式化,因此不能採用其他已經被格式化為某種文件系統的存儲。此類更適合塊存儲。
2.對象存儲的成本比普通的文件存儲還是較高,需要購買專門的對象存儲軟體以及大容量硬碟。如果對數據量要求不是海量,只是為了作文件共享的時候,直接用文件存儲的形式就好了,性價比高。

Ⅳ 對象存儲、文件存儲和塊存儲有什麼區別

對象存儲、文件存儲和塊存儲區別為:存儲設備不同、特點不同、缺點不同。

一、存儲設備不同

1、對象存儲:對象存儲的對應存儲設備為swift,鍵值存儲。

2、文件存儲:文件存儲的對應存儲設備為FTP、NFS伺服器。

3、塊存儲:塊存儲的對應存儲設備為cinder,硬碟。

二、特點不同

1、對象存儲:對象存儲的特點是具備塊存儲的高速以及文件存儲的共享等特性。

2、文件存儲:文件存儲的特點是一個大文件夾,大家都可以獲取文件。

3、塊存儲:塊存儲的特點是分區、格式化後,可以使用,與平常主機內置硬碟的方式完全無異。

三、缺點不同

1、對象存儲:對象存儲的缺點是不兼容多種模式並行。

2、文件存儲:文件存儲的缺點是傳輸速率低。

3、塊存儲:塊存儲的缺點是不能共享數據。

Ⅵ 對象存儲是什麼對象存儲的基本定義

對象存儲是一種將數據作為對象進行管理的計算機數據存儲體系結構,與其他存儲體系結構(例如將數據作為文件層級管理的文件系統)以及將數據作為塊和扇區內的塊進行管理的塊存儲相對。每個對象通常包括數據本身,可變數量的元數據和全局獨立標識符。

對象存儲可以在多個級別實現,包括設備級別(對象存儲設備),系統級別和介面級別。在每種情況下,對象存儲都試圖實現其他存儲架構無法解決的功能,例如可以由應用程序直接編程的介面,可以再多個物理硬體實例的命名空間,以及數據管理功能,如數據復制和數據分發在對象級粒度。

相比於資料庫這種面向結構化數據存儲的技術,對象存儲主要面向存儲大量的非結構化數據。

(6)對象存儲元數據目錄擴展閱讀:

對象存儲、文件存儲和塊存儲的區別如下:

1、速度不同

塊存儲:低延遲(10ms),熱點突出;

文件存儲:不同技術各有不同;

對象存儲:100ms-1s,冷數據;

2、可分步性不同

塊存儲:異地不現實;

文件存儲:可分布式,但有瓶頸;

對象存儲:分步並發能力高;

3、文件大小不同

塊存儲:大小都可以,熱點突出;

文件存儲:適合大文件;

對象存儲:適合各種大小;

4、介面不同

塊存儲:Driver,kernel mole ;

文件存儲:POSIX;

對象存儲:Restful API ;

5、典型技術不同

塊存儲:SAN;

文件存儲: HDFS,GFS;

對象存儲:Swift,Amazon S3;

6、適合場景不同

塊存儲:銀行;

文件存儲:數據中心;

對象存儲:網路媒體文件存儲。

Ⅶ 對象存儲、文件存儲和塊存儲的區別

對象存儲、文件存儲和塊存儲的區別如下:

1、速度不同

塊存儲:低延遲(10ms),熱點突出;

文件存儲:不同技術各有不同;

對象存儲:100ms-1s,冷數據;

2、可分步性不同

塊存儲:異地不現實;

文件存儲:可分布式,但有瓶頸;

對象存儲:分步並發能力高;

3、文件大小不同

塊存儲:大小都可以,熱點突出;

文件存儲:適合大文件;

對象存儲:適合各種大小;

4、介面不同

塊存儲:Driver,kernel mole ;

文件存儲:POSIX;

對象存儲:Restful API ;

5、典型技術不同

塊存儲:SAN;

文件存儲: HDFS,GFS;

對象存儲:Swift,Amazon S3;

6、適合場景不同

塊存儲:銀行;

文件存儲:數據中心;

對象存儲:網路媒體文件存儲。

(7)對象存儲元數據目錄擴展閱讀:

對象存儲、文件存儲和塊存儲的聯系:

通常來講,磁碟陣列都是基於Block塊的存儲,而所有的NAS產品都是文件級存儲。

1. 塊存儲:DAS SAN

a) DAS(Direct Attach Storage): 是直接連接於主機伺服器的一種存儲方式,每台伺服器有獨立的存儲設備,每台主機伺服器的存儲設備無法互通,需要跨主機存取資料室,必須經過相對復雜的設定,若主機分屬不同的操作系統,則更復雜。

應用:單一網路環境下且數據交換量不大,性能要求不高的環境,技術實現較早。

b) SAN(Storage Area Network): 是一種高速(光纖)網路聯接專業主機伺服器的一種存儲方式,此系統會位於主機群的後端,它使用高速I/O聯接方式,如:SCSI,ESCON及Fibre-Channels.特點是,代價高、性能好。但是由於SAN系統的價格較高,且可擴展性較差,已不能滿足成千上萬個CPU規模的系統。

應用:對網速要求高、對數據可靠性和安全性要求高、對數據共享的性能要求高的應用環境中。

2. 文件存儲

通常NAS產品都是文件級存儲。

NAS(Network Attached Storage):是一套網路存儲設備,通常直接連在網路上並提供資料存取服務,一套NAS儲存設備就如同一個提供數據文件服務的系統,特點是性價比高。

它採用NFS或CIFS命令集訪問數據,以文件為傳輸協議,可擴展性好、價格便宜、用戶易管理。目前在集群計算中應用較多的NFS文件系統,但由於NAS的協議開銷高、帶寬低、延遲大,不利於在高性能集群中應用。

3. 對象存儲:

總體上講,對象存儲同時兼具SAN高級直接訪問磁碟特點及NAS的分布式共享特點。

核心是將數據通路(數據讀或寫)和控制通路(元數據)分離,並且基於對象存儲設備(OSD),構建存儲系統,每個對象存儲設備具備一定的職能,能夠自動管理其上的數據分布。

對象儲存結構組成部分(對象、對象存儲設備、元數據伺服器、對象存儲系統的客戶端)

Ⅷ 今天看到 Key-Value存儲這個和對象存儲什麼區別

先說說塊存儲吧,典型代表--SAN。對於用戶來說,SAN好比是一塊大磁碟,用戶可以根據需要隨意將SAN格式化成想要的文件系統來使用。SAN在網路中通過iSCSI(IPSAN)協議連接,屬block及存儲,但可擴展性較差。
再說說文件集存儲,典型代表--NAS。對於用戶來說,NAS好比是一個共享文件夾,文件系統已經存在,用戶可以直接將自己的數據存放在NAS上。NAS以文件為傳輸協議,開銷很大,不利於在高性能集群中使用。
而所謂對象存儲,就是每個數據對應著一個唯一的id,在面向對象存儲中,不再有類似文件系統的目錄層級結構,完全扁平化存儲,即可以根據對象的id直接定位到數據的位置,這一點類似SAN,而每個數據對象即包含元數據又包括存儲數據,含有文件的概念,這一點類似NAS。除此之外,用戶不必關系數據對象的安全性,數據恢復,自動負載平衡等等問題,這些均由對象存儲系統自身完成。而且,面向對象存儲還解決了SAN面臨的有限擴充和NAS傳輸性能開銷大問題,能夠實現海量數據存儲。