1. 什麼是分布式存儲
分布式存儲系統,是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據,存儲伺服器成為系統性能的瓶頸,也是可靠性和安全性的焦點,不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構,利用多台存儲伺服器分擔存儲負荷,利用位置伺服器定位存儲信息,它不但提高了系統的可靠性、可用性和存取效率,還易於擴展。
(1)分布式存儲核心部件擴展閱讀:
分布式存儲,集中管理,在這個方案中,共有三級:
1、上級監控中心:上級監控中心通常只有一個,主要由數字矩陣、認證伺服器和VSTARClerk軟體等。
2、本地監控中心:本地監控中心可以有多個,可依據地理位置設置,或者依據行政隸屬關系設立,主要由數字矩陣、流媒體網關、iSCSI存儲設備、VSTARRecorder軟體等組成;音視頻的數據均主要保存在本地監控中心,這就是分布式存儲的概念。
3、監控前端:主要由攝像頭、網路視頻伺服器組成,其中VE4000系列的網路視頻伺服器可以帶硬碟,該硬碟主要是用於網路不暢時,暫時對音視頻數據進行保存,或者需要在前端保存一些重要數據的情況。
2. 什麼是分布式存儲
分布式存儲簡單的來說,就是將數據分散存儲到多個存儲伺服器上,並將這些分散的存儲資源構成一個虛擬的存儲設備,實際上數據分散的存儲在企業的各個角落。
還可以這樣理解:
利用分布式技術將標准X86伺服器的本地HDD、SSD等存儲介質組織成一個大規模存儲資源池,同時,對上層的應用和虛擬機提供工業界標準的SCSI、iSCSI和對象訪問介面,進而打造一個虛擬的分布式統一存儲產品。
3. 分布式存儲和超融合區別及優勢
分布式存儲是什麼
關於分布式存儲實際上並沒有一個明確的定義,甚至名稱上也沒有一個統一的說法,大多數情況下稱作 Distributed Data Store 或者 Distributed Storage System。
其中維基網路中給 Distributed data store 的定義是:分布式存儲是一種計算機網路,它通常以數據復制的方式將信息存儲在多個節點中。
在網路中給出的定義是:分布式存儲系統,是將數據分散存儲在多台獨立的設備上。分布式網路存儲系統採用可擴展的系統結構,利用多台存儲伺服器分擔存儲負荷,利用位置伺服器定位存儲信息,它不但提高了系統的可靠性、可用性和存取效率,還易於擴展。
盡管各方對分布式存儲的定義並不完全相同,但有一點是統一的,就是分布式存儲將數據分散放置在多個節點中,節點通過網路互連提供存儲服務。這一點與傳統集中式存儲將數據集中放置的方式有著明顯的區分。
超融合是什麼
參考維基網路中的超融合定義:
超融合基礎架構(hyper-converged infrastructure)是一個軟體定義的 IT 基礎架構,它可虛擬化常見「硬體定義」系統的所有元素。HCI 包含的最小集合是:虛擬化計算(hypervisor),虛擬存儲(SDS)和虛擬網路。HCI 通常運行在標准商用伺服器之上。
超融合基礎架構(hyper-converged infrastructure)與 融合基礎架構(converged infrastructure)最大的區別在於,在 HCI 裡面,無論是存儲底層抽象還是存儲網路都是在軟體層面實現的(或者通過 hypervisor 層面實現),而不是基於物理硬體實現的。由於所有軟體定義的元素都圍繞 hypervisor 實現,因此在超融合基礎架構上的所有實例可以聯合共享所有受管理的資源。
分布式存儲和超融合區別及優勢?
分布式存儲,它的最大特點是多節點部署, 數據通過網路分散放置。分布式存儲的特點是擴展性強,通過多節點平衡負載,提高存儲系統的可靠性與可用性。
超融合基礎架構從定義中明確提出包含軟體定義存儲(SDS),具備硬體解耦的能力,可運行在通用伺服器之上。超融合基礎架構與 Server SAN 提倡的理念類似,計算與存儲融合,通過全分布式的架構,有效提升系統可靠性與可用性,並具備易於擴展的特性。
SMTX ZBS 分布式塊存儲架構
除此之外,超融合基礎架構有更進一步的擴展,它強調以虛擬化計算(hypervisor)為核心,以軟體定義的方式整合包括虛擬化計算, 軟體定義存儲以及虛擬網路資源。從筆者來看超融合基礎架構未來的可能性更多,可促進計算,存儲,網路,安全,容災等等 IT 服務大融合,降低IT 基礎架構的復雜性,重新塑造」軟體定義的數據中心」。
4. Hadoop到底是干什麼用的
用途:將單機的工作任務進行分拆,變成協同工作的集群。用以解決日益增加的文件存儲量和數據量瓶頸。
通俗應用解釋:
比如計算一個100M的文本文件中的單詞的個數,這個文本文件有若干行,每行有若干個單詞,每行的單詞與單詞之間都是以空格鍵分開的。對於處理這種100M量級數據的計算任務,把這個100M的文件拷貝到自己的電腦上,然後寫個計算程序就能完成計算。
關鍵技術:
HDFS(Hadoop Distributed File System):
既可以是Hadoop 集群的一部分,也可以是一個獨立的分布式文件系統,是開源免費的大數據處理文件存儲系統。
HDFS是Master和Slave的主從結構(是一種概念模型,將設備分為主設備和從設備,主設備負責分配工作並整合結果,或作為指令的來源;從設備負責完成工作,一般只能和主設備通信)。主要由Name-Node、Secondary NameNode、DataNode構成。
Name-Node:分布式文件系統中的管理者,主要負責管理文件系統的命名空間、集群配置信息和存儲塊的復制等
Secondary NameNode:輔助 NameNode,分擔其工作,緊急情況可以輔助恢復
DataNode:Slave節點,實際存儲數據、執行數據塊的讀寫並匯報存儲信息給NameNode
HDFS客戶端的存儲流程:當客戶需要寫數據時,先在NameNode 上創建文件結構並確定數據塊副本將要寫道哪幾個 datanode ,然後將多個代寫 DataNode 組成一個寫數據管道,保證寫入過程完整統一寫入。
讀取數據時則先通過 NameNode 找到存儲數據塊副本的所有 DataNode ,根據與讀取客戶端距離排序數據塊,然後取最近的。
5. 分布式存儲系統Megastore的核心技術是什麼
Megastore的數據復制是通過paxos進行同步復制的,也就是如果更新一個數據,所有機房都會進行同步更新,因為使用paxos進行復制, 所以不同機房針對同一條數據的更新復制到所有機房的更新順序都是一致的,同步復制保證數據的實時可見性,採用paxos演算法則保證了所有機房更新的一致 性,所以個人認為megastore的更新可能會比較慢,而所有讀都是實時讀(對於不同機房是一致的),因為部署有多個機房,並且數據總是最新。
6. 海量分布式存儲系統Doris原理概述
Doris( https://github.com/itisaid/Doris )是一個海量分布式 KV 存儲系統,其設計目 標是支持中等規模高可用可伸縮的 KV 存儲集群。
Doris可以實現海量存儲,線性伸縮、平滑擴容,自動容錯、故障轉移,高並發,且運維成本低。部署規模,建議部署4-100+台伺服器。
Doris採用兩層架構,Client 和 DataServer+Store。
有四個核心組件,Client、DataServer、Store、Administration。
應用程序通過Client SDK進行Doris的訪問,
每台伺服器上部署一個Data Sever做伺服器的管理,每台伺服器上有自己的存儲Store,整個集群的數據存儲,每台機器獨立部署。數據通過路由選擇寫入到不同的機器中。
Administration為管理中心,提供配置、管理和監控。
config指,應用程序啟動一個Data Server,在啟動時要配置管理中心的ip地址,通關管理中心。管理中心會修改配置項感知到集群中加了新機器,對新機器管理,擴容等。待機器處於可用狀態,將該機器的配置項通知給KV Client。從而KV Client進行新的路由選擇。
擴容、下線機器等的控制台界面通過Management管理。
Monitor監控機器是否正常。
client寫數據,綁定產品的namespace(邏輯隔離),構成新key,路由到具體機器上讀寫。
路由解析演算法是設計的一個關鍵點,決定集群的管理方式,也決定了集群擴容的復雜性和難度。
Doris的演算法類似redis,有桶的概念,key映射到1w個虛擬節點,虛擬節點在映射到物理節點。
由於Doris設計時,用於4-100+規模的集群。因此,Doris分了1w個虛擬節點,當伺服器超過100會導致負載不均衡,1000會更差,相當於每一個集群上有10個虛擬節點,虛擬節點會有10%的影響。
擴容時,需要調節虛擬節點指向新的位置。具體過程為,暴利輪詢新節點添加後,一個伺服器上應該承載的虛擬節點個數,將超出的虛擬節點遷移到新機器即可。如上圖左圖有2個物理節點,擴容後,有3個物理節點,變為右圖。
為了保證高可用。doris所有服務分成2個組,兩組伺服器對等。兩個group是可以有不同數量的伺服器。
寫操作時,client的路由演算法在兩個group分別選2個伺服器,分別(同時)寫入,兩個伺服器全部返回後,再繼續向下進行。讀操作時,從兩個伺服器隨機選一個讀。這樣,提高可用性,數據持久性,不會丟失。
集群管理的重要角色Config Server,有一個功能是負責發現故障伺服器。
發現故障的方式有2種:
節點失效分為:瞬間失效、臨時失效、永久失效
應用伺服器向伺服器寫,如果寫失敗,為 瞬間失效 。接著應用伺服器進行3次重試。3次都失敗,通知管理伺服器,進行服務的失效判斷。
管理伺服器再寫一次,如果寫成功,認為是客戶端自己通信通信問題。如果寫入失敗,判斷為 臨時失效 ,通知所有client,伺服器失效,不要寫,也不讀。
如果2小時恢復,則節點為臨時失效。如果2小時沒有恢復,認為是 永久失效 。
如圖,如果節點2失效,進入臨時失效階段。
如圖,節點2臨時失效2個小時還未恢復,判定為永久失效。進入永久失效的恢復。
設計中,有臨時日誌節點(備份節點),有空白節點。實際使用中沒有節點3空白節點。原因:1 自動遷移有風險,還是需要手動遷移。2 幾年宕機1台,一直有一個空白節點standby浪費。一般晚上報警失效也沒有事情,第二天,找機器擴容即可。認為24小時之內,同樣編號的2台機器連續down掉,概率很低。
物理節點分成2個group,寫的時候,向2個group同時寫。當其中一個group擴容機器時,該group上的所有節點進入臨時失效狀態。停止讀寫,將數據遷移到新的伺服器上。
由於是虛擬節點的映射在調整,所以遷移是按照虛擬節點調整。為了遷移方便,虛擬節點物理化,一個虛擬節點對應一個文件。遷移時其實就是拷貝文件。這時,如果group1有節點失效也會出現不一致,但是,通常擴容的過程很快,因為,是scp拷貝文件,瓶頸為網路帶寬,通常幾十T數據,幾分鍾遷移完成,十來分鍾進行數據恢復。
7. 億萬克的分布式存儲產品有哪些
分布式存儲有DM系列分布式統一存儲、DO系列分布式對象存儲、DF系列分布式文件存儲、DB系列分布式塊存儲,每個系列有不同配置的硬體平台,從12盤位到36盤位。
例如蛟雲DM系統、億萬克蛟雲DO分布式對象存儲系列。蛟雲DM系統億萬克推出的全新一代分布式統一存儲,為企業提供包括塊/文件/對象服務的私有雲存儲服務。DM系 列可以同時支持各種虛擬化應用、資料庫事務處理和文件資源共享存儲,滿足關鍵業務和多種不同應用的存儲需求。不 同於傳統的集中式存儲,DM的存儲核心是分布式架構的軟體定義存儲,有效的提高了存儲的可靠性,並滿足性能擴展 的需求。 蛟雲DM系統支持傳統應用平台,支持業界主流的虛擬化和雲平台,以及支持容器雲原生平台,可以滿足各種復雜 的應用場景存儲需求。
億萬克蛟雲DO分布式對象存儲系列基於通用的伺服器結合存儲系統軟體構建了一個彈性擴容、敏捷部署、持續在 線、可跨地域訪問、智能分層流動的高性價比存儲架構體系,是一個面向企業級海量非結構化數據的全分布式存儲產 品。本產品支持兩地三中心的數據中心主備、雙活以及多站點容災部署,提供高可靠和高可用的服務能力,在保證數 據高安全性的同時,打破存儲規模、地域限制的壁壘,降低企業IT建設的整體投入,具有大容量、高性能和易擴展等優 勢,滿足了新業務形態的多元化存儲需求。 此系列產品針對EB級數據容量和百億級文件數量的視頻、影像和文檔等非結構化數據,適用於包含互聯網多媒體創 作與分享視頻、線上教育精品課程錄播、政企數據備份與監控視頻、金融票據影像及醫療影像在內的數據歸檔與查詢、 數據備份、大數據分析、Al訓練和檢索等應用場景。【感興趣請點擊此處,了解一下。 】
8. 求 分布式對象存儲 原理 架構及Go語言實現 pdf
分布式存儲架構由三個部分組成:客戶端、元數據伺服器和數據伺服器。客戶端負責發送讀寫請求,緩存文件元數據和文件數據。元數據伺服器負責管理元數據和處理客戶端的請求,是整個系統的核心組件。數據伺服器負責存放文件數據,保證數據的可用性和完整性。該架構的好處是性能和容量能夠同時拓展,系統規模具有很強的伸縮性。
對象存儲最常用的方案,就是多台伺服器內置大容量硬碟,再裝上對象存儲軟體,然後再額外搞幾台服務作為管理節點,安裝上對象存儲管理軟體。管理節點可以管理其他伺服器對外提供讀寫訪問功能。
之所以出現了對象存儲這種東西,是為了克服塊存儲與文件存儲各自的缺點,發揚它倆各自的優點。簡單來說塊存儲讀寫快,不利於共享,文件存儲讀寫慢,利於共享。能否弄一個讀寫快,利 於共享的出來呢。於是就有了對象存儲。
9. 分布式存儲產業鏈發展概況
作者 | 焦仕可
來源|《2020分布式存儲產業鏈研究報告》
數字化世界不可逆,分布式存儲產業鏈,是承載數據洪流的數據水庫。
分布式存儲產業鏈概況摘要:
1、市場需求旺盛,定製化伺服器迎來高光時刻。 從需求角度看:存儲行業的發展是技術與需求相互促進的過程。人工智慧、物聯網、區塊鏈、5G等技術的快速發展和應用,數據呈指數級增長趨勢,成為創新的基礎。流量、帶寬、數據的計算、存儲、檢索需求長期穩定向上;從技術角度,演算法、算力、算量的增長,分布式存儲在雲計算、虛擬化、IPFS等技術支持下,硬體或將在軟體及演算法的迭代和融合中突破硬體物理限制,下遊客戶將參與晶元及伺服器標准制定,定製化伺服器成為未來新趨勢。
2、產業鏈上游技術及製造卡脖子,多維競爭局面展開,行業格局或重新洗牌。 從產業鏈供應鏈角度看:分布式存儲重要的基礎設施是數據中心,伺服器是數據中心的心臟,晶元是伺服器的核心組成部分。伺服器硬體升級的核心是數據處理,即對數據的採集、存儲、檢索、加工、變換和傳輸,國產化能力長期偏弱,供應鏈集中在歐美日韓台地區。受中美摩擦及疫情影響,上游原材料供應受阻,整體市場成本或將增加。但中國巨大的市場需求及技術迭代,國產的技術、產品、及組織形式上的創新,將有可能帶領硬體端突破重圍,創新帶來行業格局變化。
3、未來十年,國產替代將成主流。 從行業周期看:伺服器軟硬體持續升級周期僅為 2-3 年,當前已處於升級換代階段。過去,伺服器已經實現了從OEM(代工生產)向ODM(設計製造)再到JDM(由互聯網/雲計算企業,與伺服器生產商一起研發伺服器)模式演化,國內浪潮就是典型聯合設計製造商。中美摩擦,反向加速了國內數字領域的發展,加速推進數據基礎設施建設,在IPFS新技術的支持下,行業參與門檻降低,多方競爭下及政策支持下,國產替代趨勢明顯,未來十年或成主流。
4、新一輪行業機遇誕生,新的財富格局或在web3.0中被刷新。 從市場空間來看:中國無論是數據中心規模還是伺服器等上游佔有率,與歐美相比相差巨大,加之公有雲、私有雲的爆發,行業未來增長空間巨大。在政策支持、技術迭代、資本角逐三重利好驅動下,存儲市場迎來新機遇,新一輪的財富大分配已經展開!
10. 分布式存儲有哪些
問題一:當前主流分布式文件系統有哪些?各有什麼優缺點 目前幾個主流的分布式文件系統除GPFS外,還有PVFS、Lustre、PanFS、GoogleFS等。
1.PVFS(Parallel Virtual File System)項目是Clemson大學為了運行Linux集群而創建的一個開源項目,目前PVFS還存在以下不足:
1)單一管理節點:只有一個管理節點來管理元數據,當集群系統達到一定的規模之後,管理節點將可能出現過度繁忙的情況,這時管理節點將成為系統瓶頸;
2)對數據的存儲缺乏容錯機制:當某一I/O節點無法工作時,數據將出現不可用的情況;
3)靜態配置:對PVFS的配置只能在啟動前進行,一旦系統運行則不可再更改原先的配置。
2.Lustre文件系統是一個基於對象存儲的分布式文件系統,此項目於1999年在Carnegie Mellon University啟動,Lustre也是一個開源項目。它只有兩個元數據管理節點,同PVFS類似,當系統達到一定的規模之後,管理節點會成為Lustre系統中的瓶頸。
3.PanFS(Panasas File System)是Panasas公司用於管理自己的集群存儲系統的分布式文件系統。
4.GoogleFS(Google File System)是Google公司為了滿足公司內部的數據處理需要而設計的一套分布式文件系統。
5.相對其它的文件系統,GPFS的主要優點有以下三點:
1)使用分布式鎖管理和大數據塊策略支持更大規模的集群系統,文件系統的令牌管理器為塊、inode、屬性和目錄項建立細粒度的鎖,第一個獲得鎖的客戶將負責維護相應共享對象的一致性管理,這減少了元數據伺服器的負擔;
2)擁有多個元數據伺服器,元數據也是分布式,使得元數據的管理不再是系統瓶頸;
3)令牌管理以位元組作為鎖的最小單位,也就是說除非兩個請求訪問的是同一文件的同一位元組數據,對於數據的訪問請求永遠不會沖突.
問題二:分布式存儲是什麼?選擇什麼樣的分布式存儲更好? 分布式存儲系統,是將數據分散存儲在多 *** 立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據,存儲伺服器成為系統性能的瓶頸,也是可靠性和安全性的焦點,不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構,利用多台存儲伺服器分擔存儲負荷,利用位置伺服器定位存儲信息,它不但提高了系統的可靠性、可用性和存取效率,還易於擴展。
聯想超融合ThinkCloud AIO超融合雲一體機是聯想針對企業級用戶推出的核心產品。ThinkCloud AIO超融合雲一體機實現了對雲管理平台、計算、網路和存儲系統的無縫集成,構建了雲計算基礎設施即服務的一站式解決方案,為用戶提供了一個高度簡化的一站式基礎設施雲平台。這不僅使得業務部署上線從周縮短到天,而且與企業應用軟體、中間件及資料庫軟體完全解耦,能夠有效提升企業IT基礎設施運維管理的效率和關鍵應用的性能
問題三:什麼是分布式存儲系統? 就是將數據分散存儲在多 *** 立的設備上
問題四:什麼是分布式數據存儲 定義:
分布式資料庫是指利用高速計算機網路將物理上分散的多個數據存儲單元連接起來組成一個邏輯上統一的資料庫。分布式資料庫的基本思想是將原來集中式資料庫中的數據分散存儲到多個通過網路連接的數據存儲節點上,以獲取更大的存儲容量和更高的並發訪問量。近年來,隨著數據量的高速增長,分布式資料庫技術也得到了快速的發展,傳統的關系型資料庫開始從集中式模型向分布式架構發展,基於關系型的分布式資料庫在保留了傳統資料庫的數據模型和基本特徵下,從集中式存儲走向分布式存儲,從集中式計算走向分布式計算。
特點:
1.高可擴展性:分布式資料庫必須具有高可擴展性,能夠動態地增添存儲節點以實現存儲容量的線性擴展。
2 高並發性:分布式資料庫必須及時響應大規模用戶的讀/寫請求,能對海量數據進行隨機讀/寫。
3. 高可用性:分布式資料庫必須提供容錯機制,能夠實現對數據的冗餘備份,保證數據和服務的高度可靠性。
問題五:分布式文件系統有哪些主要的類別? 分布式存儲在大數據、雲計算、虛擬化場景都有勇武之地,在大部分場景還至關重要。munity.emc/message/655951 下面簡要介紹*nix平台下分布式文件系統的發展歷史:
1、單機文件系統
用於操作系統和應用程序的本地存儲。
2、網路文件系統(簡稱:NAS)
基於現有乙太網架構,實現不同伺服器之間傳統文件系統數據共享。
3、集群文件系統
在共享存儲基礎上,通過集群鎖,實現不同伺服器能夠共用一個傳統文件系統。
4、分布式文件系統
在傳統文件系統上,通過額外模塊實現數據跨伺服器分布,並且自身集成raid保護功能,可以保證多台伺服器同時訪問、修改同一個文件系統。性能優越,擴展性很好,成本低廉。
問題六:分布式文件系統和分布式資料庫有什麼不同 分布式文件系統(dfs)和分布式資料庫都支持存入,取出和刪除。但是分布式文件系統比較暴力,可以當做key/value的存取。分布式資料庫涉及精煉的數據,傳統的分布式關系型資料庫會定義數據元組的schema,存入取出刪除的粒度較小。
分布式文件系統現在比較出名的有GFS(未開源),HDFS(Hadoop distributed file system)。分布式資料庫現在出名的有Hbase,oceanbase。其中Hbase是基於HDFS,而oceanbase是自己內部實現的分布式文件系統,在此也可以說分布式資料庫以分布式文件系統做基礎存儲。
問題七:分布式存儲有哪些 華為的fusionstorage屬於分布式 您好,很高興能幫助您,首先,FusionDrive其實是一塊1TB或3TB機械硬碟跟一塊128GB三星830固態硬碟的組合。我們都知道,很多超極本同樣採用了混合型硬碟,但是固態硬碟部分的容量大都只有8GB到32GB之間,這個區間無法作為系統盤來使用,只能作
問題八:linux下常用的分布式文件系統有哪些 這他媽不是騰訊今年的筆試題么
NFS(tldp/HOWTO/NFS-HOWTO/index)
網路文件系統是FreeBSD支持的文件系統中的一種,也被稱為NFS。
NFS允許一個系統在網路上與它人共享目錄和文件。通過使用NFS, 用戶和程序可以象訪問本地文件一樣訪問遠端系統上的文件。它的好處是:
1、本地工作站使用更少的磁碟空間,因為通常的數據可以存放在一台機器上而且可以通過網路訪問到。
2、用戶不必在每個網路上機器裡面都有一個home目錄。home目錄可以被放在NFS伺服器上並且在網路上處處可用。
3、諸如軟碟機、CDROM、和ZIP之類的存儲設備可以在網路上面被別的機器使用。可以減少整個網路上的可移動介質設備的數量。
開發語言c/c++,可跨平台運行。
OpenAFS(openafs)
OpenAFS是一套開放源代碼的分布式文件系統,允許系統之間通過區域網和廣域網來分享檔案和資源。OpenAFS是圍繞一組叫做cell的文件伺服器組織的,每個伺服器的標識通常是隱藏在文件系統中,從AFS客戶機登陸的用戶將分辨不出他們在那個伺服器上運行,因為從用戶的角度上看,他們想在有識別的Unix文件系統語義的單個系統上運行。
文件系統內容通常都是跨cell復制,一便一個硬碟的失效不會損害OpenAFS客戶機上的運行。OpenAFS需要高達1GB的大容量客戶機緩存,以允許訪問經常使用的文件。它是一個十分安全的基於kerbero的系統,它使用訪問控制列表(ACL)以便可以進行細粒度的訪問,這不是基於通常的Linux和Unix安全模型。開發協議IBM Public,運行在linux下。
MooseFs(derf.homelinux)
Moose File System是一個具備容錯功能的網路分布式文件統,它將數據分布在網路中的不同伺服器上,MooseFs通過FUSE使之看起來就 是一個Unix的文件系統。但有一點問題,它還是不能解決單點故障的問題。開發語言perl,可跨平台操作。
pNFS(pnfs)
網路文件系統(Network FileSystem,NFS)是大多數區域網(LAN)的重要的組成部分。但NFS不適用於高性能計算中苛刻的輸入書櫥密集型程序,至少以前是這樣。NFS標準的罪行修改納入了Parallel NFS(pNFS),它是文件共享的並行實現,將傳輸速率提高了幾個數量級。
開發語言c/c++,運行在linu下。
googleFs
據說是一個比較不錯的一個可擴展分布式文件系統,用於大型的,分布式的,對大量數據進行訪問的應用。它運行於廉價的普通硬體上,但可以提供容錯功能,它可以給大量的用戶提供性能較高的服務。google自己開發的。
問題九:分布式存儲都有哪些,並闡述其基本實現原理 神州雲科 DCN NCS DFS2000(簡稱DFS2000)系列是面向大數據的存儲系統,採用分布式架構,真正的分布式、全對稱群集體系結構,將模塊化存儲節點與數據和存儲管理軟體相結合,跨節點的客戶端連接負載均衡,自動平衡容量和性能,優化集群資源,3-144節點無縫擴展,容量、性能歲節點增加而線性增長,在 60 秒鍾內添加一個節點以擴展性能和容量。
問題十:linux 分布式系統都有哪些? 常見的分布式文件系統有,GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自適用於不同的領域。它們都不是系統級的分布式文件系統,而是應用級的分布式文件存儲服務。
GFS(Google File System)
--------------------------------------
Google公司為了滿足本公司需求而開發的基於Linux的專有分布式文件系統。。盡管Google公布了該系統的一些技術細節,但Google並沒有將該系統的軟體部分作為開源軟體發布。
下面分布式文件系統都是類 GFS的產品。
HDFS
--------------------------------------
Hadoop 實現了一個分布式文件系統(Hadoop Distributed File System),簡稱HDFS。 Hadoop是Apache Lucene創始人Doug Cutting開發的使用廣泛的文本搜索庫。它起源於Apache Nutch,後者是一個開源的網路搜索引擎,本身也是Luene項目的一部分。Aapche Hadoop架構是MapRece演算法的一種開源應用,是Google開創其帝國的重要基石。
Ceph
---------------------------------------
是加州大學聖克魯茲分校的Sage weil攻讀博士時開發的分布式文件系統。並使用Ceph完成了他的論文。
說 ceph 性能最高,C++編寫的代碼,支持Fuse,並且沒有單點故障依賴, 於是下載安裝, 由於 ceph 使用 btrfs 文件系統, 而btrfs 文件系統需要 Linux 2.6.34 以上的內核才支持。
可是ceph太不成熟了,它基於的btrfs本身就不成熟,它的官方網站上也明確指出不要把ceph用在生產環境中。
Lustre
---------------------------------------
Lustre是一個大規模的、安全可靠的,具備高可用性的集群文件系統,它是由SUN公司開發和維護的。
該項目主要的目的就是開發下一代的集群文件系統,可以支持超過10000個節點,數以PB的數據量存儲系統。
目前Lustre已經運用在一些領域,例如HP SFS產品等。