1. NFS與雲存儲有什麼關系
NFS,就是客戶端和伺服器之間的訪問,強調的是共享文件系統。
雲存儲,就是雲計算理念,首先他更龐大,資源更廣,客戶可以按需付費。
共同點不多,雲存儲的概念更廣一點。不知道對不對,請見諒!
2. docker使用NFS解決數據存儲問題
NFS :Net File System 網路文件存儲系統
將雲存儲的磁碟掛載到本地計算機,本文所用的NFS提供商是阿里雲網路文件存儲系統。
1. 首先在阿里雲配置好網路文件存儲系統
具體文檔在該鏈接中:https://help.aliyun.com/document_detail/27526.html?spm=a2c4g.11186623.6.559.121b5ddemjaPZP
2. 在本地linux測試掛載
首先安裝nfs客戶端工具
sudo apt-get install nfs-common
掛載,執行下列命令後,即可看到 /mount-point 掛載點出現,有關mount和umount命令的使用,需要自行網路和谷歌
sudo mount -t nfs -o vers=4.0,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport file-system-id-xxxx.region.nas.aliyuncs.com:/ /mount-point
3. 使用docker創建驅動為nfs類型的磁碟(volume,不推薦使用bind mount)
docker volume create --driver local --opt type=nfs --opt o=addr=192.168.138.130,rw --opt device=:/data/nfs volume-nfs
4. 運行容器時,掛載 volume-nfs 磁碟即可
使用-v選項將volume掛載到容器上
docker run -dit --name data1 -v volume-nfs:/mnt ubuntu:16.04
3. 分布式存儲有哪些
問題一:當前主流分布式文件系統有哪些?各有什麼優缺點 目前幾個主流的分布式文件系統除GPFS外,還有PVFS、Lustre、PanFS、GoogleFS等。
1.PVFS(Parallel Virtual File System)項目是Clemson大學為了運行Linux集群而創建的一個開源項目,目前PVFS還存在以下不足:
1)單一管理節點:只有一個管理節點來管理元數據,當集群系統達到一定的規模之後,管理節點將可能出現過度繁忙的情況,這時管理節點將成為系統瓶頸;
2)對數據的存儲缺乏容錯機制:當某一I/O節點無法工作時,數據將出現不可用的情況;
3)靜態配置:對PVFS的配置只能在啟動前進行,一旦系統運行則不可再更改原先的配置。
2.Lustre文件系統是一個基於對象存儲的分布式文件系統,此項目於1999年在Carnegie Mellon University啟動,Lustre也是一個開源項目。它只有兩個元數據管理節點,同PVFS類似,當系統達到一定的規模之後,管理節點會成為Lustre系統中的瓶頸。
3.PanFS(Panasas File System)是Panasas公司用於管理自己的集群存儲系統的分布式文件系統。
4.GoogleFS(Google File System)是Google公司為了滿足公司內部的數據處理需要而設計的一套分布式文件系統。
5.相對其它的文件系統,GPFS的主要優點有以下三點:
1)使用分布式鎖管理和大數據塊策略支持更大規模的集群系統,文件系統的令牌管理器為塊、inode、屬性和目錄項建立細粒度的鎖,第一個獲得鎖的客戶將負責維護相應共享對象的一致性管理,這減少了元數據伺服器的負擔;
2)擁有多個元數據伺服器,元數據也是分布式,使得元數據的管理不再是系統瓶頸;
3)令牌管理以位元組作為鎖的最小單位,也就是說除非兩個請求訪問的是同一文件的同一位元組數據,對於數據的訪問請求永遠不會沖突.
問題二:分布式存儲是什麼?選擇什麼樣的分布式存儲更好? 分布式存儲系統,是將數據分散存儲在多 *** 立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據,存儲伺服器成為系統性能的瓶頸,也是可靠性和安全性的焦點,不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構,利用多台存儲伺服器分擔存儲負荷,利用位置伺服器定位存儲信息,它不但提高了系統的可靠性、可用性和存取效率,還易於擴展。
聯想超融合ThinkCloud AIO超融合雲一體機是聯想針對企業級用戶推出的核心產品。ThinkCloud AIO超融合雲一體機實現了對雲管理平台、計算、網路和存儲系統的無縫集成,構建了雲計算基礎設施即服務的一站式解決方案,為用戶提供了一個高度簡化的一站式基礎設施雲平台。這不僅使得業務部署上線從周縮短到天,而且與企業應用軟體、中間件及資料庫軟體完全解耦,能夠有效提升企業IT基礎設施運維管理的效率和關鍵應用的性能
問題三:什麼是分布式存儲系統? 就是將數據分散存儲在多 *** 立的設備上
問題四:什麼是分布式數據存儲 定義:
分布式資料庫是指利用高速計算機網路將物理上分散的多個數據存儲單元連接起來組成一個邏輯上統一的資料庫。分布式資料庫的基本思想是將原來集中式資料庫中的數據分散存儲到多個通過網路連接的數據存儲節點上,以獲取更大的存儲容量和更高的並發訪問量。近年來,隨著數據量的高速增長,分布式資料庫技術也得到了快速的發展,傳統的關系型資料庫開始從集中式模型向分布式架構發展,基於關系型的分布式資料庫在保留了傳統資料庫的數據模型和基本特徵下,從集中式存儲走向分布式存儲,從集中式計算走向分布式計算。
特點:
1.高可擴展性:分布式資料庫必須具有高可擴展性,能夠動態地增添存儲節點以實現存儲容量的線性擴展。
2 高並發性:分布式資料庫必須及時響應大規模用戶的讀/寫請求,能對海量數據進行隨機讀/寫。
3. 高可用性:分布式資料庫必須提供容錯機制,能夠實現對數據的冗餘備份,保證數據和服務的高度可靠性。
問題五:分布式文件系統有哪些主要的類別? 分布式存儲在大數據、雲計算、虛擬化場景都有勇武之地,在大部分場景還至關重要。munity.emc/message/655951 下面簡要介紹*nix平台下分布式文件系統的發展歷史:
1、單機文件系統
用於操作系統和應用程序的本地存儲。
2、網路文件系統(簡稱:NAS)
基於現有乙太網架構,實現不同伺服器之間傳統文件系統數據共享。
3、集群文件系統
在共享存儲基礎上,通過集群鎖,實現不同伺服器能夠共用一個傳統文件系統。
4、分布式文件系統
在傳統文件系統上,通過額外模塊實現數據跨伺服器分布,並且自身集成raid保護功能,可以保證多台伺服器同時訪問、修改同一個文件系統。性能優越,擴展性很好,成本低廉。
問題六:分布式文件系統和分布式資料庫有什麼不同 分布式文件系統(dfs)和分布式資料庫都支持存入,取出和刪除。但是分布式文件系統比較暴力,可以當做key/value的存取。分布式資料庫涉及精煉的數據,傳統的分布式關系型資料庫會定義數據元組的schema,存入取出刪除的粒度較小。
分布式文件系統現在比較出名的有GFS(未開源),HDFS(Hadoop distributed file system)。分布式資料庫現在出名的有Hbase,oceanbase。其中Hbase是基於HDFS,而oceanbase是自己內部實現的分布式文件系統,在此也可以說分布式資料庫以分布式文件系統做基礎存儲。
問題七:分布式存儲有哪些 華為的fusionstorage屬於分布式 您好,很高興能幫助您,首先,FusionDrive其實是一塊1TB或3TB機械硬碟跟一塊128GB三星830固態硬碟的組合。我們都知道,很多超極本同樣採用了混合型硬碟,但是固態硬碟部分的容量大都只有8GB到32GB之間,這個區間無法作為系統盤來使用,只能作
問題八:linux下常用的分布式文件系統有哪些 這他媽不是騰訊今年的筆試題么
NFS(tldp/HOWTO/NFS-HOWTO/index)
網路文件系統是FreeBSD支持的文件系統中的一種,也被稱為NFS。
NFS允許一個系統在網路上與它人共享目錄和文件。通過使用NFS, 用戶和程序可以象訪問本地文件一樣訪問遠端系統上的文件。它的好處是:
1、本地工作站使用更少的磁碟空間,因為通常的數據可以存放在一台機器上而且可以通過網路訪問到。
2、用戶不必在每個網路上機器裡面都有一個home目錄。home目錄可以被放在NFS伺服器上並且在網路上處處可用。
3、諸如軟碟機、CDROM、和ZIP之類的存儲設備可以在網路上面被別的機器使用。可以減少整個網路上的可移動介質設備的數量。
開發語言c/c++,可跨平台運行。
OpenAFS(openafs)
OpenAFS是一套開放源代碼的分布式文件系統,允許系統之間通過區域網和廣域網來分享檔案和資源。OpenAFS是圍繞一組叫做cell的文件伺服器組織的,每個伺服器的標識通常是隱藏在文件系統中,從AFS客戶機登陸的用戶將分辨不出他們在那個伺服器上運行,因為從用戶的角度上看,他們想在有識別的Unix文件系統語義的單個系統上運行。
文件系統內容通常都是跨cell復制,一便一個硬碟的失效不會損害OpenAFS客戶機上的運行。OpenAFS需要高達1GB的大容量客戶機緩存,以允許訪問經常使用的文件。它是一個十分安全的基於kerbero的系統,它使用訪問控制列表(ACL)以便可以進行細粒度的訪問,這不是基於通常的Linux和Unix安全模型。開發協議IBM Public,運行在linux下。
MooseFs(derf.homelinux)
Moose File System是一個具備容錯功能的網路分布式文件統,它將數據分布在網路中的不同伺服器上,MooseFs通過FUSE使之看起來就 是一個Unix的文件系統。但有一點問題,它還是不能解決單點故障的問題。開發語言perl,可跨平台操作。
pNFS(pnfs)
網路文件系統(Network FileSystem,NFS)是大多數區域網(LAN)的重要的組成部分。但NFS不適用於高性能計算中苛刻的輸入書櫥密集型程序,至少以前是這樣。NFS標準的罪行修改納入了Parallel NFS(pNFS),它是文件共享的並行實現,將傳輸速率提高了幾個數量級。
開發語言c/c++,運行在linu下。
googleFs
據說是一個比較不錯的一個可擴展分布式文件系統,用於大型的,分布式的,對大量數據進行訪問的應用。它運行於廉價的普通硬體上,但可以提供容錯功能,它可以給大量的用戶提供性能較高的服務。google自己開發的。
問題九:分布式存儲都有哪些,並闡述其基本實現原理 神州雲科 DCN NCS DFS2000(簡稱DFS2000)系列是面向大數據的存儲系統,採用分布式架構,真正的分布式、全對稱群集體系結構,將模塊化存儲節點與數據和存儲管理軟體相結合,跨節點的客戶端連接負載均衡,自動平衡容量和性能,優化集群資源,3-144節點無縫擴展,容量、性能歲節點增加而線性增長,在 60 秒鍾內添加一個節點以擴展性能和容量。
問題十:linux 分布式系統都有哪些? 常見的分布式文件系統有,GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自適用於不同的領域。它們都不是系統級的分布式文件系統,而是應用級的分布式文件存儲服務。
GFS(Google File System)
--------------------------------------
Google公司為了滿足本公司需求而開發的基於Linux的專有分布式文件系統。。盡管Google公布了該系統的一些技術細節,但Google並沒有將該系統的軟體部分作為開源軟體發布。
下面分布式文件系統都是類 GFS的產品。
HDFS
--------------------------------------
Hadoop 實現了一個分布式文件系統(Hadoop Distributed File System),簡稱HDFS。 Hadoop是Apache Lucene創始人Doug Cutting開發的使用廣泛的文本搜索庫。它起源於Apache Nutch,後者是一個開源的網路搜索引擎,本身也是Luene項目的一部分。Aapche Hadoop架構是MapRece演算法的一種開源應用,是Google開創其帝國的重要基石。
Ceph
---------------------------------------
是加州大學聖克魯茲分校的Sage weil攻讀博士時開發的分布式文件系統。並使用Ceph完成了他的論文。
說 ceph 性能最高,C++編寫的代碼,支持Fuse,並且沒有單點故障依賴, 於是下載安裝, 由於 ceph 使用 btrfs 文件系統, 而btrfs 文件系統需要 Linux 2.6.34 以上的內核才支持。
可是ceph太不成熟了,它基於的btrfs本身就不成熟,它的官方網站上也明確指出不要把ceph用在生產環境中。
Lustre
---------------------------------------
Lustre是一個大規模的、安全可靠的,具備高可用性的集群文件系統,它是由SUN公司開發和維護的。
該項目主要的目的就是開發下一代的集群文件系統,可以支持超過10000個節點,數以PB的數據量存儲系統。
目前Lustre已經運用在一些領域,例如HP SFS產品等。
4. 如何使用NFS和NAS解決虛擬伺服器存儲問題
然而,這樣的靈活性有一個條件:物理機能夠看到所有虛擬磁碟鏡像。這通常會導致存儲網路成為一個使用網路文件系統(NFS)和虛擬網路附屬存儲(NAS)集群的開放網路。
在傳統基於塊的存儲中,如iSCSI和光纖通道存儲區域網路(FC SAN),這意味著我們必須能夠分配和操作邏輯單元號(LUN),以便在遷移虛擬機時可以迅速重新分配LUN給其它物理機。這個操作不僅是在最初部署時很難執行,隨著環境越來越大和復雜,它也會很難執行。要為每個虛擬機分配一個LUN,然後還要能夠迅速地將它重新分配給其它物理主機,這對IT人士來說已然是一個越來越嚴重的問題。
在越來越多的環境里,IT管理員都開始使用更大的LUN來承載多個虛擬機。盡管這可以減輕分配多個LUN給多個虛擬機的重擔,但無法解決分區和LUN增長的問題。
NFS解決方案
現在,VMware支持通過NFS啟動部署虛擬機。通過可啟動的NFS載入(mount)部署虛擬機是解決這個問題的一個理想方法,而且也被越來越廣泛地接受。
NFS是一個客戶端或伺服器系統,允許用戶跨網路訪問文件,並能夠像操作本地文件目錄一樣操作這些遠程文件。它是通過輸出(exporting)和載入(mounting)兩個過程完成的。輸出過程是指NFS伺服器向遠程客戶端提供文件訪問的過程;載入過程是指文件系統對操作系統和用戶變為可用的過程。NFS主要用於Unix-to-Unix文件共享,即使你的所有虛擬機都是基於Windows的,你也可以選用NFS。盡管Windows無法引導NFS,但VMware將NFS建立在它的磁碟虛擬層,所以Windows無需引導NFS。
NFS工作站很容易創建和操作。每個物理伺服器都能看到所有的虛擬磁碟鏡像,而且VMotion等功能也更加容易操作。與iSCSI或FC SAN中的每個VMDK創建一個LUN不同,你可以在一個NFS卷中共置多個VMDK(VMware Virtual Disk)文件。因為VMDK只是文件,而不是真正的磁碟。為什麼使用NFSNFS讓存儲和VMware管理員的工作變得容易得多,而且在很多VMware環境下都不會有任何性能損失。除了一些例外的存儲廠商提供虛擬化解決方案以外,LUN管理對存儲和VMware管理員來說都很具有挑戰性。而有了NFS執行,與單個文件系統的交互讓VMware鏡像供應更加容易。
訪問控制通過內置NFS安全性被啟用後,可以向一組VMware管理員提供NFS文件系統。有了NFS,就不需要微操作每一個LUN了。例如,VMware鏡像在文件夾中可以根據應用類型進行分組,而且可以同時提供給一系列應用使用。
此外,訪問路徑是基於傳統的乙太網,這不僅節省了成本,也更加易於進行故障檢修。因為,大多數企業對於IP管理的了解要遠遠多於對FC管理的了解。
NFS有一個優點就是訪問簡易。所有ESX伺服器都可以連接到載入點(mount point),這使得VMotion的使用更加容易。在FC部署中,每個ESX伺服器都必須能夠看到所有其它ESX伺服器的LUN,這很不利於配置和管理。NFS是一項共享技術,所有共享訪問都是內置的。
NFS的另一優勢在於數據保護方面。盡管通過NFS提供的VMware鏡像無法使用VMware VCB,但Unix或Linux主機可以載入這些鏡像來進行備份。利用支持NDMP的備份軟體可以備份這些鏡像。通過Linux主機的方法可以訪問VMware鏡像,而且可以通過這種方法可以載入快照和備份卷。此外,你還可以綜合利用NFS主機的復制工具保障業務持續性和災難恢復,而不用購買VMware專門的復制工具。
說得直白一點,NFS不是唯一的協議,它也有不太適合的時候。例如,Microsoft Cluster Service必須有成組存取(block access),而且有些情況下就需要光纖通道。iSCSI有一些很獨特的功能,其中一個是它能夠直接分配一個LUN給一個子操作系統,而不用通過VMware磁碟虛擬層。這些獨特的功能可以快速地將特定的LUN轉移出VMware環境。
這個執行需要的不僅僅是一個標準的文件伺服器或NAS,因為除了保存用戶數據以外,它還是架構的一個關鍵部分。
利用虛擬NAS集群解決I/O問題
通過NAS集群虛擬化可以緩解某些物理存儲相關問題,如I/O限制。
隨著負荷的不斷增加,傳統的NAS無法有效地擴展升級。部署多個物理伺服器會迅速加重I/O帶寬的負擔,這樣的負荷比在多數文件伺服器環境中的負荷要大得多。要減輕I/O帶寬負擔,就必須部署更多的NAS,而這又會導致NAS蔓延。
這使得我們必須在滿足額外的NAS系統需求以解決文件服務需求的同時,還要讓這些NAS系統必須能處理虛擬伺服器環境不斷變化的I/O需求。有了單獨的NAS head,VMotion就很難適用了,唯一的其它選擇是購買更大的單一的NAS head。在VMware環境下,這樣的升級不是因為容量限制而進行的,而是為了提供更高的性能而升級。
下面,我們說說虛擬NAS集群。一個虛擬NAS集群代表著整個ESX環境的一個NAS對象,即使這個對象是多個NAS head。一個虛擬NAS集群是一系列NAS節點,這些節點是作為一個整體被管理的。性能或容量的升級就成為相互獨立的事了,I/O性能升級只是連接更多的節點到集群,而容量升級則是連接更多的磁碟,互不影響。
此外,虛擬NAS集群還可以為環境提供冗餘。如果集群的其中一個節點出錯,該節點的文件系統會自動轉向集群中的其它節點。這個功能可以保障數據訪問不受中斷,對於虛擬伺服器環境非常重要。因為,虛擬伺服器環境下的一個錯誤可能會導致幾十個虛擬機受到嚴重影響,多層冗餘對於這樣的環境就顯得尤為重要。
Global Files System
將虛擬伺服器從一台物理機遷移到另一台物理機是一項勢在必行的工作,它可以給數據中心帶來很大的靈活性。而數據中心的靈活性也正是客戶所尋求的。相關虛擬磁碟的遷移,尤其是從一個陣列到另一陣列或一個NAS head到另一NAS head的遷移,並不是不可能的任務,但是會非常耗費時間,並且會中斷服務。
而在虛擬NAS集群環境下,這就是一件非常簡單的工作,而且不會造成服務中斷。這進一步提高了虛擬環境的靈活性。例如,如果某台物理機中的好幾個虛擬機存在I/O帶寬需求高峰期,那麼你可以將其它虛擬機磁碟鏡像移開它們所在的節點來應對I/O高峰期。這個功能還可以用於虛擬NAS集群中的標准文件系統,因為它們可以根據需求進行重新分配。
虛擬NAS和FC
在VMware近期的白皮書中,基於FC的塊I/O仍是一個尚未成熟的I/O性能領導者。盡管有些NAS供應商會對這些結果存在爭議,但這並不影響我們對這二者的利用。
首先,不到萬不得已不要使用FC。現在市場上有兩種不同的產品。第一種是NAS供應商(如Network Appliance)為他們的NAS head提供的FC和iSCSI服務。NAS head必須在NAS文件系統中創建一個封裝的FC LUN。第二種是EMC和OnStor等公司提供的網關(Gateway)解決方案,這些解決方案允許本地FC訪問存儲系統。在EMC的解決方案中,這當然是一個通向Clarriion陣列的網關。OnStor允許你通過它們的NAS網關(NAS gateway)為你現有的存儲添加一個有Global Files System的虛擬NAS集群。
5. 分布式文件系統的NFS介紹
(NFS)(Network File System)是個分布式的客戶機/伺服器文件系統。NFS的實質在於用戶間計算機的共享。用戶可以聯結到共享計算機並像訪問本地硬碟一樣訪問共享計算機上的文件。管理員可以建立遠程系統上文件的訪問,以至於用戶感覺不到他們是在訪問遠程文件。
NFS是個到處可用和廣泛實現的開放式系統。 允許用戶象訪問本地文件一樣訪問其他系統上的文件。提供對無盤工作站的支持以降低網路開銷。
簡化應用程序對遠程文件的訪問使得不需要因訪問這些文件而調用特殊的過程。
使用一次一個服務請求以使系統能從已崩潰的伺服器或工作站上恢復。
採用安全措施保護文件免遭偷竊與破壞。
使NFS協議可移植和簡單,以便它們能在許多不同計算機上實現,包括低檔的PC機。
大型計算機、小型計算機和文件伺服器運行NFS時,都為多個用戶提供了一個文件存儲區。工作站只需要運行TCP/IP協議來訪問這些系統和位於NFS存儲區內的文件。工作站上的NFS通常由TCP/IP軟體支持。對DOS用戶,一個遠程NFS文件存儲區看起來是另一個磁碟驅動器盤符。對Macintosh用戶,遠程NFS文件存儲區就是一個圖標。 伺服器目錄共享 伺服器廣播或通知正在共享的目錄,一個共享目錄通常叫做出版或出口目錄。有關共享目錄和誰可訪問它們的信息放在一個文件中,由操作系統啟動時讀取。
客戶機訪問 在共享目錄上建立一種鏈接和訪問文件的過程叫做裝聯(mounting),用戶將網路用作一條通信鏈路來訪問遠程文件系統。
NFS的一個重要組成是虛擬文件系統(VFS),它是應用程序與低層文件系統間的介面。 close文件關閉操作
create 文件生成操作
fsync將改變保存到文件中
getattr 取文件屬性
link 用另一個名字訪問一個文件
lookup 讀目錄項
mkdir建立新目錄
open 文件打開操作
rdwr 文件讀寫操作
remove 刪除一個文件
rename 文件改名
rmdir刪除一目錄
setattr 設置文件屬性 Andrew File System(AFS)Andrew文件系統(AFS)
AFS是專門為在大型分布式環境中提供可靠的文件服務而設計的。它通過基於單元的結構生成一種可管理的分布式環境。一個單元是某個獨立區域中文件伺服器和客戶機系統的集合,這個獨立區域由特定的機構管理。通常代表一個組織的計算資源。用戶可以和同一單元中其他用戶方便地共享信息,他們也可以和其他單元內的用戶共享信息,這取決於那些單元中的機構所授予的訪問許可權。
文件伺服器進程 這個進程響應客戶工作站對文件服務的請求,維護目錄結構,監控文件和目錄狀態信息,檢查用戶的訪問。
基本監察(BOS)伺服器進程 這個進程運行於有BOS設定的伺服器。它監控和管理運行其他服務的進程並可自動重啟伺服器進程,而不需人工幫助。
卷宗伺服器進程 此進程處理與卷宗有關的文件系統操作,如卷宗生成、移動、復制、備份和恢復。
卷宗定位伺服器進程 該進程提供了對文件卷宗的位置透明性。即使卷宗被移動了,用戶也能訪問它而不需要知道卷宗移動了。
鑒別伺服器進程 此進程通過授權和相互鑒別提供網路安全性。用一個「鑒別伺服器」維護一個存有口令和加密密鑰的鑒別資料庫,此系統是基於Kerberos的。
保護伺服器進程 此進程基於一個保護資料庫中的訪問信息,使用戶和組獲得對文件服務的訪問權。
更新伺服器進程 此進程將AFS的更新和任何配置文件傳播到所有AFS伺服器。
AFS還配有一套用於差錯處理,系統備份和AFS分布式文件系統管理的實用工具程序。例如,SCOUT定期探查和收集AFS文件伺服器的信息。信息在給定格式的屏幕上提供給管理員。設置多種閾值向管理者報告一些將發生的問題,如磁碟空間將用完等。另一個工具是USS,可創建基於帶有欄位常量模板的用戶帳戶。Ubik提供資料庫復制和同步服務。一個復制的資料庫是一個其信息放於多個位置的系統以便於本地用戶更方便地訪問這些數據信息。同步機制保證所有資料庫的信息是一致的。