① 簡述存儲管理的主要功能
1、定址空間
操作系統讓系統看上去有比實際內存大得多的內存空間。虛擬內存可以是系統中實際物理空間的許多倍。每個進程運行在其獨立的虛擬地址空間中。
這些虛擬空間相互之間都完全隔離開來,所以進程間不會互相影響。同時,硬體虛擬內存機構可以將內存的某些區域設置成不可寫。這樣可以保護代碼與數據不會受惡意程序的干擾。
2、存儲管理內存映射
內存映射技術可以將映象文件和數據文件直接映射到進程的地址空間。在內存映射中,文件的內容被直接連接到進程虛擬地址空間上。
3、存儲管理物理內存分配
內存管理子系統允許系統中每個運行的進程公平地共享系統中的物理內存。
4、存儲管理共享虛擬內存
盡管虛擬內存允許進程有其獨立的虛擬地址空間,但有時也需要在進程之間共享內存。 例如有可能系統中有幾個進程同時運行BASH命令外殼程序。為了避免在每個進程的虛擬內存空間內都存在BASH程序的拷貝,較好的解決辦法是系統物理內存中只存在一份BASH的拷貝並在多個進程間共享。
(1)存儲協議的基礎擴展閱讀:
相關延伸:存儲管理存儲知識結構
1、系統管理:UNIX/Linux/Windows操作系統管理。
2、開發技術:C/C++,網路編程,多進程/多線程,進程間通信。
3、存儲基礎:磁碟、RAID陣列、文件系統等存儲相關硬體和軟體的安裝、配置、調試。
4、存儲系統:RAID,DAS,SAN,NAS, CAS等。
5、存儲協議:TCP/IP,SCSI,iSCSI,NFS/CIFS等。
6、文件系統:VFS, EXTx/NTFS/FAT32等磁碟文件系統,NFS/CIFS網路文件系統,Lustre/GFS/AFS等分布式文件系統。
7、存儲技術:Deplication,SSD,HSM,Virtualization,Snapshot,Replication,CDP, VTL,Thin Provision等等。
8、存儲架構:掌握不同行業的存儲需求,能夠根據實際需求提出存儲解決方案,並進行存儲系統架構、設計和實現
② 光纖線的光纖通道
在高端的伺服器/工作站硬碟中,還會採用光纖通道作為SCSI硬碟介面。光纖通道是高性能的連接標准,用於伺服器、海量存儲子網路、外設間通過集線器、交換機和點對點連接進行雙向、串列數據通訊。對於需要有效地在伺服器和存儲介質之間傳輸大量資料而言,光纖通道提供遠程連接和高速帶寬。它是適於存儲區域網、集群計算機和其它資料密集計算設施的理想技術。其介面傳輸速度分為1GB和2GB等等。
一、光纖通道技術起源信息時代數據量的爆炸增長給存儲技術的發展提供了良好的機遇,現在信息主管們更多考慮的事情是,如何對數據進行安全的存儲、管理及使用。因此,人們不僅對存儲設備容量、性能等方面的需求越來越高,同時對存儲系統也提出了高性能、高可靠性、並能夠長距離傳輸的技術要求。光纖通道(Fiber Channel)技術正是在這一需求的驅動下誕生的。目前,在存儲系統的設計中,凡是涉及到對大型關系資料庫進行操作,對海量數據進行讀取的業務系統,一般都傾向於採用存儲區域網路(Storage Area Networks,)架構。存儲區域網路(以下簡稱「SAN」)是建立在網路化的I/O存儲協議基礎之上,可使伺服器與存儲設備之間進行「any to any」連接通信的網路系統。SAN的發展帶動了光纖通道技術的發展,而光纖通道體系結構的發展,為SAN的技術構想鋪平了道路。光纖通道技術是一種基於光纖通道的協議體系結構,始於1989年,於1994年10月制定了相應的ANSI標准。光纖通道技術的傳輸介質除光纜之外,還有銅纜等其他傳輸載體,但是國際上通常將其稱為光通道。光纖通道技術能得以迅速發展、廣泛應用(體現在主流採用FC技術的SAN系統大量出現),不僅僅因為光纖通道具有更高的帶寬、更長的連接距離、更好的安全性和擴展性,更重要的是光纖通道技術融合了通道技術和網路技術的優勢,利用光纖通道網路可以創造一個有別於我們所熟知的區域網(LAN)甚至城域網(MAN)的存儲區域網路(SAN)。 SAN不是一種產品,而是配置網路化存儲的一種方法,其主要思路是將傳統網路上的數據交換轉換到主要由存儲設備和資料庫伺服器組成的SAN上。藉助於光纖通道技術,SAN支持遠距離通信,並且將數據存儲與應用服務徹底分開,使得存儲設備能夠成為所有接入SAN的伺服器可高速、安全、可靠訪問的共享資源;同時,SAN也允許各個存儲設備,如磁碟陣列和磁帶庫,無需通過專用的中間伺服器即可協同工作。SAN解決了在傳統LAN中一旦出現大量數據訪問會大幅度降低網路性能的問題,使得數據的訪問、備份和恢復不影響LAN的性能,從根本上保證了應用系統的服務質量,並可大幅度地減少管理費用支出。二、光纖通道協議和分層模型光纖通道是一種技術標准,是由美國國家標准協會(ANSI)委託的幾個委員會共同開發的一組集成標準的通用名稱,是為提高多硬碟存儲系統的速度和靈活性而設計的高性能介面標准。它獨立於介質,支持同時傳輸多種不同協議,如IPI、IP、FICON、FCP(SCSI)等協議,適用於伺服器、海量存儲子網路、外設之間通過集線器、交換機和點對點連接進行雙向、串列數據通訊。正如在乙太網中IP、NetBIOS和SNA等協議均可在單一乙太網適配器上同時使用,是因為所有這些協議在乙太網中都被得到映射一樣,各種網路層的通訊協議也可以通過協議映射在光纖通道上得以實現。光纖通道技術的優點主要體現在:(1)高帶寬,目前已實現200MB/s數據傳輸率,400MB/s已通過測試;(2)高容量定址能力及擴容能力,可接入1600萬節點;(3)數據高度集中及存儲能力的全局共享;(4)每對節點間的長連接距離,多模光纜達500米,單模光纜可達10公里;(5)模塊化的擴容和連接方式;(6)利用光纖交換機及相關軟體可建立高可用或容錯服務系統;(7)可方便協助建立負載均衡及伺服器集群系統。光纖通道技術是結合了「通道技術」和「網路技術」的優點而開發出來的新技術:通道技術是硬體密集型技術,是因為它是為了在緩存區間快速傳輸大量的數據而設計的,可以直接連接設備而不需要使用太多的邏輯;網路技術是軟體密集型技術,是因為數據包需要在網路上被路由到許多設備中的某一個節點上,此外網路技術有操作大量節點的能力。光纖通道技術從設計之初就將通道技術和網路技術的上述優勢融合在一起。 光纖通道協議中定義了五個獨立層次,從物理介質到傳輸於光纖通道中的高層協議,包含了光纖通道技術的全貌。以下是這五層的功能模塊: ① FC-0,物理層,定義了連接的物理埠特性,包括介質和連接器(驅動器、接收機、發送機等)的物理特性、電氣特性和光特性、傳輸速率以及其它的一些連接埠特性。物理介質有光纖、雙絞線和同軸電纜。該層定義了光如何在光纖上傳輸以及發送器與接收器之間如何在各種物理介質上工作。②FC-1,傳輸協議,FC-1根據ANSI X3 T11標准,規定了8B/10B的編碼方式和傳輸協議,包括串列編碼、解碼規則、特殊字元和錯誤控制。傳輸編碼必須是直流平衡以滿足接收單元的電氣要求。特殊字元確保在串列比特流中出現的是短字元長度和一定的跳變信號,以便時鍾恢復。該層承擔著取得一系列信號並將其編碼成可用字元數據的責任。③ FC-2,幀協議,定義了傳輸機制、包括幀定位、幀頭內容、使用規則以及流量控制等。光纖通道數據幀長度可變,可擴展地址。用於傳輸數據的光纖通道數據幀長度最多達到2K,因此非常適合於大容量數據的傳輸。幀頭內容包括控制信息、源地址、目的地址、傳輸序列標識和交換設備等。64位元組可選幀頭用於其它類型網路在光纖通道上傳輸時的協議映射。光纖通道依賴數據幀頭的內容來引發操作。④ FC-3,公共服務,提供高級特性的公共服務,即埠間的結構協議和流動控制,它定義了三種服務:條帶化(Striping)、搜索組(Hunt Group)和多播(Multicast)。條帶化的目的是為了利用多個埠在多個連接上並行傳輸,這樣I/O傳輸帶寬能擴展到相應的倍數;搜索組用於多個埠去響應一個相同名字地址的情況,它通過降低到達〃占線〃的埠的概率來提高效率;多播用於將一個信息傳遞到多個目的地址。⑤ FC-4,協議映射層,定義了光纖通道的底層跟高層協議(Upper Layer Protocol)之間的映射關系以及與現行標準的應用介面,這里的現行標准包括現有的所有通道標准和網路協議,如SCSI介面和IP、ATM、HIPPI等。?由此可見,光纖通道協議棧是多種高層數據協議的傳輸載體,尤其以傳輸SCSI和IP數據為主。作為載體傳輸高層數據協議的過程,實際上就是一個把高層數據協議映射到協議棧物理層傳輸服務的過程。其中,最常用到的光纖路徑協議(Fibre Channel Protocol)就是SCSI數據、命令和狀態信息到FC物理層傳輸服務的映射。FCP具有在所有光纖路徑拓撲結構及所有類型服務上工作的獨立性。以下是映射到光纖通道上的協議:① 小型計算機系統介面(SCSI),即光纖路徑協議(FCP)的SCSI-3協議的映射,是映射到光纖路徑的主要協議。② IP協議。③ 可視化介面結構(VIA)。④ 高性能並行介面(HIPPI)。⑤ IEEE 802邏輯鏈接控制層。⑥ 單位元組指令代碼集(SBCCS),SBCCS是在IBM大型系統中使用的ESCON存儲I/O路徑中指令和控制協議的實現。⑦ 非同步傳輸模式適配層5(AAL5)。⑧ 光纖連接(FICON),FICON是將IBM S/390主機架構中的ESCON網路通信協議映射為光纖路徑網路上的一個上層協議。1.光纖通道網路的物理層光纖通道網路的物理層由以下三個基本的物理單元組成:(1)埠:用於連接伺服器系統與光纖交換機的介面、或用於連接存儲設備與光纖交換機的介面。(2)網路設備:使用光纖協議進行通訊的光纖交換機。(3)線纜:用於伺服器介面與光纖交換機介面之間的連線、或用於存儲設備的介面與光纖交換機介面之間的連線。2.網路名字和地址元素 光纖網路中的網路名字和地址的基本元素如下:全局名、埠地址、仲裁環物理地址、簡單名字伺服器。(1)全局名 全局名World Wide Name(WWN)指分配給每個產品的一個8位元組的標識符,可用於光纖網路中的一個埠。WWN被存儲在非易失性的存儲器中,其格式由IEEE定義,用以為每個產品在其安裝網路中提供唯一的標識。在一個節點最初登陸到一台交換機上時,可以和該交換機交換一個N埠的完全的WWN,如果交換機上沒有該N埠的信息,就會有一個注冊過程,在此過程中,N埠發送自身信息給交換機,交換機將這些信息放到他的簡單名字伺服器中,從而使其它過程和應用能夠訪問它。(2)埠地址 在光纖網路中有兩種埠地址:固定地址和動態地址。① 固定地址:每個光纖通道可識別設備都擁有一個固定光纖通道地址,這與每塊乙太網卡所擁有的MAC地址相似。該固定地址全球唯一,其他設備可以通過這一地址對其進行訪問。② 動態地址:為支持高層編址,光纖通道在Fabric域內定義了一個24位動態標識地址。每一個N_Port都擁有一個在Fabric域內唯一的24位N_Port標識。N_Ports既可以通過協議獲得其預設定的N_Port標識,也可以在由Fabric在設備登錄時動態分配。(3)仲裁環物理地址 仲裁環物理地址(ALPA)為單位元組,它唯一地標識了環網上的每一個埠。環網中的每個埠都存儲了該環中所有其他埠的地址,從而提供了在環中通信的機制。通過埠地址可以判別一個環上的埠是公有的還是私有的。(4)簡單名字伺服器簡單名字服務提供一種瘦目錄服務。節點、交換式光纖網路和應用程序通過使用簡單名字服務獲取埠的訪問信息。3.服務級別服務級別定義了在數據傳輸中採用何種機制,不同的服務級別用於不同的數據。服務級別分為五類:級別1:帶確認的面向連接的服務;級別2:帶確認的無連接服務;級別3:無確認的無連接的服務;級別4:面向連接的部分帶寬服務;級別F:交換機間通信格式。 流控制就是一種定義於服務級別中的機制,分為端對端的流控制和緩存區到緩存區的流控制。(1)端對端的流控制,是接收埠傳輸一個返回幀給發送者來確認收到傳輸幀;當發送者收到了應答幀(ACK)的反饋,就會將信用值設為1,這樣就可以發送下一幀了。(2)緩存區到緩存區的流控制,是用於fabric埠的節點埠之間的或者兩個節點埠之間的用來保證設備能夠接收到最大數量幀的機制。一個R-RDY(接收方就緒)原語信號發送出去,就表明接收者可以接受幀了;如果接收者發出一定數量的R-RDY信號,說明它有足夠的緩存空間來接收這一數量的幀。除了流控制之外,服務級別還指明連接是否是專用的。對於一個連接型的傳輸過程,不能發送一個不是傳送到專用接受者地址的幀。另外,不能在某個級別中發送不是同一級別的幀,這樣才可以保證連接能夠使用全部帶寬。4.埠類型 光纖通道網路中的所有組件(即設備)都使用埠作為網路的連接。光纖通道網路中的埠包括以下幾種基本類型:N-port 埠、F-port 埠、L-port 埠、NL-port 埠、FL-port 埠、E-port 埠、G-port 埠。其中N、L和NL埠被用於光纖通道網路中的終端結點,F、FL、E和G埠在光纖交換機中實現。①N-port 埠和F-port 埠 最初的光纖通道網路中包括兩種類型的埠:一種是N-port埠的網路埠;另一種是F-port埠的交換光纖埠。N-port埠是訪問光纖通道網路上的存儲設備和計算機系統上的埠,任務是初始化及接收幀,如果沒有N-port 埠,就不會有網路上的數據通信;F-port 埠是光纖交換機上的埠,作用是代表N-port 埠提供管理和連接服務,這些服務是為每對N-port 埠之間(主機系統與存儲設備)的通信提供的。在N-port 埠和F-port 埠之間,是一對一的關系。在光纖存儲區域網中的光纖交換機上,僅有一個N-port埠和F-port 埠相連接,光纖通道網路中其它N-port 埠和該N-port 埠之間的通信,通過其各自在交換機上的埠初始化進程和該N-port 埠的通信來實現。無論N-port 埠是發送還是接收數據,它總是和F-port 埠通信。在沒有數據傳輸的時候,N-port 埠向交換機上對應的F-port 埠發送IDLE幀,在N-port 埠和F-port 埠之間建立一種「心跳」,從而能很快檢測到可能發生的連接中的問題。②L-port 埠 L-port 埠存在於光纖通道環網中。和交換式網路不同,環狀網路中的節點共享一個線纜帶寬的結構。和交換式網路結構中的N-port 埠用來初始化以和F-port 埠通信相類似,L-port 埠被設計來初始化和該環中的其它L-port 埠的直接通信。但是,在光纖環網中沒有和F-port 埠相對應的埠名稱。因為光纖環網是一個邏輯環,被設計在沒有網路集線器的環境下工作,因此,如果未被要求,集線器不能為環網提供既定的埠功能。光纖環網中的集線器僅僅起到連接以及防止失效的作用。③NL-port 埠和FL-port 埠 當光纖通道環路加入到光纖通道網路中時,必須允許N-port 埠節點和L-port 埠節點之間進行通信,為此定義了兩個新的埠:FL-port 埠和NL-port 埠。FL-port 埠是光纖交換機上的埠,在光纖通道網路中允許其作為一個特殊的節點加入進來。光纖通道環網為FL-port 埠保留僅有的一個地址,即在同一時刻不可能同時有兩個光纖交換機進行通信。NL-port 埠位於環網內的埠,具有N-port 埠和L-port 埠的雙重能力,同時支持交換式光纖網和光纖環網,從而使得交換式光纖網和光纖環網之間的通信成為了可能。④E-port 埠和G-port 埠 在光纖交換機中,還有兩種常見的埠,他們分別是E-port 埠和G-port 埠。G-port 埠是「萬能」埠,它能用於交換機中如F-port 埠和FL-port 埠等的不同埠。E-port 埠是一種特別的埠,用於光纖交換機的級聯。以上是光纖通道網路中能遇到的各種埠。我們在國土資源部的存儲平台中使用的光纖交換機是Brocade光纖交換機。此光纖交換機的埠支持自配置功能。自配置埠能夠檢測到所有連接的另一端的埠模式,並自動配置成支持該模式的操作方式。5.線纜與介質 SAN的很多特徵是由網路的物理布局規劃來決定的,在SAN中選擇的介質類型將會影響到SAN的擴展性和功能性。介質類型有兩種選擇:銅芯線和光纖。①銅芯線 銅芯線的優點在於它是連接SAN部件中最便宜的介質。銅芯線通常是150歐姆的銅芯雙絞線。銅芯線的傳輸速率為100MB/S的千兆位傳輸,它的有效傳輸路徑是在0到25米之內不會有任何衰減。銅芯線的兩端通常使用HSSDC連接器或DB-9陽連接器。②多模光纖 多模光纖的直徑通常有50和62.5微米兩種規格,它們之間並沒有速度上的差異。多模光纖的波長范圍為850納米和1300納米兩種。850納米波長的光是可見的,對人眼無害。1300納米波長是不可見的,而且對視網膜有害。多模光纖兩端接頭的類型很多,包括SC、LC和 MT-RJ等。多模光纖使用的是一種聚集的LED而不是真正的激光。③單模光纖 單模光纖適用於長距離的信號傳輸。它的波長是1300納米,是不可視的,對人眼有害。單模光纖的直徑為9微米,由於它的直徑如此之小,使用它進行長距離傳送信號時,光波不易被改變。所以在長距離的SAN中,單模光纖是最好的一種解決方式。由於單模光纖的直徑很小,所以它的潛在發射速度也是最高的,理論極限速度是25Tb/s,而多模光纖的理論極限速度是10Gb/s。單模光纖本身並不比多模光纖或銅芯線貴出很多,價格的增加主要在於其收發器部件,因為它使用的是激光而不是LED。由於單模光纖的直徑非常小,所以對光纖收發器的精確度要求很高。④光纖接頭光纖接頭有很多類型,在實際的使用中只要連接是干凈的,那麼使用那種接頭對性能都不會有任何影響。在搭建SAN時應該盡量減少連接的數量,因為光會在其路徑設備中質量不好的連接之間來回反射。所以連接數量越少,SAN中產生錯誤信號的概率就越低。現在許多HBA(光纖介面卡,插在伺服器系統的PCI插槽中)卡中使用的銅芯接頭是HSSDC銅芯接頭。
③ 三大存儲協議介紹與存儲資源盤活系統
存儲協議目前主流的有三種,AHCI、NVMe、SCSI。 HDD 磁碟和早期 SSD 磁碟的傳輸協議一般採用AHCI(高級主機控制器介面,Advanced Host Controller Interface)。AHCI 為單隊列模式,主機和 HDD/SSD 之間通過單隊列進行數據交互。對於 HDD 這種慢速設備來說,主要瓶頸在存儲設備,而非 AHCI協議。不同於 HDD 的順序讀寫特點,SSD 可以同時從多個不同位置讀取數據,具有高並發性。因此對於 SSD,AHCI 的單隊列模式成為了限制並發性的瓶頸。隨著存儲介質的演進,SSD 盤的 IO 帶寬越來越大,訪問延時越來越低。AHCI 協議已經不能滿足高性能和低延時 SSD 的需求, NVMe(NVM Express 非易失性內存主機控制器介面規范)應運而生。
NVM(non-volatile memory)是固態硬碟(SSD)的常見的快閃記憶體形式。此規范主要是為基於快閃記憶體的存儲設備提供一個低延時、內部並發化的原生界面規范,也為現代CPU、計算機平台及相關應用提供原生存儲並發化的支持,令主機硬體和軟體可以充分利用固態存儲設備的並行化存儲能力。相比此前機械硬碟驅動器(HDD)時代的AHCI,NVMe/NVMHCI降低了I/O操作等待時間、提升同一時間內的操作數、更大容量的操作隊列等。基於 NVMe 的驅動器可實現高達 16Gbps 的吞吐量,且當前供應商正在推動 32Gbps 或更高的吞吐量產品的應用。在 IO 方面,許多基於 NVMe 的驅動器,其 IOPS 可以超過 50 萬,部分可提供 150 萬、200 萬甚至1000 萬 IOPS。與此同時,許多驅動器的延遲低於 20 微秒,部分低於 10 微秒。
SCSI即小型計算機介面(Small Computer System Interface),指的是一個龐大協議體系,到目前為止經歷了SCSI-1/SCSI-2/SCSI-3變遷。 SCSI協議定義了一套不同設備(磁碟,磁帶,處理器,光設備,網路設備等)利用該框架進行信息交互的模型和必要指令集。SCSI協議本質上同傳輸介質(SATA線,PCIE線,網線等)無關,SCSI可以在多種介質上實現,甚至是虛擬介質。例如基於光纖的FCIP(Fiber Channel over IP)鏈路協議,基於SAS(Serial Attached SCSI)的鏈路協議,基於虛擬IP鏈路的iSCSI協議。通俗點說SCSI協議就是一個存儲設備與伺服器之間介面通訊的一個規范。因為這種「兼容各種傳輸介質」的特性,存儲網路都是以 SCSI協議為基礎框架,前端傳輸網路層一直以 FC(光纖通道,Fiber Channel)網路為主,後端則以 SAS(串列 SCSI 技術,Serial Attached SCSI)網路為主,這構成了伺服器間以 IP 為主要互聯手段的 IP 存儲網路。
iSCSI(Internet Small Computer System Interface,Internet 小型計算機系統介面)是一種由IBM公司研究開發的IP SAN技術,該技術是將現有SCSI介面與乙太網絡(Ethernet)技術結合,基於 TCP/IP的協議連接iSCSI服務端(Target)和客戶端(Initiator),使得封裝後的SCSI數據包可以在通用互聯網傳輸,最終實現iSCSI服務端映射為一個存儲空間(磁碟)提供給已連接認證後的客戶端。
存儲區域網路 iSCSI SAN 是一個基於 IP 的系統,允許 SAN 連接到常規的千兆乙太網交換機和 IP 路由器,一般沒有額外的硬體要求。實施iSCSI SAN有以下幾個優勢:
1.簡化與整合:iSCSI SAN 可以將數據整合到一個分層系統中,該系統自動利用網路上的所有存儲設備來平衡負載。這極大地簡化了存儲結構,消除了對日益繁瑣的 IT 環境的需求,從而減輕了 IT 人員的負擔。
2.更好的性能和可靠性:iSCSI SAN 消除了傳統上由伺服器磁碟執行的繁重數據存儲工作。通過專用於存儲數據的 iSCSI 陣列,可以顯著減輕網路其餘部分的負擔。為最終用戶提供更強大的吞吐、更好的可靠性和更快的速度。
3.數據保護、備份和恢復:隨著數據的增長,傳統的備份系統變得越來越復雜並且對網路造成負擔。數據越多,備份所需的時間越長,停機時間越長。此外,災難發生後,恢復數據可能需要數天時間。ISCSI SAN解決方案提供自動化、更快的備份過程,對現有業務運營無中斷。災難發生後,數據可以在短短幾分鍾內恢復。
4.節約成本:使用iSCSI SAN,組織可以通過多種方式立即降低成本:1) 通過簡化網路架構並消除對昂貴存儲擴展硬體的持續需求,2) 減輕管理網路的 IT 人員的人力成本,3) 通過性能更高的系統提高整個組織的生產力 4) 通過降低能耗的硬體來降低能源成本。
目前主要的 iSCSI SAN 產品包括 Equallogic、Compellent、HBlock等。EqualLogic建立在虛擬化對等存儲架構之上,為小型到大型組織簡化和自動化數據存儲;Compellent是基於可擴展 SAN 架構和虛擬化的企業級存儲解決方案,使用強大的數據移動引擎,幫助組織更有效地管理數據;HBlock是純軟體的綠色存儲控制器,可以將商用伺服器及其內部的硬碟驅動器(HDDs)和固態驅動器(SSDs)轉換成高性能的虛擬存儲陣列。
提到HBlock,一個更加普及的名字恐怕是存儲資源盤活系統。沒錯,這個全新的革命性概念已經被中國電信天翼雲所開發為現實產品了。存儲資源盤活系統通過標准iSCSI協議提供虛擬Target和邏輯卷。它可以通過提高資源利用率,優化資源成本,助力企業用戶實現綠色轉型。它能夠安裝在任意Linux伺服器上,可以把各伺服器中分散的磁碟整合成高性能的存儲資源池,通過分布式雙控制器架構保證了低延遲、高可用、易拓展的特性;通過完善的控制台、命令行與API來統一調度管理所有存儲資源;通過強大的兼容性和獨特的硬體異構特性充分利用全部存儲資源。存儲資源盤活系統特別適用於邊緣計算、混合雲存儲、次級存儲(備份/視頻監控)、提升硬體利用率等場景。如果部署在可靠的硬體環境中,還可以承載企業的重要工作負載。因此,無論使用哪種存儲協議,存儲資源盤活系統都可以將各種伺服器、空閑磁碟整合為統一高性能資源池,靈活調度、分配、使用、上雲,打造無縫融入現有業務的存儲系統。
④ 什麼是iSCsi
iSCSI:Internet小型計算機系統介面(iSCSI:)。
iSCSI(InternetSCSI)是2003年IETF(InternetEngineeringTaskForce,互聯網工程任務組)制訂的一項標准,用於將SCSI數據塊映射成乙太網數據包。
iSCSI(SmallComputerSystemInterface)是塊數據傳輸協議,在存儲行業廣泛應用,是存儲設備最基本的標准協議。從根本上說,iSCSI協議是一種利用IP網路來傳輸潛伏時間短的SCSI數據塊的方法,ISCSI使用乙太網協議傳送SCSI命令、響應和數據。
ISCSI可以用我們已經熟悉和每天都在使用的乙太網來構建IP存儲區域網。通過這種方法,ISCSI克服了直接連接存儲的局限性,使我們可以跨不同伺服器共享存儲資源,並可以在不停機狀態下擴充存儲容量。
(4)存儲協議的基礎擴展閱讀
存儲單位是一種計量單位。指在某一領域以一個特定量,或標准做為一個記錄(計數)點。再以此點的某個倍數再去定義另一個點,而這個點的代名詞就是計數單位或存儲單位。如卡車的載重量是噸,也就是這輛卡車能存儲貨物的數量,噸就是它的單位量詞。
二進制序列用以表示計算機、電子信息數據容量的量綱,基本單位為位元組B,位元組向上分別為KB、MB、GB、TB,每級為前一級的1024倍,比如1KB=1024B,1M=1024KB。
參考資料
存儲單位-網路
⑤ vmware vsphere支持哪些存儲方式
磁碟/lun(san、iscsi、本地磁碟)、網路文件系統NAS。
1、光纖通道(FC)。
優點:低延遲(非IP存儲網路)、眾所周知,可靠性高、支持虛擬機文件系統(VMFS)。
缺點:需要專用主機匯流排控制器(HBA);價格昂貴,需要存儲區域網路(SAN)交換機和HBA;更多的管理工作(SAN交換機、換分zone等等)。
2、光纖乙太網(FCOE)。
優點:可以將存儲和其他網路流量融合到同一套網路當中;利用數據中心橋接功能提供基於乙太網的無損存儲協議;支持VMFS。
缺點:知名度和可靠性相對較低;需要最低10GB的無損乙太網基礎架構;無法進行路由;排錯異常困難。
3、互聯網小型計算機系統介面(iSCSI)。
優點:眾所周知,可靠性高、價格低廉、可以依賴於現有的網路組件、使用vSphere自帶的iSCSI軟體控制器、支持多路徑輸入/輸出(MPIO)負載均衡、正常情況下延遲較低、支持VMFS。
缺點:作為基於IP的存儲協議,會產生更高的延遲;使用iSCSI介面綁定時不能路由;如果使用iSCCI介面卡,會產生更高的延遲;安全顧慮。
⑥ iscsi、cifs、nfs在存儲上的區別。
iscsi、cifs、nfs區別為:對象不同、環境不同、方式不同。
一、對象不同
1、iscsi:iscsi是針對數據塊存儲的。
2、cifs:cifs是針對共享文件存儲的。
3、nfs:nfs是針對共享文件存儲的。
二、環境不同
1、iscsi:iscsi主要應用在Windows環境下,適用於TCP/IP通訊協議。
2、cifs:cifs主要應用在NT/Windows環境下。
3、nfs:nfs主要應用在UNIX環境下,廣泛應用在FreeBSD、SCO、Solaris等等異構操作系統平台。
三、方式不同
1、iscsi:iscsi並不能用於在磁碟中存儲和管理數據,是通過TCP/IP網路傳輸文件時的文件組織格式和數據傳輸方式。
2、cifs:cifs讓協議運行於TCP/IP通信協議之上,讓Unix計算機可以在網路鄰居上被Windows計算機看到,並進一步傳遞存儲數據。
3、nfs:nfs能夠支持在不同類型的系統之間通過網路進行文件共享存儲。
⑦ 幾種存儲介面協議全面比較(一)
硬碟介面是硬碟與主機系統間的連接部件,作用是在硬碟緩存和主機內存之間傳輸數據。不同的硬碟介面決定著硬碟與控制器之間的連接速度,在整個系統中,硬碟介面的性能高低對磁碟陣列整體性能有直接的影響,因此了解一款磁碟陣列的硬碟介面往往是衡量這款產品的關鍵指標之一。存儲系統中目前普遍應用的硬碟介面主要包括SATA、SCSI、SAS和FC等,此外ATA硬碟在SATA硬碟出現前也在一些低端存儲系統里被廣泛使用。 每種介面協議擁有不同的技術規范,具備不同的傳輸速度,其存取效能的差異較大,所面對的實際應用和目標市場也各不相同。同時,各介面協議所處於的技術生命階段也各不相同,有些已經沒落並面臨淘汰,有些則前景光明,但發展尚未成熟。那麼經常困擾客戶的則是如何選擇合適類型陣列,既可以滿足應用的性能要求,又可以降低整體投資成本。現在,我們將帶您了解目前常見的硬碟介面技術的差異與特點,從而幫助您選擇適合自身需求的最佳方案。 ATA,在並行中沒落 ATA (AT Attachment)介面標準是IDE(Integrated Drive Electronics)硬碟的特定介面標准。自問世以來,一直以其價廉、穩定性好、標准化程度高等特點,深得廣大中低端用戶的青睞,甚至在某些高端應用領域,如伺服器應用中也有一定的市場。ATA規格包括了 ATA/ATAPI-6 其中Ultra ATA 100兼容以前的ATA版本,在40-pin的連接器中使用標準的16位並行數據匯流排和16個控制信號。 最早的介面協議都是並行ATA(Paralle ATA)介面協議。PATA介面一般使用16-bit數據匯流排, 每次匯流排處理時傳送2個位元組。PATA介面一般是100Mbytes/sec帶寬,數據匯流排必須鎖定在50MHz,為了減小濾波設計的復雜性,PATA使用Ultra匯流排,通過「雙倍數據比率」或者2個邊緣(上升沿和下降沿)時鍾機制用來進行DMA傳輸。這樣在數據濾波的上升沿和下降沿都採集數據,就降低一半所需要的濾波頻率。這樣帶寬就是:25MHz 時鍾頻率x 2 雙倍時鍾頻率x 16 位/每一個邊緣/ 8 位/每個位元組= 100 Mbytes/sec。 在過去的20年中,PATA成為ATA硬碟介面的主流技術。但隨著CPU時鍾頻率和內存帶寬的不斷提升,PATA逐漸顯現出不足來。一方面,硬碟製造技術的成熟使ATA硬碟的單位價格逐漸降低,另一方面,由於採用並行匯流排介面,傳輸數據和信號的匯流排是復用的,因此傳輸速率會受到一定的限制。如果要提高傳輸的速率,那麼傳輸的數據和信號往往會產生干擾,從而導致錯誤。 PATA的技術潛力似乎已經走到盡頭,在當今的許多大型企業中,PATA現有的傳輸速率已經逐漸不能滿足用戶的需求。人們迫切期待一種更可靠、更高效的介面協議來替代PATA,在這種需求的驅使下,串列(Serial)ATA匯流排介面技術應運而生,直接導致了傳統PATA技術的沒落。
⑧ NFS與磁碟陣列的區別 我問的可是本質層面的東西,單NFS(網路文件系統)和磁碟陣列,我們還是懂滴
既然懂就應該明白一點,磁碟陣列和NFS不是一個層面的東西,所以區別就很明顯。磁碟陣列通常是指硬體設備,這個硬體設備通常具備冗餘的硬體架構,包括雙控制器、緩存鏡像、RAID控制器等,有些也具有一些軟體功能,包括快照保護、鏡像和復制。磁碟陣列通常支持一種或者多種存儲協議包括FC、iSCSI、FCoE、NFS、CIFS。這里提到了NFS,這只是存儲協議的一種,是專門用於網路上文件共享的,實現的擴平台的多用戶文件共享。其實現平台可以使伺服器,也可以磁碟陣列。NFS與FC、iSCSI、FCoE是同等級別的,可以用來對比。FC、iSCSI、FCoE本質上都是基於對SCSI協議的打包,是解決SCSI協議傳輸的協議,其區別就是傳輸管道的區別。SCSI是小型計算機互通協議,是由IBM建立的一套標准和開放的計算機互通協議,是眾多協議的基礎。既然你說你們是懂的,我想不用多說。通過SCSI協議計算機可以看到硬碟空間,這個空間是數據塊為單位的。因為不管是本地硬碟也好,還是通過其他協議轉換過來的模擬的SCSI協議也好,都是給計算機提供這樣數據塊級別的存儲空間。放入什麼文件,放在哪些數據塊上是由使用空間的計算機來決定的。回來說NFS,其本源是要解決文件共享問題,他給計算機的是什麼?是一個文件夾,訪問的計算機可以看到的是一個個的文件。至於文件存放在哪些硬碟和數據塊上則是由NFS的承載體(伺服器和磁碟陣列)來決定的。所以提供NFS協議支持的設備(通常稱為NAS設備)通常具備較大的緩存,這是由其肩負著較重的文件管理負荷所決定的。
不知道這樣說你是否明白。
⑨ Ziwa新一代分布式存儲通信協議
ZiwaNetwork是由ziwa實驗室開發的新一代分布式存儲和通信協議,Ziwa主要基於以太坊的DApp代碼、用戶基礎數據、區塊鏈和狀態數據,以及無法追蹤的分散和冗餘存儲等問題提供解決方案,以太坊開發者可以直接通過ziwa完成數據去中心化存儲的任務,而不是直接依賴IPFS、AR,BitTorrent等外部生態系統,構建自己的去中心化應用程序。
Ziwa的發展來源於以太坊需求的引導和啟發。
Ziwa團隊正在努力打造無停機、零故障、反審計的點對點存儲和服務解決方案。在紫窪內部建立經濟激勵體系,將促進資源交換價值的支付和轉移。該項目在以太坊區塊鏈中使用了不同的協議和技術。 Ziwa 的存在使互聯網再次去中心化。 Ziwa 的長期願景是成為一個重新分布的互聯網操作系統。它將為數據的供應鏈經濟提供可擴展和自我維持的基礎設施。
Ziwa實現了哪些功能
隨著Web 2.0的席捲全球,P2P(P2P)的革命正在加速並同步悄然發展。事實上,P2P已經接管了大量的數據包。毫無疑問,所有用戶最終都可以使用到目前為止尚未充分利用的上行帶寬,這可以提供具有相同可用性和吞吐量的內容,而這只能在大公司及其數據中心的幫助下才能實現。依靠互聯網骨幹網最寬的帶寬,可以以很小的成本實現。更重要的是,用戶對其數據保留了更多的控制權和自由度。最後,即使面對關閉強大且資金充足的實體的暴力手段,這種數據分配方法也被證明具有顯著的靈活性。然而,即使是最先進的 P2P 文件共享模式,沒有跟蹤器的 BitTorrent 也只是文件級別的共享。這根本不是 Web 2.0 上的 Web 應用程序所期望提供的那種互動式、響應式體驗。此外,雖然BitTorrent已經變得非常流行,但它並沒有考慮到經濟學或博弈論的概念。
BitTorrent 的天才在於其巧妙的資源優化,它解決了舊的和中心化的超文本傳輸協議 (HTTP),這是主從設計中最困難和根深蒂固的問題。該協議是萬維網的基礎。它通過使用分層分段散列來防止作弊,但這種精緻而簡單的方法有五個相應的缺點,
例如:
*缺乏經濟激勵——沒有內在的激勵來傳播下載的內容
*初始延遲 - 通常,下載開始緩慢且有一些延遲
*特殊性嚴重限制了BitTorrent在需要快速響應和高帶寬的互動式應用程序中的使用。
*缺乏細粒度的內容定址 - 小數據塊只能作為它們包含的較大文件的一部分共享。
*沒有隱私或歧義——攻擊者可以輕松地發現託管他們想要刪除的內容的對等點的 IP 地址,然後作為攻擊者使用 DDoS 攻擊。
*沒有繼續共享的動力——一旦節點達到其目標(即從對等方檢索所有必需的文件),它將不會因其共享的工作(存儲和帶寬)而獲得獎勵。
然而,隨著區塊鏈技術的加入,我們最終將迎來真正的 Web 3.0:一個去中心化和反審查的設備,用於共享和集體創建內容,同時保持對其的完全控制。而且,利用和共享利用率低的計算機的強大功能,完全可以解決上述問題。 Ziwa 項目的目的是為未來的自主主權數字 社會 構建一個未經許可的存儲和通信基礎設施。
Ziwa 的主要目標是為以太坊公共記錄提供完全去中心化和冗餘的存儲,特別是存儲和分發 DAPP 代碼和數據以及區塊鏈數據。從經濟的角度來看,它允許參與者有效地池化他們的存儲容量和帶寬資源,為網路中的所有參與者提供這些服務,並接受以太坊的激勵。 Ziwa 更廣泛的目標是為去中心化 Web 應用程序 (DAPP) 開發人員提供基礎設施服務,尤其是:消息傳遞、數據流、點對點會計、可變資源更新、存儲保險、監管掃描和修復、支付渠道和資料庫服務。
以太坊對世界計算機的願景構成了即將到來的數據場景的免信任(即完全信任)結構:支持數據存儲、傳輸和處理的全球基礎設施。
如果說以太坊區塊鏈是世界計算機的 CPU,那麼 Ziwa 最好被視為它的「硬碟」。當然,這個模型掩蓋了Ziwa的復雜特性,其功能遠不止簡單的存儲。Ziwa的范圍和數據完整性在三個維度從開發人員的角度來看,Ziwa 最好被視為一種公共基礎設施,它為 Web 2.0 時代熟悉的實時互動式 Web 應用程序提供動力。它為作為復雜應用程序構建塊的原語提供低級 API,並為基於 Ziwa 的 Web 3.0 開發堆棧的工具和庫提供基礎。 API 和工具旨在允許從任何傳統 Web 瀏覽器訪問 Ziwa 網路。
⑩ 什麼是SAN
SAN英文全稱:Storage Area Network,即存儲區域網路。它是一種通過光纖集線器、光纖路由器、光纖交換機等連接設備將磁碟陣列、磁帶等存儲設備與相關伺服器連接起來的高速專用子網。 SAN由三個基本的組件構成:介面(如SCSI、光纖通道、ESCON等)、連接設備(交換設備、網關、路由器、集線器等)和通信控制協議(如IP和SCSI等)。這三個組件再加上附加的存儲設備和獨立的SAN伺服器,就構成一個SAN系統。SAN提供一個專用的、高可靠性的基於光通道的存儲網路,SAN允許獨立地增加它們的存儲容量,也使得管理及集中控制(特別是對於全部存儲設備都集群在一起的時候)更加簡化。而且,光纖介面提供了10 km的連接長度,這使得物理上分離的遠距離存儲變得更容易. SAN(存儲區域網路)的優點: 1.可實現大容量存儲設備數據共享 2.可實現高速計算機與高速存儲設備的高速互聯 3.可實現靈活的存儲設備配置要求 4.可實現數據快速備份 5.提高了數據的可靠性和安全性 結合SAN技術特性及其在眾多行業的成功應用,在具有以下業務數據特性的企業環境中適宜採用SAN技術。 1. 對數據安全性要求很高的企業 典型行業: 電信、金融和證券 典型業務: 計費 2. 對數據存儲性能要求高的企業 典型行業: 電視台、交通部門和測繪部門 典型業務: 音頻/視頻、石油測繪和地理信息系統等 3.在系統級方面具有很強的容量(動態)可擴展性和靈活性的企業 典型行業: 各中大型企業 典型業務: ERP系統、CRM系統和決策支持系統 4.具有超大型海量存儲特性的企業 典型行業: 圖書館、博物館、稅務和石油 典型業務: 資料中心和歷史資料庫。 5.具有本質上物理集中、邏輯上又彼此獨立的數據管理特點的企業 典型行業: 銀行、證券和電信 典型業務: 銀行的業務集中和移動通信的運營支撐系統(BOSS)集中 6.實現對分散數據高速集中備份的企業 典型行業: 各行各業 典型業務: 企業各分支機構數據的集中處理 7.數據在線性要求高的企業 典型行業: 商業網站和金融 典型業務: 電子商務 8.實現與主機無關的容災的企業 典型行業: 大型企業 典型業務: 數據中心]