⑴ cache和虛擬存儲器在原理和功能上有何相同點和不同點
首先,他們都是存儲器,這是他們主要的相同點。
通常人們所說的Cache就是指緩存SRAM。 SRAM叫靜態內存,「靜態」指的是當我們將一筆數據寫入SRAM後,除非重新寫入新數據或關閉電源,否則寫入的數據保持不變。由於CPU的速度比內存和硬碟的速度要快得多,所以在存取數據時會使CPU等待,影響計算機的速度。SRAM的存取速度比其它內存和硬碟都要快,所以它被用作電腦的高速緩存(Cache)。
有了高速緩存,可以先把數據預寫到其中,需要時直接從它讀出,這就縮短了CPU的等待時間。高速緩存之所以能提高系統的速度是基於一種統計規律,主板上的控制系統會自動統計內存中哪些數據會被頻繁的使用,就把這些數據存在高速緩存中,CPU要訪問這些數據時,就會先到Cache中去找,從而提高整體的運行速度。一般說來,256K的高速緩存能使整機速度平均提高10%左右
所謂虛擬存儲器就是 把內外存統一起來使用,起基本思想是把正在是用的部分保留在內存中。把暫時不用的部分防在外村中,使用時調入內存,虛擬存儲器的容量與cpu的地址結構有關,如奔騰的地址位是32位,那麼他的定址空間就是2的32次方,4GB,就是說他的最大定址空間是4GB。
⑵ 什麼叫虛擬存儲器怎麼樣確定虛擬存儲器的容量
隨著圍繞數字化、網路化開展的各種多媒體處理業務的不斷增加,存儲系統網路平台已經成為一個核心平台,同時各種應用對平台的要求也越來越高,不光是在存儲容量上,還包括數據訪問性能、數據傳輸性能、數據管理能力、存儲擴展能力等等多個方面。可以說,存儲網路平台的綜合性能的優劣,將直接影響到整個系統的正常運行。
為達到這些要求,一種新興的技術正越來越受到大家的關注,即虛擬存儲技術。
其實虛擬化技術並不是一件很新的技術,它的發展,應該說是隨著計算機技術的發展而發展起來的,最早是始於70年代。由於當時的存儲容量,特別是內存容量成本非常高、容量也很小,對於大型應用程序或多程序應用就受到了很大的限制。為了克服這樣的限制,人們就採用了虛擬存儲的技術,最典型的應用就是虛擬內存技術。隨著計算機技術以及相關信息處理技術的不斷發展,人們對存儲的需求越來越大。這樣的需求刺激了各種新技術的出現,比如磁碟性能越來越好、容量越來越大。但是在大量的大中型信息處理系統中,單個磁碟是不能滿足需要,這樣的情況下存儲虛擬化技術就發展起來了。在這個發展過程中也由幾個階段和幾種應用。首先是磁碟條帶集(RAID,可帶容錯)技術,將多個物理磁碟通過一定的邏輯關系集合起來,成為一個大容量的虛擬磁碟。而隨著數據量不斷增加和對數據可用性要求的不斷提高,又一種新的存儲技術應運而生,那就是存儲區域網路(SAN)技術。SAN的廣域化則旨在將存儲設備實現成為一種公用設施,任何人員、任何主機都可以隨時隨地獲取各自想要的數據。目前討論比較多的包括iSCSI、FC Over IP 等技術,由於一些相關的標准還沒有最終確定,但是存儲設備公用化、存儲網路廣域化是一個不可逆轉的潮流。
一、虛擬存儲的概念
所謂虛擬存儲,就是把多個存儲介質模塊(如硬碟、RAID)通過一定的手段集中管理起來,所有的存儲模塊在一個存儲池(Storage Pool)中得到統一管理,從主機和工作站的角度,看到就不是多個硬碟,而是一個分區或者卷,就好象是一個超大容量(如1T以上)的硬碟。這種可以將多種、多個存儲設備統一管理起來,為使用者提供大容量、高數據傳輸性能的存儲系統,就稱之為虛擬存儲。
二、虛擬存儲的分類
目前虛擬存儲的發展尚無統一標准,從虛擬化存儲的拓撲結構來講主要有兩種方式:即對稱式與非對稱式。對稱式虛擬存儲技術是指虛擬存儲控制設備與存儲軟體系統、交換設備集成為一個整體,內嵌在網路數據傳輸路徑中;非對稱式虛擬存儲技術是指虛擬存儲控制設備獨立於數據傳輸路徑之外。從虛擬化存儲的實現原理來講也有兩種方式;即數據塊虛擬與虛擬文件系統。具體如下:
1.對稱式虛擬存儲
圖1對稱式虛擬存儲解決方案的示意圖
在圖1所示的對稱式虛擬存儲結構圖中,存儲控制設備 High Speed Traffic Directors(HSTD)與存儲池子系統Storage Pool集成在一起,組成SAN Appliance。可以看到在該方案中存儲控制設備HSTD在主機與存儲池數據交換的過程中起到核心作用。該方案的虛擬存儲過程是這樣的:由HSTD內嵌的存儲管理系統將存儲池中的物理硬碟虛擬為邏輯存儲單元(LUN),並進行埠映射(指定某一個LUN能被哪些埠所見),主機端將各可見的存儲單元映射為操作系統可識別的盤符。當主機向SAN Appliance寫入數據時,用戶只需要將數據寫入位置指定為自己映射的盤符(LUN),數據經過HSTD的高速並行埠,先寫入高速緩存,HSTD中的存儲管理系統自動完成目標位置由LUN到物理硬碟的轉換,在此過程中用戶見到的只是虛擬邏輯單元,而不關心每個LUN的具體物理組織結構。該方案具有以下主要特點:
(1)採用大容量高速緩存,顯著提高數據傳輸速度。
緩存是存儲系統中廣泛採用的位於主機與存儲設備之間的I/O路徑上的中間介質。當主機從存儲設備中讀取數據時,會把與當前數據存儲位置相連的數據讀到緩存中,並把多次調用的數據保留在緩存中;當主機讀數據時,在很大幾率上能夠從緩存中找到所需要的數據。直接從緩存上讀出。而從緩存讀取數據時的速度只受到電信號傳播速度的影響(等於光速),因此大大高於從硬碟讀數據時碟片機械轉動的速度。當主機向存儲設備寫入數據時,先把數據寫入緩存中,待主機端寫入動作停止,再從緩存中將數據寫入硬碟,同樣高於直接寫入硬碟的速度
(2)多埠並行技術,消除了I/O瓶頸。
傳統的FC存儲設備中控制埠與邏輯盤之間是固定關系,訪問一塊硬碟只能通過控制它的控制器埠。在對稱式虛擬存儲設備中,SAN Appliance的存儲埠與LUN的關系是虛擬的,也就是說多台主機可以通過多個存儲埠(最多8個)並發訪問同一個LUN;在光纖通道100MB/帶寬的大前提下,並行工作的埠數量越多,數據帶寬就越高。
(3)邏輯存儲單元提供了高速的磁碟訪問速度。
在視頻應用環境中,應用程序讀寫數據時以固定大小的數據塊為單位(從512byte到1MB之間)。而存儲系統為了保證應用程序的帶寬需求,往往設計為傳輸512byte以上的數據塊大小時才能達到其最佳I/O性能。在傳統SAN結構中,當容量需求增大時,唯一的解決辦法是多塊磁碟(物理或邏輯的)綁定為帶區集,實現大容量LUN。在對稱式虛擬存儲系統中,為主機提供真正的超大容量、高性能LUN,而不是用帶區集方式實現的性能較差的邏輯卷。與帶區集相比,Power LUN具有很多優勢,如大塊的I/O block會真正被存儲系統所接受,有效提高數據傳輸速度;並且由於沒有帶區集的處理過程,主機CPU可以解除很大負擔,提高了主機的性能。
(4)成對的HSTD系統的容錯性能。
在對稱式虛擬存儲系統中,HSTD是數據I/O的必經之地,存儲池是數據存放地。由於存儲池中的數據具有容錯機制保障安全,因此用戶自然會想到HSTD是否有容錯保護。象許多大型存儲系統一樣,在成熟的對稱式虛擬存儲系統中,HSTD是成對配製的,每對HSTD之間是通過SAN Appliance內嵌的網路管理服務實現緩存數據一致和相互通信的。
(5)在SAN Appliance之上可方便的連接交換設備,實現超大規模Fabric結構的SAN。
因為系統保持了標準的SAN結構,為系統的擴展和互連提供了技術保障,所以在SAN Appliance之上可方便的連接交換設備,實現超大規模Fabric結構的SAN。
2.非對稱式虛擬存儲系統
圖2非對稱式虛擬存儲系統示意圖
在圖2所示的非對稱式虛擬存儲系統結構圖中,網路中的每一台主機和虛擬存儲管理設備均連接到磁碟陣列,其中主機的數據路徑通過FC交換設備到達磁碟陣列;虛擬存儲設備對網路上連接的磁碟陣列進行虛擬化操作,將各存儲陣列中的LUN虛擬為邏輯帶區集(Strip),並對網路上的每一台主機指定對每一個Strip的訪問許可權(可寫、可讀、禁止訪問)。當主機要訪問某個Strip時,首先要訪問虛擬存儲設備,讀取Strip信息和訪問許可權,然後再通過交換設備訪問實際的Strip中的數據。在此過程中,主機只會識別到邏輯的Strip,而不會直接識別到物理硬碟。這種方案具有如下特點:
(1)將不同物理硬碟陣列中的容量進行邏輯組合,實現虛擬的帶區集,將多個陣列控制器埠綁定,在一定程度上提高了系統的可用帶寬。
(2)在交換機埠數量足夠的情況下,可在一個網路內安裝兩台虛擬存儲設備,實現Strip信息和訪問許可權的冗餘。
但是該方案存在如下一些不足:
(1)該方案本質上是帶區集——磁碟陣列結構,一旦帶區集中的某個磁碟陣列控制器損壞,或者這個陣列到交換機路徑上的銅纜、GBIC損壞,都會導致一個虛擬的LUN離線,而帶區集本身是沒有容錯能力的,一個LUN的損壞就意味著整個Strip裡面數據的丟失。
(2)由於該方案的帶寬提高是通過陣列埠綁定來實現的,而普通光纖通道陣列控制器的有效帶寬僅在40MB/S左右,因此要達到幾百兆的帶寬就意味著要調用十幾台陣列,這樣就會佔用幾十個交換機埠,在只有一兩台交換機的中小型網路中,這是不可實現的。
(3)由於各種品牌、型號的磁碟陣列其性能不完全相同,如果出於虛擬化的目的將不同品牌、型號的陣列進行綁定,會帶來一個問題:即數據寫入或讀出時各並發數據流的速度不同,這就意味著原來的數據包順序在傳輸完畢後被打亂,系統需要佔用時間和資源去重新進行數據包排序整理,這會嚴重影響系統性能。
3.數據塊虛擬與虛擬文件系統
以上從拓撲結構角度分析了對稱式與非對稱式虛擬存儲方案的異同,實際從虛擬化存儲的實現原理來講也有兩種方式;即數據塊虛擬與虛擬文件系統。
數據塊虛擬存儲方案著重解決數據傳輸過程中的沖突和延時問題。在多交換機組成的大型Fabric結構的SAN中,由於多台主機通過多個交換機埠訪問存儲設備,延時和數據塊沖突問題非常嚴重。數據塊虛擬存儲方案利用虛擬的多埠並行技術,為多台客戶機提供了極高的帶寬,最大限度上減少了延時與沖突的發生,在實際應用中,數據塊虛擬存儲方案以對稱式拓撲結構為表現形式。
虛擬文件系統存儲方案著重解決大規模網路中文件共享的安全機制問題。通過對不同的站點指定不同的訪問許可權,保證網路文件的安全。在實際應用中,虛擬文件系統存儲方案以非對稱式拓撲結構為表現形式。
三、虛擬存儲技術的實現方式
目前實現虛擬存儲主要分為如下幾種:
1.在伺服器端的虛擬存儲
伺服器廠商會在伺服器端實施虛擬存儲。同樣,軟體廠商也會在伺服器平台上實施虛擬存儲。這些虛擬存儲的實施都是通過伺服器端將鏡像映射到外圍存儲設備上,除了分配數據外,對外圍存儲設備沒有任何控制。伺服器端一般是通過邏輯卷管理來實現虛擬存儲技術。邏輯卷管理為從物理存儲映射到邏輯上的卷提供了一個虛擬層。伺服器只需要處理邏輯卷,而不用管理存儲設備的物理參數。
用這種構建虛擬存儲系統,伺服器端是一性能瓶頸,因此在多媒體處理領域幾乎很少採用。
2.在存儲子系統端的虛擬存儲
另一種實施虛擬的地方是存儲設備本身。這種虛擬存儲一般是存儲廠商實施的,但是很可能使用廠商獨家的存儲產品。為避免這種不兼容性,廠商也許會和伺服器、軟體或網路廠商進行合作。當虛擬存儲實施在設備端時,邏輯(虛擬)環境和物理設備同在一個控制范圍中,這樣做的益處在於:虛擬磁碟高度有效地使用磁碟容量,虛擬磁帶高度有效地使用磁帶介質。
在存儲子系統端的虛擬存儲設備主要通過大規模的RAID子系統和多個I/O通道連接到伺服器上,智能控制器提供LUN訪問控制、緩存和其他如數據復制等的管理功能。這種方式的優點在於存儲設備管理員對設備有完全的控制權,而且通過與伺服器系統分開,可以將存儲的管理與多種伺服器操作系統隔離,並且可以很容易地調整硬體參數。
3.網路設備端實施虛擬存儲
網路廠商會在網路設備端實施虛擬存儲,通過網路將邏輯鏡像映射到外圍存儲設備,除了分配數據外,對外圍存儲設備沒有任何控制。在網路端實施虛擬存儲具有其合理性,因為它的實施既不是在伺服器端,也不是在存儲設備端,而是介於兩個環境之間,可能是最「開放」的虛擬實施環境,最有可能支持任何的伺服器、操作系統、應用和存儲設備。從技術上講,在網路端實施虛擬存儲的結構形式有以下兩種:即對稱式與非對稱式虛擬存儲。
從目前的虛擬存儲技術和產品的實際情況來看,基於主機和基於存儲的方法對於初期的採用者來說魅力最大,因為他們不需要任何附加硬體,但對於異構存儲系統和操作系統而言,系統的運行效果並不是很好。基於互聯設備的方法處於兩者之間,它迴避了一些安全性問題,存儲虛擬化的功能較強,能減輕單一主機的負載,同時可獲得很好的可擴充性。
不管採用何種虛擬存儲技術,其目的都使為了提供一個高性能、安全、穩定、可靠、可擴展的存儲網路平台,滿足節目製作網路系統的苛刻要求。根據綜合的性能價格比來說,一般情況下,在基於主機和基於存儲設備的虛擬存儲技術能夠保證系統的數據處理能力要求時,優先考慮,因為這兩種虛擬存儲技術構架方便、管理簡單、維護容易、產品相對成熟、性能價格比高。在單純的基於存儲設備的虛擬存儲技術無法保證存儲系統性能要求的情況下,我們可以考慮採用基於互連設備的虛擬存儲技術。
四、虛擬存儲的特點
虛擬存儲具有如下特點:
(1)虛擬存儲提供了一個大容量存儲系統集中管理的手段,由網路中的一個環節(如伺服器)進行統一管理,避免了由於存儲設備擴充所帶來的管理方面的麻煩。例如,使用一般存儲系統,當增加新的存儲設備時,整個系統(包括網路中的諸多用戶設備)都需要重新進行繁瑣的配置工作,才可以使這個「新成員」加入到存儲系統之中。而使用虛擬存儲技術,增加新的存儲設備時,只需要網路管理員對存儲系統進行較為簡單的系統配置更改,客戶端無需任何操作,感覺上只是存儲系統的容量增大了。
(2)虛擬存儲對於視頻網路系統最有價值的特點是:可以大大提高存儲系統整體訪問帶寬。存儲系統是由多個存儲模塊組成,而虛擬存儲系統可以很好地進行負載平衡,把每一次數據訪問所需的帶寬合理地分配到各個存儲模塊上,這樣系統的整體訪問帶寬就增大了。例如,一個存儲系統中有4個存儲模塊,每一個存儲模塊的訪問帶寬為50MBps,則這個存儲系統的總訪問帶寬就可以接近各存儲模塊帶寬之和,即200MBps。
(3)虛擬存儲技術為存儲資源管理提供了更好的靈活性,可以將不同類型的存儲設備集中管理使用,保障了用戶以往購買的存儲設備的投資。
(4)虛擬存儲技術可以通過管理軟體,為網路系統提供一些其它有用功能,如無需伺服器的遠程鏡像、數據快照(Snapshot)等。
五、虛擬存儲的應用 由於虛擬存儲具有上述特點,虛擬存儲技術正逐步成為共享存儲管理的主流技術,其應用具體如下:
1.數據鏡像
數據鏡像就是通過雙向同步或單向同步模式在不同的存儲設備間建立數據復本。一個合理的解決方案應該能在不依靠設備生產商及操作系統支持的情況下,提供在同一存儲陣列及不同存儲陣列間製作鏡像的方法。
2.數據復制
通過IP地址實現的遠距離數據遷移(通常為非同步傳輸)對於不同規模的企業來說,都是一種極為重要的數據災難恢復工具。好的解決方案不應當依賴特殊的網路設備支持,同時,也不應當依賴主機,以節省企業的管理費用。
3.磁帶備份增強設備
過去的幾年,在磁帶備份技術上鮮有新發展。盡管如此,一個網路存儲設備平台亦應能在磁帶和磁碟間搭建橋路,以高速、平穩、安全地完成備份工作。
4.實時復本
出於測試、拓展及匯總或一些別的原因,企業經常需要製作數據復本。
5.實時數據恢復
利用磁帶來還原數據是數據恢復工作的主要手段,但常常難以成功。數據管理工作其中一個重要的發展新方向是將近期內的備分數據(可以是數星期前的歷史數據)轉移到磁碟介質,而非磁帶介質。用磁碟恢復數據就象閃電般迅速(所有文件能在60秒內恢復),並遠比用磁帶恢復數據安全可靠。同時,整卷(Volume)數據都能被恢復。
6.應用整合
存儲管理發展的又一新方向是,將服務貼近應用。沒有一個信息技術領域的管理人員會單純出於對存儲設備的興趣而去購買它。存儲設備是用來服務於應用的,比如資料庫,通訊系統等等。通過將存儲設備和關鍵的企業應用行為相整合,能夠獲取更大的價值,同時,大大減少操作過程中遇到的難題。
7.虛擬存儲在數字視頻網路中的應用
現在我著重介紹虛擬存儲在數字視頻網路中的應用。
數字視頻網路對廣播電視行業來說已經不是一個陌生的概念了,由於它在廣播電視技術數字化進程中起到了重要的作用,國內各級電視台對其給予極大的關注,並且開始構造和應用這類系統,在數字視頻網的概念中完全打破了以往一台錄象機、一個編輯系統、一套播出系統的傳統結構,而代之以上載工作站、編輯製作工作站、播出工作站及節目存儲工作站的流程,便於操作和管理。節目上載、節目編輯、節目播出在不同功能的工作站上完成,可成倍提高工作效率。同時,由於採用非線性編輯系統,除了採集時的壓縮損失外。信號在製作、播出過程中不再有任何損失,節目的技術質量將大大提高。
在現有的視頻網路系統中,雖然電腦的主頻、網路的傳輸速率以及交換設備的性能,已經可以滿足絕大多數應用的要求,但其中存儲設備的訪問帶寬問題成為了系統的一個主要性能瓶頸。視頻編輯、製作具有數據量存儲大、碼流高、實時性強、安全性重要等特點。這就要求應用於視頻領域的存儲技術和產品必須具有足夠的帶寬並且穩定性要好。
在單機應用時,為了保證一台編輯站點有足夠的數據帶寬,SCSI技術、本地獨立磁碟冗餘陣例RAID(Rendant Array of Independent Disks)技術(包括軟體和硬體)被廣泛應用,它通過把若干個SCSI硬碟加上控制器組成一個大容量,快速響應,高可靠性的存儲子系統,從用戶看可作為一個邏輯盤或者虛擬盤,從而大大提高了數據傳輸率和存儲容量,同時利用糾錯技術提高了存儲的可靠性,並可滿足帶寬要求。
隨著節目製作需求的發展,要求2—3台站點共享編輯數據。這時可利用SCSI網路技術實現這一要求。幾台編輯站點均配置高性能的SCSI適配器,連接至共享的SCSI磁碟陣列,既可以實現幾個站點共享數據,又可以保證每一台單機的工作帶寬。
光纖通道技術的成熟應用對視頻網路的發展具有里程碑的意義,從此主機與共享存儲設備之間的連接距離限制從幾米、十幾米,擴展到幾百米、幾千米,再配合光纖通道交換設備,網路規模得到幾倍、十幾倍的擴充。這時候的FC(Fibre Channel光纖通道)磁碟陣列——RAID容錯技術、相對SCSI的高帶寬、大容量,成為視頻網路中的核心存儲設備。
隨著電視台規模的發展,全台級大規模視頻網路的應用被提出。在這種需求下,就必須將更先進的存儲技術與產品引入視頻領域。存儲區域網(SAN)的發展目前正處於全速上升期,各種概念層出不窮。其中具有劃時代意義的是虛擬存儲概念的提出。相對於傳統的交換機加RAID陣列,主機通過硬體層直接訪問陣列中的硬碟的SAN結構,虛擬存儲的定位是將數據存儲功能從實際的、物理的數據存取過程中抽象出來,使普通用戶在訪問數據時不必關心具體的存儲設備的配置參數、物理位置及容量,從而簡化用戶和系統管理人員的工作難度。
在設計一個視頻網路系統的時候,對存儲系統的選用,主要考慮如下幾個因素:(1)總體帶寬性能;(2)可管理性;(3)安全性;(4)可擴展性;(5)系統成本。
當然,這些因素之間有時是相互制約的,特別是系統成本與性能和安全性的關系。如何在這些因素之間尋求合理的、實用的、經濟的配合,是一個需要解決的課題。虛擬存儲技術的出現,為我們在構建視頻網路系統時提供了一個切實可行的高性能價格比的解決方案。
從拓撲結構來講,對稱式的方案具有更高的帶寬性能,更好的安全特性,因此比較適合大規模視頻網路應用。非對稱式方案由於採用了虛擬文件原理,因此更適合普通區域網(如辦公網)的應用。
⑶ 如何解決伺服器虛擬化中的存儲問題
但也因為虛擬化的特性,為承載環境中不斷增長的虛擬機,需要擴容存儲以滿足性能與容量的使用需求。IT經理們已經發現,那些因伺服器虛擬化所節省的資金都逐漸投入存儲購買的方案上了。 伺服器虛擬化因虛擬機蔓延、虛擬機中用於備份與災難恢復軟體配置的問題,讓許多組織徹底改變了原有的數據備份與災難恢復策略。EMC、Hitachi Data System、IBM、NetApp和Dell等都致力於伺服器虛擬化存儲問題,提供包括存儲虛擬化、重復數據刪除與自動化精簡配置等解決方案。 伺服器虛擬化存儲問題出現在數據中心虛擬化環境中傳統的物理存儲技術。導致虛擬伺服器蔓延的部分原因,在於虛擬伺服器可能比物理伺服器多消耗約30%左右的磁碟空間。還可能存在虛擬機「I/O 攪拌機」問題:傳統存儲架構無法有效管虛擬機產生的混雜模式隨機I/O。虛擬化環境下的虛擬存儲管理遠比傳統環境復雜——管理虛擬機就意味著管理存儲空間。解決伺服器虛擬化存儲問題 作為一名IT經理,你擁有解決此類伺服器虛擬化存儲問題的幾個選項,我們從一些實用性較低的方案開始介紹。其中一項便是以更慢的速度部署虛擬機。你可以在每台宿主上運行更少的虛擬機,降低「I/O混合器」問題出現的可能性。另外一個方法則是提供額外存儲,但價格不菲。 一個更好的選擇是在采購存儲設備時,選擇更智能的型號並引入諸如存儲虛擬化,重復數據刪除與自動化精簡配置技術。採用這一戰略意味著新技術的應用,建立與新產商的合作關系,例如Vistor、DataCore與FalconStor。將存儲虛擬化作為解決方案 許多分析師與存儲提供商推薦存儲虛擬化,作為伺服器虛擬化存儲問題的解決方案。即使沒有出現問題,存儲虛擬化也可以減少數據中心開支,提高商業靈活性並成為任何私有雲的重要組件之一。 概念上來說,存儲虛擬化類似伺服器虛擬化。將物理存儲系統抽象,隱藏復雜的物理存儲設備。存儲虛擬化將來自於多個網路存儲設備的資源整合為資源池,對外部來說,相當於單個存儲設備,連同虛擬化的磁碟、塊、磁帶系統與文件系統。存儲虛擬化的一個優勢便是該技術可以幫助存儲管理員管理存儲設備,提高執行諸如備份/恢復與歸檔任務的效率。 存儲虛擬化架構維護著一份虛擬磁碟與其他物理存儲的映射表。虛擬存儲軟體層(邏輯抽象層)介於物理存儲系統與運行的虛擬伺服器之間。當虛擬伺服器需要訪問數據時,虛擬存儲抽象層提供虛擬磁碟與物理存儲設備之間的映射,並在主機與物理存儲間傳輸數據。 只要理解了伺服器虛擬化技術,存儲虛擬化的區別僅在於採用怎樣的技術來實現。容易混淆的主要還是在於存儲提供商用於實現存儲虛擬化的不同方式,可能直接通過存儲控制器也可能通過SAN應用程序。同樣的,某些部署存儲虛擬化將命令和數據一起存放(in-band)而其他可能將命令與數據路徑分離(out-of-band)。 存儲虛擬化通過許多技術實現,可以是基於軟體、主機、應用或基於網路的。基於主機的技術提供了一個虛擬化層,並扮演為應用程序提供單獨存儲驅動分區的角色。基於軟體的技術管理著基於存儲網路的硬體設施。基於網路的技術與基於軟體的技術類似,但工作於網路交換層。 存儲虛擬化技術也有一些缺陷。實現基於主機的存儲虛擬化工具實際上就是卷管理器,而且已經流傳了好多年。伺服器上的卷管理器用於配置多個磁碟並將其作為單一資源管理,可以在需要的時候按需分割,但這樣的配置需要在每台伺服器上配置。此解決方式最適合小型系統使用。 基於軟體的技術,每台主機僅需要通過應用軟體查詢是否有存儲單元可用,而軟體將主機需求重定向至存儲單元。因為基於軟體的應用通過同樣的鏈路寫入塊數據與控制信息(metadata),所以可能存有潛在瓶頸,影響主機數據傳輸的速度。為了降低延遲,應用程序通常需要維護用於讀取與寫入操作的緩存,這也增加了其應用的價格。伺服器虛擬化存儲創新:自動化精簡配置與重復數據刪除 存儲技術的兩個創新,自動化精簡配置與重復數據刪除,同樣是減少伺服器虛擬化環境對存儲容量需求的解決方案。這兩項革新可以與存儲虛擬化結合,以提供牢固可靠的存儲容量控制保障。 自動精簡配置讓存儲「走的更遠」,可減少已分配但沒有使用的容量。其功能在於對數據塊按需分配,而不是對所有容量需求進行預先分配。此方法可以減少幾乎所有空白空間,幫助避免利用率低下的情況出現,通常可以降低10%的磁碟開銷,避免出現分配大量存儲空間給某些獨立伺服器,卻一直沒有使用的情況。 在許多伺服器部署需求中,精簡配置可通過普通存儲資源池提供應用所需的存儲空間。在這樣的條件下,精簡配置可以與存儲虛擬化綜合應用。 重復數據刪除從整體上檢測與刪除位於存儲介質或文件系統中的重復數據。檢測重復數據可在文件、位元組或塊級別進行。重復數據刪除技術通過確定相同的數據段,並通過一份簡單的拷貝替代那些重復數據。例如,文件系統中有一份相同的文檔,在50個文件夾(文件)中,可以通過一份單獨的拷貝與49個鏈接來替代原文件。 重復數據刪除可以應用與伺服器虛擬化環境中以減少存儲需求。每個虛擬伺服器包含在一個文件中,有時文件會變得很大。虛擬伺服器的一個功能便是,系統管理員可以在某些時候停下虛擬機,復制並備份。其可以在之後重啟,恢復上線。這些備份文件存儲於文件伺服器的某處,通常在文件中會有重復數據。沒有重復數據刪除技術支持,很容易使得備份所需的存儲空間急劇增長。改變購買存儲設備的觀念 即使通過存儲虛擬化,重復數據刪除與精簡配置可以緩解存儲數容量增長的速度,組織也可能需要改變其存儲解決方案購買標准。例如,如果你購買的存儲支持重復數據刪除,你可能不再需要配置原先規劃中那麼多的存儲容量。支持自動化精簡配置,存儲容量利用率可以自動提高並接近100%,而不需要管理員費心操作維護。 傳統存儲購買之前,需要評估滿足負載所需的存儲能力基線、三年時間存儲潛在增長率、存儲擴展能力與解決存儲配置文件,還有擬定相關的采購合同。以存儲虛擬化與雲計算的優勢,購買更大容量的傳統存儲將越來越不實際,尤其在預算仍是購買存儲最大的限制的情況下。以下是一些簡單的存儲購買指導: 除非設計中明確說明,不要購買僅能解決單一問題的存儲方案。這樣的做法將導致購買的存儲架構無法與其他系統共享使用。 ·關注那些支持多協議並提供更高靈活性的存儲解決方案。 ·考慮存儲解決方案所能支持的應用/負載范圍。 ·了解能夠解決存儲問題的技術與方案,例如重復數據刪除與自動化精簡配置等。 ·了解可以降低系統管理成本的存儲管理軟體與自動化工具。 許多組織都已經在內部環境中多少實施了伺服器虛擬化,並考慮如何在現有存儲硬體與伺服器上實現私有雲。存儲預算應用於購買合適的硬體或軟體,這點十分重要。不要將僅將注意力集中在低價格上。相反,以業務問題為出發點,提供解決問題最有價值的存儲解決方案才是王道。
⑷ 虛擬存儲的特點分析
一提起虛擬化,大家第一時間就會想到節約,綠色。因為它的使用可以為我們減少設備上的資金投入,降低成本壓力。一段時間以來,不同版本的虛擬存儲(Storage Virtulization)概念相繼涌現,有從軟體角度詮釋的,也有從硬體角度進行例證的。每個廠商都有根據對虛擬技術的理解向用戶提供的實用產品。在虛擬存儲方面真可謂百家爭鳴,所以很難對虛擬存儲技術的概念給出一個清晰而准確的描述。
盡管如此,總結一些虛擬存儲的共同特性可以看出,所謂虛擬存儲,就是把多個存儲介質模塊(如磁碟、磁碟陣列)通過一定的手段集中管理起來,所有的存儲模塊在一存儲池(Storage Pool)中得到統一管理。在虛擬存儲環境下,無論後台物理存儲是什麼設備,伺服器及工作站看到的都是其熟悉的存儲設備的邏輯鏡像。即使物理存儲發生了變化,這種邏輯鏡像也不會改變,系統管理員不必關心後台存儲,只需專注於管理存儲空間,所有的存儲管理操作,例如系統升級、建立和分配虛擬磁碟、改變RAID級別、擴充存儲空間等都比以前容易的多,存儲管理變得輕松簡單。
從用戶的角度來看,可以用一句更簡單的話來概括虛擬存儲--使用存儲空間而不是使用物理存儲硬體(磁碟、磁帶),管理存儲空間而不是管理物理存儲硬體。
虛擬存儲技術具有以下幾個特點:
1、虛擬存儲可以大大提高存儲系統的整體訪問帶寬,這也是其對於視頻網路系統來說最有價值的一個特點。我們知道,視頻網路的存儲系統一般是由多個存儲模塊組成,而虛擬存儲系統可以很好地進行負載平衡,把每一次數據訪問所需要的帶寬合理地分配到各個存儲模塊上,這樣系統的整體訪問帶寬就增大了。例如,一個存儲系統中有4個存儲模塊,每一個存儲模塊的訪問帶寬為50MB/s,則這個存儲系統的總訪問帶寬就可以接近各存儲模塊帶寬之和,即200MB/s。
2、虛擬存儲技術提供了一個大容量存儲系統的集中管理手段,由網路中的一個環節 (如伺服器)進行統一管理,避免了由於存儲設備擴充而帶來的管理方面的麻煩。例如,使用一般的存儲系統,當在增加新的存儲設備時,整個系統(包括網路中的諸多用戶設備)都需要重新進行繁瑣的配置工作,這樣才可以使這個新成員加入到存儲系統中。而使用虛擬存儲技術,在增加新的存儲設備時,只需要網路管理員對存儲系統進行較為簡單的系統配置更改,客戶端無需任何操作、只是感到存儲系統的容量增大了。
3、虛擬存儲技術為存儲資源管理提供了更好的靈活性。它可以將不同類型的存儲設備集中管理使用,保障了用戶以往購買存儲設備的投資。
⑸ 存儲虛擬化的目前狀況
存儲的虛擬化技術自本世紀初誕生以來,歷經了十餘年的技術演進與市場考驗。發生變化的不僅是技術本身,而更多的是用戶的實際應用需求。早期存儲虛擬化技術出現的主要目的是為了幫助用戶對異構存儲資源進行池化和整合,提高使用和管理效率,合理降低TCO。而近年來基於SAN的存儲虛擬化技術越來越多被應用於有效提升核心生產系統的業務連續性,數據安全性以及平滑的跨存儲陣列的數據遷移能力
盡管關於虛擬化的宣傳鋪天蓋地,企業界採用虛擬存儲技術的腳步還是頗為緩慢。根據IDC對269名來自不同規模的公司的IT經理的調查,僅僅只有8%的企業正在應用任何一種形式的虛擬化。並且僅有平均23%的企業表示計劃將在未來12個月里嘗試實施一定程度的存儲虛擬化。
中端存儲用戶主要期望用於對數據遷移進行管理,減輕管理負擔;大型企業則主要期望將虛擬存儲中的數據復制、卷管理用於存儲預備。不管是哪個虛擬化陣營的廠商都面臨著不同的壓力,並有待在真實環境中接受考驗。
用戶在對存儲子系統升級擴容時,不僅把性能與容量指標作為首要考慮對象,對於整個生產存儲系統的高可用性,以及業務連續性保障能力的要求也逐漸成為規劃建設初期進行考慮的重點!為了有效實現業務連續性保障目標,解決存儲子系統的單點故障問題,合理引入存儲虛擬化技術已經成為最為行之有效的手段之一,比如通過存儲虛擬化技術實現不同品牌型號陣列間的實時鏡像,幫助用戶實現存儲子系統的冗餘能力。這一點在VMware虛擬化環境中幾乎變成唯一可行的存儲系統高可用性解決方案;又比如通過精簡帶寬的遠程復制,數據錄像或密集時間點的可恢復快照功能,來有效實現對於邏輯故障的防禦,控制運維成本投入等。最終,通過一套統一的系統功能來實現對生產系統的業務連續性保障,方便,簡單,大大減少了運維人員的壓力。
近來,兼容異構存儲 ,同時具備完整數據保護和管理功能的成熟存儲虛擬化產品也被廣泛應用於兩地三中心容災以及雙活數據中心的建設當中,作為一種積極的,可靠的技術手段有效提升用戶原有生產系統對各類型災難的防禦能力。
目前而言沒有任何一家已經穩固佔領了市場,迄今為止,IBM似乎有最高的銷售記錄,但也僅僅只是接近於領導地位。IBM SVC於2004年左右上市,從某種維度上看SVC 似乎與飛康的NSS形態和設計都很類似,都是基於Linux內核和x86工業標准伺服器。IBM基於SVC的I/O GROUP引擎開發出了其目前整個V系列的存儲產品線,比如常見的v7000系列存儲系統 。SVC早起存儲虛擬化功能較為單一,僅支持對異構存儲的基本管理和池化,所以IBM曾經視圖收購飛康,未果後也與2010年左右升級了其SVC 軟體版本,逐漸提供了一些相應的高級功能。
另一個就是飛康 NSS,作為存儲虛擬化技術的先驅之一,飛康的IPStor/NSS 存儲虛擬化產品在2001年就已經出現在市場上,截止2014年已經正式發布了其第七代存儲虛擬化產品,技術成熟度和廣泛的應用范圍都具備良好的可參考性。自創立以來,一直堅持開放硬體的態度,獲得眾多用戶和第三方存儲廠商的青睞,很多國內外存儲廠商的技術人員都曾經接觸過該產品。飛康官方宣稱,以OEM方式或自主品牌銷售的NSS產品安裝量已超過數萬套。豐富而實用的功能設計以及長期經受市場考驗的產品穩定性和可靠性,應該是飛康IPStor/NSS產品的主要特點。
根據企業策略集團公司(ESG)的建立人,高級分析師SteveDuplessie的報告,SVC已完成1500多套系統的售出。該數據還被英國一家調研公司所證實。Cisco系統公司最近收購了ToPSPin公司,於是也擁有了把伺服器虛擬化、存儲虛擬化和網路虛擬化連接起來的能力。Topsin的虛擬化核心技術能夠給Cisco帶來大筆的技術財富,如果Cisco公司在收購它之後選擇全力實現虛擬性能,結果勢必令人矚目。盡管已經取得了不小的成就和地位,但在存儲領域Cisco仍然是一個玩票性質的參與者。Cisco面臨的挑戰在於所有的數據復制,存儲預備以及其他核心存儲功能的知識產權都在存儲供應商手中,Cisco要想占優勢,除了自身產品的研發與市場以外,還需要加強和這些主流存儲系統廠商的合作與溝通。
在這場大賽中還有一個低調的實力派就是微軟。微軟在過去的兩年裡已默默地把自身建設成一支存儲領域的強大軍隊,並且最近還克服了一些阻礙發展虛擬化的許可證等問題。在這場虛擬化的混戰中,微軟也許有些姍姍來遲,但憑借微軟在軟體領域的絕對地位,微軟很可能會爆出一些驚人的技術,也許會把虛擬化變為伺服器操作系統的一部分。
eG Innovations創始人兼總裁兼首席執行官Srinivas Ramanathan表示從存儲虛擬化格局改變的角度來看,他認為存儲虛擬化將走伺服器虛擬化所走過的路。Ramanathan解釋道:幾年前,伺服器虛擬化的焦點還在虛擬機管理器。現在,虛擬機管理器已經變成商品。所有的虛擬化公司都在關注管理性,以便為虛擬化客戶提供成本節約和靈敏性。在我看來,幾年後,存儲虛擬化也將接著伺服器虛擬化進入成熟期。
盡管伺服器虛擬化已經成為主流,但是Ramanathan表示存儲虛擬化離主流還有一定距離。他表示:現在的主要焦點是證明這個技術是有效的。幾年後,管理性將更加重要--如何充分利用現有的硬體,如何在不同主機上動態遷移VM(虛擬機)等。
Infortrend Technology副總監Galvin Chang表示存儲虛擬化的第一階段是要能夠整合和處理來自不同廠商的存儲硬體的I/O命令。Chang表示,在存儲虛擬化的下一階段,下列這些問題將變得更加重要:向外擴展存儲,分層和虛擬化存儲,針對雲數據中心的虛擬化存儲,以及負載均衡。
根據Chang的說法,在虛擬化環境中使用向上擴展存儲只會增加容量和導致不必要的資源浪費;只有向外擴展架構可以提高存儲性能和獲取來自虛擬化的好處。Chang還表示虛擬化存儲可以提供不同層次的存儲管理服務,包括SSD、SAS、SATA甚至VTL(虛擬磁帶庫)。
至於雲服務要求,Chang認為虛擬化的存儲可以提供不同的好處,包括可擴展性、無宕機數據管理以及更低的成本。他表示另一個關鍵問題將是當多個存儲控制器引入一個虛擬化存儲池的時候如何平衡控制器工作負荷和主機帶寬。Chang指出:廠商們可以部署智能主機代理端或利用網路層協議來進行負載共享。