① 淺析雲存儲系統的幾種形式
如果數據是動態的就會被遷移到靠上的存儲層,最終保存在某種固態盤(SSD)中。自動分層系統有很多種,其中影響最小也是最安全的使用方式就是將其作為保存動態數據的緩存。特別是,這些系統將幫助雲存儲邁向主流。
緩存類型的自動分層系統將動態數據從傳統機械存儲中拷貝到基於高速內存的緩存(RAM或者快閃記憶體固態盤)中。在這種拷貝模式中,自動分層系統被用作一個大型的讀取緩存,幾乎不保留數據的唯一副本。即使當他們通過緩存入站寫入的寫入加速器,保留唯一數據副本也僅僅需要幾分鍾的時間。在這些模式下,這些系統可以幫助雲存儲技術為更主流的存儲要求提供服務。
雲存儲系統也分為幾種形式。比較常見的一種是作為NAS存儲型的「價值層」,具有極高的成本效益和高度可擴展性。但是這種成本效益和可擴展性通常是以犧牲性能為代價的,使得基於雲的存儲系統無法被更多地用於主流的存儲資源。很多用戶和提供商希望能夠更廣泛地部署雲存儲,並利用自動分層系統來填補這個空白。
然而,當被用於更主流的用途時,雲存儲系統將帶來一個挑戰,那就是他們通常是軟體解決方案,有時候採用了提供給用戶的通用硬體和磁碟驅動器。這使得成本降低下來,因為數據集被分布到多個類型的存儲應健中。現在主要的存儲製造商都將精力放在了交付用於他們一級存儲平台的自動分層系統上,在提升性能的同時控制住成本。然而一級存儲並不常用於雲存儲部署中,而且主要的存儲製造商也都堅持在他們的低端存儲系統中提供自動分層系統技術,防止這些性能升級的系統影響到他們的一級存儲市場。
自動分層系統解決方案部署就緒之後,所有網路傳輸都將通過這個系統。自動分層系統設備會對存儲傳輸進行分析,然後根據它的訪問特性,將動態數據塊保存在高速存儲層中——通常是RAM或者SSD,也可能是高速SAS。因為對這些數據的讀取操作來自於高速存儲區,因此可以快速地交付給用戶或者應用。
在基於NAS的雲存儲中,有很多中應用實例是要求有更高的性能。首先是安裝一個比傳統NAS成本更低、可擴展性更高的NAS雲存儲系統;一個內部私有雲存儲系統。在這種應用實例中,不可避免地需要比雲存儲系統本身設計交付更高的性能。向雲存儲前端添加自動分層系統往往可以解決大多數性能問題。
第二個使用實例就是更經典的「雲存儲提供商」模式。如果一個提供商的某些用戶擁有一些突然變得非常動態的數據,那麼這些數據就可以被遷移到自動分層系統中。盡管這些數據的大多數請求可能是從一個速度較低的連接訪問這些數據,但是1000個用戶的訪問合起來就可能導致存儲方面的瓶頸。
大多數雲存儲系統是「鬆散集群的」,這意味著單個節點的性能會成為瓶頸,因為數據並沒有像和緊密配對的集群一樣被分布到節點中。結果是,如果一個文件被頻繁訪問,那麼每次它只能從一個節點被讀取。解決方法就是,將這個文件拷貝到集群中的多個節點,然後改變應用以了解還有誰需要這個文件。除此之外,如果對這個文件的訪問頻率降低下來,則需要找到這個文件的冗餘副本並進行刪除。在大多數情況下,最後一個步驟很少發生,這就導致大量的空間浪費。這樣就要求存儲管理員付出更多額外的管理時間。
另外一個更簡便且更有效的解決方案就是添加自動分層系統。系統分層系統會將訪問頻繁的文件(或者文件片段) 遷移到RAM或者基於固態盤的緩存區中。然後,當文件被頻繁訪問的時候,系統就會從高速存儲區提供這個文件。這種方法不需要對環境進行變動(或者變動有限),當文件被頻繁訪問的時候可以被識別出來並遷移到高速存儲中。然後,隨著訪問頻率降低,文件將被自動遷移到緩存中。因此,存儲就變成可自主管理和自主調節的存儲。
自動分層系統解決方案通常被用於加速高端NAS。這些系統已經擁有高速磁碟子系統和多個高速網路連接。高端NAS被用於交付機械驅動器所能提供的最佳性能。在更換整個存儲陣列之前,自動分層系統往往被作為最後一種解決方法。
另一方面,NAS雲存儲系統並不一定具有和傳統NAS相同的性能水平。正如前面所說,重點往往是成本削減和可擴展性,以犧牲性能為代價。隨著雲存儲環境的擴展——或者隨著雲存儲被更多地用於主流應用中,原始存儲性能的欠缺迫使存儲經理考慮選擇更傳統的解決方案。他們可以考慮的選擇之一就是不限制存儲的自動分層應用。這兩種技術的結合將提供更高的性能,同時保持了成本和可擴展性方面的優勢。
② 什麼是信息系統的完整性、保密性、可用性、可控性和不可否認性
1、保密性。
也稱機密性,是不將有用信息泄漏給非授權用戶的特性。可以通過信息加密、身份認證、訪問控制、安全通信協議等技術實現,信息加密是防止信息非法泄露的最基本手段,主要強調有用信息只被授權對象使用的特徵。
2、完整性。
是指信息在傳輸、交換、存儲和處理過程中,保持信息不被破壞或修改、不丟失和信息未經授權不能改變的特性謹仔,也是最基本的安全特徵。
3、可用性。
也稱有效性,指信息資源可被授權實體按要求訪問、正常使用或在非正常情況下能恢復使用的特性(系統面向用戶服務的安全特性)。在系統運行時正確存取所需信息,當系統遭受意外攻擊或破壞時,可以迅速恢復並能投入使用。是衡量網路信息系統面向用戶的一種安全性能,以保障為用戶提供服務。
4、可控性。
指網路系統和信息在傳輸范圍和存放空間內的可控程度。是對網路系統和信息傳輸的控制能力特性。
5、不可否認性。
又稱拒絕否認性、抗抵賴性,指網路通信雙方在信息交互過程中,確信參與者本身和所提供的信息真實同一性,即所有參與者不可否認或抵賴本人的真實身份,以及提供信息的原樣性和完成的操作與承諾。
(2)系統的存儲性擴展閱讀
信息系統的五個基本功能:輸入、存儲、處理、輸出和控制。
輸入功能:信息系統的輸入功能決定於系統所要達到的目的及系統的能力和信息環境的許可。
存儲功能:存儲功能指的是系統存儲各種信息資料和歷帶數據的能力。
處理功能:基於肢晌蘆數據倉庫技術的聯機分析處理(OLAP)和數據挖掘(DM)技術。
輸出功能:信息系統的各種功能都是為了保證最終實現最佳的輸出功能。
控制功能:對構成系統的各種信息處理設備進行控制和管理,對整個信息加工、處理、傳輸、輸出等環節通過各種程序進行控制。
③ 用戶如何提高存儲性能有哪些解決方案
何提高網速 電腦運行速度顯卡關內存關 殺毒軟體突打
:數據存儲備份存儲管理源於世紀70代終端/主機計算模式由於數據集主機易管理海量存儲設備——磁帶庫必備設備80代由於PC發展尤其90代應用廣客戶機/伺服器模式普及及互聯網迅猛發展使存儲容量、存儲模式存儲要求都發根本性變化些新興存儲技術迅速崛起構建更安全信息代提供更選擇
編者按何確保所數據能夠靠備份及進行災難恢復存儲管理軟體核任務外存儲管理軟體存些基本功能諸改進系統應用I/O性能及存儲管理能力提高數據應用系統高用性減少由於各種原斷數據存取或者應用系統宕機間實現技術級存儲管理(HSM)、ClusterServer(集群伺服器)等
首先能提供些識別析存儲訪問模式VolumeManager工具VolumeManager通復雜磁碟配置能均衡I/O負載影響應用同能夠優化應用數據布局數據條形散放物理盤提高性能同具斷應用情況識別消除性能瓶頸能力增強系統應用性能另外VolumeManager減少系統斷間、增加數據完整性等面俗表現允許磁碟進行線管理更改配置減少系統產極影響停機間同利用冗餘技術提高數據用性防止數據丟失破壞
其非重要快速恢復志式文件系統FileSystem能間斷數據訪問條件文件作線備份並系統重啟或崩潰前允許訪問數據並恢復文件提高用戶管理員產效率FileSystem系統崩潰前能未完數據記錄事件志利用恢復程序重現保持數據完整性
VolumeManagerFileSystem都工作操作系統級實現集群與故障恢復、自管理、備份與HSM及基於瀏覽器遠程管理等兩者機結合利用雙特磁碟數據管理能力能給企業系統提供盡能高性能、用性及管理性
基礎便整存儲管理核任務——備份技術
數據存儲備份技術般包含硬體技術及軟體技術等硬體技術主要磁帶機技術軟體技術主要通用專用備份軟體技術等我主要軟體技術面加討論備份軟體技術整數據存儲備份程具相重要性僅關系否支持磁帶各種先進功能且程度決定著備份效率備份軟體定操作系統所提供備份功能廠商都提供許專業備份軟體專業備份軟體能通優化數據傳輸率即自較高傳輸率進行數據傳輸僅能縮短備份間、提高數據存儲備份速度且磁帶機設備本身處另外專業備份軟體支持新磁帶機技術HPTapeAlert技術差所主流專業備份軟體均提供支持
於存儲模式說比較見DAS、NASSAN等DAS(DirectAttachedStorage-直接連接存儲)指存儲設備通SCSI介面或光纖通道直接連接台計算機伺服器理比較散、難通遠程連接進行互連直接連接存儲比較解決案直接連接存儲幫助企業繼續保留已傳輸速率並高網路系統
網路主要信息處理模式需要存儲數據量增加數據作取競爭優勢戰略性資產其重要性增加目前發展趨勢NASSAN現響應點NAS網路連接存儲即存儲設備通標准網路拓撲結構(例太網)連接群計算機重點於幫助工作組部門級機構解決迅速增加存儲容量需求種兩面改善數據用性第即使相應應用伺服器再工作仍讀數據第二簡易伺服器本身崩潰避免引起伺服器崩潰首要原即應用軟體引起問題另外NAS產品真即插即用產品其設備物理位置非靈
SAN(存儲區域網路)通光纖通道連接群計算機該網路提供主機連接並非通標准網路拓撲並且通同物理通道支持廣泛使用SCSIIP協議結構允許任何伺服器連接任何存儲陣列管數據置放哪伺服器都直接存取所需數據SAN解決案基本功能剝離存儲功能所運行備份操作需考慮網路總體性能影響案使管理及集控制實現簡化特別於全部存儲設備都集群起候
集群通用於加強應用軟體用性與擴展性某些集群架構技術加入單系統印象概念單點單系統式管理台計算機集群伺服器支持達百台互相連接伺服器結合鬆散結合單位執行作業保護彼應用軟體免於故障由於集群伺服器完全整合應用軟體服務架構建置高效應用軟體執行環境即使整系統現故障終端計算機都使用幾乎所應用軟體集群伺服器軟體包括引擎、編譯器、負載計算器、代理、指令與圖形化系統管理介面等組件集群化運算環境優勢卓越數據處理能力原則任何類型重主機架構存儲設備包括直接連接磁碟都用作集群數據存儲設備求系統用性適合使用擁重主機存取路徑容錯或高用性存儲系統
層管理式解決存儲容量斷增導致何效擴充容量問題情況更用於布式網路環境級其實意味著用同介質實現存儲RAID系統、光存儲設備、磁帶等每種存儲設備都其同物理特性同價格例要備份候備份文件般存儲速度相比較慢、容量相比較、價格相比較低存儲設備磁帶做經濟實用何實現級呢原理講級存儲線系統遷移數據種文件由HSM系統選擇進行遷移拷貝HSM介質文件確拷貝原文件相同名字標志文件創建佔用比原文件磁碟空間用戶訪問標志文件HSM系統能原始文件確介質恢復級存儲同實施式HSM根據兩級或三級體系態遷移/遷數據類實現級存儲
存儲應用深入必帶整體解決案需求僅包括硬體包括相應軟體及服務軟硬體兼容融合應用環境勢所趨比存儲虛擬化提證明趨勢利於提高存儲利用率、簡化管理降低本構建融合存儲應用環境總隨著網路技術發展、計算機能力斷提高數據量斷膨脹數據備份與恢復等存儲技術面問題顯越越重要存儲管理技術發展必引起業界高度重視
相關鏈接:前主流存儲介質
磁碟陣列、磁帶庫
磁碟陣列特點數據存取速度特別快其主要功能提高網路數據用性及存儲容量並數據選擇性布磁碟提高系統數據吞吐率另外磁碟陣列能夠免除單塊硬碟故障所帶災難通較容量硬碟連智能控制器增加存儲容量磁碟陣列種高效、快速、易用網路存儲備份設備
廣義磁帶庫產品包括自載入磁帶機磁帶庫自載入磁帶機磁帶庫實際磁帶磁帶機機結合組自載入磁帶機位於單機磁帶驅器自磁帶更換裝置裝盤磁帶磁帶匣拾取磁帶並放入驅器或執行相反程自載入磁帶機能夠支持例行備份程自每備份工作裝載新磁帶擁工作組伺服器公司或理處使用自載入磁帶機自完備份工作
磁帶庫像自載入磁帶機基於磁帶備份系統能夠提供同基本自備份數據恢復功能同具更先進技術特點存儲容量達數百PB(1PB=100萬GB)實現連續備份、自搜索磁帶驅管理軟體控制實現智能恢復、實監控統計整數據存儲備份程完全擺脫工干涉磁帶庫僅數據存儲量且備份效率工佔用面擁比擬優勢網路系統磁帶庫通SAN(存儲區域網絡)系統形網路存儲系統企業存儲提供力保障容易完遠程數據訪問、數據存儲備份或通磁帶鏡像技術實現磁帶庫備份疑數據倉庫、ERP等型網路應用良存儲設備
光碟塔、光碟庫光碟網路鏡像伺服器
光碟僅存儲容量巨且本低、製作簡單、體積更重要其信息保存100至300光碟塔由幾台或十幾台CD-ROM驅器並聯構通軟體控制某台光碟機讀寫操作光碟塔同支持幾十幾百用戶訪問信息光碟庫叫自換盤機利用機械手機櫃選張光碟送驅器進行讀寫庫容量極機櫃放幾十片甚至百片光碟光碟庫特點:安裝簡單、使用便並支持幾乎所見網路操作系統及各種用通信協議
光碟網路鏡像伺服器僅具型光碟庫超存儲容量且具與硬碟相同訪問速度其單位存儲本(攤每張光碟設備本)低於光碟庫光碟塔光碟網路鏡像伺服器已始取代光碟庫光碟塔逐漸光碟網路共享設備主流產品
④ 對象存儲系統的特性
對象存儲系統,可以在一個持久穩固且高度可用的系統中存儲任意的對象,且獨立於虛擬機實例之外。應用和用戶可以在對象存儲中使用簡單的API訪問數據;這些通常都基於表屬性狀態轉移(REST)架構,但是也有面向編程語言的界面。
對象存儲提供了數據上受限操作的訪問控制。數據管理員可以在bucket層級上(類似於目錄)或者對象層級上(類似目錄中的文件)應用訪問控制。存儲對象的授權/認證通過雲提供商的身份認證管理系統或者你的目錄服務來管理。通過後者,可能有一個本地的目錄,同基於雲的目錄服務同步,鞏固所有的訪問控制角色和進入單一注冊庫的特權。
⑤ 什麼是分級的存儲體系結構它主要解決了什麼問題
分級存儲是將數據採取不同的存儲方式分別存儲在不同性能的存儲設備上,減少非重要性數據在一級本地磁碟所佔用的空間,還可加快整個系統的存儲性能。分級存儲是根據數據的重要性、訪問頻率、保留時間、容量、性能等指標,將數據採取不同的存儲方式分別存儲在不同性能的存儲設備上,通過分級存儲管理實現數據客體在存儲設備之間的自動遷移。
數據分級存儲的工作原理是基於數據訪問的局部性。通過將不經常訪問的數據自動移到存儲層次中較低的層次,釋放出較高成本的存儲空間給更頻繁訪問的數據,可以獲得更好的性價比。這樣,一方面可大大減少非重要性數據在一級本地磁碟所佔用的空間,還可加快整個系統的存儲性能。
(5)系統的存儲性擴展閱讀
在分級數據存儲結構中,存儲設備一般有磁帶庫、磁碟或磁碟陣列等,而磁碟又可以根據其性能分為FC磁碟、SCSI磁碟、SATA磁碟等多種,而快閃記憶體存儲介質(非易失隨機訪問存儲器(NVRAM))也因為較高的性能可以作為分級數據存儲結構中較高的一級。一般,磁碟或磁碟陣列等成本高、速度快的設備,用來存儲經常訪問的重要信息,而磁帶庫等成本較低的存儲資源用來存放訪問頻率較低的信息。
信息生命周期管理(Information Lifecycle Management,ILM)是StorageTek公司針對不斷變化的存儲環境推出的先進存儲管理理念,ILM試圖實現根據數據在整個生命周期過程中不斷變化的數據訪問需求而進行數據的動態分布。
分級存儲和ILM在存儲體系結構上基本相同,目標也都是使不同級別的數據在給定時間和不同級別的存儲資源能夠更好的匹配。二者本質差別是數據分級的標准不同:前者標准為數據近期被訪問的概率;後者標准為數據近期對企業的價值。
⑥ 計算機組成原理(三)存儲系統
輔存中的數據要調入主存後才能被CPU訪問
按存儲介質,存儲器可分為磁表面存儲器(磁碟、磁帶)、磁心存儲器半導體存儲器(MOS型存儲器、雙極型存儲器)和光存儲器(光碟)。
隨機存取存儲器(RAM):讀寫任何一個存儲單元所需時間都相同,與存儲單元所在的物理位置無關,如內存條等
順序存取存儲器(SAM):讀寫一個存儲單元所需時間取決於存儲單元所在的物理位置,如磁碟等
直接存取存儲器(DAM):既有隨機存取特性,也有順序存取特性。先直接選取信息所在區域,然後按順序方式存取。如硬碟等
相聯存儲器,即可以按內容訪問的存儲器(CAM)可以按照內容檢索到存儲位置進行讀寫,「快表」就是一種相聯存儲器
讀寫存儲器—即可讀、也可寫(如:磁碟、內存、Cache)
只讀存儲器—只能讀,不能寫(如:實體音樂專輯通常採用CD-ROM,實體電影採用藍光光碟,BIOS通常寫在ROM中)
斷電後,存儲信息消失的存儲器——易失性存儲器(主存、Cache)
斷電後,存儲信息依然保持的存儲器——非易失性存儲器(磁碟、光碟)
信息讀出後,原存儲信息被破壞——破壞性讀出(如DRAM晶元,讀出數據後要進行重寫)
信息讀出後,原存儲信息不被破壞——非破壞性讀出(如SRAM晶元、磁碟、光碟)
存儲器晶元的基本電路如下
封裝後如下圖所示
圖中的每條線都會對應一個金屬引腳,另外還有供電引腳、接地引腳,故可以由此求引腳數目
n位地址對應2 n 個存儲單元
假如有8k×8位的存儲晶元,即
現代計算機通常按位元組編址,即每個位元組對應一個地址
但也支持按位元組定址、按字定址、按半字定址、按雙字定址
(Dynamic Random Access Memory,DRAM)即動態RAM,使用柵極電容存儲信息
(Static Random Access Memory,SRAM)即靜態RAM,使用雙穩態觸發器存儲信息
DRAM用於主存、SRAM用於Cache,兩者都屬於易失性存儲器
簡單模型下需要有 根選通線,而行列地址下僅需 根選通線
ROM晶元具有非易失性,斷電後數據不會丟失
主板上的BIOS晶元(ROM),存儲了「自舉裝入程序」,負責引導裝入操作系統(開機)。邏輯上,主存由 輔存RAM+ROM組成,且二者常統一編址
位擴展的連接方式是將多個存儲晶元的地址端、片選端和讀寫控制端相應並聯,數據端分別引出。
字擴展是指增加存儲器中字的數量,而位數不變。字擴展將晶元的地址線、數據線、讀寫控制線相應並聯,而由片選信號來區分各晶元的地址范圍。
實際上,存儲器往往需要同時擴充字和位。字位同時擴展是指既增加存儲字的數量,又增加存儲字長。
兩個埠對同一主存操作有以下4種情況:
當出現(3)(4)時,置「忙」信號為0,由判斷邏輯決定暫時關閉一個埠(即被延時),未被關閉的埠正常訪問,被關閉的埠延長一個很短的時間段後再訪問。
多體並行存儲器由多體模塊組成。每個模塊都有相同的容量和存取速度,各模塊都有獨立的讀寫控制電路、地址寄存器和數據寄存器。它們既能並行工作,又能交義工作。多體並行存儲器分為高位交叉編址(順序方式)和低位交叉編址(交叉方式)兩種.
①高位交叉編址
②低位交叉編址
採用「流水線」的方式並行存取(宏觀上並行,微觀上串列),連續取n個存儲字耗時可縮短為
宏觀上,一個存儲周期內,m體交叉存儲器可以提供的數據量為單個模塊的m倍。存取周期為T,存取時間/匯流排傳輸周期為r,為了使流水線不間斷,應保證模塊數
單體多字系統的特點是存儲器中只有一個存儲體,每個存儲單元存儲m個字,匯流排寬度也為m個字。一次並行讀出m個字,地址必須順序排列並處於同一存儲單元。
缺點:每次只能同時取m個字,不能單獨取其中某個字;指令和數據在主存內必須是連續存放的
為便於Cache 和主存之間交換信息,Cache 和主存都被劃分為相等的塊,Cache 塊又稱Cache 行,每塊由若干位元組組成。塊的長度稱為塊長(Cache 行長)。由於Cache 的容量遠小於主存的容盤,所以Cache中的塊數要遠少於主存中的塊數,它僅保存主存中最活躍的若干塊的副本。因此 Cache 按照某種策略,預測CPU在未來一段時間內欲訪存的數據,將其裝入Cache.
將某些主存塊復制到Cache中,緩和CPU與主存之間的速度矛盾
CPU欲訪問的信息已在Cache中的比率稱為命中率H。先訪問Cache,若Cache未命中再訪問主存,系統的平均訪問時間t 為
同時訪問Cache和主存,若Cache命中則立即停止訪問主存系統的平均訪問時間t 為
空間局部性:在最近的未來要用到的信息(指令和數據),很可能與現在正在使用的信息在存儲空間上是鄰近的
時間局部性:在最近的未來要用到的信息,很可能是現在正在使用的信息
基於局部性原理,不難想到,可以把CPU目前訪問的地址「周圍」的部分數據放到Cache中
直接映射方式不需要考慮替換演算法,僅全相聯映射和組相聯映射需要考慮
①隨機演算法(RAND):若Cache已滿,則隨機選擇一塊替換。實現簡單,但完全沒考慮局部性原理,命中率低,實際效果很不穩定
②先進先出演算法(FIFO):若Cache已滿,則替換最先被調入Cache的塊。實現簡單,依然沒考慮局部性原理
③近期最少使用演算法(LRU):為每一個Cache塊設置一個「計數器」,用於記錄每個Cache塊已經有多久沒被訪問了。當Cache滿後替換「計數器」最大的.基於「局部性原理」,LRU演算法的實際運行效果優秀,Cache命中率高。
④最不經常使用演算法(LFU):為每一個Cache塊設置一個「計數器」,用於記錄每個Cache塊被訪問過幾次。當Cache滿後替換「計數器」最小的.並沒有很好地遵循局部性原理,因此實際運行效果不如LRU
現代計算機常採用多級Cache,各級Cache之間常採用「全寫法+非寫分配法」;Cache-主存之間常採用「寫回法+寫分配法」
寫回法(write-back):當CPU對Cache寫命中時,只修改Cache的內容,而不立即寫入主存,只有當此塊被換出時才寫回主存。減少了訪存次數,但存在數據不一致的隱患。
全寫法(寫直通法,write-through):當CPU對Cache寫命中時,必須把數據同時寫入Cache和主存,一般使用寫緩沖(write buffer)。使用寫緩沖,CPU寫的速度很快,若寫操作不頻繁,則效果很好。若寫操作很頻繁,可能會因為寫緩沖飽和而發生阻塞訪存次數增加,速度變慢,但更能保證數據一致性
寫分配法(write-allocate):當CPU對Cache寫不命中時,把主存中的塊調入Cache,在Cache中修改。通常搭配寫回法使用。
非寫分配法(not-write-allocate):當CPU對Cache寫不命中時只寫入主存,不調入Cache。搭配全寫法使用。
頁式存儲系統:一個程序(進程)在邏輯上被分為若干個大小相等的「頁面」, 「頁面」大小與「塊」的大小相同 。每個頁面可以離散地放入不同的主存塊中。CPU執行的機器指令中,使用的是「邏輯地址」,因此需要通「頁表」將邏輯地址轉為物理地址。頁表的作用:記錄了每個邏輯頁面存放在哪個主存塊中
邏輯地址(虛地址):程序員視角看到的地址
物理地址(實地址):實際在主存中的地址
快表是一種「相聯存儲器」,可以按內容尋訪,表中存儲的是頁表項的副本;Cache中存儲的是主存塊的副本
地址映射表中每一行都有對應的標記項
主存-輔存:實現虛擬存儲系統,解決了主存容量不夠的問題
Cache-主存:解決了主存與CPU速度不匹配的問題
⑦ 存儲性能和空間利用率哪個重要
最大限度地挖掘存儲系統的性能潛力是用戶永遠的追求,但是,面對眾多性能優化技術,我們還必須考慮到底是性能重要還是空間利用率重要。在當前經濟形勢低迷的大背景下,挖掘現有存儲系統的性能潛力成為用戶的必然選擇,不過追求性能只是一個方面。我們看到的現象是大多數存儲系統的空間利用率還不到50%,而且存儲控制器的處理能力也只用到一小部分,這些都是讓用戶不可接受的事實。在數據中心應用領域,通過伺服器整合以及虛擬化技術,物理伺服器的資源已經被最大化的利用起來,與此相反的是,存儲效率低下的問題卻成為用戶的痛點。若要實現伺服器虛擬化的高效率,存儲系統就必須跟得上,這是一個必要的前提,因此伺服器虛擬化應用推動著存儲技術向更高效的方向發展。在虛擬化環境中,當前端伺服器數量不斷增加,後端存儲陣列的不足便暴露出來,尤其表現在缺乏細粒度的分配和調動空間資源的能力方面。因此,如果用戶希望對數據中心進行高度整合,那麼伺服器虛擬化技術和高效的存儲技術二者缺一不可。存儲效率是一個綜合性的指標,實現最佳的存儲效率意味著要在有效存儲空間以及可用處理資源兩方面都有出色表現,通常也是各產品之間相互競爭的重點。StorageIO高級分析師Greg Schulz說,「為了達到應用所需的IOPS能力,有些存儲系統被設計得很大,通過大量磁碟的並發來提升IOPS,可是空間利用率卻非常低,反之,追求空間利用率的最大化往往需要藉助存儲精簡技術,比如壓縮和重復數據刪除等等,但是這些功能會對系統性能帶來負面的影響「。因此,達成高效的存儲就需要在容量和性能之間尋找一個平衡點,根據應用需求的不同,對容量、處理能力、性能以及成本進行控制和優化。保證存儲效率有哪些基本條件優化存儲系統的性能,本質上就是要盡可能地提高存儲處理資源的利用率,同時盡量消除系統的瓶頸或阻塞。隨著處理資源利用率的增加,剩餘的處理資源以及響應額外處理請求的能力相應的就會降低。而且如果緩沖區太小的話,那麼系統達到性能上限(瓶頸)的可能性就非常大。舉個例子來說,一個平均處理資源利用率在 50%的磁碟陣列不太可能觸及性能上限(瓶頸),而對於一個利用率達到80%的系統來說,這個可能性就要大得多。高效存儲技術及其對性能、容量和成本的影響由存儲廠商或第三方公司提供的內嵌在存儲系統內部或在外部附加的運行報告、監控以及存儲分析功能是十分重要的,它們可以幫助用戶更好的了解系統的運行情況,避免系統過度(過高)配置,並減少很多後期維護工作。尤其是當用戶需要優化性能或者按需增加處理資源時,這些組件的作用就會體現的非常明顯。對此,StorageIO高級分析師Greg Schulz評價道:「無論是性能問題還是容量問題,好好利用存儲廠商或第三方公司提供的工具都是十分重要的。」這些工具不僅能夠幫助用戶定位性能的問題,更重要的方面在於它們可以幫助用戶選擇出最恰當的解決方案。衡量一套存儲系統的性能並不能依賴某個單一指標,而要考慮多種組合因素,它們每一項都對應用程序訪問數據的速度有所影響。其中,IOPS、吞吐帶寬和訪問延遲這三項指標是最關鍵的。 不過,指標數據究竟是好是壞還要考慮應用環境的差異,包括工作負載的類型(隨機請求或者順序請求)、數據塊的大小、交易類型(讀或是寫),以及其他相關的能夠影響性能的因素都依賴於應用程序本身的特點。比方說,如果是流媒體視頻應用,那麼大文件快速順序讀性能和大數據塊是最重要的;而如果是虛擬化應用環境,那麼隨機讀性能通常是最主要的考察指標。下面的部分,我們將縱覽那些可以優化性能並且提高存儲資源利用率的技術,這里沒有獨門秘籍,因為每一種方法都有其優點和缺點。通過堆砌磁碟數量來提高性能磁碟驅動器是一種機械裝置,讀寫磁頭通過在高速旋轉碟片的內道和外道之間往復移動來尋找並讀寫數據。即使是轉速最快的15000轉磁碟,其磁頭機械臂的重定位時間延遲都會有數毫秒之多,因此每個磁碟的IOPS值最多隻有幾百個,吞吐帶寬則局限在100MB/秒以內。通過將數據分布在多個磁碟上,然後對多個磁碟同步進行讀寫訪問是一種常見的擴展性能的方法。通過增加磁碟的個數,系統整體的IOPS和帶寬值也會等比例提升。加之,有些存儲廠商還提供short stroking這樣的可以縮短磁頭機械臂移動距離的技術。此類技術可以將數據集中放置在磁碟碟片的外道區域,結果是磁頭移動的距離大大縮短,對數據訪問的性能具有十分明顯的提升作用。可是,當我們通過利用大量的磁碟並發以及short-stroking磁頭短距離移動技術達成既定的性能目標之後,我們會發現其代價是非常高昂的,此外,由於僅僅使用了碟片的外道空間,所以存儲的空間利用率會非常差。早在SSD固態盤技術出現之前,利用大量的磁碟並發以及 short-stroking磁頭短距離移動技術來滿足應用的性能要求是最普遍的辦法,即使在今天,這種方案依然被大量使用,原因是SSD固態盤的成本太高,所以用戶依然青睞磁碟而不是SSD。NatApp技術和戰略總監Mike Riley就說:「對於順序訪問大數據塊和大文件這樣的應用,使用磁碟通常性價比更高。」RAID 及wide-striping技術對效率的影響很多用戶容易忽視一點,即RAID和RAID級別其實都會對性能和容量產生影響。通過改變RAID級別來提升存儲性能或者空間的利用率是一種很現實的選擇。校驗盤的數量、條帶的大小、RAID組的尺寸以及RAID組內數據塊大小都會影響性能和容量。RAID技術對性能和容量的影響我們都熟悉那些常見的RAID級別及其特點,但還有一些不常見的技術趨勢值得我們關注,這些都與我們討論的存儲效率有關。首先,RAID組的尺寸會影響性能、可用性以及容量。通常,大的RAID組包含的磁碟數量更多,速度也更快,但是,當出現磁碟故障後,大RAID組也需要更多的時間用來重建。每隔幾年,磁碟的容量都會翻一番,其結果是RAID重建的時間也相應變的更長,在數據重建期間出現其他磁碟故障的風險也變得更大。即使是帶有雙校驗機制,允許兩塊磁碟同時出現故障的RAID 6也存在風險增加的問題,況且,RAID 6對性能的影響還比較大。有一個更好的辦法是完全打破傳統RAID組和私有校驗盤的概念,比如,NetApp的Dynamic Disk Pools (DDP)技術,該技術將數據、校驗信息以及閑置空間塊分散放置在一個磁碟池中,池中所有的磁碟會並發處理RAID重建工作。另一個有代表性的產品是HP的 3PAR存儲系統,3PAR採用了一種叫做wide striping的技術,將數據條塊化之後散布在一大堆磁碟上,同時磁碟自身的裸容量又細分成若干小的存儲塊(chunklet)。3PAR的卷管理器將這些小的chunklet組織起來形成若干個micro-RAID(微型RAID組),每個微型RAID組都有自己的校驗塊。對於每一個單獨的微型 RAID組來說,其成員塊(chunklet)都分布在不同的磁碟上,而且chunklet的尺寸也很小,因此數據重建時對性能的沖擊和風險都是最小的。固態存儲毫無疑問,SSD固態存儲的出現是一件劃時代的「大事兒「,對於存儲廠商來說,在優化性能和容量這兩個方面,SSD技術都是一種全新的選擇。與傳統的磁碟技術相比,SSD固態盤在延遲指標方面有數量級上的優勢(微秒 對 毫秒),而在IOPS性能上,SSD的優勢甚至達到了多個數量級(10000以上 對 數百)。Flash技術(更多的時候是磁碟與flash的結合)為存儲管理員提供了一種更具性價比的解決方案,我們不必像過去那樣,為了滿足應用對性能的高要求而不得不部署大批量的磁碟,然後再將數據分散在磁碟上並發處理。SSD固態盤最佳的適用場景是大量數據的隨機讀操作,比如虛擬化 hypervisor,但如果是大數據塊和大文件的連續訪問請求,SSD的優勢就沒有那麼明顯了。EMC統一存儲部門負責產品管理與市場的高級副總裁Eric Herzog說:「Flash的價格仍然10倍於最高端的磁碟,因此,用戶只能酌情使用,而且要用在刀刃上。」目前,固態存儲有三種不同的使用方式:第一種方式,用SSD固態盤完全代替機械磁碟。用SSD替換傳統的磁碟是最簡單的提升存儲系統性能的方法。如果選擇這個方案,關鍵的一點是用戶要協同存儲廠商來驗證SSD固態盤的效果,並且遵循廠商提供的建議。如果存儲系統自身的處理能力無法承載固態存儲的高性能,那麼SSD有可能會將整個系統拖垮。因為,如果SSD的速度超出了存儲控制器的承受范圍,那麼很容易出現性能(I/O阻塞)問題,而且會越來越糟。另一個問題涉及到數據移動的機制,即我們的數據在什麼時候、以何種方式遷移到固態存儲上,或從固態存儲上移走。最簡單但也最不可取的方法是人工指定,比如我們通過手動設定將資料庫的日誌文件固定存放在SSD固態存儲空間,對於比較老的存儲系統來說,這也許是唯一的方式。在這里我們推薦用戶使用那些自動化的數據分層移動技術,比如EMC的 FAST(Fully Automated Storage Tiering)。第二種方式,用Flash(固態存儲晶元)作為存儲系統的緩存。傳統意義上的DRAM 高速緩存容量太小,因此我們可以用Flash作為DRAM的外圍擴展,而這種利用Flash的方式較之第一種可能更容易實現一些。Flash緩存本身是系統架構的一個組成部分,即使容量再大,也是由存儲控制器直接管理。而用Flash作緩存的設計也很容易解決數據分層的難題,根據一般的定義,最活躍的數據會一直放置在高速緩存里,而過期的數據則駐留在機械磁碟上。與第一種方式比較,存儲系統里所有的數據都有可能藉助Flash高速緩存來提升訪問性能,而第一種方式下,只有存放在SSD固態盤中的數據才能獲得高性能。初看起來,用Flash做高速緩存的方案幾乎沒有缺陷,可問題是只有新型的存儲系統才支持這種特性,而且是選件,因此這種模式的發展受到一定的制約。與此相反,我們看到用Flash做大容量磁碟的高速緩存(而不是系統的高速緩存)反而成為更普遍的存儲架構設計選擇,因為它可以將高容量和高性能更好的融合。IBM存儲軟體業務經理Ron Riffe說:「在一套磁碟陣列中,只需要增加2-3%的固態存儲空間,幾乎就可以讓吞吐帶寬提高一倍。」在伺服器中使用Flash存儲卡。數據的位置離CPU和內存越近,存儲性能也就越好。在伺服器中插入PCIe Flash存儲卡,比如Fusion-IO,就可以獲得最佳的存儲性能。不太有利的一面是,內置的Flash存儲卡無法在多台伺服器之間共享,只有單台伺服器上的應用程序才能享受這一好處,而且價格非常昂貴。盡管如此,仍然有兩個廠商對此比較熱衷,他們都希望將自己的存儲系統功能向伺服器內部擴展。一個是 NetApp,正在使其核心軟體Data Ontap能夠在虛擬機hypervisor上運行;另一個是EMC,推出的功能叫做VFCache(原名叫Project Lightning)。顯而易見,這兩家公司的目標是通過提供伺服器端的Flash存儲分級獲得高性能,而這種方式又能讓用戶的伺服器與他們提供的外部存儲系統無縫集成。存儲加速裝置存儲加速裝置一般部署在伺服器和存儲系統之間,既可以提高存儲訪問性能,又可以提供附加的存儲功能服務,比如存儲虛擬化等等。多數情況下,存儲加速裝置後端連接的都是用戶已有的異構存儲系統,包括各種各樣的型號和品牌。異構環境的問題是當面臨存儲效率低下或者性能不佳的困擾時,分析與評估的過程就比較復雜。然而,存儲加速裝置能夠幫助已有磁碟陣列改善性能,並將各種異構的存儲系統納入一個統一的存儲池,這不但可以提升整個存儲環境的整體性能、降低存儲成本,而且還可以延長已有存儲的服役時間。最近由IBM發布的 SmartCloud Virtual Storage Center是此類產品的代表,它將IBM的存儲虛擬化軟體SVC(SAN Volume Controller)以及存儲分析和管理工具集成在一個單獨的產品中。SmartCloud Virtual Storage Center可以將各種異構的物理存儲陣列納入到一個虛擬存儲池中,在這個池之上創建的卷還支持自動精簡配置。該裝置不但可以管理連接在其後的存儲陣列中的Flash固態存儲空間,而且SmartCloud Virtual Storage Center自身內部也可以安裝Flash固態存儲組件。通過實時存儲分析功能,SmartCloud Virtual Storage Center能夠識別出I/O訪問頻繁的數據以及熱點區域,並能夠自動地將數據從磁碟遷移到Flash固態存儲上,反向亦然。用戶可以藉助 SmartCloud Virtual Storage Center的這些功能大幅度的提高現有的異構混合存儲系統環境的性能和空間利用率。與IBM SmartCloud Virtual Storage Center類似的產品還有Alacritech和Avere,它們都是基於塊或基於文件的存儲加速設備。日益增加的存儲空間利用率利用存儲精簡技術,我們可以最大化的利用起可用的磁碟空間,存儲精簡技術包括自動精簡配置、瘦克隆、壓縮以及重復數據刪除等等。這些技術都有一個共同的目標,即最大程度的引用已經存在的數據塊,消除或避免存儲重復的數據。然而存儲精簡技術對系統的性能稍有影響,所以對於用戶來說,只有在明確了性能影響程度並且能夠接受這種影響的前提下,才應該啟動重復數據刪除或數據壓縮的功能。性能和容量:密不可分存儲系統的性能和空間利用率是緊密相關的一對參數,提升或改進其中的一個,往往會給另一個帶來負面的影響。因此,只有好好的利用存儲分析和報表工具,我們才能了解存儲的真實性能表現,進而發現系統瓶頸並採取適當的補救措施,這是必要的前提。總之,提高存儲效率的工作其實就是在性能需求和存儲成本之間不斷的尋找平衡。
⑧ XFS分布式存儲系統的特性有那些
主要特性包括以下幾點:
1、數據完全性
採用XFS文件系統,當意想不到的宕機發生後,首先,由於文件系統開啟了日誌功能,所以你磁碟上的文件不再會意外宕機而遭到破壞了。不論目前文件系統上存儲的文件與數據有多少,文件系統都可以根據所記錄的日誌在很短的時間內迅速恢復磁碟文件內容。
2、傳輸特性
XFS文件系統採用優化演算法,日誌記錄對整體文件操作影響非常小。XFS查詢與分配存儲空間非常快。xfs文件系統能連續提供快速的反應時間。
3、可擴展性
XFS 是一個全64-bit的文件系統,它可以支持上百萬T位元組的存儲空間。對特大文件及小尺寸文件的支持都表現出眾,支持特大數量的目錄。最大可支持的文件大小為263 = 9 x 1018 = 9 exabytes,最大文件系統尺寸為18 exabytes。
4、數據結構
XFS使用高效的表結構(B+樹),保證了文件系統可以快速搜索與快速空間分配。XFS能夠持續提供高速操作,文件系統的性能不受目錄中目錄及文件數量的限制。
5、傳輸帶寬
XFS 能以接近裸設備I/O的性能存儲數據。在單個文件系統的測試中,其吞吐量最高可達7GB每秒,對單個文件的讀寫操作,其吞吐量可達4GB每秒。