Ⅰ 【理論研究】漫談雲計算IT基礎設施05-超融合技術
其實超融合這一塊,放在雲計算IT基礎設施裡面,不算是完全合適。你說它是分布式存儲,但是它同時又是硬體伺服器與存儲;你說它算硬體,但是它又離不開分布式存儲軟體。
傳統的IT基礎設施架構,主要分為網路、計算、存儲三層架構。但隨著雲計算與分布式存儲技術的發展以及x86伺服器的標准化,逐漸出現了一種將計算、存儲節點融合在一起的架構--超融合架構。超融合將三層的IT基礎設施架構縮小變成了兩層。
2019年11月的Gartner超融合產品魔力象限中,領導者象限有5家:Nutanix、DELL、VMware、CISCO、HPE。(其中DELL vxRail一體機裡面用的分布式存儲軟體也是VMware的VSAN,而VMware提供的則是VSAN純軟體的解決方案)
Nutanix能夠成為超融合領導者中的領導者,自然是經過市場的充分驗證,得到市場的認可。而且由於其公開資料(Nutanix 聖經)比較齊備,因此我們可以通過Nutanix一窺超融合的究竟。
這邊就不搬運了,可以直接搜索引擎搜索「Nutanix聖經」或「Nutanix-Bible」,可以找到相應的官方文檔。
引用自NUTANIX聖經 -「Nutanix解決方案是一個融合了存儲和計算資源於一體的解決方案。該方案是一個軟硬體一體化平台,在2U空間中提供2或4個節點。
每個節點運行著hypervisor(支持ESXi, KVM, Hyper-V)和Nutanix控制器虛機(CVM)。Nutanix CVM中運行著Nutanix核心軟體,服務於所有虛機和虛機對應的I/O操作。
得益於Intel VT-d(VM直接通路)技術,對於運行著VMware vSphere的Nutanix單元,SCSI控制(管理SSD和HDD設備)被直接傳遞到CVM。」
個人總結: 從以上官方文檔可知,2U的空間可以安裝2~4個Nutanix節點(每個節點相當於1台物理伺服器),所以設備裝機密度非常高。每個節點都安裝著虛擬化軟體,並且在虛擬化層之上再運行著一台Nutanix的控制虛機(CVM),該虛機主要負責不同的Nutanix節點之間控制平面的通信。單個節點中配置有SSD硬碟與HDD硬碟,替代磁碟陣列作為存儲使用,單個節點有獨立的CPU與內存,作為計算節點使用。
1、基礎架構
以3個Nutanix節點為例,每個節點安裝有Hypervisor,在Hypervisor之上運行著客戶虛擬機,並且每個節點有一台Nutanix控制器虛機Controller VM,配置有2塊SSD與4塊HDD,通過SCSI Controller作讀寫。
2、數據保護
Nuntanix與傳統磁碟陣列通過Raid、LVM等方式作數據保護不同,而是與一般的分布式存儲一樣,通過為數據建立副本,拷貝到其他Nutanix節點存放,來對數據進行保護,Nutanix將副本的數量稱作RF(一般RF為2~3)。
當客戶虛機寫入數據「見圖上1a)流程」,數據先寫入到本地Nutanix節點的SSD硬碟中劃分出來的OpLog邏輯區域(相當於Cache的作用),然後執行「1b)」流程,本地節點的CVM將數據從本地的SSD的OpLog拷貝到其他節點的SSD的OpLog,拷貝份數視RF而定。當其他節點CVM確定數據寫入完成,會執行「1c」流程,給出應答寫入完成。通過數據副本實現對數據的保護。
數據從SSD中的OpLog寫入到SSD以及HDD的Extent Store區域,是按照一定的規則非同步進行的,具體詳見下面的部分。
3、存儲分層
Nutanix數據寫入以本地落盤為主要寫入原則(核心原則)。
當客戶虛機寫入數據是,優先考慮寫入本地SSD(如果SSD已用容量未達到閥值),如果本地SSD滿了,會將本地SSD的最冷的數據,遷移到集群中其他節點的SSD,騰出本地SSD的空間,寫入數據。本地落盤的原則,是為了盡量提高虛機訪問存儲數據的速度,使本地虛機不需要跨節點訪問存儲數據。(這點應該是與VSAN與其他分布式文件系統最大原理性區別)
當整個集群的SSD已用容量達到閥值(一般是75%),才會將每個節點的SSD數據遷移到該節點的HDD硬碟中。
SSD遷移數據到HDD,並非將所有數據全部遷移到HDD,而是對數據進行訪問度冷熱的排序,並且將訪問較少的冷數據優先遷移到HDD硬碟中。
如SSD容量達到95%的利用率,則遷移20%的冷數據到HDD;如SSD容量達到80%,則默認遷移15%的冷數據到HDD。
4、數據讀取與遷移
Nutanix聖經引用-「 <u style="text-decoration: none; border-bottom: 1px dashed grey;">I/O和數據的本地化(data locality),是Nutanix超融合平台強勁性能的關鍵所在。所有的讀、寫I/O請求都藉由VM的所在節點的本地CVM所響應處理。所以基本上不會出現虛機在一個節點,而需要訪問的存儲數據在另外一個物理節點的情況,VM的數據都將由本地的CVM及其所管理的本地磁碟提供服務。</u>
<u style="text-decoration: none; border-bottom: 1px dashed grey;">當VM由一個節點遷移至另一個節點時(或者發生HA切換),此VM的數據又將由現在所在節點中的本地CVM提供服務。當讀取舊的數據(存儲在之前節點的CVM中)時,I/O請求將通過本地CVM轉發至遠端CVM。所有的寫I/O都將在本地CVM中完成。DFS檢測到I/O請求落在其他節點時,將在後台自動將數據移動到本地節點中,從而讓所有的讀I/O由本地提供服務。數據僅在被讀取到才進行搬遷,進而避免過大的網路壓力。</u> 」
個人總結: 即一般虛機讀寫數據都是讀本地節點的硬碟,如果本地節點硬碟沒有該數據,會從其他節點先拷貝過來本地節點硬碟,再為本地虛機提供訪問,而不是虛機直接訪問其他節點。即要貫徹本地落盤的核心思想。
5、Nutanix解決方案的優缺點
Nutanix方案優點:
1) 本地落盤策略,確保虛機訪問存儲速度:虛機寫入的數據都在本物理節點的磁碟上,避免跨節點存儲訪問,確保訪問速度,減輕網路壓力。
2) 採用SSD磁碟作為數據緩存,大幅提升IO性能:
見上表數據,從隨機的讀寫來看,SSD的IO及帶寬性能比SATA的性能提升了約1000倍。而結合Nutanix的本地落盤策略,虛機數據寫入,僅有本地的2塊SSD硬碟作為數據緩存負責寫入數據。
但由於單塊SSD硬碟的IO比傳統陣列的SATA高出1000倍,IO性能大幅提升。(相當於要超過2000塊SATA硬碟做Raid,才能提供近似的IO性能)。
3)永遠優先寫入SSD,確保高IO性能
數據寫入HDD不參與,即使本地SSD容量滿了會將冷數據遷移到集群其他節點SSD,然後還是SSD進行讀寫,確保高IO。後續非同步將SSD冷數據遷移到HDD。
4)數據冷熱分層存儲
冷數據存放在HDD,熱數據保留在SSD,確保熱點數據高IO讀取。
5)設備密度高,節省機房機架空間
2U可以配置4個節點,包含了存儲與計算,比以往機架式/刀片伺服器與磁碟陣列的解決方案節省了大量的空間。
Nutanix方案缺點:
1)本地落盤及SSD緩存方案確保了高IO,但是硬碟的帶寬得不到保證。
傳統磁碟陣列,多塊SATA/SAS硬碟加入Raid組,數據寫入的時候,將文件拆分為多個block,分布到各個硬碟中,同個Raid組的硬碟同時參與該文件的block的讀寫。通過多塊硬碟的並行讀寫,從而提升IO與帶寬性能。
而Nutanix的解決方案中,單個文件的讀寫遵循本地落盤的策略,因此不再對文件拆分到多塊硬碟進行並行讀寫,而只有本地節點的SSD硬碟會對該文件進行寫入。
雖然SSD硬碟的IO與帶寬都是SATA/SAS的數百上千倍,但是SSD對比SATA/SAS硬碟在帶寬上面只有2~3倍的速率提升,而傳統Raid的方式,多塊硬碟並行讀寫,雖然IO比不上SSD,但是帶寬則比單塊/兩塊SSD帶寬高出很多。
因此Nutanix的解決方案適合用於高IO需求的業務類型,但是因為它的讀寫原理,則決定了它不合適低IO、高帶寬的業務類型。
三)行業競爭對手對比:
VMWARE EVO RAIL軟體包:VMware沒有涉足硬體產品,但EVO: RAIL 軟體捆綁包可供合格的 EVO: RAIL 合作夥伴使用。合作夥伴轉而將硬體與集成的 EVO: RAIL 軟體一起出售,並向客戶提供所有硬體和軟體支持。
而EVO:RAIL的核心,其實就是VSphere虛擬化軟體+VSAN軟體的打包。
但VSAN與Nutanix最大的一個區別,就是不必須完全遵循Nutanix的本地落盤的策略。可以通過設置條帶系數,將本地虛機的數據讀寫設置為橫跨多個節點的硬碟,默認條帶系數為1,最大可設置為12個,即一個虛機的數據寫入,可以同時採用12個節點的SSD硬碟並行讀寫。
通過這種方式,VSAN可以一定程度的彌補了Nutanix方案不適用於帶寬要求高,IO要求低的業務類型的缺點。
但是這種橫跨物理節點的訪問流量,在虛機數量眾多的情況下,肯定會給網路帶來壓力,網路帶寬可能會成為另一個瓶頸。
其次VSAN可以集成在Hypervisor層,而不需要像Nutanix在Hypervisor上面運行一個控制虛機CVM。
再次,Nutanix支持KVM、Hyper-V、ESXI等多種Hypervisor,而VSAN僅支持自家的ESXI。
其他待補充:由於暫時未對VSAN進行實際部署測試,僅停留在對其原理的研究,因此,關於VSAN的部分待後續平台上線測試完成後繼續補充。
Ⅱ 直通卡和陣列卡的區別
陣列卡就是英語中的raid卡,直通卡就是HBA卡,HBA卡有兩種模式,IT模式和IR模式,IR模式的直通卡不是硬陣列卡!別拿IR模式的直通卡說是硬陣列卡!這是張冠李戴了。 HBA卡就是一個通道卡,它的作用是讓計算機能夠對磁碟進行存取操作,一般都是針對sas硬碟的,可以看成是sas控制器,類似南橋的SATA控制器。但是HBA卡的HBA晶元也是有CPU的,也分為IT模式和IR模式,IT模式下所連接的磁碟對系統是透明的,由系統直接識別和管理,而IR模式下磁碟由HBA控制器控制然後模擬磁碟給系統使用,雖然類似陣列卡(和南橋的raid模式是一個道理),但是不能說是硬陣列卡。IR模式下的HBA卡可以組建raid0,raid1甚至raid5,但是raid5的寫入性能還不如單個硬碟,我一直覺得IR模式的HBA卡就是廢物,基本找不到什麼用途會特別需要這種卡。後來想想應該是廠商拿來騙錢的。 硬陣列卡其實可以看做一個微型計算機系統,陣列卡通過一個ROC(raid-on-chip)晶元來完成對存儲設備的管理,並按需模擬磁碟給計算機使用,存儲設備本身對操作系統不透明,由陣列卡管理。ROC晶元中有通用CPU,一般是mips,powerpc或者arm架構,用來通用計算,還有內存控制器為這個CPU提供內存,還有xor引擎,專門用來加速raid5,raid6等等。 簡單的識別方式就是沒有內存顆粒作為陣列卡緩存的就是HBA卡或者說直通卡,而有內存顆粒作為陣列卡緩存的就是硬陣列卡,做raid5或者raid6速度是有保障的。IR模式的直通卡,即使做raid5,也是聾子的耳朵-擺設,毫無實用價值。
Ⅲ IT到底指的是啥是java、python嗎
答: It是Information technology的縮寫,,主要意思就是信息技術,這些技術呢,主要用在計算機和通信行業,應該來說是一個統稱,並不僅僅是說Java還是Python,因為在信息技術當中呢,有很多種計算機語言,比如還有C#, C++,go等,我們主要得知道是利用這個技術來解決相關的計算機問題。它主要涉及硬體軟體等方面的應用,希望能夠幫助到你。
Ⅳ 閑話IT運維-- IT外包模式和風險
在一個公司內,IT部門一般是為公司其他業務部門提供IT服務,通常是成本中心,非盈利中心。作為成本中心有兩個方面需要重點考慮,一方面,需要考慮投入產出比;另一方面,IT部門一般技術力量也不強。從這兩個方面考慮,IT部門有充分的理由考慮將部分或者全部的IT工作外包給更專業的公司去處理,讓專業的人處理專業的事。
哪些可以外包
上面根據業務的核心程度和技術力量來進行區分哪些IT工作可以外包,對於部分外包的情況可以根據開發的主要流程進一步來確定:
上圖中對於運營維護都建議IT部門直接處理,而不是外包,這不是說不能進行外包,而是強調IT部門對運維工作要有絕對的把控,因為這是IT服務好壞的一個底線,可以採用外包代維,但是關鍵部分,包括流程管控,安全管理等等必須抓緊抓牢。
外包模式
根據外包方多少來區分,外包又有單方外包和多方外包:
單方外包: 將IT業務整體打包外包給一家公司,包括開發、測試、運維整個流程,實行大包干。這種情況優點是可以全面利用承包方的資源,如果選擇的是優秀的承包商可以短時間提升IT部門的服務水平。缺點是缺少競爭,長期看可能被承包商「綁架」,另外,讓承包方大包干會導致管理、技術方面過多依賴承包方,IT部門內部人員能力下降。
多方外包: 將IT業務根據一定的業務邏輯進行分割,譬如區分CRM、計費、物流、客服等模塊,不同模塊外包給不同的承包方。這種情況優點是多家參與,服務能力有比較,並且有一定的競爭。缺點是有問題時會出現多家扯皮,另外各個系統之間很多介面需要多方確定,開發和維護需要協調的工作比較多。
一般不是非常重要的系統可以採用單方外包,重要的系統最好還是採用多方外包,不要將雞蛋放到一個籃子里。
外包的風險和應對
1、信息安全風險高
IT系統處理公司業務信息,其中包括一些公司敏感信息,包括公司的生產經營數據、客戶敏感信息、系統核心資源信息等等。這些信息內部人員掌握一般信息安全比較可控,畢竟是內部自己人,如果外包人員全面接觸到,信息安全風險會非常高,譬如倒賣用戶敏感信息。這種情況下管理上需要加強信息安全流程管控、技術上通過單點登錄、4A安全審計等方式方法來提升信息安全水平。
2、人員能力下降
在外包情況下自有人員是甲方,外包人員是乙方,很多事情由乙方外包處理,並且外包具體職責有時也並不十分清晰,人都是有惰性的,長期可能導致甲方人員將本該自己處理的事情都委託乙方處理,就像家裡請了個保姆,時間長了主人掃地、做飯都不會了。
3、服務質量下降
一般外包商剛合作時會很積極配合工作,服務質量很高,但是隨著接觸越來越多,內部人員對開發、運維等把控不夠專業和深入,特別是外包合同對外包服務質量的規定如果不是很科學的情況下,外包的服務質量會下降。為應對這種情況需要在合同中明確外包合同的服務質量(SLA),並且明確獎懲方式,另外內部必須有一支對外包出去的業務(包括開發、運維等流程)非常熟悉的骨幹隊伍,防止被外包商」忽悠「。
外包是一把雙刃劍,用的好提升自己功力,用的不好也可能會傷到自己,自己必須有相應的能力來駕馭這把劍!
Ⅳ IT里的存儲體有什麼
計算機中常用的存儲設備有哪些?各有什麼作用?各自的特點是什麼?
計算機中的存儲器,可分為內存和外存。內存,又稱為主存儲器,可分為隨機存儲器
RAM
和只讀存儲器
ROM
。隨機存儲器用於存放正在運行的程序和數據,它的特點是具有可
讀寫性和易丟失性,
即其中保存的信息,
一旦掉電就會全部丟失。
隨機存儲器又可分為靜態
隨機存儲器
SRAM
和動態隨機存儲器
DRAM
,前者因為製作工藝復雜,價格高昂,只有少量
用於高速緩存
Cache
;後者則是在微機中被稱為內存條的東東。只讀存儲器用於固化一些基
本程序,
如微機主板中的
BIOS
(基本輸入
/
輸出程序)
,
它的特點是只能讀出信息,
不能寫入
信息,即具有隻讀不寫性。外存,又稱為輔助存儲器。目前微機中標配的硬碟、光碟,以及
常用的
U
盤等,都是常見的外存儲器。外存因為存儲容量大(內存的存儲容量比較有限,
且相對外存小得多)
,而被廣泛用於各種程序和數據的存放。但外存中的信息,必須先讀入
內存後,才能被
CPU
調用或處理。硬碟和軟盤都屬於磁碟存儲設備,是通過磁性分布來記
錄信息的,硬碟的存儲容量、存取速度均遠大於軟盤。
U
盤屬於一種快閃記憶體設備,因為存儲容
量大、存取速度快已取代了軟盤而被廣泛使用。