① vsan中緩存盤使用hdd盤可以嗎
可以。就是比較慢,綜合體驗會變差。有條件還是建議固態硬碟。
不懂繼續問,滿意請採納
② vSAN集群 無法識別磁碟處理
近期一直在搭建聯想伺服器vSAN集群,搭建過程中遇到了SD卡RAID問題一些問題,不過最終都一一解決,寫一個值得記錄的問題(坎坷了好幾天)
搭建過程中有3台伺服器都順利加入vSAN集群,磁碟組緩存層和容量層都正常並且正常使用。最後再新增2個節點時出現2個節點只能識別部分磁碟,其中無法識別的磁碟中包括SSD,導致無法創建磁碟組,無法並入vsandatastore。
單節點共計8個磁碟,vSAN磁碟組無法識別快閃記憶體檔,但是節點物理層可以識別出快閃記憶體檔
嘗試了很多種方法都沒能解決,最後突然之間想到可能是由於vSAN集群是重建的,這塊盤雖然現在沒有被使用,但是它以前曾經被作為datastore,可能還有遺留的分區表。
SSH連接ESXI,查看磁碟信息
運行以下命令,獲取所有磁碟信息
esxcli storage core device list
獲取SSD磁碟信息
partedUtil get /vmfs/devices/disks/naa.
刪除殘留分區信息表
partedUtil delete /vmfs/devices/disks/naa. 1
partedUtil delete /vmfs/devices/disks/naa. 2
partedUtil delete /vmfs/devices/disks/naa. 3
刷新主機節點存儲信息,終於可以正常刷出SSD!(開心)
另外一個節點出現2個磁碟無法識別,情況不太一樣,報
Error: The primary GPT table states that the backup GPT is located beyond the end of disk.
需要重做分區,命令
partedUtil mklabel /vmfs/devices/disks/naa. msdos
partedUtil get /vmfs/devices/disks/naa.
再繼續刷新,無法識別的2個磁碟可以識別了~!!
vSAN磁碟組配置走起~~
③ VSAN(Virtual Fabric)技術是什麼
VSAN是Cisco的數培掘SAN交換機上面使用的一種虛擬化技術,把一個物薯核理交換機虛擬成多個邏輯交換機。
- VSAN類似於乙太網裡面的VLAN,每個VSAN都有自己的fabric service。
- 同一VSAN的設備可以互相通信,不同VSAN不能互相通信。
- 每個交換機最多可以支持256個VSAN。Vsan 1是默認vsan,vsan 4094是隔離vsan ,用戶可用的vsan id是2到4093。
- 所有交換機埠默認在vsan 1;當有埠從用戶自定義vsan刪除後,該埠會自動分中塌配到vsan 4094,vsan 4094的設備都是disabled。
參考鏈接:https://community.emc.com/docs/DOC-16080
④ vsan 緩存命中率低
vsan 緩存命中率低有兩個概念。
概念1:數字的表現上,比如50%,這和命中率100%相比,肯定是低的。概念2:命中率是否影響客戶機使用了,如果沒影響,即便命中率是1%,也無所謂,所以這個指標應該是由網民來衡量的。
⑤ ScaleIO、VSAN、MFS、Ceph這幾種存儲方案的區別是什麼
ScaleIO:使用彈性聚合軟體產品來革新數據存儲,該軟體產品利用本地磁碟來創建伺服器存儲區域網路 (SAN)。純軟體方式的基於伺服器的存儲區域網路 (SAN),將存儲和計算資源聚合到一起,形成單層的企業級存儲產品。 ScaleIO 存儲彈性靈活,可以提供可線性擴展的性能。 其橫向擴展伺服器 SAN 體系結構可以從幾個伺服器擴展至數千伺服器。
基本適用於全平台。https://community.emc.com/thread/198500
VSAN:VMware Virtual SAN™ 是面向虛擬環境中超聚合的軟體定義存儲.Virtual SAN 是第一款專為 vSphere 環境設計的策略驅動型存儲產品,可幫助用戶實現存儲調配和管理的簡化和優化。 通過使用虛擬機級存儲策略,Virtual SAN 可自動將需求與底層存儲資源進行動態匹配。藉助 Virtual SAN,許多手動存儲任務都可以實現自動化,從而提供更加高效和經濟實惠的運維模式。對比 ScaleIO,它是僅限於VMware虛擬化平台的。
參考鏈接:Virtual SAN:軟體定義的共享存儲 | VMware 中國
MFS 是分布式文件系統,可參考:分布式存儲系統MFS -
Ceph是一個 Linux PB 級分布式文件系統。
⑥ 2020-03-03 VMwarevSAN雙活(延伸集群)站點間帶寬設計(轉載)
原文地址:
https://www.tinymind.net.cn/articles/98e64d56d38a52
筆者之前也分享過vSAN延伸集群的一些資料。在雙活的設計中,站點之間帶寬預估、腦列處理等問題,都是需要重點考慮的。本次向大家分享一下vSAN帶寬頻寬的設計原則。建議讀者參照此前我分享過的《VMware的災備與雙活----我在vForum 2015分會場的分享(2)》一起進行閱讀,這篇文章中已經包含的內容,本文將不再進行贅述。
一. 總體架構
vSAN延伸集群整體架構如下:一個有三個故障域,兩個數據站點分別是一個故障域,仲裁站點是一個故障域。需要注意的是,vSAN延伸的三個故障域都屬於是一個vSAN集群,而不是三個。
二.常規建議
兩個數據站點之間的帶寬很大程度上取決於vSAN承擔的負載、總體數據量、可能的故障場景。
通常的建議參考如下:
(1)vSAN的數據站點之間,或者數據站點和仲裁站點之間的網路,二層和三層網路都可以支持,這降低了對大二層的要求。但是,我們推薦在數據站點之間使用二層網路。
(2)數據站點站點之間小於5ms之間的延遲(RTT)。數據站點與仲裁站點之間200的延遲不能超過200ms。
(3)數據站點和仲裁站點之間的帶寬最不小於50-100Mbps.
(4)網路劃分
管理網路:連接三個站點。二層或者三層網路
vSAN網路:連接三個站點。數據中心之間建議二層網路,與仲裁站點之間使用三層網路。
VM network:連接數據中心。建議二層網路,這樣當虛擬機從一個數據站點vMotion或HA到另外一個數據站點時,IP地址不變。
vMotion網路:連接數據中心。二層,三層網路都可以。
三.數據站點之間的帶寬需求
1.計算公式
在真實的業務場景中,全讀或者全寫的情況很少。更多的時候,用讀寫比率來衡量業務I/O特性是比較格式。以VDI場景的負載舉例子。在負載峰值的情況下,讀寫比率通常是3:7。
例如:業務需要求IOPS的總量是10萬,讀寫比率為3:7。由於vsan延伸集群本地讀的特性,讀操作不需要跨站點,因此考慮數據站點之間帶寬只考慮跨站點寫即可。
數據站點帶寬計算公式是:
B=Wb md mr
B:Bandwidth。數據站點之間的帶寬。
WB:Write Bandwidth數據站點之間的寫帶寬。
MD: Data Multiplier:數據乘數
MR:Resynchronization multiplier 再同步乘數
其中,數據乘數由vSAN元數據跨站點寫開銷等相關的操作組成的(除了數據意外,元數據也需要跨站點寫)。VMware建議將這個數值設置為1.4。
再同步乘數指的是數據站點之間同步事件(例如vSAN組件的狀態信息)的所需要的總開銷。這是數值VMware建議設置為1.25。再同步乘數和數據乘數其實都是跨站點寫數據的額外開銷。這兩個數值使用vSAN推薦值即可。
2.案例分析
案例1.
vSAN運行一個IOPS為1萬的全寫負載業務。寫的block為4KB。這需要消耗40MB/s的數據站點間的帶寬(4KB*10000),也就是320Mbps。
按照上一小節的計算公式:
B=320Mbps 1.4 1.25=560Mbps
因此,在這個負載情況下,vSAN數據站點之間需要的帶寬至少應為560Mbps。
案例2.
vSAN運行負載為3萬全寫IOPS,4KB block size,這需要120MB/s(960Mbps)跨站點寫數據吞吐量。
按照公式:
B=960Mbps 1.4 1.25=1680Mbps約等於1.7Gbps.
因此,在這個案例中,數據站點之間的帶寬至少應為1.7Gbps.
四.數據站點與仲裁站點之間的帶寬需求
1.計算公式
數據站點並不存放虛擬機的數據,只是用於投票使用,因此數據站點與仲裁站點之間的帶寬計算公式與上面的不一樣。
我在之前的文章提到過,vSAN是基於策略驅動的分布式存儲。數據是以對象的方式存儲在vSAN中的,一個VM在vSAN存儲中的數據由一個或者多個組件組成,組件有如下類型:
VM Folder
VMware swap file
VMDK
快照
在vSAN中,當一個對象的大小大於255GB的時候,就會被自動劃分成多個組件。仲裁站點與數據站點之間的計算公式如下:
1138B*NumComp/5seconds
其中,1138B這個數字是:當主站點down,備站點接管所有組件所需要的時間。我們想像一下,當主站點down,備站點將成為master。仲裁站點將會向新的master發送確認信息,確認master的角色已經發生了變更。從本質上講,1138B是當主站點down以後,仲裁站點需要從元數據信息中獲取主站點上所有組件已經failed並且隨後由備站點take ownership的狀態信息更新開銷。當主站點down以後,仲裁站點與數據站點之間的帶寬應足以讓集群中所有部件的master ownership變更在5秒內發變更完成。
2.案例分析
案例1:
虛擬機由如下內容組成:
三個對象:
VM namespace
VMKD(小於255GB)
VM Swap file
FTT=1
Stripe width=1
以上配置的虛擬機數量是166個,那麼仲裁站點就需要獲取到996個組件信息。996=3 2 1*166.
我們用1000進行計算:B=1138B 8 1000/5s=1820800bps=1.82Mbps
VMware推薦預留10%的額外帶寬用於信息雙向傳輸:1.82*1.1=2Mbps。因此,在這個場景下,數據站點與仲裁站點的帶寬應為2Mbps。
案例2:
虛擬機由如下內容組成:
三個對象:
VM namespace
VMDK(小於255GB)
VM Swapfile
此外:
FTT=1
Stripe width=2
如果具有以上配置的虛擬機數量為1500,那麼仲裁站點將會維持18000個組件的狀態信息。3 2 2 1 1500=18000
按照案例1中的演算法:
B=1138B 8 18000/5s=32.78Mbps
B*1.2=36.05Mbps
因此,在這個場景下,數據站點與仲裁站點之間的帶寬需要36.06Bbps。
根據上面的演算法,可以提煉一個簡單的公式用於在日常的評估,那就是2Mbps帶寬可以維系1000個組件的狀態信息。因此,在這個場景下,維系18000個組件,所需要的帶寬是:18000/1000*2Mbps=36Mbps。
七.2-Node vSAN配置仲裁站點的帶寬
在vSAN6.1中,支持2節點的vSAN集群。也就是我在< VMware的災備與雙活----我在vForum 2015分會場的分享(2)>中提到的vSAN延伸集群最小1+1+1,最大15+15+1的配置。
案例1:
2-Node配置中的虛擬機特性如下:虛擬機數量:25;VMDK/VM:1TB;FTT=1;Stripe width=1
上面我們提到過,vSAN中,一個vmdk組件最大為255G,因此每個VMDK由4個組件組成,此外由於FTT=1,在包含副本的情況下,每個vmdk由8個組件組成。加上VM namespace和swap文件(有副本),那麼一個虛擬機的組件總數為12=4 2+2 2。25個虛擬機組件總量為300=25 12。
使用通用公式:300/1000 2Mbps=600Kbps。因此,在這種場景下,數據站點與仲裁站點之間的帶寬應為600Kbps。
案例2:
在2-Node配置中,每個主機上有100個虛擬機,每個虛擬機有1TB的VMDK,FTT和stripe width均為1。 那麼,組件的總量為:(1000/255+1+1) 2 100(VMs) 2(Hosts)=2400
按照通用公式,2400個組件,需要的帶寬為2400/1000 2Mbps=4.8Mbps。因此在這個場景中,仲裁站點到數據站點之間的帶寬需要4.8Mbps。
需要注意的是,如果一套vSAN延伸集群承擔多個類型的業務負載,那麼需要把這些業務負載先單獨計算其需要的帶寬,然後將其累加在一起。
⑦ 分布式存儲最佳緩存比
作者:深入細節的 SmartX 一線技術團隊
近日,VMware 發布了 vSAN 8,對存儲架構進行了重大更新。其中最主要的變化,即引入了新的 Express Storage Architecture(ESA)架構:用「存儲池」替代了原存儲架構(OSA)中的「磁碟組」,並不再需要專用 SSD 承擔緩存加速功能,一定程度上避免了 8.0 之前版本中的專用緩存檔利用率低、易發生緩存擊穿等問題。
而值得一提的是,在 vSAN 大版本更新之前,SmartX 即通過統一緩存空間和智能冷熱數據管理優化了分布式存儲緩存機制,有效規避了上述問題。本文將通過重點解讀 vSAN(以 vSAN 7 為例)和 SmartX 分布式塊存儲組件 ZBS* 緩存機制的原理,並測試對比兩種緩存機制下虛擬機性能表現,讓讀者更好地了解兩種技術實現機制的區別對業務可能帶來的實際影響。
* ZBS 內置於 SmartX 超融合軟體 SMTX OS,可與 SmartX 原生虛擬化 ELF 搭配提供服務。
本文重點
vSAN 7 採用劃分讀寫緩存空間的機制,將緩存磁碟按照容量佔比劃分為寫緩沖區(30%)和讀緩存區(70%)。這種方式可能出現緩存利用率低、在訪問數據量過大時導致緩存擊穿,進而引起性能下降等問題。
ZBS 採用統一緩存空間的機制,並通過 2 級 LRU 演算法對冷熱數據進行管理,在充分利用緩存容量的同時避免了因訪問量激增導致虛擬機性能下降的情況。
本文基於相同的硬體配置和 I/O 讀寫場景,分別測試 VMware 超融合(vSphere 虛擬化 + vSAN 分布式存儲)寫入 300 GB 數據、SMTX OS(ELF + ZBS)寫入 500 GB 數據時虛擬機的性能表現。結果顯示,vSAN 7 難以充分利用緩存介質,發生緩存擊穿,導致存儲性能下降;而 SMTX OS 即便在寫入更多數據的情況下也未發生緩存擊穿,虛擬機性能保持穩定。
場景問題
混閃配置是超融合或分布式存儲現階段的主流落地模式。混閃配置是指機器中的磁碟使用 SSD + HDD 混合組成,其中 SSD 磁碟作為數據緩存層,而 HDD 磁碟作為數據容量層。以該模式構建的分布式存儲池通過軟體演算法進行冷熱數據自動判斷,在提供高性能的同時,還可獲得較大的存儲容量,進而提升資源利用率,獲得相對全快閃記憶體儲更高的性價比。
在將 SSD 磁碟用作數據緩存層時,部分超融合產品會將緩存容量(Cache)劃分為讀和寫各自獨立的兩部分。例如,vSAN 7 及更早版本會將每個磁碟組(Disk Group)中的緩存磁碟,按照容量佔比劃分為寫緩沖區(30%)和讀緩存區(70%),當讀取數據未命中緩存或者寫緩存已滿,將會直接從容量層進行讀寫。
⑧ 磁碟陣列卡對vSAN性能有沒有影響
磁碟陣列卡對vSAN性能有一定的影響。
陣列性能的影響因素主要有以下幾點:
1,RAID級別。
RAID0最高,因為只有條帶化,對數據沒有任何保護,可對多塊磁碟同時讀寫。
RAID5其次,條帶化的同時,在寫數據時需要計算校驗信息。
RAID6最慢,在寫數據時需要計算兩次校驗信息。
2,RADI卡或控制器晶元的處理性能。這個晶元的計算能力決定著RAID建立、寫數據和恢復的速度快慢。
3,高速緩存大小。緩存越大,IOps越大,對前端主機的響應速度越快。數據寫到高速緩存後,主機便默認讀寫操作已完成。在後台數據再由緩存寫入磁碟;如果緩存的清除演算法得當,讀數據操作在緩存內即可完成,可大大提高陣列讀性能。
4,磁碟隨機寫性能。磁碟轉數、單碟容量大小決定單盤的尋道速度,即磁碟性能。
⑨ VSAN為什麼聲明磁碟選項,我的沒有可用磁碟
VSAN配置磁碟組要求是裸盤,也就是磁碟里沒有數據或未被使用(ESXI系統所在的磁碟除外)。不然就得去把磁碟格式化 或者把分區刪除了,讓其恢復沒有數據的狀態 然後才能聲明磁碟為緩存檔和容量層,讓vSAN使用。
選中磁碟所在的ESXi主機→配置→存儲設備→選中磁碟→清除分區
⑩ vSphere 5.5 vSAN 見證是怎麼部署的
直通?需要配置VSAN么。配置直通有如下要求: 1,Raid卡需要支持直通 2,Raid卡不能配置悶配緩存 3,配置前罩氏方法,在慧散Bios裡面配置,不同的硬體伺服器不一樣。IBM的有一個JDOB設置。 但願能幫到你