① 如何評價 iPhone 6s 用的是 NVMe 快閃記憶體相比 UFS 2.0 如何
2015中國快閃記憶體峰會特邀 「大話存儲」圖書及公眾號作者冬瓜哥對「NVMe IO協議棧技術」進行系統介紹。作為技術大咖,冬瓜哥名不虛傳,從IO協議棧結構、時延,到堆棧隊列數量和深度,SATA SSD在IO協議棧方面的問題暴露無疑。 冬瓜哥指出:傳統磁碟執行IO指令的平均時延是10ms, SCSI協議棧帶來時延為0.01ms佔比為0.1%,這是可以接受的。但對於SSD盤而言,SSD執行IO指令的平均時延是0.01ms,如果仍然沿用SCSI協議棧,就意味著IO協議棧時延佔比會高達50%,顯然這就是不能夠接受的。(詳情參見:IO協議棧前沿技術研究動態(2015存儲峰會分享))一文。 從技術的角度,SSD替代硬碟,IO時延降低100倍,如果用新的NVMe協議棧來替代傳統SCSI協議(SATA盤採用),則時延可以進一步降低20us,不要小看這20us,對於SSD新的存儲介質來說,其對性能的影響是非常大的。 但現在的情況是,為了兼容性,SSD盤仍然保留了SCSI協議,因此這種盤也被稱為SSD SATA/SAS盤。如果我們用「削足適履」來形容這種現象應該是最恰當不過的。因此,從技術的角度,NVMe SSD盤取代SATA SSD盤勢在必然。 但從市場的角度,NVMe SSD取代SATA SSD的情況並沒有發生?原因何在。 成本的原因嗎?據專業人士介紹,用NVMe SSD盤取代SATA SSD盤,用8639介面替代傳統的串列ATA介面,會帶來6倍帶寬性能提升,時延3倍降低,容量8~10倍提升,但成本是非常接近的。因此,成本並不是NVMe SSD盤遲遲沒有推廣的原因。 除了成本之外,再有就是軟體的因素。軟體方面,新的操作系統都提供了對於NVMe協議的支持,這意味多數應用沒有遷移的障礙。但少部分應用軟體,例如資料庫、中間件等,涉及部分IO協議棧的問題,需要對NVMe提供支持。這在一定程度上,影響了NVMe SSD盤的應用。 要知道,對於IO性能更加關注的應用,資料庫首當其沖。好消息是,Oracle資料庫正在針對NVMe協議進行優化,假以時日,障礙就會掃除。基於這個因素考慮,NVMe SSD盤市場爆發會相對延遲,預計會在今年下半年左右。 伺服器廠商的態度十分微妙,甚至可以用小心謹慎來形容。一方面,伺服器設計需要優化,二來成本會提升,此外,市場的接納度成疑,伺服器廠商不願意涉險。加上消化庫存以及和傳統磁碟廠商的關系,這都讓伺服器廠商更願意觀望和等待。 對於NVMe是不是只有臨淵羨魚的份嗎?其實也不盡然。 這就要說一個叫蘋果的公司。據微信公眾號「SSD攻城獅」的「蘋果'殺死'eMMC」的文章介紹,新的iPhone 6S就是使用了NVMe SSD存儲介質。較之上一代產品iPhone 6,IO性能快出了一個三星S5。這就是差距。 不要說什麼蘋果「軟硬體封閉一體化」優勢等客觀因素,在意識上,態度上,心態上,就真的沒有什麼可以總結的嗎? 我想還是讓「削足適履」的事情趕快過去吧! 最後補充一句,如果你等不及了,你可以選擇快閃記憶體卡,很多快閃記憶體卡率先擁抱了NVMe的時代。但卡和盤的區別,讀者可以自己分析和研究,這里不更多討論了。需要提醒注意的是,真正的NVMe的時代不分卡和盤(參見NVMe時代,別跟我說什麼卡和盤)。
② 人工智慧與存儲大碰撞,到底是新需求還是零火
如今,人工智慧的高速發展,徹底改變了人類的工作方式、生活方式和思維方式,也實現了生產力的整體躍升和社會治理的新變革。隨著計算力的不斷突破,人工智慧的技術也在日趨成熟,越來越多的企業開始將AI技術融入至行業中。
然而,人工智慧在適配行業需求過程中往往會出現慢熱現象,一方面是缺乏需求入口來實現技術顛覆,另一方面則是要面臨行業內新技術攻防戰所產生的阻力。而存儲作為傳統行業,即便經歷過一輪又一輪如軟體定義,超融合,雲計算等技術的市場洗牌,當面對人工智慧技術時,又將如何撬動市場的新需求呢?
基於市場趨勢, 9月8日,業界軟體定義存儲與數據服務公司ProphetStor先智數據首次在北京召開正式媒體見面會,會議由存儲在線總編宋家雨主持,並邀請到冬瓜哥,西瓜哥,狒哥等眾多資深媒體人以趣味對話的形式大開腦洞,深入探討人工智慧如何融入存儲,以及在存儲市場如何進一步推進人工智慧發展等熱門話題。
此次見面會也是先智數據中國領導團隊部分高管的首次亮相。會上,先智數據北京代表處高級總監李曉芳發表了《當人工智慧遇到存儲》的主題演講,通過介紹先智數據的發展歷程,主營業務以及產品解決方案,表明了先智數據未來以人工智慧技術為重要發展方向的市場策略,並進一步闡述了人工智慧與存儲之間的融合創新模式。
先智數據北京代表處高級總監李曉芳
李曉芳表示,公司在成立之初就明確了人工智慧的重要性,所有產品技術宗旨都圍繞"AI融入存儲"這一核心,在存儲系統構建、運維,存儲系統性能提升和可靠性提升等方面,利用人工智慧進行不斷地創新。
據介紹,目前先智數據主要有四款產品:
Federator:帶外存儲資源管理平台,類似OpenStack Cinder、EMC ViPR,但擴展了智能化能力。存儲資源終歸是被動性資源,如果想實現真正的按需調度,必須能夠提前預測。Federator可以通過機器學習認知客戶應用負載變動模式,提前預測應用的性能和容量需求變化,提前調配資源到位。
Stellar Flash:包含智能預測能力的全快閃記憶體陣列和混合塊存儲陣列。功能包括採用流量模型模塊(TMM)和彈性資源控制(ERC)技術進行智能緩存;對磁碟故障進行監測預警,並根據資源和業務負載狀況規劃提前修復數據;支持本地重復數據刪除和壓縮技術。
DR Prophet:針對當下復雜多變的雲化數據中心場景,基於Federator平台實現,面向業務需求的數據保護解決方案。主要功能包括可設置的自動數據保護,基於應用感知的數據保護,鏡像磁碟容錯和本地保護,無破壞性的災難演練等。
Disk Prophet:智能化的故障數據分析解決方案。功能為磁碟故障預測,也就是為磁碟"算命",綜合運用了大量機器學習和磁碟故障細節知識,旨在利用人工智慧技術實現精準故障預測,消除因磁碟故障而出現不可預期的QoS波動,同時提升數據可靠性和資源效率。
企事錄張廣彬,《大話存儲》作者冬瓜哥,日知錄技術社區何曉峰,中國雲報郭濤(從左向右)
會上,企事錄張廣彬,日知錄技術社區何曉峰,《大話存儲》作者冬瓜哥,中國雲報郭濤作為嘉賓參與了趣味對話環節,對話深入探討了"存儲行業是否已經夕陽西下?"和"AI是否已經過度炒作?"兩個問題,第一個問題圍繞"存儲行業是否已經夕陽西下"展開,討論在互聯網碾壓下,包括傳統存儲與新存儲的存儲行業未來的發展樂觀與否,以及存儲如何實現價值差異化展開討論,並提出存儲唯一的出路就是智能化,存儲需要感知業務等觀點。
而"AI是否已經過度炒作?"話題,四位嘉賓首先就AI的范圍界定闡述了各自的看法,提出新技術的過度炒作是一個必經的過程,而它們的區別在於能否生存下去等觀點,並就人工智慧在行業內是否具備實用價值,行業與人工智慧的融合形式等進行了討論。
針對市場需求與與發展趨勢,先智數據表示針對AI與存儲的融合,公司產品的具體實踐大致分為兩個階段:
第一階段是智能化提前預判性能和空間資源要求,並提前調配到位,也就是Federator產品所提供的智能化能力。這種智能化成分實際上也體現了新型的存儲資源管理模式。
因此AI與存儲結合的第二階段,在於存儲設備本身可以藉助AI技術構建新型的智能化存儲。智能化的故障數據分析解決方案Disk Prophet的推出就是旨在幫助二次元存儲轉變為三維的智能存儲。因為預測能力可以把磁碟故障這種隨機事件,變成可計劃事件,使得冗餘程度大大降低,破局二次元存儲的可靠性與性能無法共存的困境。
先智數據中國區總經理董唯元在最後的會議總結中表示,先智數據未來會更多專注存儲與AI結合的領域,並延展到運維領域,以目前AI現有的技術幫助運維人員實現存儲運維流程優化以及存儲系統管理自動化。隨著技術的不斷發展,行業劃分在未來將會有新的結合方式,在新的行業格局變化下,先智數據將會是一家介於人工智慧,存儲,運維之間的跨界企業。
③ 分布式塊存儲和 分布式文件存儲有是什麼區別
分布式塊存儲和 分布式文件存儲有是什麼區別
分布式文件系統(dfs)和分布式資料庫都支持存入,取出和刪除。但是分布式文件系統比較暴力,可以當做key/value的存取。分布式資料庫涉及精煉的數據,傳統的分布式關系型資料庫會定義數據元組的schema,存入取出刪除的粒度較小。
分布式文件系統現在比較出名的有GFS(未開源),HDFS(Hadoop distributed file system)。分布式資料庫現在出名的有Hbase,oceanbase。其中Hbase是基於HDFS,而oceanbase是自己內部實現的分布式文件系統,在此也可以說分布式資料庫以分布式文件系統做基礎存儲。
分布式存儲是什麼?選擇什麼樣的分布式存儲更好?
分布式存儲系統,是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據,存儲伺服器成為系統性能的瓶頸,也是可靠性和安全性的焦點,不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構,利用多台存儲伺服器分擔存儲負荷,利用位置伺服器定位存儲信息,它不但提高了系統的可靠性、可用性和存取效率,還易於擴展。
聯想超融合ThinkCloud AIO超融合雲一體機是聯想針對企業級用戶推出的核心產品。ThinkCloud AIO超融合雲一體機實現了對雲管理平台、計算、網路和存儲系統的無縫集成,構建了雲計算基礎設施即服務的一站式解決方案,為用戶提供了一個高度簡化的一站式基礎設施雲平台。這不僅使得業務部署上線從周縮短到天,而且與企業應用軟體、中間件及資料庫軟體完全解耦,能夠有效提升企業IT基礎設施運維管理的效率和關鍵應用的性能
MongoDB 適合做分布式圖片文件存儲么?
如果硬體上捨得投入(比如N台32GB起的大內存機),gridfs很合適海量小文件, 不過兩台機我覺得還不如把靜態文件這塊外包給第三方雲存儲
軟體定義存儲和 分布式存儲的區別
軟體定義存儲其實是個偽命題,你可以看下冬瓜哥的一篇文章。你也可以這么理解,分布式存儲就是軟體定義存儲的一種方式。
集中式存儲和分布式存儲有什麼區別
分布式 存儲就是DAS ,就是伺服器裡面放著硬碟,多台伺服器的話就是分布式存儲,數據分散,不易於管理。
集中存儲就是 NAS,SAN,將伺服器和硬碟分開,數據都存放NAS設備中,NAS設備再級聯磁碟陣列,然後多個伺服器對這個NAS設備進行訪問,操作,集中數據管理,提高利用率,解放伺服器!
分布式存儲與軟體定義存儲的區別?
分布式存儲是一種存儲的方式,其「分布式」的理念是軟體定義存儲的基礎,從概念上來說,軟體定義存儲的范圍更大,除了存儲之外,還包括管理、計算、網路介面等相關概念。或者說,分布式存儲就是一種鏈接方式,而軟體定義存儲就是類似元核雲存儲、華為等企業所研發的軟體產品。
統一存儲和融合存儲以及分布式存儲的區別
統一存儲具體概念:
統一存儲,實質上是一個可以支持基於文件的網路附加存儲(NAS)以及基於數據塊的SAN的網路化的存儲架構。由於其支持不同的存儲協議為主機系統提供數據存儲,因此也被稱為多協議存儲。
基本簡介:
統一存儲(有時也稱網路統一存儲或者NUS)是一個能在單一設備上運行和管理文件和應用程序的存儲系統。為此,統一存儲系統在一個單一存儲平台上整合基於文件和基於塊的訪問,支持基於光纖通道的SAN、基於IP的SAN(iSCSI)和NAS(網路附加存儲)。
工作方式:
既然是一個集中化的磁碟陣列,那麼就支持主機系統通過IP網路進行文件級別的數據訪問,或通過光纖協議在SAN網路進行塊級別的數據訪問。同樣,iSCSI亦是一種非常通用的IP協議,只是其提供塊級別的數據訪問。這種磁碟陣列配置多埠的存儲控制器和一個管理介面,允許存儲管理員按需創建存儲池或空間,並將其提供給不同訪問類型的主機系統。最通常的協議一般都包括了NAS和FC,或iSCSI和FC。當然,也可以同時支持上述三種協議的,不過一般的存儲管理員都會選FC或iSCSI中的一種,它們都提供塊級別的訪問方式,和文件級別的訪問方式(NAS方式)組成統一存儲。
什麼是分布式數據存儲
定義:
分布式資料庫是指利用高速計算機網路將物理上分散的多個數據存儲單元連接起來組成一個邏輯上統一的資料庫。分布式資料庫的基本思想是將原來集中式資料庫中的數據分散存儲到多個通過網路連接的數據存儲節點上,以獲取更大的存儲容量和更高的並發訪問量。近年來,隨著數據量的高速增長,分布式資料庫技術也得到了快速的發展,傳統的關系型資料庫開始從集中式模型向分布式架構發展,基於關系型的分布式資料庫在保留了傳統資料庫的數據模型和基本特徵下,從集中式存儲走向分布式存儲,從集中式計算走向分布式計算。
特點:
1.高可擴展性:分布式資料庫必須具有高可擴展性,能夠動態地增添存儲節點以實現存儲容量的線性擴展。
2 高並發性:分布式資料庫必須及時響應大規模用戶的讀/寫請求,能對海量數據進行隨機讀/寫。
3. 高可用性:分布式資料庫必須提供容錯機制,能夠實現對數據的冗餘備份,保證數據和服務的高度可靠性。