『壹』 華為突破分布式資料庫和存儲技術,打通數字化轉型「雄關漫道」
2019年,我們將進入數字化轉型的攻關期。所謂「攻關期」即數字化轉型2.0階段,需要攻堅企業關鍵業務上雲和數字化轉型改造的課題。在一份市場調查公司IDC的報告中指出:IDC自2014年提出數字化轉型以來,看到企業在數字化轉型層面已經投入了大量人力物力,但是效果並不理想,有一些企業已經成功屹立在潮頭,有一些企業在向上游進發,還有一些企業只能在浪潮的挾裹中被動前行。
對於企業來說,數字化轉型是「雄關漫道」。IDC認為,目前階段來看,企業亟待解決的是數字化能力提升,包括:與業務的深入結合能力;數據處理和挖掘能力;以及IT技術運營和管理能力。特別是數據處理和挖掘能力,因為數字化轉型推進企業從以流程為核心向以數據為核心轉型,對海量、異構、多類型的數據處理和挖掘能力是釋放數據價值的前提,對數據全生命周期的管控治理是釋放數據價值的保障。而隨著數字化轉型引入大量新技術而導致IT復雜度變高,企業IT技術運營和管理能力是提升企業「IT生產力」的關鍵。
攻關數字化轉型的「雄關漫道」,需要一個具備融合、智能、可傳承三大特性的數字平台。這是2019年3月華為與IDC聯合推出的《擁抱變化,智勝未來—數字平台破局企業數字化轉型》白皮書所提出的觀點。融合主要指把傳統技術和創新技術相結合;智能主要指平台智能化和智能化能力輸出;可傳承主要指解耦、功能復用、可配置等理念打造的架構。而承載這三大觀點的,就是新一代分布式企業級技術。
2019年5月15日,華為發布了業界首款支持ARM架構的新一代智能分布式資料庫GaussDB以及分布式存儲FusionStorage 8.0,作為新一代數據基礎設施,詮釋了具備融合、智能、可傳承三大特性的數字平台。華為常務董事、ICT戰略與Marketing總裁汪濤在發布會上表示,千行百業正在加速智能化進程,越來越多的企業已經意識到數據基礎設施是智能化成功的關鍵。華為圍繞計算、存儲和數據處理三個領域重定義數據基礎設施,加速邁向智能時代。
今天所討論雲和工業互聯網等概念的背後是一個新時代的到來,這就是體系架構大遷徙。傳統企業級技術是在單體應用和單機環境中,保證數據存儲、調用等操作的高可靠、高可用、高穩定,特別是滿足金融級事物處理的ACID(原子性、一致性、隔離性和耐久性)要求,為企業關鍵業務提供數據管理支撐。隨著企業技術向雲架構遷移,資料庫技術也面臨轉型。
2018年,基於雲計算技術的分布式資料庫成為了業界的熱點。簡單理解,雲計算技術就是把「單機」環境替換為由X86伺服器機群所組成的分布式計算環境。原先由幾台小型機完成的計算任務,要分散到上百甚至上千台X86伺服器上,而且還可能跨數據中心操作,挑戰可想而之。特別是在線支付等金融級業務,不能在斷網或網路連接有問題時出錯,也不能因響應速度慢而影響用戶體驗。
2018年8月,中國支付清算協會與中國信息通信研究院聯合舉辦了「金融分布式事務資料庫研討會」,與業界廠商和用戶共商核心資料庫分布式轉型之路,同時發布了《金融分布式事務資料庫》白皮書。金融分布式事務資料庫的工作推進,為分布式資料庫進入企業關鍵業務系統,提供了產業化支撐。而華為作為企業ICT解決方案供應商,早在2012年就開始研發面向大數據分析的數據倉庫,在基於傳統關系型資料庫SQL引擎和事務強一致性等基礎上,進行了分布式、並行計算的改造,歷時6年打造了面向PB級海量數據分析的分布式資料庫。
在OLAP數據倉庫之外,華為與行業用戶合作了面向OLTP的分布式事務型資料庫研發。2017年,華為與招商銀行合作成立了分布式資料庫聯合創新實驗室,研發具有高性能企業級內核、完整支持分布式事物、滿足金融行業對數據強一致要求、單機事物處理能力要達到每分鍾百萬級別等的OLTP分布式資料庫。
本次發布的GaussDB資料庫新品包括:聯機事務處理OLTP資料庫、聯機分析處理OLAP資料庫、事務和分析混合處理HTAP資料庫。而華為GaussDB資料庫將AI技術融入資料庫設計、開發、驗證、調優、運維等環節,可實現基於AI的自調優、自診斷自愈、自運維,讓資料庫更高效、更智能,引領資料庫架構的發展。
更進一步,本次發布的GaussDB系列資料庫是業界首款支持ARM晶元的分布式資料庫。華為推動計算架構從以X86+GPU為主的單一計算架構到以X86+GPU+ARM64+NPU為主的異構計算架構快速發展。基於X86架構,華為引入AI管理和智能加速能力,率先推出了智能伺服器FusionServer Pro;基於ARM64打造了業界性能最強的TaiShan伺服器;基於Ascend晶元的Atlas智能計算,實現了業界首個端邊雲協同的人工智慧平台。而GaussDB可充分利用並融合ARM、X86、GPU、NPU等多種異構算力組合,大幅提升資料庫性能。
汪濤強調,作為全球首款AI-Native資料庫,GaussDB有兩大革命性突破:第一,首次將人工智慧技術引入資料庫的全生命周期流程,實現自運維、自管理、自調優和故障自診斷。在交易、分析和混合負載場景下,基於最優化理論,首創深度強化學習自調優演算法,把業界平均性能提升60%。第二,支持異構計算,充分發揮X86/ARM/GPU/NPU多樣性算力優勢,最大化資料庫性能,在權威標准測試集TPC-DS上,華為GaussDB排名第一。GaussDB還支持本地部署、私有雲、公有雲等多種場景。
在以雲計算為代表的分布式計算環境中,數據管理解決方案除了需要分布式資料庫外,為了更好的擴縮容以及滿足多樣化數據存儲需求,計算與存儲分離已經成為分布式資料庫設計的主要架構。分布式雲化架構,就是要支持計算、存儲分離和多租戶等架構設計要求。
GaussDB已經從資料庫層面實現了高可用、高可靠、高穩定的分布式資料庫,本次發布的FusionStorage 8.0則是分布式存儲架構,創新地實現一套系統同時支持塊、文件、對象、HDFS協議,1套存儲支持4類存儲能力,適用於全業務場景混合負載,最終讓「一個數據中心一套存儲」成為可能。
IDC發布的《中國軟體定義存儲(SDS)及超融合存儲(HCI)系統市場季度跟蹤報告,2018年第四季度》顯示,2018年,軟體定義存儲市場達到了54.9%的同比增長。軟體定義存儲在中國整體存儲市場的佔有率穩步上升,分別達到了22.1%的市場佔有率。華為憑借文件解決方案在政府、廣電和電信等行業得到認可,在2018年中國軟體定義存儲市場排名第一。
FusionStorage 8.0採用華為ARM-based處理器鯤鵬920加速,使IOPS提升 20%,結合華為AI Fabric無損網路,時延進一步降低15%。基於華為在計算、網路和存儲領域多年的晶元和演算法積累,FusionStorage 8.0在SPC-1的性能測試中,單節點性能達到了16.8萬IOPS以及1ms以內時延,成為承載企業關鍵應用的新選擇。
此外,通過華為雲的雲上訓練及本地AI晶元,FusionStorage 8.0將智能管理貫穿業務使用的全生命周期,如業務上線前對存儲資源的規劃,使用過程中的風險預判及故障定位,大幅提升存儲效率,幫助行業客戶應對智能時代的數據新挑戰。
汪濤在發布會上強調,新一代智能分布式存儲FusionStorage 8.0通過重定義存儲架構,從「Storage for AI」和「AI in Storage」兩個維度實現效率大幅提升,引領存儲智能化。首先,「Storage for AI」通過融合共享,讓AI分析更高效。其次,「AI in Storage」率先將AI融入存儲全生命周期管理,從資源規劃、業務發放、系統調優、風險預測、故障定位等方面實現智能運維。
遼寧移動就採用了華為FusionStorage。作為遼寧省內最大的移動通信運營商,遼寧移動一直在 探索 先進的存儲方案在自身IT系統的應用。由於5G的快速發展,遼寧移動關鍵資料庫的應用也向雲化方向發展,分布式存儲也要滿足其可靠性和高性能要求。華為在深入分析遼寧移動需求後,首先在邊緣開發測試業務小規模試點分布式存儲,進行了大量的實驗和測試後性能和可靠性都達到了預期,最終決定將全部業務遷移至FusionStorage。該方案通過採用雙活、可寫快照、端到端DIF等特性,順利完成Billing、經營分析、B2B等系統從老舊存儲至FusionStorage的搬遷工作,助力遼寧移動的存儲架構邁入新的 歷史 階段。
值得一提的是,華為分布式資料庫與華為分布式存儲深度結合,把資料庫的操作下沉到存儲節點,極大提升了分布式資料庫的性能。利用新的網路技術和人工智慧技術,華為幫助用戶提升數據中心的吞吐量,提升網路應用的可伸縮性,並且能自動調優。
除了推出新一代突破性的分布式資料庫和存儲技術外,華為也積極與客戶、夥伴在資料庫與存儲領域,從行業應用、平台工具、標准組織和社區等多個層面共建開放、合作、共贏的產業生態。在行業應用層面,華為與軟通智慧、神州信息、東華軟體、易華錄、用友政務、亞信國際等獨立軟體開發商長期合作;在平台和工具層面,華為與Tableau、帆軟、ARM、Veritas等合作夥伴聯合創新;在標准組織和社區層面,華為深度參與OpenSDS、中國人工智慧產業聯盟、OCP、OpenStack、CNCF基金會等組織和社區的建設。
總結來說,華為全線分布式資料庫和分布式存儲產品的發布,是華為具備融合、智能、可傳承三大特性數字平台的最新成果。華為分布式資料庫與分布式存儲結合,能消除企業各業務系統數據孤島,構建面向行業場景的數據建模、分析和價值挖掘能力,對多源異構的數據進行匯聚、整合和分析,形成統一的全量數據和數據底座,實現數據價值挖掘和共享。而基於AI的智能化,可對基礎設施進行高效的管理,為行業應用開發和迭代賦能,全面幫助企業突破關鍵應用上雲的「雄關漫道」。(文/寧川)
『貳』 易鯨捷與華為共同發布資料庫一體化聯合解決方案
5月27日,貴州易鯨捷信息技術有限公司(以下簡稱「易鯨捷」)與華為公司在2019中國國際大數據產業博覽會上簽署合作協議。易鯨捷是全球領先的融合架構分布式資料庫平台廠商,華為具備領先的晶元設計與研發能力,此次雙方共同發布面向未來的資料庫一體化聯合解決方案。
華為中國智能計算業務部總裁萬志表示,華為始終堅持自主研發,攜手合作夥伴打造共贏生態。作為華為在金融領域最重要的合作夥伴之一,易鯨捷擁有豐富的行業經驗和良好的客戶基礎。華為希望與易鯨捷強強聯手,更好地服務於客戶,助力客戶在數字化、智能化轉型中贏得商機。
易鯨捷執行董事李靜表示,在萬物互聯的未來,數據的價值遠遠超過了傳統貨幣的價值,而資料庫則是數據世界的金庫,這個金庫的鑰匙必須抓在自己的手中,通過自主研發的高性能、高可靠性的資料庫,確保我們的關鍵數據不流失、不被篡改與窺探,保障金融行業的信息安全底線。易鯨捷研發的分布式資料庫已經在貴陽銀行與貴陽農商銀行的核心交易系統正式應用,替換原有的集中式架構國際巨頭資料庫,完成分布式資料庫領域里程碑式的勝利。希望易鯨捷的「錢庫」資料庫與華為自研鯤鵬920晶元的TaiShan伺服器的結合,將能夠為客戶提供更高效、更可靠的客戶體驗。
華為中國智能計算業務部副總裁張英梗發表主題演講,他表示,華為與易鯨捷攜手,從底層架構到資料庫層,為客戶提供一套完整的資料庫一體化解決方案。未來,我們希望把這個解決方案應用到金融核心領域,推動金融行業的高速發展。
易鯨捷執行董事李靜與華為中國智能計算業務部總裁萬志分別代表雙方完成簽約。易鯨捷CEO丁洪、易鯨捷售前與解決方案技術總監馬敬濤、華為中國智能計算業務部副總裁張英梗、華為智能計算貴州區域總經理張昕出席儀式並見證簽約。
『叄』 華為FusionData:源於數據,高於數據
自首台計算機ENIAC誕生起,人們便對數據收集、整理、分析和使用產生了高度依賴。
這種依賴隨著數據應用的不斷擴展,逐步發展到數據驅動與轉化階段。
那些有志於在數字化轉型中先拔頭籌的企業深知,數據驅動與轉化意味著龐大的數據資源必將通過計算、交互產生智慧與財富。
而另一方面,企業也看到前所未有的挑戰近在咫尺:數據應用呈現出大規模、多元異構、跨行業、實時聯動等形態,此場景的背後則是數據接入難、分析難、消費難的「三難」窘境。
根據華為全球產業展望(GIV)報告顯示,全球數據量將從2018年32.5ZB快速增長到2025年的180ZB。
與之形成對比,企業生產活動產生的數據中只有不到 2% 被保存,而其中得到分析利用的不足 10% ,顯然,數據價值的充分釋放距理想狀態相去甚遠。
正視數據「三難」
在如何科學而有效的利用數據潛在價值這一問題上,不乏用戶端的聲音— 來自金融行業的某企業CIO曾這樣評價:若要從根本上解決企業面臨的數據三難,應當具備「兩重視」、「+智能」的應用思維。
所謂「兩重視」,即重視數據「主權」與數據「提純」,前者旨在強調企業對數據湖中的數據資源實現主導,並全方位掌握數據的流向與接入,其重要性不言而喻—讓數據百分之百地滿足自身業務所需;而後者旨在強調數據的精確應用,讓有效數據對接明確需求,高效精準的使能業務成長。
其次便是「+智能」!顧名思義,通過基於多樣算力的AI技術,將雜亂而無序的海量關聯數據實現智能聚合、分析,形成精準化、有序化、結構化的數據,數據應用的場景價值才會由此得以全面釋放。
FusionData,華為新近發布的智能數據解決方案,顯然並有意從上述應用需求中切入,力求點亮客戶在數據應用道路上的新銳腳步—強有力的邁向智能數據的大產能時代。
華為Cloud & AI產品與服務總裁侯金龍
正如華為Cloud & AI產品與服務總裁侯金龍於FusionData發布會現場所言:「數據成為新生產資料,智能成為新生產力,企業需要構建領先的數據基礎設施,從而打通數據供應全流程,使能數據與業務全連接,提升業務敏捷性!
侯金龍的語義背後或許還存在另一提示—各種經濟時代的區別,不在於生產什麼,而在於用什麼生產資料,怎樣生產。
FusionData即是數據大產能時代最需要的生產工具,而它的使命即是基於數據資料,完成對數字化轉型的數據使能!
與之相呼應,FusionData的特質也確有「一切源於數據,高於數據」深刻意味。
源於數據 —FusionData從數據服務需求的根本—(數據匯聚)出發,通過聚合數據源,提供『采-存-算-管-用』全生命周期管理能力,讓數據存得下、流得動、算得快、用得好,助力客戶將數據資源轉變為數據資產。
高於數據 —FusionData將數據的應用提升到萬物互聯的智能世界之上。而FusionData的終極目標則要實現一家企業一個數據湖,一座城市一個數據湖,滿足居民的生產與生活、企業的運營和發展、城市政府的管理和服務等各項需求,加速全 社會 的智能化進程。
華為IT產品線副總裁、智能數據與存儲領域總裁周躍峰
在FusionData發布會現場,華為IT產品線副總裁、智能數據與存儲領域總裁周躍峰,用數據服務的線性圖形將FusionData的「完美實力」展現於業界。
筆者的直觀感受是:有高度、夠清晰、全方位地觸達到數據服務的各項能力環節。FusionData重定義著數據基礎設施,其聲量可謂振聾發聵,而其精彩內容包括:底層多樣性算力平台、數據接入、存儲、處理以及使能項。
其中,結合FusionData的特質,令華為引以為傲的三項重點—聚焦於數據接入、數據處理和數據使能三個層面,力圖通過「連接」、「處理」、「使能」三個關鍵詞讓用戶明白,任何復雜、異構、海量的數據難題都能在華為FusionData的全生命周期的管理能力下一一化解,同時還有意外「驚喜」。
FusionData的實力與驚喜
下文便通過三個關鍵詞在細節上對FusionData做出一番簡要總結,一窺其實力與驚喜之處。
「連接」:多樣與高效
要做到企業用戶理想中的數據智能全連接並非易事,因為只要讓數據連接就意味著要與多源異構數據深度關聯,後者直接引發的結果即是割裂的數據孤島,而數據孤島還是非統一,且形態各異。
事實上,傳統的數據融合接入方式處理的對象多聚焦在來源相同、結構類似、維度單一的數據單元。而面對兩多一異(多源、多維、異構)的數據源,華為選擇了智能數據連接部件ROMA完成對多數據源接入、消息和API的統一管理,同時智能通道選擇等技術實現智能全連接,加速數據流動,讓應用與數據連接更高效。
形象地說,FusionData的全智能「連接力」做到了讓數據湖在「海納百川」中「渾然一體」,且「四通八達」。
所謂「海納百川」即是在接入能力上,FusionData做到了支持1100多種應用和異構數據源接入,通過開放式數據接入框架可靈活接入第三方數據源。最大限度地容納數據多樣性,找到各類數據的平衡點,讓各類數據相互融合的同時將其本色充分保留,並完美地體現在分析應用管道中。
做到「渾然一體」旨在強調界面式的一觸即達,即基於統一的管理平台實現分布式消息和API服務的跨網跨域跨雲集成,讓數據自由流動的同時提升數據應用的效率。
不忘提及的一項重點是針對跨網跨域跨雲集成,華為在雲、管、端的基礎設施平台上具備了其它業界友商並不完全具備的核心優勢,這一點,華為已拔得頭籌。
實現「四通八達」,則是來自智能通道的選擇,即支持數據多通道傳輸,並且可根據數據特點智能選擇傳送通道,大幅提升數據接入效率。
「處理」-重定義數據智能化
盡管FusionData是作為智能數據整體解決方案亮相於業界,但其光芒仍然被其兩個重要組件-業界首創的 AI Native 分布式資料庫 GaussDB 和分布式存儲產品 FusionStorage 8.0所佔據。
兩大角色性格分明:GaussDB將 AI 技術引入資料庫,大幅提升資料庫自動化管理和優化能力;FusionStorage 8.0則實現一套存儲系統同時支持塊、文件、對象、HDFS、資料庫協議,適用於全業務場景混合負載,滿足雲上雲下數據流動並保障一致性體驗。
兩者再搭配FusionInsight,通過多類型數據融合存儲、融合分析引擎完成了從單一處理到智能融合處理,加速了數據價值的轉化。綜合而言,三者結合極大提升數據處理平台的速度,即處理數據的效率;寬度,數據應用的范圍得以擴展;能力,處理數據的質量直接提升。
作為FusionData的一大靈魂角色,GaussDB在此值得為其濃墨重彩一番,這主要得益於其極為搶眼的創新表現力:其作為首個將AI技術融入分布式資料庫的全生命周期中的 AI-Native資料庫,一並實現了自運維、自管理、自調優、故障自診斷和自愈,形成了自家獨特的資料庫內生管理力;其次,作為首款支持ARM架構的企業級資料庫,更能充分發揮X86、GPU、NPU的綜合算力優勢,在算力出口上不存在桎梏,也無配額,而是實現計算資源配置價值的最大化釋放。
值得強調的一點是,GaussDB搭載的融合分析引擎,能夠做到支持資料庫、大數據、AI多引擎融合分析和多樣性算力統一調度,實現極簡分析。
使能-數據先感知再驅動
使能數據,即通過智能技術加速數據的提純,並快速轉化其潛在價值。這一過程,用戶需要考慮在海量、異構數據中如何讓信息能夠精準地觸達應用所需,而不至於埋沒在數據洪流中。簡而言之,選擇有效數據,淘汰無效數據,但此項工作並不輕松—基於數據平台工具對數據進行感知、過濾再實現篩選。
FusionData中,智能元數據感知功能便通過AI技術,自動感知和採集多個系統的元數據,對數據進行智能化分級分類,生成全局統一的數據視圖,零數據歸納、篩選達到秒級響應。其遵循數據提純的精準、合理即有效性原則,避免了用戶對海量數據提純的勞力費神。
而接下來的數據加工流程中,FusionData提供了OneQuery Tuobo工具,讓數據訪問介面實現統一,實現多數據源、多類型數據的統一訪問,簡化數據加工流程,數據獲取速度提升10倍以上。
FusionData的生態家園
不容否認,數據應用的本質是信任與共享。FusionData生態發展同樣如此。
詮釋「信任」,華為智能數據解決方案FusionData已經應用於全球60多個國家及地區,服務於1500多個客戶,擁有500多家商業合作夥伴,並廣泛應用於金融、運營商、政府、大企業等行業。這一連串的數字表明,FusionData已成為業界用戶與夥伴極為信任的數據服務方案品牌。
詮釋「共享」,華為生態圈的各個參與者共享著數據創新所帶來的回報,其不僅體現在業務層面,更體現在攜手共贏之處—華為正在聯合客戶和合作夥伴,從行業應用、平台工具、標准組織和社區三個層面完善產業生態,讓FusionData在真正的數據應用共同體的道路上走得更寬,更遠。
如果向華為生態圈的夥伴們問及對FusionData的深刻印象,答案一定是:源於數據,高於數據。