Ⅰ 資料庫對一個國家的經濟文化科技國家安全等有何影響
隨著數據安全法、個人信息保護法的頒布實施,數據安全成為各行業數字化轉型的重要一環,通過資料庫技術創新助力數據安全成為業內熱點。
記者調研采訪發現,面對數據安全合規以及新應用新場景下的安全防護要求,傳統資料庫安全防護理念和技術已經開始轉變。在大數據環境下進行頂層設計、標准制訂,對各大數據組件進行安全審計、訪問控制與風險識別,針對結構化與非結構化數據的安全脫敏、加密安全與隱私防護等,都是當前資料庫安全防護新趨勢的重要問題。
多因素驅動資料庫安全發展
近年來,我國數字經濟蓬勃發展。最新發布的《中國互聯網發展報告2021》顯示,2020年我國數字經濟規模達到39.2萬億元,佔GDP比重達38.6%。
「只有保障數據安全,才能築牢數字經濟發展的底線。」達夢資料庫高級副總經理付銓表示,數據是數字經濟的重要生產資料,是國家核心戰略資源和社會重要財富。同時,數據安全問題是關乎數字經濟健康有序可持續發展的重大問題。
綠盟科技集團副總裁李晨認為,資料庫安全發展主要有兩個驅動因素,一是資料庫本身的發展促使資料庫安全技術發展,二是數據安全相關法律法規和標准規范對資料庫安全防護提出新的需求。從技術發展看,大規模的數據存儲和處理需求,使得大數據、數據倉庫、數據湖以及數據中台得到推廣,並應用於分布式資料庫、雲端資料庫等很多場景。從數據安全法律法規看,繼等級保護2.0系列標准提出大數據應用場景的安全防護參考後,數據安全法和個人信息保護法又相繼頒布實施,將數據安全要求提高到法律的高度。
在中國信通院資料庫應用創新實驗室、中國通信標准化協會大數據技術標准推進委員會近日舉辦的「資料庫安全防護新趨勢」沙龍上,清華大學計算機系長聘教授李國良表示,標准有助於落實產業政策,促進企業發展。希望更多企業重視相關工作,共同為資料庫安全的發展做出貢獻。
據中國信通院雲大所工程師劉思源介紹,中國信通院深耕資料庫領域標准研製、產業研究、政策支撐、評測評估等,依託中國通信標准化協會大數據技術標准推進委員會,已牽頭編制近10項資料庫領域行業標准和若干團體標准,累計發布資料庫白皮書和研究報告近10本,並定期發布評測評估觀察,為遴選優質標的提供重要依據。
資料庫安全保障網路安全
資料庫安全防護是數據安全治理體系的一部分。李晨表示,綠盟科技從數據安全建設頂層設計出發,提出「一個中心,四個領域,五個階段」的數據安全體系建設思路。以數據安全防護為中心,在組織建設、制度流程、技術工具和人員能力四個領域同時開展建設工作,通過「知、識、控、察、行」五個步驟進行數據安全落地建設。僅就資料庫安全技術而言,綠盟科技有數據分類分級、審計與訪問控制、脫敏、水印、脫敏後風險評估、數據防護與態勢感知和隱私計算相關技術等。
付銓表示,在信息技術快速發展的背景下,需要在網路信息安全關鍵技術上有更大突破,前提是獨立研發,掌握核心技術。在安全問題上,只有資料庫沒有安全問題,數據才不會泄露或丟失,信息安全才能得到保障。可以說,只有底層的資料庫安全了,網路安全才有保障。
據介紹,達夢資料庫研發的數據共享集群實現了國產資料庫在共享存儲集群方面的突破,在性能上與國際同類產品持平。公司產品廣泛應用於金融、能源、電信等50多個重要領域。
構築多維度立體化安全防線
「隨著數據價值重要性的凸顯以及未來開放性環境下的安全風險日益突出,資料庫需要圍繞系統整體韌性能力和數據端到端全生命周期安全構建系統整體外部感知能力和機密計算能力,並完善內核審計追溯能力。」華為技術有限公司資料庫技術專家朱金偉說。
勒索病毒是當前受到關注的網路安全風險。美創科技產品和解決方案中心總監胡大海表示,為有效抵禦勒索病毒威脅,美創科技從防範實踐出發,以「零信任」安全理念為基礎,推出「勒索防禦產品+安全保險+容災備份」三位一體的勒索病毒風險解決方案,為機構數據安全構築起多維度、立體化的安全防線。完善的數據容災備份建設可以在攻擊發生前對數據進行備份,在攻擊發生後對數據進行恢復,最大程度降低由勒索病毒加密、竊取數據造成的數據丟失乃至業務中斷等影響。
據騰訊雲計算技術有限公司資料庫高級產品經理程昌明介紹,目前騰訊雲資料庫已經能夠從數據沉澱、業務學習、特徵總結、風險模型、人為中心以及行為分析等方面,基於大數據分析進行安全治理。
Ⅱ 重慶維普資訊有限公司的公司發展
中國科技情報研究所重慶分所資料庫研究中心成立於1989年。作為中國資料庫產業的開拓者,資料庫研究中心於同年自主研發並推出了《中文科技期刊篇名資料庫》(CB ISTIC/CEPC Periodicals ChinaBase),這不但是中國第一個中文期刊文獻資料庫,也是中國最大的自建中文文獻資料庫。它的問世標志著我國中文期刊檢索在實現計算機自動化方面達到了一個領先的水平,也結束了我國中文科技期刊檢索難的歷史。
1995年,在資料庫研究中心基礎上成立了重慶維普資訊有限公司,進行資料庫等產品的運營。
在《中文科技期刊篇名資料庫》的基礎上,重慶維普資訊有限公司又研發了《中文科技期刊資料庫》、《中國科技經濟新聞資料庫》、《中文科技期刊資料庫(引文版)》、《外文科技期刊資料庫》、《中國科學指標資料庫》、中文科技期刊評價報告、中國基礎教育信息服務平台、維普-google學術搜索平台、維普考試資源系統、圖書館學科服務平台、文獻共享服務平台、維普期刊資源整合服務平台、維普機構知識服務管理系統、文獻共享平台、維普論文檢測系統等系列產品。
其中《中文科技期刊資料庫》是中國第一個中文科技期刊全文資料庫,也是國家新聞出版總署正式批准出版發行的中文期刊資料庫。資料庫收錄了中國境內歷年出版的中文期刊 12000 余種,全文4000 余萬篇,引文7000 余萬條,分三個版本(全文版、文摘版、引文版)和8個專輯(社會科學、自然科學、工程技術、農業科學、醫葯衛生、經濟管理、教育科學、圖書情報)定期出版發行,是中國科技文獻保障系統的重要組成部分,是我國科技工作者進行科技查新和科技查證的必備資料庫。也是目前國內最重要的學術、科研、人力資源評價數據。 為了適應互聯網的發展,使更多的科技工作者能夠用上維普公司的相關產品,重慶維普資訊有限公司於2000年建立了維普資訊網,將《中文科技期刊資料庫》等一系列產品搬到了互聯網上,以服務更大的人群。經過多年的商業運營,維普資訊網(現更名為維普網)已經成為全球著名的中文專業信息服務網站,以及中國最大的綜合性文獻服務網站,同時也是中國主要的中文科技期刊論文搜索平台,也是國內主要提供的機構信息檢測咨詢服務提供單位的平台。2005年,維普資訊網和全球最大的搜索引擎提供商谷歌(Google)進行戰略合作,成為谷歌學術搜索頻道在中國的重要合作夥伴,並且成為谷歌學術搜索頻道最大的中文內容提供商。現維普資訊網的注冊用戶數超過 1200 萬,累計為讀者提供了超過15億篇次的文章閱讀服務。
Ⅲ 國產分布式資料庫到底怎麼樣
分布式是趨勢。
推薦一款有幸用過,使用效果很好的國產分布式資料庫——思極有容資料庫。
趨勢價值分析
1)分布式是趨勢,但是技術門檻高,對研發,運維的水平要求高。;
2)思極有容資料庫作為分布式解決方案對應用透明,研發人員精力集中在業務實現,而不是被分庫分表耗費過多精力,從而提高效率,這是一個很有價值和意義的事情。
如果和傳統國產資料庫廠家,例如達夢、人大、神通等相比,思極有容資料庫採用原生分布式架構,在集群擴展性和大規模部署後集群性能方面有較大優勢;同時思極有容資料庫 完全兼容和繼承MySQL生態,非常的易用易適配,可以無縫銜接大量第三方數據處理組件,有巨大的生態優勢。
和開源資料庫MySQL/PostgreSQL相比,思極有容資料庫 具備強大的擴展能力和准線性的性能提升優勢,在數據存儲容量、事務吞吐性能、資料庫原生高可用方面具備碾壓優勢。
和新興分布式資料庫廠家,例如阿里DRDS、騰訊TDSQL等相比,思極有容資料庫具備更加完備的SQL語法支持,具備更加強大的事務吞吐性能,對應用適配更加友好。
Ⅳ 企業數據上雲必有一戰,華為雲12.12雲資料庫2折起
每年的Gartner全球資料庫魔力象限都會對未來三年的市場進行預測,而2020年的預測相比於2019年的預測出現一個顯著的變化,那就是全球75%資料庫將被部署或遷移到雲平台的時間表提前了一年——從2023年提前到了2022年。進入2020年底,我們將迎來資料庫行業的世紀之戰,企業數據上雲與治理面臨著重大抉擇:本地資料庫與雲資料庫的PK。特別是受2020全球疫情的影響,越來越多的企業正加速數字化轉型,雲資料庫以及雲上數據治理的時代將很快到來。
2020年12月12日雙十二之際,華為雲打出了雲資料庫2折起的大幅折扣,包括:MySQL等熱門雲資料庫 2折起、遷移上雲再加送6個月;GaussDB系列、數據管理服務DAS企業版等熱銷產品低至5折;數據加速與治理產品中也有Redis 4折的驚喜優惠。2020年又是華為雲推出全場景資料庫雲服務GaussDB的第一年,而在2020年底打出雲資料庫2折起的大力度促銷,彰顯了華為雲開打2021企業數據上雲之戰的決心。
2020年的一場疫情,讓很多企業都將數字化轉型提速,特別是讓本來需要幾年才能下的數字化轉型決心和決定縮短到幾個月;而新基建的推出,更刺激了基於數字技術的融合基礎設施的大規模建設。無論是加速的數字化轉型、急於上線的各種在線和互聯網業務,還是籌建中的融合基礎設施新基建,都為CIO們帶來了頭痛的問題:資料庫的選型。
那麼CIO怎麼解決雲資料庫的選型難題呢?華為雲資料庫業務總裁蘇光牛認為,CIO選型資料庫,最常見的其實沒有變化,就是穩定性和性能,以及雲技術出現之後的擴展性和灰度等能力。但對於很多企業,特別是有 歷史 遺留系統的,都涉及一個古老但無法迴避的問題就是:生態。也就是如果招聘的DBA多是搞PostgreSQL,那麼企業怎麼能選擇MySQL?反之亦然。或者當熟悉某個資料庫的DBA幹了幾十年,又怎麼轉向另外一種資料庫?
轉型是必然的。數字化智能化升級,必然要求資料庫跟上,蘇光牛認為生態必須是開放的,否則就從一個火坑跳入另外一個火坑。選型之後,CIO都普遍擔心,遷移的工作量有多大?CIO都需要有能自動化轉換或者評估的工具,能把非確定的工作量轉化為確定性的計劃。然後就需要考慮遷移是否會中斷或者中斷多久,業務切換需要多久,對於在線遷移來說還要可控制的切換時間;隨之,要考慮數據是否會丟失,因為從一個系統遷移到另一個系統,不可能100%覆蓋所有的功能測試,沒有覆蓋到數據是否就丟失了,當然還要考慮數據安全等問題。
最後,必然要考慮成本以及讓數據「活」起來。蘇光牛認為,控製成本的最好方式是存儲的融合,計算和存儲分離的架構;而讓數據活起來,就是要讓存儲的數據在不同系統之間流動起來,通過大的存儲資源池解決數據孤島問題,當然更好的數據遷移工具也能配合解決問題。
2020年11月,在Gartner發布的2020全球雲資料庫魔力象限中,華為雲憑借GaussDB系列產品首次晉級全球頂級雲資料庫行列。Gartner對華為雲的評價是:華為雲專注於提供全面的混合堆棧,構建了全面、穩健的產品組合,能夠滿足跨雲和本地環境的全方位數據管理用例,其許多產品與雲基礎架構緊密集成,以提供增強的性能和可靠性。Gartner還認為,華為在全球電信和網路行業有很強的影響力,很多為管理華為全球行業業務而構建的數據管理能力,面向政企行業普遍可用。
2020年下半年,華為雲宣布GaussDB資料庫戰略升級為華為雲資料庫全場景服務,以及發布GaussDB雲資料庫服務GaussDB(for MySQL)、GaussDB(openGauss)以及GaussDB NoSQL,而GaussDB NoSQL非關系型資料庫則支持MongoDB、Cassandra、時序InfluxDB、KV資料庫Redis等,具有多模式數據管理能力。
就GaussDB來說,通過計算和存儲分離實現分布式處理,在一套架構下,可以對接MySQL、PostgreSQL、MongoDB、Cassandra等多種開源資料庫引擎,實現這些開源資料庫的良好商用性能。GaussDB以華為雲為底座,保證了良好可擴展性、彈性、安全可靠等性能要求,特別是通過底層統一的智能化DFV分布式存儲架構,滿足企業上雲對於雲資料庫的各種需求。
在數據遷移方面,華為雲推出的資料庫和應用遷移 UGO,是一款專注於異構資料庫對象遷移和應用遷移的專業化工具,而華為雲數據復制服務DRS,支持更大數據量、更長時間等多種復雜遷移場景,支持資料庫上雲和雲上業務數據實時回傳至雲外的混合雲架構。UGO+DRS形成了完整的遷移產品形態。
GaussDB是為政企打造的資料庫一站式上雲解決方案,提供全場景數據管理業務、全開放生態和安全可信,徹底解決政企以及互聯網行業在資料庫選型方面的痛點,真正做到資料庫選型安心、遷移放心、管理省心。
蘇光牛表示:「華為將持續戰略投入資料庫,布局全球7大區域囊括1000+資料庫專家與人才。此次戰略升級是華為雲資料庫積極構建高安全、高可靠、高性能的全場景雲服務,擁抱開源生態的具體舉措,華為雲GaussDB資料庫會持續打造多元生態服務,全方位滿足客戶的需求,加速政企客戶數字化創新發展。」
正如Gartner所觀察到的,如今華為雲資料庫業務在亞太地區,尤其是中國市場實現規模化部署,其中超過一半的客戶來自公共管理、電信、金融保險等行業。華為雲資料庫,特別是GaussDB能夠被廣大政企用戶認可,這首先來自於經歷了華為內部的千錘百煉。從2007年開始,就因為華為的無線、網路、交換機等產品而發展起來了GaussDB,從2009年開始基於存算分離的架構而考慮分布式資料庫的設計,2015年起基於廣泛認知的生態如MySQL或者PostgreSQL等以及NoSQL資料庫,逐步推出了分布式的資料庫,同時還打造華為自己的openGauss生態。
2020年,華為雲資料庫品牌更加清晰,GaussDB是華為自有資料庫品牌,既兼容MySQL、PostgreSQL等廣泛認知的生態,又有自有的生態openGauss,openGauss於2020年6月正式對外開源。蘇光牛強調,華為公司將長期投入GaussDB的開發,基於混合雲和公有雲的方式,聯合ISV等夥伴一起,全方位服務好客戶。
總結下來,GaussDB有四大特色:第一,開放的生態,擁抱開源生態的同時,打造華為自有生態。華為雲認為未來一定是開放的生態,開放的生態才能保護客戶投資,避免從一個封閉體系走向另外一個封閉體系。
第二,存算分離的架構,資料庫的穩定性是第一位的,特別是交易型資料庫,華為雲資料庫最核心的特色是存儲的穩定性。華為雲GaussDB基於與企業存儲相同的分布式存儲架構,經過千行百業的磨煉而不僅僅是單一的某種交易流量,另外各種存儲能力如重刪、壓縮、跨AZ等特性讓快速備份恢復、性價比都具備非常好的優勢。
第三,安全合規,GaussDB經過了ICSL的安全認證,以及很多白盒的代碼層面的認證。特別是隨著歐洲GDPR等標準的實施,以及政企對數據安全性要求的增加,華為雲GaussDB的代碼級、架構級別安全設計,以及多年來在電信級高標准行業的錘煉,經歷了很多實際客戶的嚴苛考驗,讓政企在使用資料庫的時候更加放心。
第四,軟硬體全棧協同。華為雲具備軟硬體全棧研發的實力,無論存儲底座和RDMA高速網路,還是虛擬化和容器之上的性能調優,以及GuestOS上的協議棧優化,特別是基於雲技術之後的全棧優化和雲服務能力,更加是華為雲的優勢。
當然,更為重要的是,雲資料庫採用雲的模式實現了資料庫運維管理的集中化,極大簡化了資料庫的安裝、部署、配置、遷移和優化,大幅提升運維管理效率,讓政企可以投入更多精力聚焦在核心業務創新上。
總結而言: 企業數據上雲和雲上數據治理將成為2021年政企數字化轉型的重中之重,各大技術廠商都在爭奪雲資料庫市場份額。以華為雲全場景資料庫GaussDB為代表的新一代雲資料庫,將滿足政企數字化轉型的全面需求。特別是以華為雲和華為雲Stack為底座,GaussDB可以跨公有雲以及企業本地部署,其技術符合雲及企業本地的要求,同時具有華為雲的高性能、高可用、高安全等保證,可以說政企數字化轉型的全場景保障!(文/寧川)
Ⅳ MongoDB挑戰傳統資料庫:非結構化資料庫的迭新不容小覷
相比甲骨文中國在中國市場的裁員風波,同為資料庫服務的MongoDB顯得更為樂觀。「MongoDB是中國開發者最喜歡用的一個資料庫。」MongoDB全球渠道及亞太區銷售高級副總裁Alan Chhabra帶著一點自信和驕傲在媒體面前宣稱。
中國企業的數字化轉型正進入關鍵期,在打造開放、高效、靈活、共享的雲計算基礎設施的同時,資料庫的更新換代也被提上了日程。
日前,非結構化資料庫平台提供商MongoDB在上海舉辦用戶大會,MongoDB全球渠道及亞太區銷售高級副總裁Alan Chhabra接受了億歐企業服務頻道的采訪, 並針對去年修改開源協議,在SSPL的不同許可機制下授權伺服器軟體的爭議以及其他疑問作出回應。
資料庫的本質是解決數據的存儲和管理問題。 Alan Chhabra表示,對企業發展具有戰略意義的資料庫正在催生巨大的市場。
在這些潛力頗大的資料庫中,市場上目前存在著的是關系型的傳統資料庫和以Mongo DB為代表的非關聯式新型資料庫。傳統資料庫比較典型的是甲骨文旗下的Oracle資料庫、IBM推出的大數據平台Hadoop和Stream Computing、微軟的SQL Server、SAP以及EMC Greenplum。 他們的主要差別在於資料庫的結構化和非結構化。
結構化的數據是指可以使用關系型資料庫表示和存儲,表現為二維形式的數據,存儲和排列很有規律,這對查詢和修改等操作很有幫助,但擴展性和靈活性欠佳。 非結構化資料庫就是各種文檔、圖片、視頻/音頻等沒有固定結構的數據,一般直接整體進行存儲為二進制的數據格式。 目前涵蓋分布式資料庫、圖資料庫、流資料庫、時空資料庫和眾包資料庫等多個領域。
MongoDB是文檔型的非結構化新型資料庫,Alan Chhabra表示, 與傳統資料庫相比,更能滿足用戶數據存儲量大、計算靈活的需求。「在某些客戶某些案例上,我們已經取代了傳統資料庫,比如甲骨文。」
當前, 軟體對於商業模式的改變、開發人員地位的提高,以及企業向雲端遷移的趨勢 都讓數據服務公司的發展得到了助力。但從畢馬威會計事務所對首席信息官的調查結果來看, 88%的首席信息官認為他們未能從數字化戰略中充分獲益;82%的首席信息官認為其所在機構在利用技術推動業務發展方面並非「卓有成效」。 也就是說, 大多數公司的數字化戰略是以失敗告終的。
在此背景下,更加靈活、性能更加強大的新型資料庫在一些領域獲得了試驗田豐收,並且可以看到,隨著客戶數據需求的繁雜程度的日益增加,傳統資料庫也在自我革新,以迎頭趕上數據浪潮的大變革。
MongoDB成立於2007年,2017年在納斯達克上市。最初,MongoDB是一項面向技術愛好者的技術,如今已成為一項企業級的業務關鍵技術。通過不斷開發資料庫即服務(Database-as-a-Service)產品,積極擁抱雲計算,MongoDB在過去十年裡,為開發人員提供了處理數據的方法。正因如此,它也成了企業數字化轉型戰略的一個關鍵部分。
MongoDB提供的產品主要包括MongoDB雲服務MongoDB Atlas、MongoDB Mobile、MongoDB企業版和MongoDB Stitch等十餘個相關產品。Alan Chhabra表示,產品包括了 開源版、付費版和雲版。
2018 年 10 月,MongoDB宣布其開源許可證將從GNU AGPLv3切換到SSPL,新許可證將適用於新版本的MongoDB Community Server以及打過補丁的舊版本,這一舉動引發了行業熱議。基於GNU AGPLv3協議,企業可以將MongoDB作為公共服務但這需要企業開源自己的軟體或是獲得MongoDB的商業授權,事實卻是MongoDB發現許多企業正在違反協議「瘋狂試探」甚至已經違反協議。 SSPL( Server Side Public License)顧名思義,要求使用者必須得到伺服器端公共許可證,這一協議會進一步約束商業公司使用MongoDB服務。
Alan Chhabra向億歐解釋, SSPL 針對的是提供MongoDB託管服務的雲服務廠商。 也就是說,如果不是雲服務廠商,沒有公然售賣MongoDB產品,而只是作為應用後台資料庫來使用的話,那麼無論你是電商、物聯網、金融、社交、 游戲 、移動應用等等,一概都不會有任何影響。 「MongoDB的宗旨還是為了始終支持並保護創新開放。」
但此開源協議的修改明顯帶來了市場用戶的「掉粉」,比如Linux 社區的接連「棄用」,以及AWS 、IBM、微軟推出了兼容MongoDB的相關產品來服務用戶。
資料庫開源的商業變現與創新形成的矛盾,目前似乎還尚未找到解決方案。
Alan Chhabra在大會上也透露了MongoDB的未來計劃, 即將基於智能運營數據平台和下一代基礎架構、文化、方法論和安全,推動原有系統的現代化、數據即服務、雲數據策略、業務敏捷性,進而幫助客戶實現以數據驅動的數字化轉型。
針對MongoDB在中國的發展情況, Alan Chhabra表示,公司將以創新立足,持續引領資料庫技術發展潮流,與合作夥伴攜手助力中國企業的數字化轉型。
MongoDB北亞區副總裁蘇玉龍認為:「中國是數據大國,而數據就是未來的石油。如何利用好數據,讓數據石油助力中國企業騰飛是MongoDB希望在中國達成的事情。隨著中國企業數字化轉型逐漸走向深入,MongoDB資料庫的價值得到不斷釋放。」
本文作者龔晨霞,微信Gcx847076575,歡迎關注企業服務和產業互聯網的朋友加微信交流。
Ⅵ 華為突破分布式資料庫和存儲技術,打通數字化轉型「雄關漫道」
2019年,我們將進入數字化轉型的攻關期。所謂「攻關期」即數字化轉型2.0階段,需要攻堅企業關鍵業務上雲和數字化轉型改造的課題。在一份市場調查公司IDC的報告中指出:IDC自2014年提出數字化轉型以來,看到企業在數字化轉型層面已經投入了大量人力物力,但是效果並不理想,有一些企業已經成功屹立在潮頭,有一些企業在向上游進發,還有一些企業只能在浪潮的挾裹中被動前行。
對於企業來說,數字化轉型是「雄關漫道」。IDC認為,目前階段來看,企業亟待解決的是數字化能力提升,包括:與業務的深入結合能力;數據處理和挖掘能力;以及IT技術運營和管理能力。特別是數據處理和挖掘能力,因為數字化轉型推進企業從以流程為核心向以數據為核心轉型,對海量、異構、多類型的數據處理和挖掘能力是釋放數據價值的前提,對數據全生命周期的管控治理是釋放數據價值的保障。而隨著數字化轉型引入大量新技術而導致IT復雜度變高,企業IT技術運營和管理能力是提升企業「IT生產力」的關鍵。
攻關數字化轉型的「雄關漫道」,需要一個具備融合、智能、可傳承三大特性的數字平台。這是2019年3月華為與IDC聯合推出的《擁抱變化,智勝未來—數字平台破局企業數字化轉型》白皮書所提出的觀點。融合主要指把傳統技術和創新技術相結合;智能主要指平台智能化和智能化能力輸出;可傳承主要指解耦、功能復用、可配置等理念打造的架構。而承載這三大觀點的,就是新一代分布式企業級技術。
2019年5月15日,華為發布了業界首款支持ARM架構的新一代智能分布式資料庫GaussDB以及分布式存儲FusionStorage 8.0,作為新一代數據基礎設施,詮釋了具備融合、智能、可傳承三大特性的數字平台。華為常務董事、ICT戰略與Marketing總裁汪濤在發布會上表示,千行百業正在加速智能化進程,越來越多的企業已經意識到數據基礎設施是智能化成功的關鍵。華為圍繞計算、存儲和數據處理三個領域重定義數據基礎設施,加速邁向智能時代。
今天所討論雲和工業互聯網等概念的背後是一個新時代的到來,這就是體系架構大遷徙。傳統企業級技術是在單體應用和單機環境中,保證數據存儲、調用等操作的高可靠、高可用、高穩定,特別是滿足金融級事物處理的ACID(原子性、一致性、隔離性和耐久性)要求,為企業關鍵業務提供數據管理支撐。隨著企業技術向雲架構遷移,資料庫技術也面臨轉型。
2018年,基於雲計算技術的分布式資料庫成為了業界的熱點。簡單理解,雲計算技術就是把「單機」環境替換為由X86伺服器機群所組成的分布式計算環境。原先由幾台小型機完成的計算任務,要分散到上百甚至上千台X86伺服器上,而且還可能跨數據中心操作,挑戰可想而之。特別是在線支付等金融級業務,不能在斷網或網路連接有問題時出錯,也不能因響應速度慢而影響用戶體驗。
2018年8月,中國支付清算協會與中國信息通信研究院聯合舉辦了「金融分布式事務資料庫研討會」,與業界廠商和用戶共商核心資料庫分布式轉型之路,同時發布了《金融分布式事務資料庫》白皮書。金融分布式事務資料庫的工作推進,為分布式資料庫進入企業關鍵業務系統,提供了產業化支撐。而華為作為企業ICT解決方案供應商,早在2012年就開始研發面向大數據分析的數據倉庫,在基於傳統關系型資料庫SQL引擎和事務強一致性等基礎上,進行了分布式、並行計算的改造,歷時6年打造了面向PB級海量數據分析的分布式資料庫。
在OLAP數據倉庫之外,華為與行業用戶合作了面向OLTP的分布式事務型資料庫研發。2017年,華為與招商銀行合作成立了分布式資料庫聯合創新實驗室,研發具有高性能企業級內核、完整支持分布式事物、滿足金融行業對數據強一致要求、單機事物處理能力要達到每分鍾百萬級別等的OLTP分布式資料庫。
本次發布的GaussDB資料庫新品包括:聯機事務處理OLTP資料庫、聯機分析處理OLAP資料庫、事務和分析混合處理HTAP資料庫。而華為GaussDB資料庫將AI技術融入資料庫設計、開發、驗證、調優、運維等環節,可實現基於AI的自調優、自診斷自愈、自運維,讓資料庫更高效、更智能,引領資料庫架構的發展。
更進一步,本次發布的GaussDB系列資料庫是業界首款支持ARM晶元的分布式資料庫。華為推動計算架構從以X86+GPU為主的單一計算架構到以X86+GPU+ARM64+NPU為主的異構計算架構快速發展。基於X86架構,華為引入AI管理和智能加速能力,率先推出了智能伺服器FusionServer Pro;基於ARM64打造了業界性能最強的TaiShan伺服器;基於Ascend晶元的Atlas智能計算,實現了業界首個端邊雲協同的人工智慧平台。而GaussDB可充分利用並融合ARM、X86、GPU、NPU等多種異構算力組合,大幅提升資料庫性能。
汪濤強調,作為全球首款AI-Native資料庫,GaussDB有兩大革命性突破:第一,首次將人工智慧技術引入資料庫的全生命周期流程,實現自運維、自管理、自調優和故障自診斷。在交易、分析和混合負載場景下,基於最優化理論,首創深度強化學習自調優演算法,把業界平均性能提升60%。第二,支持異構計算,充分發揮X86/ARM/GPU/NPU多樣性算力優勢,最大化資料庫性能,在權威標准測試集TPC-DS上,華為GaussDB排名第一。GaussDB還支持本地部署、私有雲、公有雲等多種場景。
在以雲計算為代表的分布式計算環境中,數據管理解決方案除了需要分布式資料庫外,為了更好的擴縮容以及滿足多樣化數據存儲需求,計算與存儲分離已經成為分布式資料庫設計的主要架構。分布式雲化架構,就是要支持計算、存儲分離和多租戶等架構設計要求。
GaussDB已經從資料庫層面實現了高可用、高可靠、高穩定的分布式資料庫,本次發布的FusionStorage 8.0則是分布式存儲架構,創新地實現一套系統同時支持塊、文件、對象、HDFS協議,1套存儲支持4類存儲能力,適用於全業務場景混合負載,最終讓「一個數據中心一套存儲」成為可能。
IDC發布的《中國軟體定義存儲(SDS)及超融合存儲(HCI)系統市場季度跟蹤報告,2018年第四季度》顯示,2018年,軟體定義存儲市場達到了54.9%的同比增長。軟體定義存儲在中國整體存儲市場的佔有率穩步上升,分別達到了22.1%的市場佔有率。華為憑借文件解決方案在政府、廣電和電信等行業得到認可,在2018年中國軟體定義存儲市場排名第一。
FusionStorage 8.0採用華為ARM-based處理器鯤鵬920加速,使IOPS提升 20%,結合華為AI Fabric無損網路,時延進一步降低15%。基於華為在計算、網路和存儲領域多年的晶元和演算法積累,FusionStorage 8.0在SPC-1的性能測試中,單節點性能達到了16.8萬IOPS以及1ms以內時延,成為承載企業關鍵應用的新選擇。
此外,通過華為雲的雲上訓練及本地AI晶元,FusionStorage 8.0將智能管理貫穿業務使用的全生命周期,如業務上線前對存儲資源的規劃,使用過程中的風險預判及故障定位,大幅提升存儲效率,幫助行業客戶應對智能時代的數據新挑戰。
汪濤在發布會上強調,新一代智能分布式存儲FusionStorage 8.0通過重定義存儲架構,從「Storage for AI」和「AI in Storage」兩個維度實現效率大幅提升,引領存儲智能化。首先,「Storage for AI」通過融合共享,讓AI分析更高效。其次,「AI in Storage」率先將AI融入存儲全生命周期管理,從資源規劃、業務發放、系統調優、風險預測、故障定位等方面實現智能運維。
遼寧移動就採用了華為FusionStorage。作為遼寧省內最大的移動通信運營商,遼寧移動一直在 探索 先進的存儲方案在自身IT系統的應用。由於5G的快速發展,遼寧移動關鍵資料庫的應用也向雲化方向發展,分布式存儲也要滿足其可靠性和高性能要求。華為在深入分析遼寧移動需求後,首先在邊緣開發測試業務小規模試點分布式存儲,進行了大量的實驗和測試後性能和可靠性都達到了預期,最終決定將全部業務遷移至FusionStorage。該方案通過採用雙活、可寫快照、端到端DIF等特性,順利完成Billing、經營分析、B2B等系統從老舊存儲至FusionStorage的搬遷工作,助力遼寧移動的存儲架構邁入新的 歷史 階段。
值得一提的是,華為分布式資料庫與華為分布式存儲深度結合,把資料庫的操作下沉到存儲節點,極大提升了分布式資料庫的性能。利用新的網路技術和人工智慧技術,華為幫助用戶提升數據中心的吞吐量,提升網路應用的可伸縮性,並且能自動調優。
除了推出新一代突破性的分布式資料庫和存儲技術外,華為也積極與客戶、夥伴在資料庫與存儲領域,從行業應用、平台工具、標准組織和社區等多個層面共建開放、合作、共贏的產業生態。在行業應用層面,華為與軟通智慧、神州信息、東華軟體、易華錄、用友政務、亞信國際等獨立軟體開發商長期合作;在平台和工具層面,華為與Tableau、帆軟、ARM、Veritas等合作夥伴聯合創新;在標准組織和社區層面,華為深度參與OpenSDS、中國人工智慧產業聯盟、OCP、OpenStack、CNCF基金會等組織和社區的建設。
總結來說,華為全線分布式資料庫和分布式存儲產品的發布,是華為具備融合、智能、可傳承三大特性數字平台的最新成果。華為分布式資料庫與分布式存儲結合,能消除企業各業務系統數據孤島,構建面向行業場景的數據建模、分析和價值挖掘能力,對多源異構的數據進行匯聚、整合和分析,形成統一的全量數據和數據底座,實現數據價值挖掘和共享。而基於AI的智能化,可對基礎設施進行高效的管理,為行業應用開發和迭代賦能,全面幫助企業突破關鍵應用上雲的「雄關漫道」。(文/寧川)
Ⅶ 傳統的關系型資料庫面臨的挑戰有哪些
挑戰一:數據來源錯綜復雜
豐富的數據源是大數據產業發展的前提。而我國數字化的數據資源總量遠遠低於美歐,每年新增數據量僅為美國的7%,歐洲的12%,其中政府和製造業的數據資源積累遠遠落後於國頌毀外。就已有有限的數據資源來說,還存在標准化、准確性、完整性低,利用價值不高的情況,這大大降低了數據的價值
挑戰二:數據挖掘分析模型建立
步入大數據時代,人們紛紛在談論大數據,似乎這已經演化為新的潮流趨勢。數據比以往任何時候都更加根植於我們生活中的每個角落。我們試圖用數據去解決問題、改善福利,並且促成新的經濟繁薯櫻念榮
挑戰三:數據開數困放與隱私的權衡
數據應用的前提是數據開放,這已經是共識。有專業人士指出,中國人口居世界首位,但2010年中國新存儲的數據為250PB,僅為日本的60%和北美的7%。目前我國一些部門和機構擁有大量數據但寧願自己不用也不願提供給有關部門共享,導致信息不完整或重復投資。2012年中國的數據存儲量達到64EB,其中55%的數據需要一定程度的保護,然而目前只有不到一半的數據得到保護