1. 分布式資料庫的簡介
分布式資料庫是指利用高速計算機網路將物理上分散的多個數據存儲單元連接起來組成一個邏輯上統一的資料庫。分布式資料庫的基本思想是將原來集中式資料庫中的數據分散存儲到多個通過網路連接的數據存儲節點上,以獲取更大的存儲容量和更高的並發訪問量。近年來,隨著數據量的高速增長,分布式資料庫技術也得到了快速的發展,傳統的關系型資料庫開始從集中式模型向分布式架構發展,基於關系型的分布式資料庫在保留了傳統資料庫的數據模型和基本特徵下,從集中式存儲走向分布式存儲,從集中式計算走向分布式計算。
另一方面,隨著數據量越來越大,關系型資料庫開始暴露出一些難以克服的缺點,以NoSQL 為代表的非關系型資料庫,其高可擴展性、高並發性等優勢出現了快速發展,一時間市場上出現了大量的key-value 存儲系統、文檔型資料庫等NoSQL 資料庫產品。NoSQL 類型資料庫正日漸成為大數據時代下分布式資料庫領域的主力。
這種組織資料庫的方法克服了物理中心資料庫組織的弱點。 首先,降低了數據傳送代價,因為大多數的對資料庫的訪問操作都是針對局部資料庫的,而不是對其他位置的資料庫訪問; 其次,系統的可靠性提高了很多,因為當網路出現故障時,仍然允許對局部資料庫的操作,而且一個位置的故障不影響其他位置的處理工作,只有當訪問出現故障位置的數據時,在某種程度上才受影響; 第三,便於系統的擴充,增加一個新的局部資料庫,或在某個位置擴充一台適當的小型計算機,都很容易實現。然而有些功能要付出更高的代價。例如,為了調配在幾個位置上的活動,事務管理的性能比在中心資料庫時花費更高,而且甚至抵消許多其他的優點。 分布式軟體系統(Distributed Software Systems)是支持分布式處理的軟體系統,是在由通信網路互聯的多處理機體系結構上執行任務的系統。它包括分布式操作系統、分布式程序設計語言及其編譯(解釋)系統、分布式文件系統和分布式資料庫系統等。
分布式操作系統負責管理分布式處理系統資源和控制分布式程序運行。它和集中式操作系統的區別在於資源管理、進程通信和系統結構等方面。 分布式程序設計語言用於編寫運行於分布式計算機系統上的分布式程序。一個分布式程序由若干個可以獨立執行的程序模塊組成,它們分布於一個分布式處理系統的多台計算機上被同時執行。它與集中式的程序設計語言相比有三個特點:分布性、通信性和穩健性。 分布式文件系統具有執行遠程文件存取的能力,並以透明方式對分布在網路上的文件進行管理和存取。 分布式資料庫系統由分布於多個計算機結點上的若干個資料庫系統組成,它提供有效的存取手段來操縱這些結點上的子資料庫。分布式資料庫在使用上可視為一個完整的資料庫,而實際上它是分布在地理分散的各個結點上。當然,分布在各個結點上的子資料庫在邏輯上是相關的。
Hadoop的分布式文件系統HDFS,作為開源的分布式平台,為目前流行的很多分布式資料庫提供了支持,譬如HBase等。Yonghong的分布式文件系統ZFS,為分布式數據集市Z-DataMart提供了底層平台。
2. 什麼是大數據
大數據是指在一定時間內,常規軟體工具無法捕捉、管理和處理的數據集合。它是一種海量、高增長、多元化的信息資產,需要一種新的處理模式,以具備更強的決策、洞察和流程優化能力。
大數據技術的戰略意義不在於掌握龐大的數據信息,而在於對這些有意義的數據進行專業的處理。換句話說,如果把大數據比作一個行襲改業,這個行業盈利的關鍵在於提高數據的「處理能力」,通過「處理」實現數據的「增值」。
從技術上講,大數據和雲計算的關系就像硬幣的正反面一樣密不可分。大數據不能用單台計算機處理,必須採用分布式架構。其特拍擾判點在於海量數據的分布式數據挖掘。但它必須依賴雲計算分布式處理、分布式資料庫、雲存儲和虛擬化技術。
擴展信息:
大數據只是現階段互聯網的一個表徵或特徵。沒有必要將其神話或保持敬畏。在以雲計算為代表的技術創新背景下,這些原本看似難以收集和使用的數據開始被輕松使用。通過各行各業的不斷創新,大數據將逐漸為人類創造更多的價值。
是體現大數據技術價值的手段,是進步的基石。這里從雲計李擾算、分布式處理技術、存儲技術、感知技術的發展,闡述大數據從採集、處理、存儲到形成結果的全過程。
實踐是大數據的終極價值。在這里,我們從互聯網大數據、政府大數據、企業大數據、個人大數據四個方面來描繪大數據的美好圖景和將要實現的藍圖。
3. 華為突破分布式資料庫和存儲技術,打通數字化轉型「雄關漫道」
2019年,我們將進入數字化轉型的攻關期。所謂「攻關期」即數字化轉型2.0階段,需要攻堅企業關鍵業務上雲和數字化轉型改造的課題。在一份市場調查公司IDC的報告中指出:IDC自2014年提出數字化轉型以來,看到企業在數字化轉型層面已經投入了大量人力物力,但是效果並不理想,有一些企業已經成功屹立在潮頭,有一些企業在向上游進發,還有一些企業只能在浪潮的挾裹中被動前行。
對於企業來說,數字化轉型是「雄關漫道」。IDC認為,目前階段來看,企業亟待解決的是數字化能力提升,包括:與業務的深入結合能力;數據處理和挖掘能力;以及IT技術運營和管理能力。特別是數據處理和挖掘能力,因為數字化轉型推進企業從以流程為核心向以數據為核心轉型,對海量、異構、多類型的數據處理和挖掘能力是釋放數據價值的前提,對數據全生命周期的管控治理是釋放數據價值的保障。而隨著數字化轉型引入大量新技術而導致IT復雜度變高,企業IT技術運營和管理能力是提升企業「IT生產力」的關鍵。
攻關數字化轉型的「雄關漫道」,需要一個具備融合、智能、可傳承三大特性的數字平台。這是2019年3月華為與IDC聯合推出的《擁抱變化,智勝未來—數字平台破局企業數字化轉型》白皮書所提出的觀點。融合主要指把傳統技術和創新技術相結合;智能主要指平台智能化和智能化能力輸出;可傳承主要指解耦、功能復用、可配置等理念打造的架構。而承載這三大觀點的,就是新一代分布式企業級技術。
2019年5月15日,華為發布了業界首款支持ARM架構的新一代智能分布式資料庫GaussDB以及分布式存儲FusionStorage 8.0,作為新一代數據基礎設施,詮釋了具備融合、智能、可傳承三大特性的數字平台。華為常務董事、ICT戰略與Marketing總裁汪濤在發布會上表示,千行百業正在加速智能化進程,越來越多的企業已經意識到數據基礎設施是智能化成功的關鍵。華為圍繞計算、存儲和數據處理三個領域重定義數據基礎設施,加速邁向智能時代。
今天所討論雲和工業互聯網等概念的背後是一個新時代的到來,這就是體系架構大遷徙。傳統企業級技術是在單體應用和單機環境中,保證數據存儲、調用等操作的高可靠、高可用、高穩定,特別是滿足金融級事物處理的ACID(原子性、一致性、隔離性和耐久性)要求,為企業關鍵業務提供數據管理支撐。隨著企業技術向雲架構遷移,資料庫技術也面臨轉型。
2018年,基於雲計算技術的分布式資料庫成為了業界的熱點。簡單理解,雲計算技術就是把「單機」環境替換為由X86伺服器機群所組成的分布式計算環境。原先由幾台小型機完成的計算任務,要分散到上百甚至上千台X86伺服器上,而且還可能跨數據中心操作,挑戰可想而之。特別是在線支付等金融級業務,不能在斷網或網路連接有問題時出錯,也不能因響應速度慢而影響用戶體驗。
2018年8月,中國支付清算協會與中國信息通信研究院聯合舉辦了「金融分布式事務資料庫研討會」,與業界廠商和用戶共商核心資料庫分布式轉型之路,同時發布了《金融分布式事務資料庫》白皮書。金融分布式事務資料庫的工作推進,為分布式資料庫進入企業關鍵業務系統,提供了產業化支撐。而華為作為企業ICT解決方案供應商,早在2012年就開始研發面向大數據分析的數據倉庫,在基於傳統關系型資料庫SQL引擎和事務強一致性等基礎上,進行了分布式、並行計算的改造,歷時6年打造了面向PB級海量數據分析的分布式資料庫。
在OLAP數據倉庫之外,華為與行業用戶合作了面向OLTP的分布式事務型資料庫研發。2017年,華為與招商銀行合作成立了分布式資料庫聯合創新實驗室,研發具有高性能企業級內核、完整支持分布式事物、滿足金融行業對數據強一致要求、單機事物處理能力要達到每分鍾百萬級別等的OLTP分布式資料庫。
本次發布的GaussDB資料庫新品包括:聯機事務處理OLTP資料庫、聯機分析處理OLAP資料庫、事務和分析混合處理HTAP資料庫。而華為GaussDB資料庫將AI技術融入資料庫設計、開發、驗證、調優、運維等環節,可實現基於AI的自調優、自診斷自愈、自運維,讓資料庫更高效、更智能,引領資料庫架構的發展。
更進一步,本次發布的GaussDB系列資料庫是業界首款支持ARM晶元的分布式資料庫。華為推動計算架構從以X86+GPU為主的單一計算架構到以X86+GPU+ARM64+NPU為主的異構計算架構快速發展。基於X86架構,華為引入AI管理和智能加速能力,率先推出了智能伺服器FusionServer Pro;基於ARM64打造了業界性能最強的TaiShan伺服器;基於Ascend晶元的Atlas智能計算,實現了業界首個端邊雲協同的人工智慧平台。而GaussDB可充分利用並融合ARM、X86、GPU、NPU等多種異構算力組合,大幅提升資料庫性能。
汪濤強調,作為全球首款AI-Native資料庫,GaussDB有兩大革命性突破:第一,首次將人工智慧技術引入資料庫的全生命周期流程,實現自運維、自管理、自調優和故障自診斷。在交易、分析和混合負載場景下,基於最優化理論,首創深度強化學習自調優演算法,把業界平均性能提升60%。第二,支持異構計算,充分發揮X86/ARM/GPU/NPU多樣性算力優勢,最大化資料庫性能,在權威標准測試集TPC-DS上,華為GaussDB排名第一。GaussDB還支持本地部署、私有雲、公有雲等多種場景。
在以雲計算為代表的分布式計算環境中,數據管理解決方案除了需要分布式資料庫外,為了更好的擴縮容以及滿足多樣化數據存儲需求,計算與存儲分離已經成為分布式資料庫設計的主要架構。分布式雲化架構,就是要支持計算、存儲分離和多租戶等架構設計要求。
GaussDB已經從資料庫層面實現了高可用、高可靠、高穩定的分布式資料庫,本次發布的FusionStorage 8.0則是分布式存儲架構,創新地實現一套系統同時支持塊、文件、對象、HDFS協議,1套存儲支持4類存儲能力,適用於全業務場景混合負載,最終讓「一個數據中心一套存儲」成為可能。
IDC發布的《中國軟體定義存儲(SDS)及超融合存儲(HCI)系統市場季度跟蹤報告,2018年第四季度》顯示,2018年,軟體定義存儲市場達到了54.9%的同比增長。軟體定義存儲在中國整體存儲市場的佔有率穩步上升,分別達到了22.1%的市場佔有率。華為憑借文件解決方案在政府、廣電和電信等行業得到認可,在2018年中國軟體定義存儲市場排名第一。
FusionStorage 8.0採用華為ARM-based處理器鯤鵬920加速,使IOPS提升 20%,結合華為AI Fabric無損網路,時延進一步降低15%。基於華為在計算、網路和存儲領域多年的晶元和演算法積累,FusionStorage 8.0在SPC-1的性能測試中,單節點性能達到了16.8萬IOPS以及1ms以內時延,成為承載企業關鍵應用的新選擇。
此外,通過華為雲的雲上訓練及本地AI晶元,FusionStorage 8.0將智能管理貫穿業務使用的全生命周期,如業務上線前對存儲資源的規劃,使用過程中的風險預判及故障定位,大幅提升存儲效率,幫助行業客戶應對智能時代的數據新挑戰。
汪濤在發布會上強調,新一代智能分布式存儲FusionStorage 8.0通過重定義存儲架構,從「Storage for AI」和「AI in Storage」兩個維度實現效率大幅提升,引領存儲智能化。首先,「Storage for AI」通過融合共享,讓AI分析更高效。其次,「AI in Storage」率先將AI融入存儲全生命周期管理,從資源規劃、業務發放、系統調優、風險預測、故障定位等方面實現智能運維。
遼寧移動就採用了華為FusionStorage。作為遼寧省內最大的移動通信運營商,遼寧移動一直在 探索 先進的存儲方案在自身IT系統的應用。由於5G的快速發展,遼寧移動關鍵資料庫的應用也向雲化方向發展,分布式存儲也要滿足其可靠性和高性能要求。華為在深入分析遼寧移動需求後,首先在邊緣開發測試業務小規模試點分布式存儲,進行了大量的實驗和測試後性能和可靠性都達到了預期,最終決定將全部業務遷移至FusionStorage。該方案通過採用雙活、可寫快照、端到端DIF等特性,順利完成Billing、經營分析、B2B等系統從老舊存儲至FusionStorage的搬遷工作,助力遼寧移動的存儲架構邁入新的 歷史 階段。
值得一提的是,華為分布式資料庫與華為分布式存儲深度結合,把資料庫的操作下沉到存儲節點,極大提升了分布式資料庫的性能。利用新的網路技術和人工智慧技術,華為幫助用戶提升數據中心的吞吐量,提升網路應用的可伸縮性,並且能自動調優。
除了推出新一代突破性的分布式資料庫和存儲技術外,華為也積極與客戶、夥伴在資料庫與存儲領域,從行業應用、平台工具、標准組織和社區等多個層面共建開放、合作、共贏的產業生態。在行業應用層面,華為與軟通智慧、神州信息、東華軟體、易華錄、用友政務、亞信國際等獨立軟體開發商長期合作;在平台和工具層面,華為與Tableau、帆軟、ARM、Veritas等合作夥伴聯合創新;在標准組織和社區層面,華為深度參與OpenSDS、中國人工智慧產業聯盟、OCP、OpenStack、CNCF基金會等組織和社區的建設。
總結來說,華為全線分布式資料庫和分布式存儲產品的發布,是華為具備融合、智能、可傳承三大特性數字平台的最新成果。華為分布式資料庫與分布式存儲結合,能消除企業各業務系統數據孤島,構建面向行業場景的數據建模、分析和價值挖掘能力,對多源異構的數據進行匯聚、整合和分析,形成統一的全量數據和數據底座,實現數據價值挖掘和共享。而基於AI的智能化,可對基礎設施進行高效的管理,為行業應用開發和迭代賦能,全面幫助企業突破關鍵應用上雲的「雄關漫道」。(文/寧川)
4. 大數據的分布式資料庫技術的對比
大數據技術的實現離不開很多其他的技術,我們提到最多的就是Hadoop技術,其實就目前而言,Hadoop技術看似是自成一套體系,其實並不是這樣的,Hadoop和Spark以及分布式資料庫其實也是存在差異的,我們就在這篇文章中給大家介紹一下這些內容。
首先我們說一說大數據分析,現在的大數據分析體系以Hadoop生態為主,而近年來逐漸火熱的Spark技術也是主要的生態之一。可以這么說,Hadoop技術只能算是以HDFS+YARN作為基礎的分布式文件系統,而不是資料庫。我們提到的Hadoop的歷史可以向前追溯10年,當年穀歌為了在幾萬台PC伺服器上構建超大數據集合並提供極高性能的並發訪問能力,從而發明了一種新的技術,而這個技術,也是Hadoop誕生的理論基礎。如果我們從Hadoop的誕生背景可以看出,其主要解決的問題是超大規模集群下如何對非結構化數據進行批處理計算。實際上,在Hadoop架構中,一個分布式任務可以是類似傳統結構化數據的關聯、排序、聚集操作,也可以是針對非結構化數據的用戶自定義程序邏輯。
那麼Hadoop的發展道路是什麼樣的呢。最開始的Hadoop以Big、Hive和MapRece三種開發介面為代表,分別適用於腳本批處理、SQL批處理以及用戶自定義邏輯類型的應用。而Spark的發展更是如此,最開始的SparkRDD幾乎完全沒有SQL能力,還是套用了Hive發展出的Shark才能對SQL有了一部分的支持。但是,隨著企業用戶對Hadoop的使用越發廣泛,SQL已經漸漸成為大數據平台在傳統行業的主要訪問方式之一。
下面我們就說一說分布式資料庫,分布式資料庫有著悠久的歷史,從以Oracle RAC為代表的聯機交易型分布式資料庫,到IBM DB2 DPF統計分析性分布式資料庫,分布式資料庫覆蓋了OLTP與OLAP幾乎全部的數據應用場景。而大部分分布式資料庫功能集中在結構化計算與在線增刪改查上。但是,這些傳統的分布式資料庫以數倉及分析類OLAP系統為主,其局限性在於,其底層的關系型資料庫存儲結構在效率上並不能滿足大量高並發的數據查詢以及大數據數據加工和分析的效率要求。因此,分布式資料庫在近幾年也有著極大的轉型,從單一的數據模型向多模的數據模型轉移,將OLTP、聯機高並發查詢以及支持大數據加工和分析結合起來,不再單獨以OLAP作為設計目標。同時,分布式資料庫在訪問模式上也出現了K/V、文檔、寬表、圖等分支,支持除了SQL查詢語言之外的其他訪問模式,大大豐富了傳統分布式資料庫單一的用途。一般來說,多模資料庫的主要目的是為了滿足具有高性能要求的操作型需求以及目標明確的數據倉庫功能,而不是類似大數據深度學習等數據挖掘場景。這就是分布式資料庫的實際情況。
我們在這篇文章中給大家介紹了大數據分析以及分布式資料庫的相關知識,通過這些內容相信大家已經理解了其中的具體區別了吧,如果這篇文章能夠幫助到大家這就是我們最大的心願。
5. 分布式資料庫的分布式資料庫相對傳統集中式資料庫的優點
大數據時代,面對日益增長的海量數據,傳統的集中式資料庫的弊端日益顯現,分布式資料庫相對傳統的集中式資料庫有如下優點。
● 更高的數據訪問速度:分布式資料庫為了保證數據的高可靠性,往往採用備份的策略實現容錯,所以,在讀取數據的時候,客戶端可以並發地從多個
備份伺服器同時讀取,從而提高了數據訪問速度。
● 更強的可擴展性:分布式資料庫可以通過增添存儲節點來實現存儲容量的線性擴展,而集中式資料庫的可擴展性十分有限。
● 更高的並發訪問量:分布式資料庫由於採用多台主機組成存儲集群,所以相對集中式資料庫,它可以提供更高的用戶並發訪問量。
6. 分布式資料庫的主要特點
·
大數據時代,面對海量數據量的井噴式增長和不斷增長的用戶需求,分布式資料庫必須具有如下特徵,才能應對不斷增長的海量數據。
● 高可擴展性:分布式資料庫必須具有高可擴展性,能夠動態地增添存儲節點以實現存儲容量的線性擴展。
● 高並發性:分布式資料庫必須及時響應大規模用戶的讀/寫請求,能對海量數據進行隨機讀/寫。
● 高可用性:分布式資料庫必須提供容錯機制,能夠實現對數據的冗餘備份,保證數據和服務的高度可靠性。
7. 大數據常用哪些資料庫(什麼是大資料庫)
通常資料庫分為關系型資料庫和非關系型資料庫,關系型資料庫的優勢到現在也是無可替代的,比如MySQL、SQLServer、Oracle、DB2、SyBase、Informix、PostgreSQL以及比較小型的Aess等等資料庫,這些數據納卜庫支持復雜的SQL操作和事務機制,適合小量數據讀寫場景;但是到了大數據時代,人們更多的數據和物聯網加入的數據已經超出了關系資料庫的承載范圍。
大數據時代初期,隨著數據請求並發量大不斷增大,一般都是採用的集群同虧搭步數據的方式處理,就是將資料庫分成了很多的小庫,每個資料庫的數據內容是不變的,都是保存了源資料庫的數據副本,通過同步或者非同步方式保證數據的一致性,每個庫設定特定的讀寫方式,比如主資料庫負責寫操作,從資料庫是負責讀操作,等等根據業務復雜程度以此類推,將業務在物理層面上進行了分離,但是這種方式依舊存在一定的負載壓力的問題,企業數據在不斷的擴增中,後面就採用分庫分表的方式解決,對讀寫負載進行分離,但是這種實現依舊存在不足,且需要不斷進行資料庫伺服器擴容。
NoSQL資料庫大致分為5種類型
1、列族資料庫:BigTable、HBase、Cassandra、AmazonSimpleDB、HadoopDB等,下面簡單介紹幾個
(1)Cassandra:Cassandra是一個列存儲資料庫,支持跨數據中心的數據復制。它的數據模型提供列索引,log-structured修改,支持反規范化,實體化視圖和嵌入超高速緩存。
(2)HBase:ApacheHbase源於Google的Bigtable,是一個開源、分布式、面向列存儲的模型。在Hadoop和HDFS之上提供了像Bigtable一銷茄拿樣的功能。
(3)AmazonSimpleDB:AmazonSimpleDB是一個非關系型數據存儲,它卸下資料庫管理的工作。開發者使用Web服務請求存儲和查詢數據項
(4)ApacheAumulo:ApacheAumulo的有序的、分布式鍵值數據存儲,基於Google的BigTable設計,建立在ApacheHadoop、Zookeeper和Thrift技術之上。
(5)Hypertable:Hypertable是一個開源、可擴展的資料庫,模仿Bigtable,支持分片。
(6)AzureTables:為要求大量非結構化數據存儲的應用提供NoSQL性能。表能夠自動擴展到TB級別,能通過REST和ManagedAPI訪問。
2、鍵值資料庫:Redis、SimpleDB、Scalaris、Memcached等,下面簡單介紹幾個
(1)Riak:Riak是一個開源,分布式鍵值資料庫,支持數據復制和容錯。(2)Redis:Redis是一個開源的鍵值存儲。支持主從式復制、事務,Pub/Sub、Lua腳本,還支持給Key添加時限。
(3)Dynamo:Dynamo是一個鍵值分布式數據存儲。它直接由亞馬遜Dynamo資料庫實現;在亞馬遜S3產品中使用。
(4)OracleNoSQLDatabase:來自Oracle的鍵值NoSQL資料庫。它支持事務ACID(原子性、一致性、持久性和獨立性)和JSON。
(5)OracleNoSQLDatabase:具備數據備份和分布式鍵值存儲系統。
(6)Voldemort:具備數據備份和分布式鍵值存儲系統。
(7)Aerospike:Aerospike資料庫是一個鍵值存儲,支持混合內存架構,通過強一致性和可調一致性保證數據的完整性。
3、文檔資料庫:MongoDB、CouchDB、Perservere、Terrastore、RavenDB等,下面簡單介紹幾個
(1)MongoDB:開源、面向文檔,也是當下最人氣的NoSQL資料庫。
(2)CounchDB:ApacheCounchDB是一個使用JSON的文檔資料庫,使用Javascript做MapRece查詢,以及一個使用HTTP的API。
(3)Couchbase:NoSQL文檔資料庫基於JSON模型。
(4)RavenDB:RavenDB是一個基於.NET語言的面向文檔資料庫。
(5)MarkLogic:MarkLogicNoSQL資料庫用來存儲基於XML和以文檔為中心的信息,支持靈活的模式。
4、圖資料庫:Neo4J、InfoGrid、OrientDB、GraphDB,下面簡單介紹幾個
(1)Neo4j:Neo4j是一個圖資料庫;支持ACID事務(原子性、獨立性、持久性和一致性)。
(2):一個圖資料庫用來維持和遍歷對象間的關系,支持分布式數據存儲。
(3):是結合使用了內存和磁碟,提供了高可擴展性,支持SPARQ、RDFS和Prolog推理。
5、內存數據網格:Hazelcast、OracleCoherence、TerracottaBigMemorry、GemFire、Infinispan、GridGain、GigaSpaces,下面簡單介紹幾個
(1)Hazelcast:HazelcastCE是一個開源數據分布平台,它允許開發者在資料庫集群之上共享和分割數據。
(2)OracleCoherence:Oracle的內存數據網格解決方案提供了常用數據的快速訪問能力,一致性支持事務處理能力和數據的動態劃分。
(3)TerracottaBigMemory:來自Terracotta的分布式內存管理解決方案。這項產品包括一個Ehcache界面、Terracotta管理控制台和BigMemory-Hadoop連接器。
(4)GemFire:VmwarevFabricGemFire是一個分布式數據管理平台,也是一個分布式的數據網格平台,支持內存數據管理、復制、劃分、數據識別路由和連續查詢。
(5)Infinispan:Infinispan是一個基於Java的開源鍵值NoSQL數據存儲,和分布式數據節點平台,支持事務,peer-to-peer及client/server架構。
(6)GridGain:分布式、面向對象、基於內存、SQLNoSQL鍵值資料庫。支持ACID事務。
(7)GigaSpaces:GigaSpaces內存數據網格能夠充當應用的記錄系統,並支持各種各樣的高速緩存場景。
8. 大數據的分布式資料庫的發展趨勢如何(分布式資料庫的優點)
現在大數據是一個十分火熱的技術,這也使得很多人都開始關注大數據的任何動態,因為大數據在某種程度上來說能夠影響我們的生活。在這篇文章中我們就給大家介紹一下大數據的分布式資料庫的發展趨勢,希望這篇文章能夠幫助大家更好理解大數據的分布式資料庫的發展趨勢。
其實不論是Hadoop還是分布式資料庫,技術體繫上兩者都已經向著計算存儲層分離的方式演進。對於Hadoop來說這一趨勢非常明顯,HDFS存儲與YARN調度計算的分離,使得計算與存儲均可以按需橫向擴展。而分布式資料庫近年來也在遵循類似的趨勢,很多資料庫已經將底層存儲與上層的SQL引擎進粗芹行剝離。傳統的XML資料庫、OO資料庫、與pre-RDBMS正在消亡;新興領域文檔類資料庫、圖資料庫、Table-Style資料庫與Multi-Model資料庫正在擴大自身影響;傳統關系型資料庫、列存儲資料庫、內存分析型資料庫正在考慮轉型。可以看到,從技術完整性與成熟度來看,Hadoop確實還處於相對早期的形態。直到今天,很多技術在很多企業應用中需要大量的手工調優才能夠勉強運行。同時,Hadoop的主要應用場景一直以來面向批處理分析型業務,傳統資料庫在線聯機處理部分不是其主要的發展方向。同時Hadoop技術由於開源生態體系過於龐大,同時參與改造的廠商太多,使得用戶很難完全熟悉整個體系,這一方面大大增加了開發的復雜度,提升了用戶使用的難度,另一方面則是各個廠商之間維護不同版本,使得產品的發展方向可能與開源版本差別逐漸加大。
而分布式資料庫領域經歷了幾十年的磨練,傳統RDBMS的MPP技術早已經爐火純青,在分類眾多的分布式資料庫中,其主要發展方向基本可以分為「分布式聯機資料庫」與「分布式分析型資料庫」兩種。對比Hadoop與分布式資料庫可以看出,Hadoop的產品發展方向定位,與分布式資料庫中列存儲數據戚棗庫相當重疊而在高並發聯機交易場景,在Hadoop中除了HBase能夠勉強沾邊以外,分布式資料庫則占據絕對的優勢。目前,從Hadoop行業的發展來看,很多廠商而是將其定位改變為數據科學與機器學習服務商。因此,從商業模式上看以Hadoop分銷的商業模式基本已經宣告結束,用戶已經體驗到維護整個Hadoop平台的困難而不願被強迫購買整個平台。大量用戶更願意把原來Hadoop的部件拆開靈活使用,為使用場景岩仔畢和結果買單,而非平台本身買單。另外一個細分市場——非結構化小文件存儲,一直以來都是對象存儲、塊存儲,與分布式文件系統的主戰場。如今,一些新一代資料庫也開始進入該領域,可以預見在未來的幾年中,小型非結構化文件存儲也可能成為具備多模數據處理能力的分布式資料庫的戰場之一。
我們在這篇文章中給大家介紹了很多有關大數據分布資料庫的發展前景,通過這篇文章我們不難發現資料庫的發展是一個極其重要的內容,只有搭建分布式資料庫,大數據才能夠更好地為我們服務。
9. 國內做分布式資料庫開發的現狀如何(分布式資料庫適用於大數據分析嗎)
基礎軟體創業其實我覺得是個好生意,尤其是資料庫,但是前提是確實在技術上有所創新,這么一來技術壁壘就巨高,這就是護城河。如果只是去模仿Oracle,是沒有太大前途的(當然靠關系那種就另說了,反正我本人不認為這樣是正確的價值觀),想想人家O記在這個領域做了30年,你走人家的老路憑什麼幹得動人家?目前來說我覺得之所以國內還沒有太大成功的公司涌現說到底還是因為技術不行或者路子不對或者客戶的歷史包袱太重,跡讓並拿個Hadoop改改就是大數據了嗎?真正的OLTP業務敢碰嗎?所以就造成了做項目掙快錢攢方案搞數據分析的公司扎堆,真正在OLTP端的創新沒人敢碰。另外一個重要的問題就是,國內幾乎沒人懂開源。最近幾年重要的基礎軟體創新都在開源社區,比如Docker/Kubenetes(Mesos)/Spark...憑一個公司的力量是很難跟上社區的發展速度的。國內的大多數開源項目不管是代碼質量,用心程度,設計的視野上都太弱了,連最基本的英文交流都很少有開源項目注意,更不用說生態了。不過,還是有希望的,至少學術界最近幾年的進展,讓我們看到了在分布式OLTP系統(NewSQL)上的一些希望,而且這塊在全球范圍內都是一個藍海。基於這個背景,我們創立了PingCAP,從零開始拋開一切歷史包袱去實現一個全新的資料庫TiDB,TiDB的目標就是瞄準世界頂級的通用分布式資料庫開源項目和未來的行業標准去的。雖然這個東西確實很難,但我也不覺得我們會比矽谷的頂級基礎軟體公司差:),不客氣的講,我們在這個領域也遠遠走到了各個友商的前面,另外一方面如果不難也沒有做它的價值,如果未來的數據滑拍庫還是需要像現在分庫分表中間件Oracle,我覺得就太姿跡無趣了。就說一個Cloud-Native,目前來說基本沒有OLTP的資料庫能搞定。
10. 大數據的分布式資料庫技術的對比(主流分布式資料庫)
分布式資料庫是一個邏輯資料庫,它的物理資料庫在地理位置上分布在多個資料庫管理系統的計算機網路中,這些資料庫系統構成了分布式的資料庫管理系統
在分布式資料庫管理系統中,每台計算機上的用戶在訪問資料庫時並不感到他使用的漏伍數據在物理上不存儲在自己的計算機中,而是由分布式資料庫系統由網路從其它機器中傳輸過來
因此,對每一用戶來說,看到的都是一個統一的概念模式
分布式資料庫系統的主要特點是:(1)具有較高的可靠性,當系統中一台機器發生故障時、不會導致整個系統的破壞
當故障排除後,分布式資料庫系統可將故障期間的資料庫加以恢復修改段搜兄
(2)分散了工作負荷,使大量的處理均勻分擔
(3)便於實現系統的擴充
分布式資料庫系統是計算機握襲通訊和資料庫技術相結合的產物,是非常有代表性的資料庫技術發展方向之一