『壹』 ipfs是什麼ipfs投資者靠什麼賺錢
IPFS是一種網路傳輸協議，用於創建持久的分布式存儲和文件共享。它是一個內容可定址的點對點超媒體分發協議。IPFS網路中的節點構成了一個分布式文件系統。這是一個開源項目，由協議實驗室在開源社區的幫助下從2014年開始開發。
Ipfs本質上是一種技術，通過參與Ipfs系統的操作機制來獲取文件。你儲存的空間越多，你獲得的就越多。ecoin與IPFS是共生的，使用的IPFS網路越多，對Filecoin的需求就越大。也就是說，ipFS收入取決於ipFS獎勵層fil的值。IPFS技術的發展到今天，作為區塊鏈中的一項新的創新技術，IPFS改變了我們生活中的數據網路，使我們的數據隱私更加安全，使互聯網進入了數據的快車道，促進了我國網路數據領域的發展。分布式存儲技術把互聯網帶入了數字時代。總之，IPFS的本質是數據存儲。IPFS剛出現的時候，大家都認為IPFS只是一種簡單的網路數據傳輸模式。到目前為止，IPFS與區塊鏈的結合已經顛覆了原來的認知。
『貳』 簡述數字媒體關鍵技術及其主要應用領域
數字媒體技術是一種開放式的平台，主要包含場景設計、角色形象設計、游戲程序設計、多媒體後期處理、人機交互技術，是主要針對游戲開發、網站美工和創意設計類工作設計的技術。
其主要應用領域是數字信息處理技術、計算機技術、數字通信和網路技術等的交叉學科和技術領域。
數字媒體技術通過現代計算和通信手段，綜合處理文字、聲音、圖形、圖像等信息，使抽象的信息變成可感知、可管理和可交互。
數字媒體技術主要研究與數字媒體信息的獲取、處理、存儲、傳播、管理、安全、輸出等相關的理論、方法、技術與系統。
由此可見，數字媒體技術是包括計算機技術、通信技術和信息處理技術等各類信息技術的綜合應用技術，其所涉及的關鍵技術及內容主要包括數字信息的獲取與輸出技術、數字信息存儲技術、數字信息處理技術、數字傳播技術、數字信息管理與安全等。
(2)國內數字存儲技術發展擴展閱讀
數字媒體技術專業培養德智體美全面發展的、面向當今信息化時代的、從事數字媒體開發與數字傳播的專業人才。
畢業生將兼具信息傳播理論、數字媒體技術和設計管理能力，可在黨政機關、新聞媒體、出版、商貿、教育、信息咨詢及IT相關等領域，從事數字媒體開發、音視頻數字化、網頁設計與網站維護、多媒體設計製作、信息服務及數字媒體管理等工作。
要求學生通過四年的系統學習能夠做到：
（1）掌握扎實的計算機基礎理論和基本技能；
（2）接受數字媒體軟體開發的良好訓練；
（3）具有獨立工作和從事數字媒體設計和應用開發的能力。
『叄』 數字經濟時代，高性能數據分析存儲迎來新機遇
數字經濟時代，數據已成為新的核心生產要素，其重要戰略資源地位和核心科學決策作用已日漸凸顯。數據潛能的激發，有賴於數據的採集、存儲、計算、管理和應用，其中，作為數據採集後進行處理的第一道關口，數據存儲無疑是數字經濟最重要的「底盤」。
海量數據爆發，數據存儲成關鍵
當前，數據呈現指數級增長，數據規模已經從之前的GB、TB、PB，上升到EB級、甚至ZB級。據Hyperion預測，到2025年，全球數據空間將增長到163ZB，這是2011年HPC產生數據16.1ZB的10倍。爆炸式增長的數據，哺育了數字技術發展和應用，但是同時也對計算和存儲提出了更高的要求。
在高性能計算（HPDA）中，計算、存儲、網路三大部件缺一不可。以前，產業創新的焦點都在追求更高的算力。而隨著大數據、多樣性算力等相關技術的快速發展，高性能計算的重心開始從以計算為核心，向以數據為中心的計算演進；傳統HPC開始向高性能數據分析（HPDA）方向演進。據IDC統計，全球67%的高性能計算中心（HPC）已經在使用AI、大數據相關技術，HPC與AI、大數據加速融合，走向以數據密集型為典型特徵的高性能數據分析HPDA時代。
HPDA時代下，各行業數據量迎來了井噴式增長。地震勘探從二維向三維的演進中，數據量增加了10-20倍；電影渲染從2K升級到8K的革命中，數據量增長16倍；衛星測繪領域，探測精準度由20米縮小到2米，數據量同比增長近70倍。
數據規模激增之外，業務模型復雜以及分析效率較低等挑戰，也都在呼喚著更高效率的存儲。
存儲作為數據的承載者，逐步成為推動HPC產業發展的新動能。然而，傳統的HPC存儲在混合負載性能、成本、跨協議訪問等多方面存在壁壘，無法匹配HPDA場景的需求。如何打破存儲性能、成本、效率的限制，充分釋放數據潛能，成為制約HPC產業升級換代的掣肘。
高性能數據分析存儲，加速HPC產業發展
當前，作為數據應用和數據分析的支撐平台，以及 科技 強國的關鍵基礎設施，數據存儲已成為國之重器，在金融核心交易、新型油氣勘探、基因測序、自動駕駛、氣象預測、宇宙 探索 等領域發揮重要作用。數據的存儲與處理能力已經成為提升政府管理水平、提高企業經營效率、增強企業發展韌性的關鍵，數據存儲正成為加速數字化轉型的堅實底座。
新的產業變化以及數據存儲的重要地位，對高端存儲提出了新的挑戰，同時也在加速存儲技術的革新——從HPC部分場景向HPC/HPDA全場景擴展，存儲開始承擔起加速產業向「數據密集型」轉型的重任。根據國際權威分析師機構Hyperion Research 2020年針對HPC市場空間的數據顯示，數據存儲的增速第一，遠高於整體市場平均增速。
高性能數據分析（HPDA）存儲，能夠匹配各HPDA場景的高端存儲，可以讓基因測序、氣象海洋、超算中心、能源勘探、科研與工業創新、智能醫療、深度學習、人臉識別等數據密集型HPDA應用場景，在效率、品質、性價比等方面實現飛躍式提升。
值得注意的是，華為OceanStor Pacific系列下一代高性能數據分析（HPDA）存儲，可以高效應對超高密設計、混合負載設計以及多協議互通上的關鍵挑戰，推動HPC產業向數據密集型升級。目前已經成功應用於自動駕駛、基因測序、氣象預測、衛星遙感等眾多國內外高性能計算場景企業及機構。
存儲作為高性能數據分析的重要引擎，正全面釋放HPC的應用價值，驅動著HPC產業不斷進步，跨越「計算密集型」到「數據密集型」的鴻溝，持續推動人類 社會 繁榮 健康 發展。
『肆』 大數據時代的安防數據存儲安全
大數據時代的安防數據存儲安全
近幾年隨著平安城市、智能交通、智能樓宇等行業的快速發展，大集成、大聯網推動安防行業進入了大數據時代。安防行業大數據的存在已經被越來越多的人熟知，特別是安防行業海量的非結構化視頻數據，以及飛速增長的特徵數據(卡口過車數據、人像抓拍數據、異常行為數據等)，帶動了大數據的數據安全一系列問題，吸引著行業的關注。
大數據引發監控數據安全性問題突出
大數據的本質是系統通過處理採集到的所有數據，去提取其特徵和共性的信息。通過大數據的處理使得所有的數據都有價值。通過大數據的處理，把傳統認為沒有價值的信息也能夠產生非常有價值的信息，這就叫做數據挖掘。同樣的數據擺在我們面前不同的挖掘方法，不同的挖掘目標可以為各種各樣的業務的應用產生有價值的信息。對於安防行業，監控技術如今正面臨日新月異的變革，模擬視頻監控正在向IP網路監控轉變，巨大轉變的同時對安全性也提出了更高的要求。我們探討數據安全，包括產品本身的物理安全和產生數據的安全。所以，大數據時代引發監控數據安全性問題有以下幾點：
1、基礎設備的風險：包括監控中心的存儲設備、伺服器和前端節點設備的安全性、網路設備的安全性、傳輸線纜的安全性等。設備的安全可靠是整個大數據安防系統安全運行的基礎。
2、信息存取的風險：包括用戶非法訪問、數據丟失、數據被篡改等。系統信息的安全，主要運用各種加密技術、存儲技術、及備份方案來達到系統信息的安全。
3、信息在網路上傳輸的風險：包括視頻信息、錄像數據信息、用戶信息等在傳輸過程中保密性、完整性的保障以及傳輸鏈路上的節點設備的安全。另外還包括前端採集設備、社會監控資源接入公安監控專網的安全。
4、系統運行的風險：包括接入設備的識別和認證、設備運行故障、軟體病毒、惡意代碼、以及設備控制的優先順序調度等。系統運行時的風險控制主要依靠視頻監控軟體平台來保障，該軟體平台可以完成設備管理、故障監控、訪問控制、用戶管理、鑒權機制等一系列的功能來保障整個系統的安全運行。
基於以上4點，從存儲設備的角度我們主要談及前面兩點。
大數據也催生監控存儲方式變革
在一個時代下，必然會發生諸多變革。
視頻監控的存儲技術和介質從VCR模擬存儲、DVR數字存儲，逐漸向NVR、NAS、SAN等網路存儲發展。而在存儲方式上，主要有集中式存儲和分布式存儲兩種。大數據意味著海量的數據，也意味著更復雜、更敏感的數據，這些數據會吸引更多的潛在攻擊者。為此，我們關注點是，大數據下的信息安全問題將衍生新的機遇，提升安防的價值。
隨著安防形勢的復雜多變和大數據時代的來臨，對視頻錄像文件分析的需求越來越多。視頻監控系統中也越來越多的使用了高級的數據存儲設備和系統，例如專業的磁碟陣列系統等等。同理，安防行業使用這些專業存儲設備時，需要充分了解這些軟硬體的特性，而不要僅僅把它們當作超級外接大硬碟來使用。在系統設計和實施過程中可以充分利用這些設備中自帶的一些數據保護軟體來保護自己的數據。常用和流行的數據安全保護技術主要有以下七種：
磁碟陣列：磁碟陣列是指把多個類型、容量、介面甚至品牌一致的專用磁碟或普通硬碟連成一個陣列，使其以更快的速度、准確、安全的方式讀寫磁碟數據，從而加快數據讀取速度、提高數據保存的安全性。
SAN：SAN允許伺服器在共享存儲裝置的同時仍能高速傳送數據。這一方案具有帶寬高、可用性高、容錯能力強的優點，而且它可以輕松升級，容易管理，有助於改善整個系統的總體成本狀況。我們推薦FCSAN方案，它能為大數據時代的視頻監控，相較於IPSAN方案，大幅減少存儲設備台數，從而大幅降低成本，在數據安全方面由於自身設備超高的穩定性和性能來得以保障。
數據備份：備份管理包括數據備份的計劃，自動操作，備份日誌的保存。
雙機容錯：雙機容錯的目的在於保證系統數據和服務的在線性，即當某一系統發生故障時，仍然能夠正常的向網路系統提供數據和服務，使得系統不至於停頓，雙機容錯的目的在於保證數據不丟失和系統不停機。
NAS解決方案通常配置為作為文件服務的設備，由工作站或伺服器通過網路協議和應用程序來進行文件訪問，大多數NAS鏈接在工作站客戶機和NAS文件共享設備之間進行。這些鏈接依賴於企業的網路基礎設施來正常運行;NAS提供視頻監控系統後期視頻文件批量處理分析的基本可能。
數據遷移：由在線存儲設備和離線存儲設備共同構成一個協調工作的存儲系統，該系統在在線存儲和離線存儲設備間動態的管理數據，使得訪問頻率高的數據存放於性能較高的在線存儲設備中，而訪問頻率低的數據存放於較為廉價的離線存儲設備中;視頻錄像的歸檔可以充分利用高級存儲設備的數據遷移手段;分層存儲有效降低存儲系統的整體成本。
異地容災：以異地實時備份為基礎的、高效的、可靠的遠程數據存儲，在各單位的IT系統中，必然有核心部分，通常稱之為生產中心。往往給生產中心配備一個備份中心，改備份中心是遠程的，並且在生產中心的內部已經實施了各種各樣的數據保護。不管怎麼保護，當火災、地震這種災難發生時，一旦生產中心癱瘓了，備份中心會接管生產，繼續提供服務;視頻監控的多中心配置越來越多，各個中心的系統和數據容災應該借鑒IT的容災技術考慮。
結束語
大數據是繼雲計算、物聯網之後信息產業當前科技創新、產業政策及國家安全領域的又一次知識新增長點。在大數據的背景下信息安全面臨著很多的挑戰，特別是現階段視頻監控已有的信息安全手段已經不能滿足大數據時代的信息安全的實際要求，因此研究大數據時代視頻監控所面臨的信息安全問題具有重要意義。
以上是小編為大家分享的關於大數據時代的安防數據存儲安全的相關內容，更多信息可以關注環球青藤分享更多干貨
『伍』 「東數西算」全面啟動：數據大遷徙背後，看見存儲產業的未來輪廓
近日，國家發展改革委等部門聯合印發文件，同意在京津冀、長三角、粵港澳大灣區、成渝、內蒙古、貴州、甘肅、寧夏啟動建設國家算力樞紐節點，並規劃了10個國家數據中心集群。至此，全國一體化大數據中心體系完成總體布局設計，「東數西算」已成為國家級戰略工程，浩浩盪盪地站上了 歷史 舞台。
「東數西算」被認為是繼「南水北調」「西電東送」「西氣東輸」之後的又一重大基礎設施工程，將成為「新基建」的新抓手。具體而言，「東數西算」就是將東部產生的數據和需求，放到西部數據中心去計算和處理。這有利於為數據中心提供源源不斷的可再生能源，大幅降低其運行維護成本，同時能夠推動中國數字經濟和西部地區發展。
乘著「東數西算」的政策東風，存儲、計算產業也將迎來巨大的發展機遇。其中，基於分布式存儲架構的SDS（軟體定義存儲）作為先鋒力量、「熱門選手」，天生具有可擴展性以及靈活性，必然會為新基建時代帶來革命性的數據儲存手段。
然而，機遇往往與挑戰並存，一個不能忽略的問題是，隨著東數西算工程縱深推進，存儲需求激增，同時5G、AI、雲等技術加速更迭的背景下，與之相伴而生的SDS由於還在沿用十年前的技術，也必然需要同頻進化。
01
被行業擁簇的SDS（軟體定義存儲）
2013年，「軟體定義一切」被首次提出時，還是個令人懷疑的技術暢想。尤其是當它與存儲綁定在一起，在一些傳統儲存廠商眼裡是不著邊際的。但事實證明，SDS(軟體定義存儲)的誕生，不僅優化了傳統存儲的弊端，並在日後的十年裡逐漸繁榮。
根據IDC公布的2021年三季度中國軟體定義存儲(SDS)市場報告顯示，前三季度中國SDS市場獲得高速增長,市場規模同比增長54%，成為中國存儲市場的增長引擎。早就發布過軟體定義是趨勢的Gartner預測，到2024年，全球50%的存儲容量將以軟體定義存儲的形式部署，包括本地部署或在公有雲上。
SDS在市場上的狂飆突進，一方面是基於創新技術。近幾年，由於數據爆炸式增長，存儲系統的軟硬體緊耦合設計嚴重地限制了存儲技術的發展，而軟體定義存儲則可以實現軟硬解耦，讓硬體成本盡可能的降低，使得軟體發揮更大價值。通過軟體的設計，來決定存儲的性能和邊界，不用再受硬體設備、伺服器的限制。其方向在於幫助用戶在傳統數據中心或雲內實現存儲資源的池化和服務化，以及在多雲之間實現數據的統一管理和自由流動。
另一方面，是源於 歷史 的進程，被時代選擇。隨著雲計算、大數據和人工智的發展，非結構數據爆發式增長——文本、圖像、影視、超媒體等，面對這些數據，傳統存儲方式難以招架，而SDS存儲正是包含針對文件的存儲、對象的存儲，自然就成了相關行業的首選。此外，企業雲化在近幾年成為了主流。在上雲浪潮下，不同種類業務在池化的資源池中拿到相匹配的資源。這種業務場景天然適合軟體定義存儲的分布式架構、軟體定義、水平擴展、基於統一存儲引擎向上提供多種介面等特性。
02
SDS已站在新十年的轉彎處
帶著這樣的優勢，伴隨著行業的擁簇，SDS轉眼已來到新十年的轉彎處。周遭環境飛速變化，數字浪潮奔騰洶涌，一些廠商、企業赫然發現，這個階段的SDS竟然依然處於1.0時代，還在沿用十年前的開源技術，基於舊的硬體架構設計，似乎已無法更好的應對未來的新興需求。
例如，與10多年前相比，現在的存儲硬體、網路以及相關的技術方案已經發生了很多的變化，如果在軟體層面不做出新的變革，數據存儲系統就無法發揮出最大的價值。
還有介質方面，存儲已經實現了大規模的從機械硬碟向SSD固態硬碟的過渡，由此帶來了超高的IOPS、超低的時延；網路的提升更是驚人，100G已經司空見慣，400G也已經漸行漸近。
當然，也面臨著「雲」的追趕。我們都知道，目前，企業雲化已經成為必答題，雲的發展日新月異，從私有雲到多公有雲、邊緣雲、分布式雲，企業選擇上雲的部署方式越來越多元，數據可能存放在任意的地理位置，存儲平台需要構建全局統一的存儲資源池，讓數據在多數據中心、混合多雲和邊緣中按需流動，這都是目前SDS1.0需要突破的挑戰。
03
觸摸存儲未來的輪廓，ExponTech搶先邁向SDS2.0
作為數據基礎設施整體解決方案提供商—ExponTech華瑞指數雲率先提出SDS2.0概念。在ExponTech看來，SDS從1.0需要邁向2.0時代，進化為2.0後，會為行業帶來眼前一新的改變。
比如，SDS 2.0將支持可組合式架構，整合私有雲、多個公有雲，邊緣雲中的存儲資源，提供不同IO模型，不同性能和可靠性要求以及許多種協議介面(iSCSI、S3、POSIX、NFS、CIFS、CSI、HDFS等)的自由組合及靈活部署使用。
還有，SDS2.0將與雲原生高度協同。無論在計算、網路、數據亦或業務的層面，都可以按照雲原生的架構模式、部署模式和運營模式，實現與時俱進的進化。SDS 2.0需要按照雲原生的方式，支持和適配企業雲原生應用的發展。
最後，具備向上服務能力。SDS2.0在做好基礎存儲的服務、流動的同時，還會向上管理資料庫，分發數據，幫助企業解決數據孤島問題。
不僅如此，ExponTech認為，SDS2.0未來近乎要實現一個飛躍式的革新，是需要在引擎和架構方面做出全新的設計。
由此，ExponTech前瞻性地發布自主研發的新一代分布式數據存儲引擎WiDE。和其他存儲相比， WiDE既可以提供多池架構下的IO調度和數據流動，企業可以存儲海量非結構數據，也能存儲要求高性能高可靠的結構化數據，還可以做高性能的數據分析，真正實現數據原生於一個數據平台上，只保留一份數據卻可以被各類應用以各種介面訪問，避免各種數據孤島和數據復制拷貝帶來的問題。
此外，WiDE還全面覆蓋數據新基建創新型應用場景。在覆蓋現有分布式存儲產品SDS1.0的主流業務場景之外， WiDE能在高性能數據分析HPDA、高性能雲主機、高性能資料庫底座、混合多雲數據平台等業務場景發揮作用，彌補之前高端應用場景下吞吐和時延的缺陷。
引擎WiDE的問世，將會在SDS2.0時代更好地幫助企業應對數字化時代面臨的業務快速迭代升級的需求，推動企業智能化。未來，ExponTech也將會打造更多前沿存儲產品，助力國內數據存儲和國產系統軟體的發展。
伴隨著對SDS2.0的展望和引擎WiDE的無限可能性，未來之窗的紗簾正在緩緩拉開，我們對於數字世界廣闊前景的想像，變得更為具體可感了。
END
『陸』 存儲技術發展歷史
最早的外置存儲器可以追溯到19世紀末。為了解決人口普查的需要，霍列瑞斯首先把穿孔紙帶改造成穿孔卡片。
他把每個人所有的調查項目依次排列於一張卡片，然後根據調查結果在相應項目的位置上打孔。在以後的計算機系統里，用穿孔卡片輸入數據的方法一直沿用到20世紀70年代，數據處理也發展成為電腦的主要功能之一。
2、磁帶
UNIVAC-I第一次採用磁帶機作外存儲器，首先用奇偶校驗方法和雙重運算線路來提高系統的可靠性，並最先進行了自動編程的試驗。此時這個磁帶長達1200英寸、包含8個磁軌，每英寸可存儲128bits，每秒可記錄12800個字元，容量也達到史無前例的184KB。從 此之後，磁帶經歷了迅速發展，後來廣泛應用了錄音、影像領域。
3、軟盤（見過這玩意的一定是80後）
1967年 IBM公司推出世界上第一張「軟盤」，直徑32英寸。隨著技術的發展，軟盤的尺寸一直在減小，容量也在不斷提升，大小從8英寸，減到到5.25英寸軟盤，以及到後來的3.5英寸軟盤，容量卻從最早的81KB到後來的1.44MB。在80-90年代3.5英寸軟盤達到了巔峰。直到CD-ROM、USB存儲設備出現後，軟盤銷量才逐漸下滑。
4、CD
CD也就是我們常說的光碟、光碟，誕生於1982年，最早用於數字音頻存儲。1985年，飛利浦和索尼將其引入PC，當時稱之為CD-ROM（只 讀），後來又發展成CD-R（可讀）。因為聲頻CD的巨大成功，今天這種媒體的用途已經擴大到進行數據儲存，目的是數據存檔和傳遞。
5、磁碟
第一台磁碟驅動器是由IBM於1956年生產，可存儲5MB數據，總共使用了50個24英寸碟片。到1973年，IBM推出第一個現代「溫徹斯特」磁碟驅動器3340，使用了密封組件、潤滑主軸和小質量磁頭。此後磁碟的容量一度提升MB到GB再到TB。
6、DVD
數字多功能光碟，簡稱DVD，是一種光碟存儲器。起源於上世紀60年代，荷蘭飛利浦公司的研究人員開始使用激光光束進行記錄和重放信息的研究。1972年，他們的研究獲得了成功，1978年投放市場。最初的產品就是大家所熟知的激光視盤（LD，Laser Vision Disc）系統。它們的直徑多是120毫米左右。容量目前最大可到17.08GB。
7、快閃記憶體
淺談存儲器的進化歷程
快閃記憶體（Flash Memory）是一種長壽命的非易失性（在斷電情況下仍能保持所存儲的數據信+息）的存儲器。包含U盤、SD卡、CF卡、記憶棒等等種類。在1984年，東芝公司的發明人舛岡富士雄首先提出了快速快閃記憶體存儲器（此處簡稱快閃記憶體）的概念。與傳統電腦內存不同，快閃記憶體的特點是非易失性（也就是所存儲的數據在主機掉電後不會丟失），其記錄速度也非常快。Intel是世界上第一個生產快閃記憶體並將其投放市場的公司。到目前為止快閃記憶體形態多樣，存儲容量也不斷擴展到256GB甚至更高。
隨著存儲器的更新換代，存儲容量越來越大，讀寫速度也越來越快，企業級硬碟單盤容量已經達到10TB以上，目前使用的SSD固態硬碟，讀速度達：3000+MB/s，寫速度達：1700MB/s，用起來美滋滋啊。
『柒』 信息存儲技術的發展過程
人類記錄信息、存儲信息方法經歷了以下幾大技術：
1,結繩記事;
2,文字紙張;
3,磁記錄方式（磁鼓，磁帶，磁碟等） 當前比較成熟，
4,半導體電記錄（電路,電量或電容）：ROM,RAM等；隨著半導體技術的提升而不斷提升、改進
5,光記錄（光碟，光運算器件） 光計算和光存儲也許會在不久的將來大力發展
『捌』 信息存儲技術的背景 應用 發展以及趨勢
信息存儲技術作為信息技術的核心之一,一直伴隨著、同時推動著IT業各方面技術的協同發展,是當今IT領域中少數發展最為迅速的熱點之一。紙的發明記載了人類的歷史和文明,現代信息存儲技術則大大超越了紙張記錄的含義。21世紀是數字化和多媒體化的信息時代,現代信息社會和經濟的發展,所產生的信息量每年以指數方式上升,出現了信息爆炸的態勢。據UC Berkley 2001年公布的數據顯示,未來3年內所產生的數據將超過過去4萬年中產生數據的總和,而且93%的新生成的信息為數字形式。當上世紀50年代計算機技術初現時,存儲容量還只是以千位位元組計…http://www.cnki.com.cn/Article/CJFD2006-CXJL200605012.htm
『玖』 華為突破分布式資料庫和存儲技術，打通數字化轉型「雄關漫道」
2019年，我們將進入數字化轉型的攻關期。所謂「攻關期」即數字化轉型2.0階段，需要攻堅企業關鍵業務上雲和數字化轉型改造的課題。在一份市場調查公司IDC的報告中指出：IDC自2014年提出數字化轉型以來，看到企業在數字化轉型層面已經投入了大量人力物力，但是效果並不理想，有一些企業已經成功屹立在潮頭，有一些企業在向上游進發，還有一些企業只能在浪潮的挾裹中被動前行。
對於企業來說，數字化轉型是「雄關漫道」。IDC認為，目前階段來看，企業亟待解決的是數字化能力提升，包括：與業務的深入結合能力；數據處理和挖掘能力；以及IT技術運營和管理能力。特別是數據處理和挖掘能力，因為數字化轉型推進企業從以流程為核心向以數據為核心轉型，對海量、異構、多類型的數據處理和挖掘能力是釋放數據價值的前提，對數據全生命周期的管控治理是釋放數據價值的保障。而隨著數字化轉型引入大量新技術而導致IT復雜度變高，企業IT技術運營和管理能力是提升企業「IT生產力」的關鍵。
攻關數字化轉型的「雄關漫道」，需要一個具備融合、智能、可傳承三大特性的數字平台。這是2019年3月華為與IDC聯合推出的《擁抱變化，智勝未來—數字平台破局企業數字化轉型》白皮書所提出的觀點。融合主要指把傳統技術和創新技術相結合；智能主要指平台智能化和智能化能力輸出；可傳承主要指解耦、功能復用、可配置等理念打造的架構。而承載這三大觀點的，就是新一代分布式企業級技術。
2019年5月15日，華為發布了業界首款支持ARM架構的新一代智能分布式資料庫GaussDB以及分布式存儲FusionStorage 8.0，作為新一代數據基礎設施，詮釋了具備融合、智能、可傳承三大特性的數字平台。華為常務董事、ICT戰略與Marketing總裁汪濤在發布會上表示，千行百業正在加速智能化進程，越來越多的企業已經意識到數據基礎設施是智能化成功的關鍵。華為圍繞計算、存儲和數據處理三個領域重定義數據基礎設施，加速邁向智能時代。
今天所討論雲和工業互聯網等概念的背後是一個新時代的到來，這就是體系架構大遷徙。傳統企業級技術是在單體應用和單機環境中，保證數據存儲、調用等操作的高可靠、高可用、高穩定，特別是滿足金融級事物處理的ACID（原子性、一致性、隔離性和耐久性）要求，為企業關鍵業務提供數據管理支撐。隨著企業技術向雲架構遷移，資料庫技術也面臨轉型。
2018年，基於雲計算技術的分布式資料庫成為了業界的熱點。簡單理解，雲計算技術就是把「單機」環境替換為由X86伺服器機群所組成的分布式計算環境。原先由幾台小型機完成的計算任務，要分散到上百甚至上千台X86伺服器上，而且還可能跨數據中心操作，挑戰可想而之。特別是在線支付等金融級業務，不能在斷網或網路連接有問題時出錯，也不能因響應速度慢而影響用戶體驗。
2018年8月，中國支付清算協會與中國信息通信研究院聯合舉辦了「金融分布式事務資料庫研討會」，與業界廠商和用戶共商核心資料庫分布式轉型之路，同時發布了《金融分布式事務資料庫》白皮書。金融分布式事務資料庫的工作推進，為分布式資料庫進入企業關鍵業務系統，提供了產業化支撐。而華為作為企業ICT解決方案供應商，早在2012年就開始研發面向大數據分析的數據倉庫，在基於傳統關系型資料庫SQL引擎和事務強一致性等基礎上，進行了分布式、並行計算的改造，歷時6年打造了面向PB級海量數據分析的分布式資料庫。
在OLAP數據倉庫之外，華為與行業用戶合作了面向OLTP的分布式事務型資料庫研發。2017年，華為與招商銀行合作成立了分布式資料庫聯合創新實驗室，研發具有高性能企業級內核、完整支持分布式事物、滿足金融行業對數據強一致要求、單機事物處理能力要達到每分鍾百萬級別等的OLTP分布式資料庫。
本次發布的GaussDB資料庫新品包括：聯機事務處理OLTP資料庫、聯機分析處理OLAP資料庫、事務和分析混合處理HTAP資料庫。而華為GaussDB資料庫將AI技術融入資料庫設計、開發、驗證、調優、運維等環節，可實現基於AI的自調優、自診斷自愈、自運維，讓資料庫更高效、更智能，引領資料庫架構的發展。
更進一步，本次發布的GaussDB系列資料庫是業界首款支持ARM晶元的分布式資料庫。華為推動計算架構從以X86+GPU為主的單一計算架構到以X86+GPU+ARM64+NPU為主的異構計算架構快速發展。基於X86架構，華為引入AI管理和智能加速能力，率先推出了智能伺服器FusionServer Pro；基於ARM64打造了業界性能最強的TaiShan伺服器；基於Ascend晶元的Atlas智能計算，實現了業界首個端邊雲協同的人工智慧平台。而GaussDB可充分利用並融合ARM、X86、GPU、NPU等多種異構算力組合，大幅提升資料庫性能。
汪濤強調，作為全球首款AI-Native資料庫，GaussDB有兩大革命性突破：第一，首次將人工智慧技術引入資料庫的全生命周期流程，實現自運維、自管理、自調優和故障自診斷。在交易、分析和混合負載場景下，基於最優化理論，首創深度強化學習自調優演算法，把業界平均性能提升60%。第二，支持異構計算，充分發揮X86/ARM/GPU/NPU多樣性算力優勢，最大化資料庫性能，在權威標准測試集TPC-DS上，華為GaussDB排名第一。GaussDB還支持本地部署、私有雲、公有雲等多種場景。
在以雲計算為代表的分布式計算環境中，數據管理解決方案除了需要分布式資料庫外，為了更好的擴縮容以及滿足多樣化數據存儲需求，計算與存儲分離已經成為分布式資料庫設計的主要架構。分布式雲化架構，就是要支持計算、存儲分離和多租戶等架構設計要求。
GaussDB已經從資料庫層面實現了高可用、高可靠、高穩定的分布式資料庫，本次發布的FusionStorage 8.0則是分布式存儲架構，創新地實現一套系統同時支持塊、文件、對象、HDFS協議，1套存儲支持4類存儲能力，適用於全業務場景混合負載，最終讓「一個數據中心一套存儲」成為可能。
IDC發布的《中國軟體定義存儲（SDS）及超融合存儲（HCI）系統市場季度跟蹤報告，2018年第四季度》顯示，2018年，軟體定義存儲市場達到了54.9%的同比增長。軟體定義存儲在中國整體存儲市場的佔有率穩步上升，分別達到了22.1%的市場佔有率。華為憑借文件解決方案在政府、廣電和電信等行業得到認可，在2018年中國軟體定義存儲市場排名第一。
FusionStorage 8.0採用華為ARM-based處理器鯤鵬920加速，使IOPS提升 20%，結合華為AI Fabric無損網路，時延進一步降低15%。基於華為在計算、網路和存儲領域多年的晶元和演算法積累，FusionStorage 8.0在SPC-1的性能測試中，單節點性能達到了16.8萬IOPS以及1ms以內時延，成為承載企業關鍵應用的新選擇。
此外，通過華為雲的雲上訓練及本地AI晶元，FusionStorage 8.0將智能管理貫穿業務使用的全生命周期，如業務上線前對存儲資源的規劃，使用過程中的風險預判及故障定位，大幅提升存儲效率，幫助行業客戶應對智能時代的數據新挑戰。
汪濤在發布會上強調，新一代智能分布式存儲FusionStorage 8.0通過重定義存儲架構，從「Storage for AI」和「AI in Storage」兩個維度實現效率大幅提升，引領存儲智能化。首先，「Storage for AI」通過融合共享，讓AI分析更高效。其次，「AI in Storage」率先將AI融入存儲全生命周期管理，從資源規劃、業務發放、系統調優、風險預測、故障定位等方面實現智能運維。
遼寧移動就採用了華為FusionStorage。作為遼寧省內最大的移動通信運營商，遼寧移動一直在 探索 先進的存儲方案在自身IT系統的應用。由於5G的快速發展，遼寧移動關鍵資料庫的應用也向雲化方向發展，分布式存儲也要滿足其可靠性和高性能要求。華為在深入分析遼寧移動需求後，首先在邊緣開發測試業務小規模試點分布式存儲，進行了大量的實驗和測試後性能和可靠性都達到了預期，最終決定將全部業務遷移至FusionStorage。該方案通過採用雙活、可寫快照、端到端DIF等特性，順利完成Billing、經營分析、B2B等系統從老舊存儲至FusionStorage的搬遷工作，助力遼寧移動的存儲架構邁入新的 歷史 階段。
值得一提的是，華為分布式資料庫與華為分布式存儲深度結合，把資料庫的操作下沉到存儲節點，極大提升了分布式資料庫的性能。利用新的網路技術和人工智慧技術，華為幫助用戶提升數據中心的吞吐量，提升網路應用的可伸縮性，並且能自動調優。
除了推出新一代突破性的分布式資料庫和存儲技術外，華為也積極與客戶、夥伴在資料庫與存儲領域，從行業應用、平台工具、標准組織和社區等多個層面共建開放、合作、共贏的產業生態。在行業應用層面，華為與軟通智慧、神州信息、東華軟體、易華錄、用友政務、亞信國際等獨立軟體開發商長期合作；在平台和工具層面，華為與Tableau、帆軟、ARM、Veritas等合作夥伴聯合創新；在標准組織和社區層面，華為深度參與OpenSDS、中國人工智慧產業聯盟、OCP、OpenStack、CNCF基金會等組織和社區的建設。
總結來說，華為全線分布式資料庫和分布式存儲產品的發布，是華為具備融合、智能、可傳承三大特性數字平台的最新成果。華為分布式資料庫與分布式存儲結合，能消除企業各業務系統數據孤島，構建面向行業場景的數據建模、分析和價值挖掘能力，對多源異構的數據進行匯聚、整合和分析，形成統一的全量數據和數據底座，實現數據價值挖掘和共享。而基於AI的智能化，可對基礎設施進行高效的管理，為行業應用開發和迭代賦能，全面幫助企業突破關鍵應用上雲的「雄關漫道」。（文/寧川）