❶ 攀登比珠穆朗瑪更高的山峰，數據存儲技術的突破之路
文： 科技 商業 於洪濤
在物理世界，山峰是自然力量的象徵；而在數字世界裡，數據則是智慧力量的來源。
或許正是因為如此，華為將其聚焦在數據基礎技術的科研大獎命名為Olympus Mons，即奧林帕斯大獎，專門用於重獎那些在數據存儲領域實現技術突破的科研工作者。
設立獎項只是一種形式。在奧林帕斯大獎的背後，是華為通過匯聚產學研各方能力，來推動數據技術實現突破性發展的雄心，從而為數字經濟發展提供更好的數據基礎設施。
隨著數字化時代的到來，數據的價值越來越突出，正在日益成為國家、企業、甚至個人的核心資產。
與傳統經濟相比，數字經濟的本質就是數據的流通，數據也成為智能 社會 的主要生產要素。IDC的調研顯示，2020年全球共創造了59ZB的數據，到2025年則將達到163ZB。
如此巨量的數據資產，需要經過數據採集、數據存儲、數據分析等流程才能產生價值，其中數據存儲無疑是基礎。在數據中心裡，存儲也與計算和網路一道，成為關鍵基礎設施，為整個數字化進程提供支持。
在數據量高速成長的同時，數據的形態也日益多樣化，視頻、圖片、音頻等非結構化數據已經成為數據的主體。這些復雜的數據要想充分發揮價值，就需要更加高效的數據存儲和數據管理。
有統計顯示，如今只有2%的數據被保存，保存下來的數據也只有10%得到分析利用。華為數據存儲與機器視覺產品線總裁周躍峰介紹說，數據在企業數字化轉型中扮演著越來越重要的角色，然而企業卻面臨海量數據存不下、流不動、管不好的問題。
為了滿足客戶日益增長的數據存儲需求， 華為主張構建端到端的數據能力，包括計算、存儲、利用和AI等能力，讓數據在全生命周期內實現每比特價值最大，每比特成本最優。
華為的努力，已經收到了成效，如今越來越多的政企使用華為的數據存儲解決方案，來實現對數據資產的管理。
甘肅敦煌研究院，正在利用華為的海量存儲解決方案，通過 計算機技術和數字圖像技術，實現敦煌石窟文物的永久保存、永續利用。
然而，整個敦煌莫高窟擁有735個洞窟、4.5萬平方米壁畫、2415尊泥質彩塑，要把這么多文物數字化，達成構建數字敦煌博物館的目標，意味著需要大量的投資和海量的存儲設備。 顯然，要想解決這一問題，僅靠華為自身的努力還不夠，而需要各個方面的共同參與，通過打造產業技術生態，來實現存儲技術的新突破。這也正是華為設立「奧林帕斯獎」的初衷。
據了解，華為「奧林帕斯獎」，每年都聚焦於數據領域的兩個主要技術難題來尋求解決方案。在去年底的全球數據存儲教授論壇上，第二屆的「2021年奧林帕斯懸紅」兩大難題已經確定：一是構建每比特極致性價比的數據存儲，二是實現下一代存儲產業根技術突破。對於每個難題，華為都給出了高達100萬元的懸紅，
華為希望通過「奧林帕斯獎」的設立，與學術界在 Cloud-Oriented多雲存儲服務、Data-Centric新型數據應用存儲系統、AI-Driven存儲軟體架構、創新體系架構等技術方向共同攻堅，構築更好的數據存儲系統。
我們都知道，妨礙電動 汽車 推廣普及的主要制約因素是電池的能量密度，其決定了電動 汽車 的可用性。在數據中心裡，數據的存儲密度則將成為未來的核心挑戰，決定著我們智能 社會 的成色。
科學家們已經明確了下一步的發展目標：在有限的資源下實現100x性能密度和100x容量密度的數據存儲。要實現存儲能力的提升，壓縮演算法是核心技術之一，可以降低 數據的存儲成本，幫助用戶緩解數據規模爆炸性增長帶來的成本壓力。
然而，作為存儲技術中的重磅難題，壓縮演算法多年來未有突出成果。
為了突破壓縮演算法面臨的瓶頸，激發數據壓縮領域的活力，自2020年起，華為與莫斯科國立大學合作，舉辦全球數據壓縮大賽，以促進數據壓縮根技術的研究。
今年的第二屆全球數據壓縮大賽，邀請了壓縮領域享有盛譽的技術專家擔任評委；使用電子顯微鏡、遙感等高性能計算數據，更貼近前沿、更貼近實際場景。大賽設計了五種類型的數據集（賽事項目）：定量數據壓縮、定性數據壓縮、混合數據壓縮、小塊數據壓縮和熵編碼優化。
同時，大賽還增設了面向高校學生、難度相對較小的編碼演算法優化項目，以吸引更多校園演算法高手參與比賽。在獎項設置方面，進一步體現多維激勵，增設領先獎、特等獎和學生參與獎。
本屆數據壓縮大賽，已於6月15日正式開賽，接收參賽作品截止到11月底，將於12月底公布獲獎結果。截至7月中旬，開賽僅1個月大賽組委會就已經收到了來自全球近80個報名申請。
伴隨著奧林帕斯大獎和全球數據壓縮大賽相繼進入第二屆，「奧林帕斯」已經成為華為數據存儲正在著力打造的新品牌，專門用來加強產學研合作，聯合學界一起推動數據存儲產業的進步。
從第一屆奧林帕斯大獎得主那裡，我們已經看到科研界在數據技術創新領域的突破。
獲得 百萬懸紅大獎的清華大學舒繼武老師團隊的「持久性內存存儲系統構建與關鍵技術」， 創新地提出了持久性內存文件系統與鍵值存儲的設計方法和分布式持久性共享內存框架，攻克了其數據結構、內存管理、一致性與安全等方面的一系列難題，解決了基於新型內存介質的高效數據存儲問題。
此外，上海交通大學的陳榕團隊的 「基於新型異構硬體的高效數據處理系統」， 華中 科技 大學的馮丹團隊的 「NVM（新型非易失存儲）高效可靠技術」，也具有較高的創新性和先進性， 具備產業價值和應用前景。
同樣，在第一屆 全球數據壓縮大賽上，也涌現出了很多令人矚目的成果。
比如獲獎選手Peter Thamm設計的pglz演算法在壓縮率和性能上，打破了快速壓縮演算法的一般認知，指引了壓縮演算法優化方向；Konstantinos Agiannis的參賽演算法，在文本場景測試中的壓縮率和壓縮性能，均超過業界公認的標桿演算法；Andreas Debski的快速圖像壓縮演算法，達到了業界公認標桿演算法120%的壓縮率，展現了深厚的圖像壓縮演算法功底。
過去一年的成功，也讓我們對今年的 「奧林帕斯」有了更高的期待。對這個太陽系最高峰的攀登，意味著整個數據存儲技術領域的參與者，首次能夠團結一致，共同牽引基礎理論研究方向，突破關鍵技術難題，加速科研成果產業化，實現產學研合作共贏。
在此進程中，華為一方面發揮了產業引領者的角色，大力推動產學研的合作進程；另一方面也積極投身其中，通過 Data Fabric、智能存儲、內存型存儲、數據縮減、視頻存儲等五大創新實驗室，通過4000多名研發工程師的協同努力，圍繞下一代存儲的介質、網路、架構和管理等進行系統化創新。
我們也有理由相信，通過全球、全領域的協同創新，我們一定能夠迎來數據存儲技術的突破，通過技術重構實現更好的數據存儲效能，讓全世界共享數字技術紅利，進而推動千行百業的智能化升級。
❷ 區塊鏈技術發展現狀與展望
區塊鏈技術發展現狀與展望
區塊鏈技術起源於2008年由化名為 「中本聰」 （Satoshi Nakamoto）的學者在密碼學郵件組發表的奠基性論文《比特幣：一種點對點電子現金系統》。近兩年來，區塊鏈技術的研究與應用呈現出爆發式增長態勢，被認為是繼大型機、個人電腦、互聯網、移動/社交網路之後計算範式的第五次顛覆式創新，是人類信用進化史上繼血親信用、貴金屬信用、央行紙幣信用之後的第四個里程碑。區塊鏈技術是下一代雲計算的雛形，有望像互聯網一樣徹底重塑人類社會活動形態，並實現從目前的信息互聯網向價值互聯網的轉變。區塊鏈的技術特點
區塊鏈具有去中心化、時序數據、集體維護、可編程和安全可信等特點。 去中心化：區塊鏈數據的驗證、記賬、存儲、維護和傳輸等過程均是基於分布式系統結構，採用純數學方法而不是中心機構來建立分布式節點間豎宏的信任關系，從而形成去中心化的可信任的分布式系統； 時序數據：區塊鏈採用帶有時間戳的鏈式區塊結構存儲數據，從而為數據增加了時間維度，具有極強的可驗證性和可追溯性； 集體維護：區塊鏈系統採用特定的經濟激勵機制來保證分布式系統中所有節點均可參與數據區塊的驗證過程（如比特幣的「挖礦」過程），並通過共識演算法來選擇特定的節點將新區塊添加到區塊鏈； 可編程：區塊鏈技術可提供靈活的腳本代碼系統，支持用戶創建高級的智能合約、貨幣或其它去中心化應用； 安全可信：區塊鏈技術採用非對稱密碼學原理對數據進行加密，同時藉助分布式系統各節點的工作量證明等共識演算法形成的強大算力來抵禦外部攻擊、保證區塊鏈數據不可篡改和不可偽造，因而具有較高的安全性。區塊鏈與比特幣 比特幣是迄今為止最為成功的區塊鏈應用場景，區塊鏈技術為比特幣系統解決了數字加密貨幣領域長期以來所必需面對的雙重支付問題和拜占庭將軍問題。與傳統中心機構（如中央銀行）的信用背書機制不同的是，比特幣區塊鏈形成的是軟體定義的信用，這標志著中心化的國家信用向去中心化的演算法信用的根本性變革。近年來，比特幣憑借其先發優勢，目前已經形成體系完備的涵蓋發行、流通和金融衍生市場的生態圈與產業鏈，這也是其長期占據絕大多數數字加密貨幣市場份額的主要原因。區塊鏈的發展脈絡與趨勢
區塊鏈技術是具有普適性的底層技術框架，可以為金融、經濟、科技甚至政治等各領域帶來深刻變革余虧冊。按照目前區塊鏈技術的發展脈絡，區塊鏈技術將會經歷以可編程數字加密貨幣體系為主要特徵的區塊鏈1.0模式，以可編程金融系統為主要特徵的區塊鏈2.0模式和以可編程社會為主要特徵的區塊鏈3.0模式。然而，上述模式實際上是平行而非演進式發展的，區塊鏈1.0模式的數字加密貨幣體系仍然遠未成熟，距離其全球貨幣一體化的願景實際上更遠、更困難。目前，區塊鏈領域已經呈現出明顯的技術和產業創新驅動的發展態勢，相關學術研究嚴重滯後、亟待跟進。區塊鏈的基礎模型與關鍵技術
一般說來，區塊鏈系統由數據層、網路層、共識層、激勵層、合約層和應用層組成。其中，數據層封裝了底層數據區塊以及相關的數據加密和時間戳等技術；網路層則包括分布式組網機制、數據傳播機制和數據驗證機制等；共識層主要封裝網路節點的各類共識演算法；激勵層將經濟因素集成到區塊鏈技術體系中來，主要包括經濟激勵的發行機制和分配機制等；合約層主要封裝各類腳本、演算法和智能合約，是區塊鏈可編程特性的基礎；應用層則封裝了區塊鏈的各種應用場景和案例。該模型中，基於時間戳的鏈式區塊結構、分布式節點的共識機制、基於共識算力的經濟激勵和靈活可編程的智能合約是區塊鏈技術最具代表性的創新點。區塊鏈技術的應用場景
區塊鏈技術不僅可以成功應用於空伍數字加密貨幣領域，同時在經濟、金融和社會系統中也存在廣泛的應用場景。根據區塊鏈技術應用的現狀，本文將區塊鏈目前的主要應用籠統地歸納為數字貨幣、數據存儲、數據鑒證、金融交易、資產管理和選舉投票共六個場景：數字貨幣：以比特幣為代表，本質上是由分布式網路系統生成的數字貨幣，其發行過程不依賴特定的中心化機構。數據存儲：區塊鏈的高冗餘存儲、去中心化、高安全性和隱私保護等特點使其特別適合存儲和保護重要隱私數據，以避免因中心化機構遭受攻擊或許可權管理不當而造成的大規模數據丟失或泄露。數據鑒證：區塊鏈數據帶有時間戳、由共識節點共同驗證和記錄、不可篡改和偽造，這些特點使得區塊鏈可廣泛應用於各類數據公證和審計場景。例如，區塊鏈可以永久地安全存儲由政府機構核發的各類許可證、登記表、執照、證明、認證和記錄等。金融交易：區塊鏈技術與金融市場應用有非常高的契合度。區塊鏈可以在去中心化系統中自發地產生信用，能夠建立無中心機構信用背書的金融市場，從而在很大程度上實現了「金融脫媒」；同時利用區塊鏈自動化智能合約和可編程的特點，能夠極大地降低成本和提高效率。資產管理：區塊鏈能夠實現有形和無形資產的確權、授權和實時監控。無形資產管理方面已經廣泛應用於知識產權保護、域名管理、積分管理等領域；有形資產管理方面則可結合物聯網技術形成「數字智能資產」，實現基於區塊鏈的分布式授權與控制。選舉投票：區塊鏈可以低成本高效地實現政治選舉、企業股東投票等應用，同時基於投票可廣泛應用於博彩、預測市場和社會製造等領域。區塊鏈技術的現存問題
安全性威脅是區塊鏈迄今為止所面臨的最重要的問題。其中，基於PoW共識過程的區塊鏈主要面臨的是51%攻擊問題，即節點通過掌握全網超過51%的算力就有能力成功篡改和偽造區塊鏈數據。其他問題包括新興計算技術破解非對稱加密機制的潛在威脅和隱私保護問題等。 區塊鏈效率也是制約其應用的重要因素。區塊鏈要求系統內每個節點保存一份數據備份，這對於日益增長的海量數據存儲來說是極為困難的。雖然輕量級節點可部分解決此問題，但適用於更大規模的工業級解決方案仍有待研發。比特幣區塊鏈目前每秒僅能處理7筆交易，且交易確認時間一般為10分鍾，這極大地限制了區塊鏈在大多數金融系統高頻交易場景中的應用。 PoW共識過程高度依賴區塊鏈網路節點貢獻的算力，這些算力主要用於解決SHA256哈希和隨機數搜索，除此之外並不產生任何實際社會價值，因而一般意義上認為這些算力資源是被「浪費」掉了，同時被浪費掉的還有大量的電力資源。如何能有效匯集分布式節點的網路算力來解決實際問題，是區塊鏈技術需要解決的重要問題。 區塊鏈網路作為去中心化的分布式系統，其各節點在交互過程中不可避免地會存在相互競爭與合作的博弈關系，例如比特幣礦池的區塊截留攻擊博弈等。區塊鏈共識過程本質上是眾包過程，如何設計激勵相容的共識機制，使得去中心化系統中的自利節點能夠自發地實施區塊數據的驗證和記賬工作，並提高系統內非理性行為的成本以抑制安全性攻擊和威脅，是區塊鏈有待解決的重要科學問題。智能合約與區塊鏈技術
智能合約是一組情景-應對型的程序化規則和邏輯，是部署在區塊鏈上的去中心化、可信共享的程序代碼。通常情況下，智能合約經各方簽署後，以程序代碼的形式附著在區塊鏈數據（例如一筆比特幣交易）上，經P2P網路傳播和節點驗證後記入區塊鏈的特定區塊中。智能合約封裝了預定義的若干狀態及轉換規則、觸發合約執行的情景（如到達特定時間或發生特定事件等）、特定情景下的應對行動等。區塊鏈可實時監控智能合約的狀態，並通過核查外部數據源、確認滿足特定觸發條件後激活並執行合約。 智能合約對於區塊鏈技術來說具有重要的意義。一方面，智能合約是區塊鏈的激活器，為靜態的底層區塊鏈數據賦予了靈活可編程的機制和演算法，並為構建區塊鏈2.0和3.0時代的可編程金融系統與社會系統奠定了基礎；另一方面，智能合約的自動化和可編程特性使其可封裝分布式區塊鏈系統中各節點的復雜行為，成為區塊鏈構成的虛擬世界中的軟體代理機器人，這有助於促進區塊鏈技術在各類分布式人工智慧系統中的應用，使得基於區塊鏈技術構建各類去中心化應用（Decentralized application, Dapp）、去中心化自治組織（Decentralized Autonomous Organization, DAO）、去中心化自治公司（Decentralized Autonomous Corporation, DAC）甚至去中心化自治社會（Decentralized Autonomous Society, DAS）成為可能。 區塊鏈和智能合約技術的主要發展趨勢是由自動化向智能化方向演化。現存的各類智能合約及其應用的本質邏輯大多仍是根據預定義場景的「 IF-THEN」類型的條件響應規則，能夠滿足目前自動化交易和數據處理的需求。未來的智能合約應具備根據未知場景的「 WHAT-IF」推演、計算實驗和一定程度上的自主決策功能，從而實現由目前「自動化」合約向真正的「智能」合約的飛躍。區塊鏈驅動的平行社會
近年來，基於CPSS（Cyber-Physical-SocialSystems）的平行社會已現端倪，其核心和本質特徵是虛實互動與平行演化。區塊鏈是實現CPSS平行社會的基礎架構之一，其主要貢獻是為分布式社會系統和分布式人工智慧研究提供了一套行之有效的去中心化的數據結構、交互機制和計算模式，並為實現平行社會奠定了堅實的數據基礎和信用基礎。 就數據基礎而言，管理學家愛德華戴明曾說過：除了上帝，所有人必須以數據說話。然而在中心化社會系統中，數據通常掌握在政府和大型企業等「少數人」手中，為少數人「說話」，其公正性、權威性甚至安全性可能都無法保證。區塊鏈數據則通過高度冗餘的分布式節點存儲，掌握在「所有人」手中，能夠做到真正的「數據民主」。就信用基礎而言，中心化社會系統因其高度工程復雜性和社會復雜性而不可避免地會存在「默頓系統」的特性，即不確定性、多樣性和復雜性，社會系統中的中心機構和規則制定者可能會因個體利益而出現失信行為；區塊鏈技術有助於實現軟體定義的社會系統，其基本理念就是剔除中心化機構、將不可預測的行為以智能合約的程序化代碼形式提前部署和固化在區塊鏈數據中，事後不可偽造和篡改並自動化執行，從而在一定程度上能夠將「默頓」社會系統轉化為可全面觀察、可主動控制、可精確預測的「牛頓」社會系統。 ACP（人工社會Artificial Societies、計算實驗Computational Experiments和平行執行ParallelExecution）方法是迄今為止平行社會管理領域唯一成體系化的、完整的研究框架，是復雜性科學在新時代平行社會環境下的邏輯延展和創新。 ACP方法可以自然地與區塊鏈技術相結合，實現區塊鏈驅動的平行社會管理。首先，區塊鏈的P2P 組網、分布式共識協作和基於貢獻的經濟激勵等機制本身就是分布式社會系統的自然建模，其中每個節點都將作為分布式系統中的一個自主和自治的智能體（agent）。隨著區塊鏈生態體系的完善，區塊鏈各共識節點和日益復雜與自治的智能合約將通過參與各種形式的Dapp，形成特定組織形式的DAC和DAO，最終形成DAS，即ACP中的人工社會。其次，智能合約的可編程特性使得區塊鏈可進行各種「 WHAT-IF」 類型的虛擬實驗設計、場景推演和結果評估，通過這種計算實驗過程獲得並自動或半自動地執行最優決策。最後，區塊鏈與物聯網等相結合形成的智能資產使得聯通現實物理世界和虛擬網路空間成為可能，並可通過真實和人工社會系統的虛實互動和平行調諧實現社會管理和決策的協同優化。不難預見，未來現實物理世界的實體資產都登記為鏈上智能資產的時候，就是區塊鏈驅動的平行社會到來之時。
❸ 每天有那麼多人在朋友圈發視頻和照片，騰訊的伺服器為什麼可以儲存那麼大的數據
騰訊微信用戶超過9億，每天產生的數據量都是數億tb，馬化騰在一次數博會上透露，騰訊保存著18年用戶的數據，數據量超過1000個pb。就在前不久騰訊公司宣布它的用戶已經突破九億人。用戶信息最久都已經保存了近二十年。為什麼不論用戶在何時何地打開軟體都可以找到自己上傳的信息，而且還能非常尋迅速的下載下來。這些功能都是如何實現的呢？
而且，分布式存儲也能起到很好的保密作用，除非經過用戶的請求允許，不然是很難拿到用戶的完整數據。因此完全可以。
❹ 開展微型數據存儲技術創新研發搶占未來大數據存儲技術高地的建議
我國數據存儲核心技術長期落後，大數據中心按照傳統的 科技 房地產的思路將面臨資源約束。為了防止我國存儲技術「卡脖子」，節省未來海量數據存儲佔地空間，系統化整合資源解決當前中國大數據存儲技術產品的容量問題，建議國家立項 開展微型數據存儲技術創新研發 。
我國數據儲存的現狀和面臨的問題
計算機數據存儲技術是信息技術應用的核心。一切計算機應用數據都需要由物理設備來存儲，以便計算機系統進行讀寫等處理，數據應用與數據存儲恰似樹干與樹根的密切關系。伴隨著信息技術應用的持續高速發展，可以預見未來的數據量必將呈現爆炸式增長，隨之而來的海量數據存儲瓶頸問題必然日趨嚴重，加劇著數據存儲領域長期面臨的容量、安全、性能、擴充、維護、災備、監管等諸多挑戰。其中，容量困境，首當其沖。
當前痛點。 為了滿足數據存儲容量日益增長的需求，大數據存儲中心建設必不可少。放眼當下全國各地的大數據存儲中心建設，由於數據存儲基礎核心技術缺位，流行的模式是不可持續的「 科技 房地產」，即單純拓展佔地面積蓋樓建設數據中心，進而耗費寶貴自然資源。目前我國城市監控視頻圖像數據受限於數據中心存儲容量空間，一般只能保留一個月左右，相關的數據應用嚴重受制。
應用基石。 底層數據存儲是信息產業發展的基石，數據存儲技術產品是信息應用系統的架構基礎，也是我國的關鍵行業技術短板。有效的數據存儲技術產品涉及到所有信息技術應用場景：人工智慧，信息安全，智慧城市，大數據，雲計算，區塊鏈，城市大腦，雪亮工程，城市管理視頻監控，醫學影像識別，等等。
嚴峻局面。 追溯信息技術百年來的發展軌跡，中國在數據存儲基礎技術領域的貢獻幾乎為零。國內數據存儲行業主要擅長於市場側的商業應用創新，數據存儲底層管理的核心技術研發嚴重依賴國外的開源開放。缺乏基礎研發梯隊，沒有關鍵理論 探索 ；沿襲陳舊的發展思路，習於外購器件設備；底層技術積累短缺，核心創新能力薄弱；嚴峻的局面至今沒有重大改變。
危情險勢。 中國在核心存儲產品、底層支撐技術、商業應用理念上長期跟跑，遭受外部勢力釜底抽薪式的「存儲底層關鍵核心技術精準打擊」的隱患和風險極大。面對復雜多變的國際環境，一旦遭遇卡脖子，如外購存儲產品斷貨或核心技術交流封鎖，舉國上下所有涉及信息技術應用的行業領域都必然窒息。從而直接降低相關產業迭代發展速度，掣肘 社會 前進步伐，削弱國家治理能力，進而危及影響到國家的政治和 社會 穩定。
時不我待。 我們需要立即行動起來，通過立項開展微型數據存儲技術創新研發，凝聚國內外數據存儲領域資源力量，構建數據存儲專業核心技術團隊；從研發軟體定義的存儲（數據去重）技術產品入手，填補國內技術產品領域空白；啟動研發微型化（原子級）數據存儲設備，搶占未來數據存儲領域的制高點。這項舉措也是解除我國數據存儲技術產品創新研發「卡脖子」危機的最佳途徑。
開展微型數據存儲技術創新研發的思路
我國應抓住當前數據應用驅動信息技術升級換代的大數據發展 歷史 契機，凝聚國內外資源力量，構建中國數據存儲專業核心技術團隊。近期：研發部署模塊化數據去重技術產品，壓縮海量數據存儲空間需求，填補國內底層數據存儲管理技術空白。遠期：啟動研發微型數據存儲設備，搶占未來數據存儲技術領域的制高點。
從開展微型數據存儲技術創新研發入手，聚焦國際存儲技術領域的戰略性前沿技術趨勢；聯手科研院所、高等院校、生產企業、大型用戶的資源，建設國家級核心技術團隊；積極引進/培養數據存儲技術人才，研發自主可控系列產品。
1.近期跟蹤行業動態
對標國際頂級數據存儲技術產品，砥礪學習底層模塊級數據存儲去重技術，壓縮海量數據存儲空間需求，實現自主可控國產數據存儲技術管理軟體產品的商務應用。基本原理是首先識別出重復的數據模塊，然後優化存儲多個重復數據模塊中的單一模塊，以及同其它重復模塊的鏈接關系。進而減少企業級客戶存儲數據所需的物理空間佔有量，降低采購部署數據存儲設備的增量。
2.遠期重點突出推進
探索 下一代數據存儲技術，整合跨學科資源啟動開展研發微型存儲器，力圖將現有基於磁碟/光碟/磁帶的計算機數據存儲器，轉化為未來基於原子/電子運動狀態的微型化數字信息採集與存取機制。其原理是將現在耗費數百萬個原子的材料介質所表徵的一位「0」或「1」二進制計算機數據，試圖由單個原子狀態變化來表徵。於是，可以將現有數據存儲設備體積縮小數十萬乃至百萬倍，最終將佔地約足球場面積的大數據存儲倉庫縮小為攜帶型器件。
3.研發工作開展建議
開展微型數據存儲技術創新研發應該建設成為國內領先、國際一流的數據存儲技術研究機構、產業孵化溫室、以及人才培養基地。
延攬數據存儲技術專家領銜擔綱咨詢顧問。全球招聘在世界頂級數據存儲公司工作多年的業界精英加盟指導。
構建中國數據存儲技術研發團隊。採用引進師資/開設培訓課程等有效方式，積累培育國內數據存儲技術力量。
結盟矽谷存儲技術研究院。依託美國矽谷地區的數據存儲實體公司，共享數據存儲底層技術知識。
注冊成立企業運營機構。開發軟體定義存儲（數據去重）技術產品，服務數據用戶市場，遵循商務運作規律。
融資涵蓋多種基金渠道。申報獲取國家重大專項基礎項目研發資金，吸引專業投資基金加盟。首期投資約需10億元人民幣（參考國際相關工程估值：美國IBM公司同類項目投資約600億美元/10年）。
推動微型數據存儲技術創新研發的建議
我國在開展新型基礎設施建設的同時，應當抓住當前數據計算應用驅動信息技術升級換代的大數據發展 歷史 契機，建立數據存儲技術的自主知識產權體系，填補國內空白，保障數字中國建設長遠規劃實施，推進國產數據存儲產品崛起，為相關產業發展鋪路。
2.建議遠期緊跟世界主流研發創新步伐，聚焦研發原子級微型化數據存儲技術產品（2020-2040年），在2040年前研發出原子級大數據存儲技術，並逐步實現產業化。
3.建議將微型化數據存儲技術創新作為國家戰略。搭建政產學研用共建共治共享的中國數據存儲技術聯合創新平台，建設國家級重點實驗室。依託科研院所/高等院校/相關企業，奠定從微型數據存儲理論、硬體設計、軟體開發、結構設計、系統集成等一整套原子級微型數據存儲技術研發工作的基礎。
4.建議國家相關部委給予配套資金支持。加快推進原子級大數據存儲技術研發和產業化轉化。支持申報重大 科技 項目和專項扶持資金。
5.建議形成能夠長期從事數據存儲技術創新的人才隊伍。借鑒全球數據存儲技術創新研發經驗，引進海內外數據存儲技術領域頂尖科學家和工程師。在高等院校與科研院所開設數據存儲技術專業課程，搭建完善的國內人才培養體系。
6.建議立項過程不宜採用常規項目申報、審批流程，亟需特事特辦予以批准。主要是有鑒於本項目相關的科研生產領域中，國內現有技術力量薄弱分散，評估體系資源匱乏。
7.建議項目推進應當低調快速務實：不重造勢，不揚虛名，不謀近利。主要是基於當前復雜敏感的國際政治經濟形勢，預計本項目勢將關聯國家核心產業戰略布局，影響未來數十年中國數字經濟命脈與發展。
作 者：中央 財經 大學中國互聯網經濟研究院研究員 歐陽日輝
通訊員：李 翀
戰略性新興產業專題報道 辦事，「刷臉」就行
張家口敢闖敢試、先行先試，積極 探索 氫能產業創新發展的有益路徑
「東數西算」正式啟動，樞紐網路如何建設？
「十四五」浪潮下如何構建城市數據中心網路？
「我為群眾辦實事」北京市發展改革委發布第三批政策工具應用指南
大美密雲 助推新興產業發展
東方測控：打造智能製造示範工廠，引領礦山行業新未來
❺ 大數據爆發性增長 存儲技術面臨難題
大數據爆發性增長 存儲技術面臨難題
隨著大數據應用的爆發性增長，大數據已經衍生出了自己獨特的架構，而且也直接推動了存儲、網路以及計算技術的發展。畢竟處理大數據這種特殊的需求是一個新的挑戰。硬體的發展最終還是由軟體需求推動的。大數據本身意味著非常多需要使用標准存儲技術來處理的數據。大數據可能由TB級(或者甚至PB級)信息組成，既包括結構化數據(資料庫、日誌、SQL等)以及非結構化數據(社交媒體帖子、感測器、多媒體數據)。此外，大部分這些數據缺乏索引或者其他組織結構，可能由很多不同文件類型組成。從目前技術發展的情況來看，大數據存儲技術的發展正面臨著以下幾個難題：
1、容量問題
這里所說的「大容量」通常可達到PB級的數據規模，因此，海量數據存儲系統也一定要有相應等級的擴展能力。與此同時，存儲系統的擴展一定要簡便，可以通過增加模塊或磁碟櫃來增加容量，甚至不需要停機。
「大數據」應用除了數據規模巨大之外，還意味著擁有龐大的文件數量。因此如何管理文件系統層累積的元數據是一個難題，處理不當的話會影響到系統的擴展能力和性能，而傳統的NAS系統就存在這一瓶頸。所幸的是，基於對象的存儲架構就不存在這個問題，它可以在一個系統中管理十億級別的文件數量，而且還不會像傳統存儲一樣遭遇元數據管理的困擾。基於對象的存儲系統還具有廣域擴展能力，可以在多個不同的地點部署並組成一個跨區域的大型存儲基礎架構。
2、延遲問題
「大數據」應用還存在實時性的問題。有很多「大數據」應用環境需要較高的IOPS性能，比如HPC高性能計算。此外，伺服器虛擬化的普及也導致了對高IOPS的需求，正如它改變了傳統IT環境一樣。為了迎接這些挑戰，各種模式的固態存儲設備應運而生，小到簡單的在伺服器內部做高速緩存，大到全固態介質的可擴展存儲系統等等都在蓬勃發展。
3、並發訪問
一旦企業認識到大數據分析應用的潛在價值，他們就會將更多的數據集納入系統進行比較，同時讓更多的人分享並使用這些數據。為了創造更多的商業價值，企業往往會綜合分析那些來自不同平台下的多種數據對象。包括全局文件系統在內的存儲基礎設施就能夠幫助用戶解決數據訪問的問題，全局文件系統允許多個主機上的多個用戶並發訪問文件數據，而這些數據則可能存儲在多個地點的多種不同類型的存儲設備上。
4、安全問題
某些特殊行業的應用，比如金融數據、醫療信息以及政府情報等都有自己的安全標准和保密性需求。雖然對於IT管理者來說這些並沒有什麼不同，而且都是必須遵從的，但是，大數據分析往往需要多類數據相互參考，而在過去並不會有這種數據混合訪問的情況，因此大數據應用也催生出一些新的、需要考慮的安全性問題。
5、成本問題
成本問題「大」，也可能意味著代價不菲。而對於那些正在使用大數據環境的企業來說，成本控制是關鍵的問題。想控製成本，就意味著我們要讓每一台設備都實現更高的「效率」，同時還要減少那些昂貴的部件。
對成本控制影響最大的因素是那些商業化的硬體設備。因此，很多初次進入這一領域的用戶以及那些應用規模最大的用戶都會定製他們自己的「硬體平台」而不是用現成的商業產品，這一舉措可以用來平衡他們在業務擴展過程中的成本控制戰略。為了適應這一需求，現在越來越多的存儲產品都提供純軟體的形式，可以直接安裝在用戶已有的、通用的或者現成的硬體設備上。此外，很多存儲軟體公司還在銷售以軟體產品為核心的軟硬一體化裝置，或者與硬體廠商結盟，推出合作型產品。
6、數據的積累
許多大數據應用都會涉及到法規遵從問題，這些法規通常要求數據要保存幾年或者幾十年。比如醫療信息通常是為了保證患者的生命安全，而財務信息通常要保存7年。而有些使用大數據存儲的用戶卻希望數據能夠保存更長的時間，因為任何數據都是歷史記錄的一部分，而且數據的分析大都是基於時間段進行的。要實現長期的數據保存，就要求存儲廠商開發出能夠持續進行數據一致性檢測的功能以及其他保證長期高可用的特性。同時還要實現數據直接在原位更新的功能需求。
7、數據的靈活性
大數據存儲系統的基礎設施規模通常都很大，因此必須經過仔細設計，才能保證存儲系統的靈活性，使其能夠隨著應用分析軟體一起擴容及擴展。在大數據存儲環境中，已經沒有必要再做數據遷移了，因為數據會同時保存在多個部署站點。一個大型的數據存儲基礎設施一旦開始投入使用，就很難再調整了，因此它必須能夠適應各種不同的應用類型和數據場景。
存儲介質正在改變，雲計算倍受青睞
存儲之於安防的地位，其已經不僅是一個設備而已，而是已經升華到了一個解決方案平台的地步。作為圖像數據和報警事件記錄的載體，存儲的重要性是不言而喻的。
安防監控應用對存儲的需求是什麼？首先，海量存儲的需求。其次，性能的要求。第三，價格的敏感度。第四，集中管理的要求。第五，網路化要求。安防監控技術發展到今天經歷了三個階段，即：模擬化、數字化、網路化。與之相適應，監控數據存儲也經歷了多個階段，即：VCR模擬數據存儲、DVR數字數據存儲，到現在的集中網路存儲，以及發展到雲存儲階段，正是在一步步迎合這種市場需求。在未來，安防監控隨著高清化，網路化，智能化的不斷發展，將對現有存儲方案帶來不斷挑戰，包括容量、帶寬的擴展問題和管理問題。那麼，基於大數據戰略的海量存儲系統--雲存儲就倍受青睞了。
基於大數據戰略的安防存儲優勢明顯
當前社會對於數據的依賴是前所未有的，數據已變成與硬資產和人同等重要的重要資料。如何存好、保護好、使用好這些海量的大數據，是安防行業面臨的重要問題之一。那麼基於大數據戰略的安防存儲其優勢何在？
目前的存儲市場上，原有的視頻監控方案容量、帶寬難以擴展。客戶往往需要采購更多更高端的設備來擴充容量，提高性能，隨之帶來的是成本的急劇增長以及系統復雜性的激增。同時，傳統的存儲模式很難在完全沒有業務停頓的情況下進行升級，擴容會對業務帶來巨大影響。其次，傳統的視頻監控方案難於管理。由於視頻監控系統一般規模較大，分布特徵明顯，大多獨立管理，這樣就把整個系統分割成了多個管理孤島，相互之間通信困難，難以協調工作，以提高整體性能。除此之外，綠色、安全等也是傳統視頻監控方案所面臨的突出問題。
基於大數據戰略的雲存儲技術與生俱來的高擴展、易管理、高安全等特性為傳統存儲面臨的問題帶來了解決的契機。利用雲存儲，用戶可以方便的進行容量、帶寬擴展，而不必停止業務，或改變系統架構。同時，雲存儲還具有高安全、低成本、綠色節能等特點。基於雲存儲的視頻監控解決方案是客戶應對挑戰很好的選擇。王宇說，進入二十一世紀，雲存儲作為一種新的存儲架構，已逐步走入應用階段，雲存儲不僅輕松突破了SAN的性能瓶頸，而且可以實現性能與容量的線性擴展，這對於擁有大量數據的安防監控用戶來說是一個新選擇。
以英特爾推出的Hadoop分布式文件系統（HDFS）為例，其提供了一個高度容錯性和高吞吐量的海量數據存儲解決方案。目前已經在各種大型在線服務和大型存儲系統中得到廣泛應用，已經成為海量數據存儲的事實標准。
隨著信息系統的快速發展，海量的信息需要可靠存儲的同時，還能被大量的使用者快速地訪問。傳統的存儲方案已經從構架上越來越難以適應近幾年來的信息系統業務的飛速發展，成為了業務發展的瓶頸和障礙。HDFS通過一個高效的分布式演算法，將數據的訪問和存儲分布在大量伺服器之中，在可靠地多備份存儲的同時還能將訪問分布在集群中的各個伺服器之上，是傳統存儲構架的一個顛覆性的發展。最重要的是，其可以滿足以下特性：可自我修復的分布式文件存儲系統，高可擴展性，無需停機動態擴容，高可靠性，數據自動檢測和復制，高吞吐量訪問，消除訪問瓶頸，使用低成本存儲和伺服器構建。
以上是小編為大家分享的關於大數據爆發性增長 存儲技術面臨難題的相關內容，更多信息可以關注環球青藤分享更多干貨
❻ 數字經濟時代，高性能數據分析存儲迎來新機遇
數字經濟時代，數據已成為新的核心生產要素，其重要戰略資源地位和核心科學決策作用已日漸凸顯。數據潛能的激發，有賴於數據的採集、存儲、計算、管理和應用，其中，作為數據採集後進行處理的第一道關口，數據存儲無疑是數字經濟最重要的「底盤」。
海量數據爆發，數據存儲成關鍵
當前，數據呈現指數級增長，數據規模已經從之前的GB、TB、PB，上升到EB級、甚至ZB級。據Hyperion預測，到2025年，全球數據空間將增長到163ZB，這是2011年HPC產生數據16.1ZB的10倍。爆炸式增長的數據，哺育了數字技術發展和應用，但是同時也對計算和存儲提出了更高的要求。
在高性能計算（HPDA）中，計算、存儲、網路三大部件缺一不可。以前，產業創新的焦點都在追求更高的算力。而隨著大數據、多樣性算力等相關技術的快速發展，高性能計算的重心開始從以計算為核心，向以數據為中心的計算演進；傳統HPC開始向高性能數據分析（HPDA）方向演進。據IDC統計，全球67%的高性能計算中心（HPC）已經在使用AI、大數據相關技術，HPC與AI、大數據加速融合，走向以數據密集型為典型特徵的高性能數據分析HPDA時代。
HPDA時代下，各行業數據量迎來了井噴式增長。地震勘探從二維向三維的演進中，數據量增加了10-20倍；電影渲染從2K升級到8K的革命中，數據量增長16倍；衛星測繪領域，探測精準度由20米縮小到2米，數據量同比增長近70倍。
數據規模激增之外，業務模型復雜以及分析效率較低等挑戰，也都在呼喚著更高效率的存儲。
存儲作為數據的承載者，逐步成為推動HPC產業發展的新動能。然而，傳統的HPC存儲在混合負載性能、成本、跨協議訪問等多方面存在壁壘，無法匹配HPDA場景的需求。如何打破存儲性能、成本、效率的限制，充分釋放數據潛能，成為制約HPC產業升級換代的掣肘。
高性能數據分析存儲，加速HPC產業發展
當前，作為數據應用和數據分析的支撐平台，以及 科技 強國的關鍵基礎設施，數據存儲已成為國之重器，在金融核心交易、新型油氣勘探、基因測序、自動駕駛、氣象預測、宇宙 探索 等領域發揮重要作用。數據的存儲與處理能力已經成為提升政府管理水平、提高企業經營效率、增強企業發展韌性的關鍵，數據存儲正成為加速數字化轉型的堅實底座。
新的產業變化以及數據存儲的重要地位，對高端存儲提出了新的挑戰，同時也在加速存儲技術的革新——從HPC部分場景向HPC/HPDA全場景擴展，存儲開始承擔起加速產業向「數據密集型」轉型的重任。根據國際權威分析師機構Hyperion Research 2020年針對HPC市場空間的數據顯示，數據存儲的增速第一，遠高於整體市場平均增速。
高性能數據分析（HPDA）存儲，能夠匹配各HPDA場景的高端存儲，可以讓基因測序、氣象海洋、超算中心、能源勘探、科研與工業創新、智能醫療、深度學習、人臉識別等數據密集型HPDA應用場景，在效率、品質、性價比等方面實現飛躍式提升。
值得注意的是，華為OceanStor Pacific系列下一代高性能數據分析（HPDA）存儲，可以高效應對超高密設計、混合負載設計以及多協議互通上的關鍵挑戰，推動HPC產業向數據密集型升級。目前已經成功應用於自動駕駛、基因測序、氣象預測、衛星遙感等眾多國內外高性能計算場景企業及機構。
存儲作為高性能數據分析的重要引擎，正全面釋放HPC的應用價值，驅動著HPC產業不斷進步，跨越「計算密集型」到「數據密集型」的鴻溝，持續推動人類 社會 繁榮 健康 發展。
❼ 雲端存儲技術未來的發展前景如何
海量數據催生新型的存儲模式——雲存儲
近年來，大數據發展浪潮席捲全球，企業對信息存儲提出了新的需求，雲存儲由此而誕生。雲存儲是基於雲計算相關技術延伸和發展而來的全新的產品形態。
雲存儲的核心技術主要包括虛擬化技術、重復數據刪除技術、分布式存儲技術、數據備份技術、內容分發網路技術和存儲加密技術。雲存儲利用這些核心技術將網路中大量各種不同類型的存儲設備通過應用軟體集合起來協同工作，共同對外提供數據存儲和業務訪問功能，從而保證數據的安全性，並節約存儲空間。
雲存儲往企業級方向發展，市場規模持續擴大
我國雲存儲行業的發展可以追溯到2007年，雲計算、雲存儲的概念在國內開始出現。2011年，雲計算、雲存儲的概念落地;2012年，國家將雲計算列為重點發展的戰略性新興產業，各大互聯網企業紛紛推出自己的雲存儲應用，類Dropbox和類Evernote的應用層出不窮。該階段雲存儲的發展以個人雲存儲發展為主。
2016年，監管政策收緊導致大批網盤企業關停，致使個人雲存儲用戶規模急劇下降。企業雲存儲迎來高速發展期，國家積極鼓勵企業上雲。同時伴隨著海量數據的增長，市場對信息存儲的安全提出了更高的要求，各大企業也紛紛推出了存儲容災、專屬企業存儲等服務。
據統計，目前企業雲存儲占據了98.63%的雲存儲市場規模，個人雲存儲市場規模佔比僅在1.37%左右。
從整體市場規模看，2015年我國雲存儲市場規模約為115億元，2019年我國雲存儲市場規模已經達到了326億元。2020年，海量數據的持續增長進一步推動了我國企業對雲存儲的需求，2020年我國雲存儲市場規模預計接近400億元。
萬物互聯將催生更大雲存儲市場
未來，我國5G的發展與雲計算交織並進，5G時代網路速度的提升帶來萬物互聯，而其背後大量的數據需要有雲計算強大的計算和存儲能力支撐，我國雲存儲市場發展空間大，市場規模在未來幾年仍將保持較快的增速增長，2026年有望突破1800億元。
❽ 如何評價華為9月6日發布的首款鴻蒙家庭存儲該產品有哪些亮點
華為9月6號發布的首款哄哄家庭存儲可以發現這也是性能上的再一步升級能夠有更多的存儲空間，這個產品的主要亮點就是存儲方面的一些問題解決。
而9月6號最新研發的系列，有家庭存儲功能，這是一款存儲的終端產品，能夠讓手機的PC達到進一步的擴容，還會有AI相冊智慧搜索以及金融級的隱私保護，這些功能都是非常吸引人的，也扮演著家庭數據收納箱這樣的角色。因為有這樣的改變容量變得越來越大，大家不用再擔心移動設備存儲空間出現不足這樣的情況，並且是雙硬碟設置數據會自動同步，還會有無縫流轉這些功能。
❾ 分段存儲管理方式如何應對數據段動態增長的問題
在分段存儲管理悔罩空方式中，數據被分為多個段，每個段碧瞎的長度可以動態的增悶升長。為了應對數據段的動態增長問題，可以實現動態分配內存的方式。當一個段的數據增長到達一定程度時，可以通過調用動態內存分配函數，增加該段的內存大小，確保該段能夠繼續存儲數據。同時，可以設置一些容錯機制，當內存不足時，及時提示用戶清理無用數據或為系統增加更多的內存。這樣，就可以滿足數據段的動態增長需求，並且提高系統運行的效率。