㈠ 大數據的存儲和搜索麵臨很大挑戰
大數據的存儲和搜索麵臨很大挑戰
大數據並非是一個全新的概念，早在1980年，阿爾文托夫勒就在《第三次浪潮》一書中預言了由數據構成的「碎片化未來」，並將海量數據贊頌為「第三次浪潮的華彩樂章」。然而，大數據真正流行起來是在2011年之後，數據量呈幾何指數上升，物聯網、雲計算等技術的日漸成熟使得數據的獲取、存儲和處理的成本急劇下降，促使大數據一時間成為了各方視線的焦點。
首先，伴隨著移動終端、感測器的迅速普及以及社會化媒體等互聯網應用的日益多樣化，數據量呈現出爆發式的增長，數據集的規模已經達到了TB甚至是PB的級別。這些海量的、碎片化的數據不僅能夠較為完整地刻畫出人們在線行為，還可以通過各類感測設備的數據來記錄實體經濟的運行狀況。
其次，數據的種類也愈發豐富，不僅包含文本內容，還包括圖片、音頻、視頻等非結構化數據，為數據的存儲和搜索帶來了很大挑戰，這意味著傳統意義上適用於文本內容存儲和分析的資料庫關聯演算法、語義分析等手段已經漸漸失效。
第三，大數據蘊含著巨大的價值，但相比於龐大的數據規模，其價值密度卻是非常稀疏的，可謂是「浪里淘沙、彌足珍貴」。例如，公安視頻監控系統需要7×24小時的記錄，但用於犯罪證據獲取的也許只是短短數秒；對於零售產業的推薦系統，也只有通過海量數據的分析，才能進行較為精準的預測。
第四，大數據需要實時的記錄與響應，如動態的股價、路況信息以及電子商務的交易數據等，都需要實時的調用和處理，才能夠充分體現出數據的價值所在。此外，社會化媒體、社交網站中的關系數據成為了大數據的價值倍增器，這是因為人們已經不可避免地鑲嵌於人際關系網路中，個體的影響力會經由社交網路快速蔓延。
不久前，作為全球最大零售商的沃爾瑪也充分意識到了關系數據的重要性，在其社交基因組（Social Genome）計劃中整合了用戶在Facebook、Twitter中的關系數據，用以更精準地推測消費者的偏好。 綜上所述，大數據的基本特徵可以概括為規模化（Volume）、多樣性（Variety）、高價值（Value）、速度快（Velocity）以及社會化（Social）等五個特點，即「4V 1S」的特點。這樣的大數據浪潮，也深刻的影響了各個傳統行業的發展軌跡，變革一觸即發。
㈡ 攀登比珠穆朗瑪更高的山峰，數據存儲技術的突破之路
文： 科技 商業 於洪濤
在物理世界，山峰是自然力量的象徵；而在數字世界裡，數據則是智慧力量的來源。
或許正是因為如此，華為將其聚焦在數據基礎技術的科研大獎命名為Olympus Mons，即奧林帕斯大獎，專門用於重獎那些在數據存儲領域實現技術突破的科研工作者。
設立獎項只是一種形式。在奧林帕斯大獎的背後，是華為通過匯聚產學研各方能力，來推動數據技術實現突破性發展的雄心，從而為數字經濟發展提供更好的數據基礎設施。
隨著數字化時代的到來，數據的價值越來越突出，正在日益成為國家、企業、甚至個人的核心資產。
與傳統經濟相比，數字經濟的本質就是數據的流通，數據也成為智能 社會 的主要生產要素。IDC的調研顯示，2020年全球共創造了59ZB的數據，到2025年則將達到163ZB。
如此巨量的數據資產，需要經過數據採集、數據存儲、數據分析等流程才能產生價值，其中數據存儲無疑是基礎。在數據中心裡，存儲也與計算和網路一道，成為關鍵基礎設施，為整個數字化進程提供支持。
在數據量高速成長的同時，數據的形態也日益多樣化，視頻、圖片、音頻等非結構化數據已經成為數據的主體。這些復雜的數據要想充分發揮價值，就需要更加高效的數據存儲和數據管理。
有統計顯示，如今只有2%的數據被保存，保存下來的數據也只有10%得到分析利用。華為數據存儲與機器視覺產品線總裁周躍峰介紹說，數據在企業數字化轉型中扮演著越來越重要的角色，然而企業卻面臨海量數據存不下、流不動、管不好的問題。
為了滿足客戶日益增長的數據存儲需求， 華為主張構建端到端的數據能力，包括計算、存儲、利用和AI等能力，讓數據在全生命周期內實現每比特價值最大，每比特成本最優。
華為的努力，已經收到了成效，如今越來越多的政企使用華為的數據存儲解決方案，來實現對數據資產的管理。
甘肅敦煌研究院，正在利用華為的海量存儲解決方案，通過 計算機技術和數字圖像技術，實現敦煌石窟文物的永久保存、永續利用。
然而，整個敦煌莫高窟擁有735個洞窟、4.5萬平方米壁畫、2415尊泥質彩塑，要把這么多文物數字化，達成構建數字敦煌博物館的目標，意味著需要大量的投資和海量的存儲設備。 顯然，要想解決這一問題，僅靠華為自身的努力還不夠，而需要各個方面的共同參與，通過打造產業技術生態，來實現存儲技術的新突破。這也正是華為設立「奧林帕斯獎」的初衷。
據了解，華為「奧林帕斯獎」，每年都聚焦於數據領域的兩個主要技術難題來尋求解決方案。在去年底的全球數據存儲教授論壇上，第二屆的「2021年奧林帕斯懸紅」兩大難題已經確定：一是構建每比特極致性價比的數據存儲，二是實現下一代存儲產業根技術突破。對於每個難題，華為都給出了高達100萬元的懸紅，
華為希望通過「奧林帕斯獎」的設立，與學術界在 Cloud-Oriented多雲存儲服務、Data-Centric新型數據應用存儲系統、AI-Driven存儲軟體架構、創新體系架構等技術方向共同攻堅，構築更好的數據存儲系統。
我們都知道，妨礙電動 汽車 推廣普及的主要制約因素是電池的能量密度，其決定了電動 汽車 的可用性。在數據中心裡，數據的存儲密度則將成為未來的核心挑戰，決定著我們智能 社會 的成色。
科學家們已經明確了下一步的發展目標：在有限的資源下實現100x性能密度和100x容量密度的數據存儲。要實現存儲能力的提升，壓縮演算法是核心技術之一，可以降低 數據的存儲成本，幫助用戶緩解數據規模爆炸性增長帶來的成本壓力。
然而，作為存儲技術中的重磅難題，壓縮演算法多年來未有突出成果。
為了突破壓縮演算法面臨的瓶頸，激發數據壓縮領域的活力，自2020年起，華為與莫斯科國立大學合作，舉辦全球數據壓縮大賽，以促進數據壓縮根技術的研究。
今年的第二屆全球數據壓縮大賽，邀請了壓縮領域享有盛譽的技術專家擔任評委；使用電子顯微鏡、遙感等高性能計算數據，更貼近前沿、更貼近實際場景。大賽設計了五種類型的數據集（賽事項目）：定量數據壓縮、定性數據壓縮、混合數據壓縮、小塊數據壓縮和熵編碼優化。
同時，大賽還增設了面向高校學生、難度相對較小的編碼演算法優化項目，以吸引更多校園演算法高手參與比賽。在獎項設置方面，進一步體現多維激勵，增設領先獎、特等獎和學生參與獎。
本屆數據壓縮大賽，已於6月15日正式開賽，接收參賽作品截止到11月底，將於12月底公布獲獎結果。截至7月中旬，開賽僅1個月大賽組委會就已經收到了來自全球近80個報名申請。
伴隨著奧林帕斯大獎和全球數據壓縮大賽相繼進入第二屆，「奧林帕斯」已經成為華為數據存儲正在著力打造的新品牌，專門用來加強產學研合作，聯合學界一起推動數據存儲產業的進步。
從第一屆奧林帕斯大獎得主那裡，我們已經看到科研界在數據技術創新領域的突破。
獲得 百萬懸紅大獎的清華大學舒繼武老師團隊的「持久性內存存儲系統構建與關鍵技術」， 創新地提出了持久性內存文件系統與鍵值存儲的設計方法和分布式持久性共享內存框架，攻克了其數據結構、內存管理、一致性與安全等方面的一系列難題，解決了基於新型內存介質的高效數據存儲問題。
此外，上海交通大學的陳榕團隊的 「基於新型異構硬體的高效數據處理系統」， 華中 科技 大學的馮丹團隊的 「NVM（新型非易失存儲）高效可靠技術」，也具有較高的創新性和先進性， 具備產業價值和應用前景。
同樣，在第一屆 全球數據壓縮大賽上，也涌現出了很多令人矚目的成果。
比如獲獎選手Peter Thamm設計的pglz演算法在壓縮率和性能上，打破了快速壓縮演算法的一般認知，指引了壓縮演算法優化方向；Konstantinos Agiannis的參賽演算法，在文本場景測試中的壓縮率和壓縮性能，均超過業界公認的標桿演算法；Andreas Debski的快速圖像壓縮演算法，達到了業界公認標桿演算法120%的壓縮率，展現了深厚的圖像壓縮演算法功底。
過去一年的成功，也讓我們對今年的 「奧林帕斯」有了更高的期待。對這個太陽系最高峰的攀登，意味著整個數據存儲技術領域的參與者，首次能夠團結一致，共同牽引基礎理論研究方向，突破關鍵技術難題，加速科研成果產業化，實現產學研合作共贏。
在此進程中，華為一方面發揮了產業引領者的角色，大力推動產學研的合作進程；另一方面也積極投身其中，通過 Data Fabric、智能存儲、內存型存儲、數據縮減、視頻存儲等五大創新實驗室，通過4000多名研發工程師的協同努力，圍繞下一代存儲的介質、網路、架構和管理等進行系統化創新。
我們也有理由相信，通過全球、全領域的協同創新，我們一定能夠迎來數據存儲技術的突破，通過技術重構實現更好的數據存儲效能，讓全世界共享數字技術紅利，進而推動千行百業的智能化升級。
㈢ 詳解大數據存儲：哪些問題最容易出現
數據是重要的生產要素
信息時代，數據儼然已成為一種重要的生產要素，如同資本、勞動力和原材料等其他要素一樣，而且作為一種普遍需求，它也不再局限於某些特殊行業的應用。各行各業的公司都在收集並利用大量的數據分析結果，盡可能的降低成本，提高產品質量、提高生產效率以及創造新的產品。例如，通過分析直接從產品測試現場收集的數據，能夠幫助企業改進設計。此外，一家公司還可以通過深入分析客戶行為，對比大量的市場數據，從而超越他的競爭對手。
存儲技術必須跟上
隨著大數據應用的爆發性增長，它已經衍生出了自己獨特的架構，而且也直接推動了存儲、網路以及計算技術的發展。畢竟處理大數據這種特殊的需求是一個新的挑戰。硬體的發展最終還是由軟體需求推動的，就這個例子來說，我們很明顯的看到大數據分析應用需求正在影響著數據存儲基礎設施的發展。
從另一方面看，這一變化對存儲廠商和其他IT基礎設施廠商未嘗不是一個機會。隨著結構化數據和非結構化數據量的持續增長，以及分析數據來源的多樣化，此前存儲系統的設計已經無法滿足大數據應用的需要。存儲廠商已經意識到這一點，他們開始修改基於塊和文件的存儲系統的架構設計以適應這些新的要求。在這里，我們會討論哪些與大數據存儲基礎設施相關的屬性，看看它們如何迎接大數據的挑戰。
容量問題
這里所說的「大容量」通常可達到PB級的數據規模，因此，海量數據存儲系統也一定要有相應等級的擴展能力。與此同時，存儲系統的擴展一定要簡便，可以通過增加模塊或磁碟櫃來增加容量，甚至不需要停機。基於這樣的需求，客戶現在越來越青睞Scale-out架構的存儲。Scale-out集群結構的特點是每個節點除了具有一定的存儲容量之外，內部還具備數據處理能力以及互聯設備，與傳統存儲系統的煙囪式架構完全不同，Scale-out架構可以實現無縫平滑的擴展，避免存儲孤島。
「大數據」應用除了數據規模巨大之外，還意味著擁有龐大的文件數量。因此如何管理文件系統層累積的元數據是一個難題，處理不當的話會影響到系統的擴展能力和性能，而傳統的NAS系統就存在這一瓶頸。所幸的是，基於對象的存儲架構就不存在這個問題，它可以在一個系統中管理十億級別的文件數量，而且還不會像傳統存儲一樣遭遇元數據管理的困擾。基於對象的存儲系統還具有廣域擴展能力，可以在多個不同的地點部署並組成一個跨區域的大型存儲基礎架構。
延遲問題
「大數據」應用還存在實時性的問題。特別是涉及到與網上交易或者金融類相關的應用。舉個例子來說，網路成衣銷售行業的在線廣告推廣服務需要實時的對客戶的瀏覽記錄進行分析，並准確的進行廣告投放。這就要求存儲系統在必須能夠支持上述特性同時保持較高的響應速度，因為響應延遲的結果是系統會推送「過期」的廣告內容給客戶。這種場景下，Scale-out架構的存儲系統就可以發揮出優勢，因為它的每一個節點都具有處理和互聯組件，在增加容量的同時處理能力也可以同步增長。而基於對象的存儲系統則能夠支持並發的數據流，從而進一步提高數據吞吐量。
有很多「大數據」應用環境需要較高的IOPS性能，比如HPC高性能計算。此外，伺服器虛擬化的普及也導致了對高IOPS的需求，正如它改變了傳統IT環境一樣。為了迎接這些挑戰，各種模式的固態存儲設備應運而生，小到簡單的在伺服器內部做高速緩存，大到全固態介質的可擴展存儲系統等等都在蓬勃發展。
並發訪問 一旦企業認識到大數據分析應用的潛在價值，他們就會將更多的數據集納入系統進行比較，同時讓更多的人分享並使用這些數據。為了創造更多的商業價值，企業往往會綜合分析那些來自不同平台下的多種數據對象。包括全局文件系統在內的存儲基礎設施就能夠幫助用戶解決數據訪問的問題，全局文件系統允許多個主機上的多個用戶並發訪問文件數據，而這些數據則可能存儲在多個地點的多種不同類型的存儲設備上。
㈣ 華為突破分布式資料庫和存儲技術，打通數字化轉型「雄關漫道」
2019年，我們將進入數字化轉型的攻關期。所謂「攻關期」即數字化轉型2.0階段，需要攻堅企業關鍵業務上雲和數字化轉型改造的課題。在一份市場調查公司IDC的報告中指出：IDC自2014年提出數字化轉型以來，看到企業在數字化轉型層面已經投入了大量人力物力，但是效果並不理想，有一些企業已經成功屹立在潮頭，有一些企業在向上游進發，還有一些企業只能在浪潮的挾裹中被動前行。
對於企業來說，數字化轉型是「雄關漫道」。IDC認為，目前階段來看，企業亟待解決的是數字化能力提升，包括：與業務的深入結合能力；數據處理和挖掘能力；以及IT技術運營和管理能力。特別是數據處理和挖掘能力，因為數字化轉型推進企業從以流程為核心向以數據為核心轉型，對海量、異構、多類型的數據處理和挖掘能力是釋放數據價值的前提，對數據全生命周期的管控治理是釋放數據價值的保障。而隨著數字化轉型引入大量新技術而導致IT復雜度變高，企業IT技術運營和管理能力是提升企業「IT生產力」的關鍵。
攻關數字化轉型的「雄關漫道」，需要一個具備融合、智能、可傳承三大特性的數字平台。這是2019年3月華為與IDC聯合推出的《擁抱變化，智勝未來—數字平台破局企業數字化轉型》白皮書所提出的觀點。融合主要指把傳統技術和創新技術相結合；智能主要指平台智能化和智能化能力輸出；可傳承主要指解耦、功能復用、可配置等理念打造的架構。而承載這三大觀點的，就是新一代分布式企業級技術。
2019年5月15日，華為發布了業界首款支持ARM架構的新一代智能分布式資料庫GaussDB以及分布式存儲FusionStorage 8.0，作為新一代數據基礎設施，詮釋了具備融合、智能、可傳承三大特性的數字平台。華為常務董事、ICT戰略與Marketing總裁汪濤在發布會上表示，千行百業正在加速智能化進程，越來越多的企業已經意識到數據基礎設施是智能化成功的關鍵。華為圍繞計算、存儲和數據處理三個領域重定義數據基礎設施，加速邁向智能時代。
今天所討論雲和工業互聯網等概念的背後是一個新時代的到來，這就是體系架構大遷徙。傳統企業級技術是在單體應用和單機環境中，保證數據存儲、調用等操作的高可靠、高可用、高穩定，特別是滿足金融級事物處理的ACID（原子性、一致性、隔離性和耐久性）要求，為企業關鍵業務提供數據管理支撐。隨著企業技術向雲架構遷移，資料庫技術也面臨轉型。
2018年，基於雲計算技術的分布式資料庫成為了業界的熱點。簡單理解，雲計算技術就是把「單機」環境替換為由X86伺服器機群所組成的分布式計算環境。原先由幾台小型機完成的計算任務，要分散到上百甚至上千台X86伺服器上，而且還可能跨數據中心操作，挑戰可想而之。特別是在線支付等金融級業務，不能在斷網或網路連接有問題時出錯，也不能因響應速度慢而影響用戶體驗。
2018年8月，中國支付清算協會與中國信息通信研究院聯合舉辦了「金融分布式事務資料庫研討會」，與業界廠商和用戶共商核心資料庫分布式轉型之路，同時發布了《金融分布式事務資料庫》白皮書。金融分布式事務資料庫的工作推進，為分布式資料庫進入企業關鍵業務系統，提供了產業化支撐。而華為作為企業ICT解決方案供應商，早在2012年就開始研發面向大數據分析的數據倉庫，在基於傳統關系型資料庫SQL引擎和事務強一致性等基礎上，進行了分布式、並行計算的改造，歷時6年打造了面向PB級海量數據分析的分布式資料庫。
在OLAP數據倉庫之外，華為與行業用戶合作了面向OLTP的分布式事務型資料庫研發。2017年，華為與招商銀行合作成立了分布式資料庫聯合創新實驗室，研發具有高性能企業級內核、完整支持分布式事物、滿足金融行業對數據強一致要求、單機事物處理能力要達到每分鍾百萬級別等的OLTP分布式資料庫。
本次發布的GaussDB資料庫新品包括：聯機事務處理OLTP資料庫、聯機分析處理OLAP資料庫、事務和分析混合處理HTAP資料庫。而華為GaussDB資料庫將AI技術融入資料庫設計、開發、驗證、調優、運維等環節，可實現基於AI的自調優、自診斷自愈、自運維，讓資料庫更高效、更智能，引領資料庫架構的發展。
更進一步，本次發布的GaussDB系列資料庫是業界首款支持ARM晶元的分布式資料庫。華為推動計算架構從以X86+GPU為主的單一計算架構到以X86+GPU+ARM64+NPU為主的異構計算架構快速發展。基於X86架構，華為引入AI管理和智能加速能力，率先推出了智能伺服器FusionServer Pro；基於ARM64打造了業界性能最強的TaiShan伺服器；基於Ascend晶元的Atlas智能計算，實現了業界首個端邊雲協同的人工智慧平台。而GaussDB可充分利用並融合ARM、X86、GPU、NPU等多種異構算力組合，大幅提升資料庫性能。
汪濤強調，作為全球首款AI-Native資料庫，GaussDB有兩大革命性突破：第一，首次將人工智慧技術引入資料庫的全生命周期流程，實現自運維、自管理、自調優和故障自診斷。在交易、分析和混合負載場景下，基於最優化理論，首創深度強化學習自調優演算法，把業界平均性能提升60%。第二，支持異構計算，充分發揮X86/ARM/GPU/NPU多樣性算力優勢，最大化資料庫性能，在權威標准測試集TPC-DS上，華為GaussDB排名第一。GaussDB還支持本地部署、私有雲、公有雲等多種場景。
在以雲計算為代表的分布式計算環境中，數據管理解決方案除了需要分布式資料庫外，為了更好的擴縮容以及滿足多樣化數據存儲需求，計算與存儲分離已經成為分布式資料庫設計的主要架構。分布式雲化架構，就是要支持計算、存儲分離和多租戶等架構設計要求。
GaussDB已經從資料庫層面實現了高可用、高可靠、高穩定的分布式資料庫，本次發布的FusionStorage 8.0則是分布式存儲架構，創新地實現一套系統同時支持塊、文件、對象、HDFS協議，1套存儲支持4類存儲能力，適用於全業務場景混合負載，最終讓「一個數據中心一套存儲」成為可能。
IDC發布的《中國軟體定義存儲（SDS）及超融合存儲（HCI）系統市場季度跟蹤報告，2018年第四季度》顯示，2018年，軟體定義存儲市場達到了54.9%的同比增長。軟體定義存儲在中國整體存儲市場的佔有率穩步上升，分別達到了22.1%的市場佔有率。華為憑借文件解決方案在政府、廣電和電信等行業得到認可，在2018年中國軟體定義存儲市場排名第一。
FusionStorage 8.0採用華為ARM-based處理器鯤鵬920加速，使IOPS提升 20%，結合華為AI Fabric無損網路，時延進一步降低15%。基於華為在計算、網路和存儲領域多年的晶元和演算法積累，FusionStorage 8.0在SPC-1的性能測試中，單節點性能達到了16.8萬IOPS以及1ms以內時延，成為承載企業關鍵應用的新選擇。
此外，通過華為雲的雲上訓練及本地AI晶元，FusionStorage 8.0將智能管理貫穿業務使用的全生命周期，如業務上線前對存儲資源的規劃，使用過程中的風險預判及故障定位，大幅提升存儲效率，幫助行業客戶應對智能時代的數據新挑戰。
汪濤在發布會上強調，新一代智能分布式存儲FusionStorage 8.0通過重定義存儲架構，從「Storage for AI」和「AI in Storage」兩個維度實現效率大幅提升，引領存儲智能化。首先，「Storage for AI」通過融合共享，讓AI分析更高效。其次，「AI in Storage」率先將AI融入存儲全生命周期管理，從資源規劃、業務發放、系統調優、風險預測、故障定位等方面實現智能運維。
遼寧移動就採用了華為FusionStorage。作為遼寧省內最大的移動通信運營商，遼寧移動一直在 探索 先進的存儲方案在自身IT系統的應用。由於5G的快速發展，遼寧移動關鍵資料庫的應用也向雲化方向發展，分布式存儲也要滿足其可靠性和高性能要求。華為在深入分析遼寧移動需求後，首先在邊緣開發測試業務小規模試點分布式存儲，進行了大量的實驗和測試後性能和可靠性都達到了預期，最終決定將全部業務遷移至FusionStorage。該方案通過採用雙活、可寫快照、端到端DIF等特性，順利完成Billing、經營分析、B2B等系統從老舊存儲至FusionStorage的搬遷工作，助力遼寧移動的存儲架構邁入新的 歷史 階段。
值得一提的是，華為分布式資料庫與華為分布式存儲深度結合，把資料庫的操作下沉到存儲節點，極大提升了分布式資料庫的性能。利用新的網路技術和人工智慧技術，華為幫助用戶提升數據中心的吞吐量，提升網路應用的可伸縮性，並且能自動調優。
除了推出新一代突破性的分布式資料庫和存儲技術外，華為也積極與客戶、夥伴在資料庫與存儲領域，從行業應用、平台工具、標准組織和社區等多個層面共建開放、合作、共贏的產業生態。在行業應用層面，華為與軟通智慧、神州信息、東華軟體、易華錄、用友政務、亞信國際等獨立軟體開發商長期合作；在平台和工具層面，華為與Tableau、帆軟、ARM、Veritas等合作夥伴聯合創新；在標准組織和社區層面，華為深度參與OpenSDS、中國人工智慧產業聯盟、OCP、OpenStack、CNCF基金會等組織和社區的建設。
總結來說，華為全線分布式資料庫和分布式存儲產品的發布，是華為具備融合、智能、可傳承三大特性數字平台的最新成果。華為分布式資料庫與分布式存儲結合，能消除企業各業務系統數據孤島，構建面向行業場景的數據建模、分析和價值挖掘能力，對多源異構的數據進行匯聚、整合和分析，形成統一的全量數據和數據底座，實現數據價值挖掘和共享。而基於AI的智能化，可對基礎設施進行高效的管理，為行業應用開發和迭代賦能，全面幫助企業突破關鍵應用上雲的「雄關漫道」。（文/寧川）
㈤ 多媒體在資料庫中如何存儲
SQL Server可以存儲，類型可以用image。但是建議不要這樣做，因為電影網站需要在線觀看，存儲在資料庫中不方便。
㈥ 磁帶介質存儲數據安全管理
唐衛
(中國地質調查局廣州海洋地質調查局)
摘要 隨著數據量的增長，大容量數據存儲介質的需求大幅增加。數據存儲也成為大家共同關注的問題。磁帶存儲技術是一種安全、可靠、易使用和相對投資小的備份方式，是檔案存儲備份之首選。但對長時間保存的磁帶怎樣保障其數據的安全性是檔案行業最為關注的重要問題之一。本文從磁帶保存、轉儲等實際管理過程中遇到的問題出發，介紹怎樣保障存儲在磁帶介質上數據的安全並提出初步建議。
關鍵詞 磁帶 數據存儲 數據安全
隨著社會的發展，檔案資料的存儲形式呈現多樣化，電子數據的存儲問題越來越突出，電子文件長期安全保存問題已引起我們的高度重視。磁帶存儲技術是一種安全、可靠、易使用和相對投資小的備份方式，是檔案存儲備份之首選。本文從磁帶保存、轉儲等實際管理過程中遇到的問題出發，介紹怎樣保障存儲在磁帶介質上數據的安全並提出初步建議。
1 磁帶介質簡介
1.1 磁帶介質的特點
磁帶是一種順序存取的存儲介質，與磁碟相比，磁帶的價格很便宜。除了驅動器和介質成本，磁帶保存在庫中，不消耗電能，不需要使用昂貴的數據中心存儲空間。
磁帶具有存儲海量數據的絕對優勢，雖然磁帶讀取速度相對較慢，但磁帶技術的發展，在大文件、大容量數據的存取上具有較大優勢，速度甚至比磁碟還要快。在數據安全性方面，磁帶可以離站攜帶，並可以離線保護，以免數據受到在線攻擊，因此使用磁帶進行離線備份的優勢就逐漸凸顯出來。另外，磁帶具有30年的有效期(視存儲環境而定)，非常可靠，具有高級伺服系統、一流的磁頭和介質模式、寫入驗證後的讀取功能等。磁帶應當是檔案存儲備份之首選介質。《GB/T 18894—2002 電子文件歸檔與管理規范》中規定，磁帶是檔案存儲載體的形式之一。
1.2 磁帶的類型
在選擇合適的歸檔存儲介質時，有許多因素需要考慮，如為什麼需要歸檔? 歸檔數據的屬性、數據量大小、歸檔數據需要保存的期限、訪問檔案的可能性和頻率以及需要的搜索能力、預算如何等。
目前根據要儲存的數據特點以及發展的需要，主要磁帶類型有：8mm磁帶、DV磁帶、3480、3490、3590 B、3592等。
1.3 磁帶存儲環境要求
磁帶存儲應遠離強磁場、強熱源，並與有害氣體隔離，環境溫度選定合適的范圍。長期保存的磁帶，庫房溫度應控制在15～22℃，庫房相對濕度應控制在40%～60%，同時磁帶應保存在清潔的環境和潔凈的空氣中，注意防灰塵和有害氣體。另外，磁場對磁帶影響極大，據資料報道，磁帶檔案上的信息隨磁場強弱和距離而變化。總之，應嚴格按照磁帶的特點和對環境的特殊要求，建立良好的保存環境。
2 廣州海洋地質調查局磁帶存儲數據安全現狀及原因分析
2.1 安全現狀
到目前為止，廣州海洋地質調查局(以下簡稱廣海局)館藏有各類原始電子數據和成果電子數據的磁帶2萬多盒。廣海局配有精密空調移機加濕機等設備，從環境上保障磁帶儲存要求，還配備有專用的倒帶機，對磁帶進行讀帶和檢測評價。根據制度要求，廣海局每年按照要求對磁帶進行抽檢，檢驗磁帶是否正常，及時發現問題，及時進行數據備份，對長時間保存的磁帶進行評價和轉儲工作。雖然廣海局採取了一定的保障措施，但仍有部分磁帶因保存年代久遠、野外以及早期庫房存放等因素，導致其某些數據發生損壞、丟失等問題。
2.2 原因分析
磁帶發生損破或數據丟失問題的主要表現為磁帶層間粘連、磁帶盒物理結構損壞、磁帶數據丟失等。這些問題磁帶如不能有效處理，會使得磁帶機載入時磁帶的張力系數大於磁帶伺服系統釋放的反張力系數，造成張力與反張力不能匹配，嚴重時會導致磁帶拉伸變形後果或現象。根據廣海局的實際工作情況，主要包括下列情況：
1)早期庫房軟硬體環境無法達到磁帶標准存放要求。
2)磁帶使用年限過長，個別磁帶磁粉脫落導致磁性減弱或數據丟失。
3)磁帶保存年限過久導致其物理結構老化，個別部件運行過程無法恢復至正常位置。
對於當前出現的問題，解決的方法之一就是轉錄。
3 磁帶存儲數據的轉錄
3.1 轉錄的意義和作用
磁帶存儲數據的有效期視存儲環境而定，另外由於磁帶存儲介質的發展，從最早的九軌磁帶、3480、3490、3590到目前普遍使用的到3592磁帶，如果只是單純地進行讀帶、倒帶等基本工作，很難保障數據的長久安全，很有必要將原來的磁帶存儲介質轉儲成當前比較普遍使用的存儲介質，以保證磁帶數據的存儲安全。
在保管的磁帶中，有些磁帶雖然經過多次清洗和倒帶處理，都不能正確地被讀取，造成了數據的丟失。為了解決磁帶保管年代久遠、磁粉脫落等客觀原因，造成數據不完整等問題，應該定期對磁帶存儲數據進行數據轉錄工作。
3.2 轉錄前檢查
核對工作包括磁帶編號、文件個數、MD5碼(每盤磁帶轉儲後系統會生成一個MD5碼，如數據在上傳、下載等過程中數據發生變化時，此MD5碼會發生改變系統會自動報警)等一系列數據內容進行一致性檢查。對此次項目所有磁帶核對後，除原始磁帶本身存在問題的磁帶外(此類磁帶經過多種恢復處理手段後，只有個別數據塊無法讀取)，其餘磁帶檢查均與原始磁帶內實際數據一致。
3.3 磁帶的轉錄過程
在磁帶轉錄過程中，採用數據拷貝、數據解析、檢測處理以及恢復處理等模塊對磁帶數據進行相關的分析以及處理，並按照MD5 模塊格式進行數據校驗檢測等。對於二進制文本文件，數據檢查工具有：TXT記事本或寫字板文件；FlexHEX.exe軟體等。對於海底攝像磁帶數據檢查工具：採用流行的播放工具Media Player軟體，QQ影音，Quicktime Player等播放軟體。
在保管的磁帶中，原始數據磁帶格式為SEG-D和SEG-Y，成果磁帶數據格式為SEG-Y，按照《SY/T6550—2003 地震勘探數據轉儲》要求，原始磁帶應將SEG-D 格式解編後轉換為SEG-Y 格式輸出。但在實際中發現SEG-D格式數據解編後會丟失部分數據頭段信息。因此，為保持數據的完整性，原始磁帶數據(SEG-D)轉錄時不進行數據格式轉換，所有磁帶做無損拷貝轉儲。
3.4 磁帶轉錄輸出存儲
磁帶庫現有的磁帶類型包括3480、3490、3590及8mm磁帶。目前廣海局野外船隻上採集系統配置的是IBM 3592磁帶機，為與野外磁帶類型互相兼容，選用3592磁帶作為磁帶轉儲的輸出磁帶介質，這樣在磁帶機及磁帶的配置選型方面都是比較合理的，同時為了數據存儲安全進行了雙備份磁帶輸出。
4 結論
磁帶作為數據存儲的主要載體，在日常管理中必須加強安全管理工作，對磁帶存儲介質的定期檢查工作，如發現問題應及時採取恢復措施。為保證磁帶數據的存儲安全，磁帶轉錄工作將是一個常態的過程。只有科學有效地正確理解和掌握磁帶的使用、管理、清潔和存儲環境等方面要求，才能保證磁帶的長久安全和有效。
參考文獻
[1]張晶晶.論磁帶存儲系統在檔案備份存儲中的適用性[J].浙江檔案，2008(2).
[2]王偉紅.對做好新型載體海洋檔案保護技術工作的幾點思考[J].海洋信息，2010(4).
[3]秦書凰.數字磁帶在檔案數字化存儲中的應用技巧[J].機電兵船檔案，2004(5).
㈦ 大數據時代 安防行業如何保證數據存儲安全
作為大數據時代海量數據的來源之一，安防視頻監控產生了巨大的信息數據。特別是近幾年隨著平安城市、智能交通、智能樓宇等行業的快速發展，大集成、大聯網推動安防行業進入大數據時代。
安防行業大數據的存在已經被越來越多的人熟知，特別是安防行業海量的非結構化視頻數據，以及飛速增長的特徵數據(卡口過車數據、人像抓拍數據、異常行為數據等)，安防行業的數據存儲、數據安全等一系列問題，吸引著人們對安防行業的關注。
大數據引發安防行業的數據存儲、數據安全問題
對於安防行業，監控技術如今正面臨日新月異的變革，模擬視頻監控正在向IP網路監控轉變，巨大轉變的同時對數據存儲、數據安全性提出了更高的要求。我們探討數據安全，包括產品本身的物理安全和產生數據的安全。所以，大數據時代引發安防行業數據存儲、數據安全的問題有以下幾點：
第一、基礎設備的風險：包括監控中心的存儲設備、伺服器和前端節點設備的安全性、網路設備的安全性、傳輸線纜的安全性等。設備的安全可靠是整個大數據安防系統安全運行的基礎。
第二、信息存取的風險：包括用戶非法訪問、數據丟失、數據被篡改等。系統信息的安全，主要運用各種加密技術、存儲技術、及備份方案來達到系統信息的安全。
第三、信息在網路上傳輸的風險：包括視頻信息、錄像數據信息、用戶信息等在傳輸過程中保密性、完整性的保障以及傳輸鏈路上的節點設備的安全。另外還包括前端採集設備、社會監控資源接入公安監控專網的安全。
第四、系統運行的風險：包括接入設備的識別和認證、設備運行故障、軟體病毒、惡意代碼、以及設備控制的優先順序調度等。系統運行時的風險控制主要依靠視頻監控軟體平台來保障，該軟體平台可以完成設備管理、故障監控、訪問控制、用戶管理、鑒權機制等一系列的功能來保障整個系統的安全運行。
大數據催生安防行業存儲方式的變革
由於國內視頻監控市場每年都在以超過20%的速度增長，隨著平安城市等大型聯網監控項目的普遍建設，高清IP監控產品得到廣泛應用，系統點位容量和行業需求不斷激增，越來越多的用戶認識到安防監控平台軟體是整個系統綜合實力的重要表現。
在功能上：絕大多數平台軟體都具備視頻預覽、錄像回放、設備管理、地圖顯示等功能。
在標准上：主流平台軟體均支持業界成熟標准，除了通過私有協議兼容多種主流品牌的設備接入外，ONVIF和GB/T28181已經成為平台兼容前端以及不同品牌平台互聯的主要依據。
在規模上：雖然大多宣稱支持上萬路攝像頭的大型組網，但由於各家軟體內部底層設計和存儲轉發轉碼等技術水平差異，還需要實際應用案例和運營狀況的事實支撐。
毋庸置疑，監控管理平台軟體已經樹立了在系統中的核心價值，並得到從用戶、工程商到廠商的廣泛認可，特別是以IP監控和行業解決方案為市場戰略的今天，很多硬體生產廠商紛紛開始重視平台軟體產品的配套，或合作或自研，以提高前後端產品的一致性和完整性。
治安監控平台軟體面臨尷尬境遇
從監控技術的發展歷史來看，治安監控大致經歷三代系統的發展歷程：第一代是模擬閉路電視監控(CCTV)系統，第二代是數字化監控系統，第三代是網路視頻監控系統。今天我們談亂的網路視頻監控系統。
談及系統管理，首先不得不先談談視頻監控系統產品的市場現狀分析及預測。目前，視頻監控產品所佔安防市場比例大約在40～50%之間。傳統國外監控企業產品在市場中的份額不斷縮減，民族品牌的數字化監控產品逐步占據市場。而僅僅幾年的光景，網路型的監控產品發展過速，網路存儲設備已在悄然改變著DVR的市場應用狀況。
隨著城市報警監控網路建設和平安城市建設的深入，平台軟體技術加速發展，IT行業中的實力企業大舉進入安防行業。安防系統智能化、集成化的應用、大安防理念的推進，導致安防服務的內容和形式都發生了變化，圍繞終端用戶的個性化解決方案的服務理念也被更多企業認知和實踐，安防行業是服務行業的定位和服務功能的作用越來越清晰。這一切都強烈沖擊著傳統安防應用格局和方式，IT行業的實力企業湧入安防，也快速帶動了安防行業的革新的變化，從而導致市場形態的巨大變化。
而在全數字化的浪潮下，治安監控管理平台軟體除了最基本的音視頻操作功能以外，面臨的主要問題是要對大型網路環境下分散場所的監控設備統一管理，對統一系統不同類型的視頻採集設備、報警設備和門禁設備進行統一管理，對不同部門不同許可權用戶不同業務需求進行統一管理，構建面向應用服務的綜合管理平台軟體。
重要性不言而喻，但在國內安防行業中卻面臨著認知度不足、市場規模不大、價值無法充分體現等問題。近年來，平台軟體雖然也有較大發展，但跟整個行業市場相比，還存在一定差距，主要體現在：
一、缺乏持續健康的生存環境。重硬體輕軟體，很多廠商和工程商都把軟體作為硬體銷售的配套附屬產品，基本定位於能用就行。在產品規劃和技術突破上認識不足，缺乏長期投入；對用戶需求響應不及時，缺乏內在動力。
二、平台軟體為項目而主，難以產業化。很多專業軟體公司都依賴大型項目，以滿足用戶需求為核心，通過投入大量研發資源不斷迭代開發，打造為該項目量身定做的軟體系統，形成技術壁壘和封閉壟斷，同類產品難以互通和替換。
三、對行業化有心無力，經驗不足。由於大多數安防廠商從硬體產品起步，軟體基因匱乏，從頂層設計到模塊化開發，缺乏統籌規劃和項目管理，所以只能負責視頻接入轉發存儲部分的軟體開發，由第三方軟體開發公司負責業務功能。
四、長期目標不明確，軟體質量不高。平台軟體的產品質量依賴以下因素：高效可靠的開發流程保障、對行業業務的深刻理解、從用戶角度設計產品應用的易用性和可用性。目前安防軟體企業水平參差不齊，雖然有一些針對硬體和軟體整體集成實施交付的企業，但應用范圍及規模化程度都不大，高水平的專業平台提供商數量不多。
基於以上原因，目前市場上的綜合管理平台軟體，要麼功能貌似很多但不實用，要麼架構復雜，成本居高不下，要麼運行所需環境簡單，無法提供健壯的擴展性，要麼操作復雜難以上手，凡此種種，不一而足。
視頻監控管理平台的市場發展趨勢
從宏觀上看，安防平台軟體未來的兩大發展方向，一是針對安保監控內部的橫向集成，將視頻監控、報警處理、門禁控制、地理信息等系統資源統一管理；二是安保系統與用戶其他其他業務系統的縱向集成，擴大監控在安全生產、社會治安等各個層面的應用，提高安全管理業務的水平。
具體看，攝像頭數量多、監控區域范圍大、系統架構復雜、業務面寬等正成為軟體平檯面臨的主要問題，帶來如下趨勢：
趨勢一、聯網共享。不僅是單一系統內的攝像機頭數量激增，而且多個系統之間的圖像信息也需要互通復用。
趨勢二：兼容開放。平台軟體與監控設備特別是攝像頭的兼容性是長期存在的矛盾，由於沒有統一標准，現有的產品專用或是軟硬體被綁定，不能實現兼容。
趨勢四：智能應用。隨著高清視頻技術的成熟和網路鏈路建設的加速，視頻監控已經從看得發展到看得清，下一步就是看得懂。
趨勢五：人性化交互。視頻監控軟體面對的是許多不熟悉軟體甚至不太懂計算機的安保人員，對專業術語、界面結構及菜單布置的熟悉掌握有一定難度，設計不合理的軟體操作不符合用戶習慣，影響使用情緒，難以得到用戶認同。
趨勢六：安防行業化漸漸的發展，使安防系統的使用也朝著業務部門多元化、需求多樣化、管理機構的多層次，必須選用支持多業務應用、靈活的系統架構、易於管理維護的管理平台軟體來運行和操作，不同的行業其應用軟體也有較大的區別。安防軟體逐漸的大多數業內人士認可，未來發展走向融合、開放。
以上由物聯傳媒轉載，如有侵權聯系刪除