『壹』 各大巨頭紛紛布局IPFS分布式存儲
近年來，大部分投資者都曾有過一個疑問：「為什麼華為、阿里、亞馬遜不使用IPFS&Filecoin，IPFS&Filecoin發展前景如何，到底能否取代傳統的數據中心」，其實，傳統的雲存儲和分布式存儲之間並不是非此即彼的選擇題，雙方是可以求同存異、共生互補的，同時，由於IPFS&Filecoin分布式存儲順應時代需求，具有足夠的創新性和廣闊的應用場景，因此，阿里、華為、亞馬遜等巨頭早已紛紛布局IPFS&Filecoin，接下來，我們就來看看他們是如何將IPFS&Filecoin與自身業務相結合的。
京東智聯雲無線寶引入IPFS
京東智聯雲事業部無線寶業務總經理張曉東在杭州IPFS生態與分布式存儲產業峰會上，發表了以《基於京東雲無線寶智能終端及其價值共享理念，構建IPFS基礎設施》為主題的演講，其中張曉東談到，京東也好，阿里也好，拼多多也好，其實我們都有很大的電商生態，當其所產生的價值和消費生態結合在一起，就將是未來整個幣圈和消費生態結合在一起的很重要的方向。
京東雲會成為京東的底層基礎設施，把京東的技術體系的積累以雲為出口輸出給行業或者企業的客戶。而路由器將會成為一個家庭的入口，但是路由器加上存儲有可能會成為家庭的網路連接和數據管理的終端平台，因此，京東的路由器無線寶就是京東在雲存儲領域王炸品牌，而無線寶需要使用到IPFS。
路由器市場每年有1億台，京東則會做出更漂亮、更有特色、能賺錢的無線寶路由器，使路由器不再被放置在家裡的角落，而像擺件一樣放置在明顯的桌上，會賺錢其實是指賺金豆，一個金豆等於一分錢，每一個金豆都可以在京東平台做消費，也就是說，京東通過路由器隨著植入，把資源做一個變現。
無線寶有一個技術變現體系，是基於P2P的變現，這就需要結合到IPFS。
無線寶將會通過用戶閑散的帶寬資源做一些變現，因為這個產品部署在用戶的家裡面，千家萬戶完全分散就意味著是分散的、分布式的，未來區塊鏈也好，IPFS也好，完全可以植入到這樣一個產品裡面。
無線寶有閑置的存儲和帶寬資源，用戶可以把一些有價值的文件、數據分布式緩存在無線寶上面，做一些有價值的產品變現，結合到IPFS技術，總的存儲成本是非常低的，但是數據的價值是非常的高，無線寶上結合IPFS，或許還能創造一些新的場景的應用，並實現節點與節點之間的價值的轉移。
滄州華為雲計算大數據中心引入IPFS
2020年6月13日，滄州雲智大數據產業園簽約儀式啟動，此次儀式就滄州華為雲在數據中心IDC業務、雲計算及分布式存儲等方面達成框架合作協議，共同建設伺服器集群基礎設施。
滄州華為雲計算大數據中心由市政府與華為技術有限公司合作建立，位於滄州市高新技術開發區，總投資超4億元，數據機房規劃3000個可用IT機櫃模塊，是滄州市打造的大數據產業發展基地。
據滄州政府官網以及相關媒體報道，此次滄州華為雲伺服器集群將引入IPFS分布式存儲技術共同搭建，通過IPFS技術，文件在上傳時會瞬間打碎成N個加密碎片，分散存儲於不同的伺服器中，在下載時再自動合成為完整的源文件，具有高安全性和隱私性更高效、更便宜、數據永久性等四大優勢，IPFS分布式存儲技術將成為滄州市大數據產業發展基地的新亮點。
亞馬遜雲布局IPFS存儲市場
7月3日，亞馬遜雲解決方案架構師華東區經理吳鵬程在2020 IPFS生態與分布式存儲產業峰會上發表主題演講《快速構建全球化IPFS及區塊鏈平台》。
首先，吳鵬程對IPFS分布式存儲技術給予了認同，由於IPFS具有7X24極高穩定性、全球布局能力、海量存儲能力、無限公網寬頻和IP、高性能的CPU/GPU，因此IPFS天然地和公有雲契合，以打造更快的「高速公路」。
亞馬遜雲充分看到了IPFS所蘊含的龐大存儲市場，因此從硬體、軟體、金融層面多方面布局IPFS產業生態鏈，正如吳鵬程所說：「亞馬遜作為服務商，我們可以和造鐵路的有很好的合作，比如說挖礦、交易所上面我們都可以有非常緊密的一些合作，挖礦可以提供各種GPU、CPU，還有各種類型的存儲，實現低成本，快速使用的場景，交易所場景下5大需求快速因上落地，有很好的架構實現。」
此外，根據IPFS第144期周報，在AWS S3已經可以將文件轉移到IPFS上。
阿里雲布局IPFS存儲市場
8月3日，在「星際漫遊指南·逐鹿中原·IPFS技術與應用研討論壇」上，阿里雲高級解決方案架構師西城進行了以《雲端分布式存儲的發展》為題的演講。
西城認為，從雲的業務角度看來，阿里已經在很多層面做了相當多的技術積累，特別是在計算節點調度和存儲節點方面。企業們如果希望雲產品能具有特點，就不要把所有精力投入在雲端分布式存儲和整個管理部署架構上，而應該更多的提高其算力，並做一些可以提升存力的技術開發並進行相應的業務拓展。
BaaS，是阿里雲旗下的雲平台之上的區塊鏈平台服務，提供區塊鏈系統的部署、運維、治理能力，提供區塊鏈應用運行和管理的能力，它是雲上的區塊鏈應用；BaaS也是雲計算與區塊鏈是一個完美的結合，能夠助力用戶在IPFS領域實現落地應用。
功能豐富，涉及到存證、智能合約和BaaS，這幾塊都是區塊鏈的典型商用模式，全球接入、成本彈性、性能可控、安全防護是區塊鏈雲上部署未來所需要關注和努力的方向。
IPFS不僅是分布式存儲，更蘊含了龐大的分布式存儲的生態，阿里雲積極研究和布局IPFS，積極為IPFS生態應用的構建提供一個良好的孵化平台，讓區塊鏈和IPFS從業者能夠更好的致力於創新和更高效地成長。
巨頭加持，分布式存儲勢不可擋
IPFS是一項被諸多媒體紛紛報道的對標HTTP的新一代互聯網技術，而無論是阿里、華為還是亞馬遜，巨頭之所以成為巨頭，就是因為他們有更敏銳的市場嗅覺、更廣泛的商業布局、更開放的商業心態。當我們在糾結IPFS到底是否有發展前景的時候，這些巨頭們已經在你看不見的地方展開了宏大的布局，或數據存儲、或生態應用、或技術研發，同樣，這些巨頭們也用實際行動告訴我們，分布式存儲的未來，勢不可。
學著用開放的、積極的心態去擁抱新事物，或許，真的能遇到一個屬於你的風口。
『貳』 區塊鏈分布式存儲：生態大數據的存儲新模式
區塊鏈，當之無愧的2019最靚的詞，在 科技 領域閃閃發亮，在實體行業星光熠熠。
2019年的1024講話，讓區塊鏈這個詞煥然一新，以前它總是和傳銷和詐騙聯系在一起，「區塊鏈」這個詞總是蒙上一層灰色。但是如今，區塊鏈則是和實體經濟融合緊密相連，成為國家的戰略技術， 這個詞瞬間閃耀著熱情的紅色和生意盎然的綠色 。
「產業區塊鏈」在這個時代背景下應運而生， 是繼「互聯網」後的又一大熱門詞彙，核心就是區塊鏈必須和實體產業融合，脫虛向實，讓區塊鏈技術找到更多業務場景才是正道。
區塊鏈的本質就是一個資料庫，而且是採用的分布式存儲的方式。作為一名區塊鏈從業者，今天就來講講 區塊鏈的分布式存儲和生態大數據 結合後，碰撞產生的火花。
當前的存儲大多為中心化存儲，存儲在傳統的中心化伺服器。如果伺服器出現宕機或者故障，或者伺服器停止運營，則很多數據就會丟失。
比如我們在微信朋友圈發的圖片，在抖音上傳的視頻等等，都是中心化存儲。很多朋友會把東西存儲在網上，但是某天打開後，網頁呈現404，則表示存儲的東西已經不見了。
區塊鏈，作為一個分布式的資料庫，則能很好解決這方面的問題。這是由區塊鏈的技術特徵決定了的。 區塊鏈上的數字記錄，不可篡改、不可偽造，智能合約讓大家更高效地協同起來，從而建立可信的數字經濟秩序，能夠提高數據流轉效率，打破數據孤島，打造全新的存儲模式。
生態大數據，其實和我們每天的生活息息相關，比如每天的天氣預報，所吃的農產品的溯源數據等等，都是生態大數據的一部分。要來談這個結合，首先咱們來看看生態大數據存儲的特點。
伴隨著互聯網的發展，當前，生態大數據在存儲方面有具有如下特點：
從數據規模來看，生態數據體量很大，數據已經從TB級躍升到了PB級別。
隨著各類感測器技術、衛星遙感、雷達和視頻感知等技術的發展，數據不僅來源於傳統人工監測數據，還包括航空、航天和地面數據，他們一起產生了海量生態環境數據。近10年以來，生態數據以每年數百個TB的數據在增長。
生態環境大數據需要動態新數據和 歷史 數據相結合來處理，實時連續觀測尤為重要。只有實時處理分析這些動態新數據，並與已有 歷史 數據結合起來分析，才能挖掘出有用信息，為解決有關生態環境問題提供科學決策。
比如在當前城市建設中，提倡的生態環境修復、生態模型建設中，需要大量調用生態大數據進行分析、建模和制定方案。但是目前很多 歷史 數據因為存儲不當而消失，造成了數據的價值的流失。
既然生態大數據有這些特點，那麼它有哪些存儲需求呢？
當前，生態大數據面臨嚴重安全隱患，強安全的存儲對於生態大數據而言勢在必行。
大數據的安全主要包括大數據自身安全和大數據技術安全，比如在大數據的數據存儲中，由於黑客外部網路攻擊和人為操作不當造成數據信息泄露。外部攻擊包括對靜態數據和動態數據的數據傳輸攻擊、數據內容攻擊、數據管理和網路物理攻擊等。
例如，很多野外生態環境監測的海量數據需要網路傳輸，這就加大了網路攻擊的風險。如果涉及到軍用的一些生態環境數據，如果被黑客獲得這些數據，就可能推測到我國軍方的一些信息，或者獲取敏感的生態環境數據，後果不堪設想。
生態大數據的商業化應用需要整合集成政府、企業、科研院所等 社會 多來源的數據。只有不同類型的生態環境大數據相互連接、碰撞和共享，才能釋放生態環境大數據的價值。
以當前的智慧城市建設為例，很多城市都在全方位、多維度建立知識產權、種質資源、農資、農產品、病蟲害疫情等農業信息大數據中心，為農業產供銷提供全程信息服務。建設此類大數據中心，離不開各部門生態大數據的共享。
但是，生態大數據共享面臨著巨大挑戰。首先，我國生態環境大數據包括氣象、水利、生態、國土、農業、林業、交通、 社會 經濟等其他部門的大數據，涉及多領域多部門和多源數據。雖然目前這些部門已經建立了自己的數據平台，但這些平台之間互不連通，只是一個個的數據孤島。
其次，相關部門因為無法追蹤數據的軌跡，擔心數據的利益歸屬問題，便無法實現數據的共享。因此，要想挖掘隱藏在生態大數據背後的潛在價值，實現安全的數據共享是關鍵，也是生態大數據產生價值的前提和基礎。
生態大數據來之不易，是研究院所、企業、個人等 社會 來源的集體智慧。
其中，很多生態大數據涉及到了知識產權的保護。但是目前的中心化存儲無法保證知識產權的保護，無法對數據的使用進行溯源管理，容易造成知識產權的侵犯和隱私數據的泄露。
這些就是生態大數據在存儲方面的需求。在當前產業區塊鏈快速發展的今天，區塊鏈的分布式存儲是可以為生態大數據存儲提供全新的存儲方式的。 這個核心前提就是區塊鏈的分布式存儲、不可篡改和數據追蹤特性 。
把區塊鏈作為底層技術，搭建此類平台，專門存儲生態大數據，可以設置節點管理、存儲管理、用戶管理、許可管理、業務通道管理等。針對上層業務應用提供高可用和動態擴展的區塊鏈網路底層服務的實現。在這個平台的應用層，可以搭建API介面，讓整個平台的使用靈活可擴展。區塊鏈分布式存儲有如下特點：
利用區塊鏈的分布式存儲，能夠實現真正的生態大數據安全存儲。
首先，數據永不丟失。這點對於生態大數據的 歷史 數據特別友好，方便新老數據的調用和對比。
其次，數據不易被泄露或者攻擊。因為數據採取的是分布式存儲，如果遭遇攻擊，也只能得到存儲在部分節點里的數據碎片，無法完全獲得完整的數據信息或者數據段。
區塊鏈能夠實現生態數據的存儲即確權，這樣就能夠避免知識產權被侵害，實現安全共享。畢竟生態大數據的獲取，是需要生態工作者常年在野外駐守，提取數據的。
生態大數據來之不易，是很多生態工作者的工作心血和結晶，需要得到產權的保護，讓數據體現出應用價值和商業價值，保護生態工作者的工作動力，讓他們能夠深入一線，採集出更多優質的大數據。
同時，利用區塊鏈的數據安全共享機制，也能夠打破氣象、林業、濕地等部門的數據壁壘，構建安全可靠的數據共享機制，讓數據流轉更具價值。
現在有部分生態工作者，為了牟取私利，會將生態數據篡改。如果利用區塊鏈技術，則沒有那麼容易了。
利用加密技術，把存儲的數據放在分布式存儲平台進行加密處理。如果生態大數據發生變更，平台就可以記錄其不同版本，便於事後追溯和核查。
這個保護機制主要是利用了數據的不可篡改，滿足在使用生態大數據的各類業務過程中對數據的安全性的要求。
區塊鏈能夠對數據提供安全監控，記錄應用系統的操作日誌、資料庫的操作日誌數據，並加密存儲在系統上，提供日誌預警功能，對於異常情況通過區塊鏈瀏覽器展示出來，便於及時發現違規的操作和提供證據。
以上就是區塊鏈的分布式存儲能夠在生態大數據方面所起的作用。未來，肯定會出現很多針對生態大數據存儲的平台誕生。
生態大數據是智慧城市建設的重要基礎資料 ，引用區塊鏈技術，打造相關的生態大數據存儲和管理平台，能夠保證生態大數據的安全存儲和有效共享，為智慧城市建設添磚加瓦，推動產業區塊鏈的發展。
作者：Justina，微信公眾號：妙譯生花，從事於區塊鏈運營，擅長內容運營、海外媒體運營。
題圖來自Unsplash, 基於CC0協議。
『叄』 如何實現企業數據 大數據平台 分布式存放
Hadoop在可伸縮性、健壯性、計算性能和成本上具有無可替代的優勢，事實上已成為當前互聯網企業主流的大數據分析平台。本文主要介紹一種基於Hadoop平台的多維分析和數據挖掘平台架構。作為一家互聯網數據分析公司，我們在海量數據的分析領域那真是被「逼上樑山」。多年來在嚴苛的業務需求和數據壓力下，我們幾乎嘗試了所有可能的大數據分析方法，最終落地於Hadoop平台之上。
1. 大數據分析大分類
Hadoop平台對業務的針對性較強，為了讓你明確它是否符合你的業務，現粗略地從幾個角度將大數據分析的業務需求分類，針對不同的具體需求，應採用不同的數據分析架構。
按照數據分析的實時性，分為實時數據分析和離線數據分析兩種。
實時數據分析一般用於金融、移動和互聯網B2C等產品，往往要求在數秒內返回上億行數據的分析，從而達到不影響用戶體驗的目的。要滿足這樣的需求，可以採用精心設計的傳統關系型資料庫組成並行處理集群，或者採用一些內存計算平台，或者採用HDD的架構，這些無疑都需要比較高的軟硬體成本。目前比較新的海量數據實時分析工具有EMC的Greenplum、SAP的HANA等。
對於大多數反饋時間要求不是那麼嚴苛的應用，比如離線統計分析、機器學習、搜索引擎的反向索引計算、推薦引擎的計算等，應採用離線分析的方式，通過數據採集工具將日誌數據導入專用的分析平台。但面對海量數據，傳統的ETL工具往往徹底失效，主要原因是數據格式轉換的開銷太大，在性能上無法滿足海量數據的採集需求。互聯網企業的海量數據採集工具，有Facebook開源的Scribe、LinkedIn開源的Kafka、淘寶開源的Timetunnel、Hadoop的Chukwa等，均可以滿足每秒數百MB的日誌數據採集和傳輸需求，並將這些數據上載到Hadoop中央系統上。
按照大數據的數據量，分為內存級別、BI級別、海量級別三種。
這里的內存級別指的是數據量不超過集群的內存最大值。不要小看今天內存的容量，Facebook緩存在內存的Memcached中的數據高達320TB，而目前的PC伺服器，內存也可以超過百GB。因此可以採用一些內存資料庫，將熱點數據常駐內存之中，從而取得非常快速的分析能力，非常適合實時分析業務。圖1是一種實際可行的MongoDB分析架構。
圖1 用於實時分析的MongoDB架構
MongoDB大集群目前存在一些穩定性問題，會發生周期性的寫堵塞和主從同步失效，但仍不失為一種潛力十足的可以用於高速數據分析的NoSQL。
此外，目前大多數服務廠商都已經推出了帶4GB以上SSD的解決方案，利用內存+SSD，也可以輕易達到內存分析的性能。隨著SSD的發展，內存數據分析必然能得到更加廣泛的應用。
BI級別指的是那些對於內存來說太大的數據量，但一般可以將其放入傳統的BI產品和專門設計的BI資料庫之中進行分析。目前主流的BI產品都有支持TB級以上的數據分析方案。種類繁多，就不具體列舉了。
海量級別指的是對於資料庫和BI產品已經完全失效或者成本過高的數據量。海量數據級別的優秀企業級產品也有很多，但基於軟硬體的成本原因，目前大多數互聯網企業採用Hadoop的HDFS分布式文件系統來存儲數據，並使用MapRece進行分析。本文稍後將主要介紹Hadoop上基於MapRece的一個多維數據分析平台。
數據分析的演算法復雜度
根據不同的業務需求，數據分析的演算法也差異巨大，而數據分析的演算法復雜度和架構是緊密關聯的。舉個例子，Redis是一個性能非常高的內存Key-Value NoSQL，它支持List和Set、SortedSet等簡單集合，如果你的數據分析需求簡單地通過排序，鏈表就可以解決，同時總的數據量不大於內存（准確地說是內存加上虛擬內存再除以2），那麼無疑使用Redis會達到非常驚人的分析性能。
還有很多易並行問題（Embarrassingly Parallel），計算可以分解成完全獨立的部分，或者很簡單地就能改造出分布式演算法，比如大規模臉部識別、圖形渲染等，這樣的問題自然是使用並行處理集群比較適合。
而大多數統計分析，機器學習問題可以用MapRece演算法改寫。MapRece目前最擅長的計算領域有流量統計、推薦引擎、趨勢分析、用戶行為分析、數據挖掘分類器、分布式索引等。
2. 面對大數據OLAP大一些問題
OLAP分析需要進行大量的數據分組和表間關聯，而這些顯然不是NoSQL和傳統資料庫的強項，往往必須使用特定的針對BI優化的資料庫。比如絕大多數針對BI優化的資料庫採用了列存儲或混合存儲、壓縮、延遲載入、對存儲數據塊的預統計、分片索引等技術。
Hadoop平台上的OLAP分析，同樣存在這個問題，Facebook針對Hive開發的RCFile數據格式，就是採用了上述的一些優化技術，從而達到了較好的數據分析性能。如圖2所示。
然而，對於Hadoop平台來說，單單通過使用Hive模仿出SQL，對於數據分析來說遠遠不夠，首先Hive雖然將HiveQL翻譯MapRece的時候進行了優化，但依然效率低下。多維分析時依然要做事實表和維度表的關聯，維度一多性能必然大幅下降。其次，RCFile的行列混合存儲模式，事實上限制死了數據格式，也就是說數據格式是針對特定分析預先設計好的，一旦分析的業務模型有所改動，海量數據轉換格式的代價是極其巨大的。最後，HiveQL對OLAP業務分析人員依然是非常不友善的，維度和度量才是直接針對業務人員的分析語言。
而且目前OLAP存在的最大問題是：業務靈活多變，必然導致業務模型隨之經常發生變化，而業務維度和度量一旦發生變化，技術人員需要把整個Cube（多維立方體）重新定義並重新生成，業務人員只能在此Cube上進行多維分析，這樣就限制了業務人員快速改變問題分析的角度，從而使所謂的BI系統成為死板的日常報表系統。
使用Hadoop進行多維分析，首先能解決上述維度難以改變的問題，利用Hadoop中數據非結構化的特徵，採集來的數據本身就是包含大量冗餘信息的。同時也可以將大量冗餘的維度信息整合到事實表中，這樣可以在冗餘維度下靈活地改變問題分析的角度。其次利用Hadoop MapRece強大的並行化處理能力，無論OLAP分析中的維度增加多少，開銷並不顯著增長。換言之，Hadoop可以支持一個巨大無比的Cube，包含了無數你想到或者想不到的維度，而且每次多維分析，都可以支持成千上百個維度，並不會顯著影響分析的性能。
而且目前OLAP存在的最大問題是：業務靈活多變，必然導致業務模型隨之經常發生變化，而業務維度和度量一旦發生變化，技術人員需要把整個Cube（多維立方體）重新定義並重新生成，業務人員只能在此Cube上進行多維分析，這樣就限制了業務人員快速改變問題分析的角度，從而使所謂的BI系統成為死板的日常報表系統。
3. 一種Hadoop多維分析平台的架構
整個架構由四大部分組成：數據採集模塊、數據冗餘模塊、維度定義模塊、並行分 析模塊。
數據採集模塊採用了Cloudera的Flume，將海量的小日誌文件進行高速傳輸和合並，並能夠確保數據的傳輸安全性。單個collector宕機之後，數據也不會丟失，並能將agent數據自動轉移到其他的colllecter處理，不會影響整個採集系統的運行。如圖5所示。
數據冗餘模塊不是必須的，但如果日誌數據中沒有足夠的維度信息，或者需要比較頻繁地增加維度，則需要定義數據冗餘模塊。通過冗餘維度定義器定義需要冗餘的維度信息和來源（資料庫、文件、內存等），並指定擴展方式，將信息寫入數據日誌中。在海量數據下，數據冗餘模塊往往成為整個系統的瓶頸，建議使用一些比較快的內存NoSQL來冗餘原始數據，並採用盡可能多的節點進行並行冗餘；或者也完全可以在Hadoop中執行批量Map，進行數據格式的轉化。
維度定義模塊是面向業務用戶的前端模塊，用戶通過可視化的定義器從數據日誌中定義維度和度量，並能自動生成一種多維分析語言，同時可以使用可視化的分析器通過GUI執行剛剛定義好的多維分析命令。
並行分析模塊接受用戶提交的多維分析命令，並將通過核心模塊將該命令解析為Map-Rece，提交給Hadoop集群之後，生成報表供報表中心展示。
核心模塊是將多維分析語言轉化為MapRece的解析器，讀取用戶定義的維度和度量，將用戶的多維分析命令翻譯成MapRece程序。核心模塊的具體邏輯如圖6所示。
圖6中根據JobConf參數進行Map和Rece類的拼裝並不復雜，難點是很多實際問題很難通過一個MapRece Job解決，必須通過多個MapRece Job組成工作流（WorkFlow），這里是最需要根據業務進行定製的部分。圖7是一個簡單的MapRece工作流的例子。
MapRece的輸出一般是統計分析的結果，數據量相較於輸入的海量數據會小很多，這樣就可以導入傳統的數據報表產品中進行展現。