Ⅰ 大數據時代，數據應該如何存儲
PB或多PB級基礎設施與傳統大規模數據集之間的差別簡直就像白天和黑夜的差別，就像在筆記本電腦上處理數據和在RAID陣列上處理數據之間的差別。"
當Day在2009年加入Shutterfly時，存儲已經成為該公司最大的開支，並且以飛快的速度增長。
"每N個PB的額外存儲意味著我們需要另一個存儲管理員來支持物理和邏輯基礎設施，"Day表示，"面對大規模數據存儲，系統會更頻繁地出問題，任何管理超大存儲的人經常都要處理硬體故障。大家都在試圖解決的根本問題是：當你知道存儲的一部分將在一段時間內出現問題，你應該如何確保數據可用性，同時確保不會降低性能？"RAID問題解決故障的標准答案是復制，通常以RAID陣列的形式。但Day表示，面對龐大規模的數據時，RAID解決問題的同時可能會製造更多問題。在傳統RAID數據存儲方案中，每個數據的副本都被鏡像和存儲在陣列的不同磁碟中，以確保完整性和可用性。但這意味著每個被鏡像和存儲的數據將需要其本身五倍以上的存儲空間。隨著RAID陣列中使用的磁碟越來越大（從密度和功耗的角度來看，3TB磁碟非常具有吸引力），更換故障驅動器的時間也將變得越來越長。
"實際上，我們使用RAID並不存在任何操作問題，"Day表示，"我們看到的是，隨著磁碟變得越來越大，當任何組件發生故障時，我們回到一個完全冗餘的系統的時間增加。生成校驗是與數據集的大小成正比的。當我們開始使用1TB和2TB的磁碟時，回到完全冗餘系統的時間變得很長。可以說，這種趨勢並沒有朝著正確的方向發展。"
對於Shutterfly而言，可靠性和可用性是非常關鍵的因素，這也是企業級存儲的要求。Day表示，其快速膨脹的存儲成本使商品系統變得更具吸引力。當Day及其團隊在研究潛在技術解決方案以幫助控制存儲成本時，他們對於一項叫做糾刪碼（erasure code）的技術非常感興趣。
採用擦除代碼技術的下一代存儲
里德-所羅門糾刪碼最初作為前向糾錯碼（Forward Error Correction, FEC）用於不可靠通道的數據傳輸，例如外層空間探測的數據傳輸。這項技術還被用於CD和DVD來處理光碟上的故障，例如灰塵和劃痕。一些存儲供應商已經開始將糾刪碼納入他們的解決方案中。使用糾刪碼，數據可以被分解成幾塊，單塊分解數據是無用的，然後它們被分散到不同磁碟驅動器或者伺服器。在任何使用，這些數據都可以完全重組，即使有些數據塊因為磁碟故障已經丟失。換句話說，你不需要創建多個數據副本，單個數據就可以確保數據的完整性和可用性。
基於糾刪碼的解決方案的早期供應商之一是Cleversafe公司，他們添加了位置信息來創建其所謂的分散編碼，讓用戶可以在不同位置（例如多個數據中心）存儲數據塊或者說數據片。
每個數據塊就其自身而言是無用的，這樣能夠確保隱私性和安全性。因為信息分散技術使用單一數據來確保數據完整性和可用性，而不是像RAID一樣使用多個副本，公司可以節省多達90%的存儲成本。
"當你將試圖重組數據時，你並不一定需要提供所有數據塊，"Cleversafe公司產品策略、市場營銷和客戶解決方案副總裁Russ Kennedy表示，"你生成的數據塊的數量，我們稱之為寬度，我們將重組數據需要的最低數量稱之為門檻。你生成的數據塊的數量和重組需要的數量之間的差異決定了其可靠性。同時，即使你丟失節點和驅動器，你仍然能夠得到原來形式的數據。"
Ⅱ 大數據存儲需要具備什麼
大數據之大 大是相對而言的概念。例如，對於像SAPHANA那樣的內存資料庫來說，2TB可能就已經是大容量了；而對於像谷歌這樣的搜索引擎，EB的數據量才能稱得上是大數據。 大也是一個迅速變化的概念。HDS在2004年發布的USP存儲虛擬化平台具備管理32PB內外部附加存儲的能力。當時，大多數人認為，USP的存儲容量大得有些離譜。但是現在，大多數企業都已經擁有PB級的數據量，一些搜索引擎公司的數據存儲量甚至達到了EB級。由於許多家庭都保存了TB級的數據量，一些雲計算公司正在推廣其文件共享或家庭數據備份服務。有容乃大 由此看來，大數據存儲的首要需求存儲容量可擴展。大數據對存儲容量的需求已經超出目前用戶現有的存儲能力。我們現在正處於PB級時代，而EB級時代即將到來。過去，許多企業通常以五年作為IT系統規劃的一個周期。在這五年中，企業的存儲容量可能會增加一倍。現在，企業則需要制定存儲數據量級（比如從PB級到EB級）的增長計劃，只有這樣才能確保業務不受干擾地持續增長。這就要求實現存儲虛擬化。存儲虛擬化是目前為止提高存儲效率最重要、最有效的技術手段。它為現有存儲系統提供了自動分層和精簡配置等提高存儲效率的工具。擁有了虛擬化存儲，用戶可以將來自內部和外部存儲系統中的結構化和非結構化數據全部整合到一個單一的存儲平台上。當所有存儲資產變成一個單一的存儲資源池時，自動分層和精簡配置功能就可以擴展到整個存儲基礎設施層面。在這種情況下，用戶可以輕松實現容量回收和容量利用率的最大化，並延長現有存儲系統的壽命，顯著提高IT系統的靈活性和效率，以滿足非結構化數據增長的需求。中型企業可以在不影響性能的情況下將HUS的容量擴展到近3PB，並可通過動態虛擬控制器實現系統的快速預配置。此外，通過HDSVSP的虛擬化功能，大型企業可以創建0.25EB容量的存儲池。隨著非結構化數據的快速增長，未來，文件與內容數據又該如何進行擴展呢？不斷生長的大數據 與結構化數據不同，很多非結構化數據需要通過互聯網協議來訪問，並且存儲在文件或內容平台之中。大多數文件與內容平台的存儲容量過去只能達到TB級，現在則需要擴展到PB級，而未來將擴展到EB級。這些非結構化的數據必須以文件或對象的形式來訪問。基於Unix和Linux的傳統文件系統通常將文件、目錄或與其他文件系統對象有關的信息存儲在一個索引節點中。索引節點不是數據本身，而是描述數據所有權、訪問模式、文件大小、時間戳、文件指針和文件類型等信息的元數據。傳統文件系統中的索引節點數量有限，導致文件系統可以容納的文件、目錄或對象的數量受到限制。HNAS和HCP使用基於對象的文件系統，使得其容量能夠擴展到PB級，可以容納數十億個文件或對象。位於VSP或HUS之上的HNAS和HCP網關不僅可以充分利用模塊存儲的可擴展性，而且可以享受到通用管理平台HitachiCommandSuite帶來的好處。HNAS和HCP為大數據的存儲提供了一個優良的架構。大數據存儲平台必須能夠不受干擾地持續擴展，並具有跨越不同時代技術的能力。數據遷移必須在最小范圍內進行，而且要在後台完成。大數據只要復制一次，就能具有很好的可恢復性。大數據存儲平台可以通過版本控制來跟蹤數據的變更，而不會因為大數據發生一次變更，就重新備份一次所有的數據。HDS的所有產品均可以實現後台的數據移動和分層，並可以增加VSP、HUS數據池、HNAS文件系統、HCP的容量，還能自動調整數據的布局。傳統文件系統與塊數據存儲設備不支持動態擴展。大數據存儲平台還必須具有彈性，不允許出現任何可能需要重建大數據的單點故障。HDS可以實現VSP和HUS的冗餘配置，並能為HNAS和HCP節點提供相同的彈性。
Ⅲ 怎樣存儲大數據
用一塊2TB硬碟存儲大量文件、數據。
Ⅳ 大數據存儲的三種方式
不斷加密，倉庫存儲，備份服務-雲端。
不斷加密，隨著企業為保護資產全面開展工作，加密技術成為打擊網路威脅的可行途徑。將所有內容轉換為代碼，使用加密信息，只有收件人可以解碼。如果沒有其他的要求，則加密保護數據傳輸，增強在數字傳輸中有效地到達正確人群的機會。
倉庫儲存，大數據似乎難以管理，就像一個永無休止統計數據的復雜的漩渦。因此，將信息精簡到單一的公司位置似乎是明智的，這是一個倉庫，其中所有的數據和伺服器都可以被充分地規劃指定。
備份服務-雲端，雲存儲服務推動了數字化轉型，雲計算的應用越來越繁榮。數據在一個位置不再受到風險控制，並隨時隨地可以訪問，大型雲計算公司將會更多地訪問基本統計信息。數據可以在這些服務上進行備份，這意味著一次網路攻擊不會消除多年的業務增長和發展。最終，如果出現網路攻擊，雲端將以A遷移到B的方式提供獨一無二的服務。
Ⅳ 大數據爆發性增長 存儲技術面臨難題
大數據爆發性增長 存儲技術面臨難題
隨著大數據應用的爆發性增長，大數據已經衍生出了自己獨特的架構，而且也直接推動了存儲、網路以及計算技術的發展。畢竟處理大數據這種特殊的需求是一個新的挑戰。硬體的發展最終還是由軟體需求推動的。大數據本身意味著非常多需要使用標准存儲技術來處理的數據。大數據可能由TB級(或者甚至PB級)信息組成，既包括結構化數據(資料庫、日誌、SQL等)以及非結構化數據(社交媒體帖子、感測器、多媒體數據)。此外，大部分這些數據缺乏索引或者其他組織結構，可能由很多不同文件類型組成。從目前技術發展的情況來看，大數據存儲技術的發展正面臨著以下幾個難題：
1、容量問題
這里所說的「大容量」通常可達到PB級的數據規模，因此，海量數據存儲系統也一定要有相應等級的擴展能力。與此同時，存儲系統的擴展一定要簡便，可以通過增加模塊或磁碟櫃來增加容量，甚至不需要停機。
「大數據」應用除了數據規模巨大之外，還意味著擁有龐大的文件數量。因此如何管理文件系統層累積的元數據是一個難題，處理不當的話會影響到系統的擴展能力和性能，而傳統的NAS系統就存在這一瓶頸。所幸的是，基於對象的存儲架構就不存在這個問題，它可以在一個系統中管理十億級別的文件數量，而且還不會像傳統存儲一樣遭遇元數據管理的困擾。基於對象的存儲系統還具有廣域擴展能力，可以在多個不同的地點部署並組成一個跨區域的大型存儲基礎架構。
2、延遲問題
「大數據」應用還存在實時性的問題。有很多「大數據」應用環境需要較高的IOPS性能，比如HPC高性能計算。此外，伺服器虛擬化的普及也導致了對高IOPS的需求，正如它改變了傳統IT環境一樣。為了迎接這些挑戰，各種模式的固態存儲設備應運而生，小到簡單的在伺服器內部做高速緩存，大到全固態介質的可擴展存儲系統等等都在蓬勃發展。
3、並發訪問
一旦企業認識到大數據分析應用的潛在價值，他們就會將更多的數據集納入系統進行比較，同時讓更多的人分享並使用這些數據。為了創造更多的商業價值，企業往往會綜合分析那些來自不同平台下的多種數據對象。包括全局文件系統在內的存儲基礎設施就能夠幫助用戶解決數據訪問的問題，全局文件系統允許多個主機上的多個用戶並發訪問文件數據，而這些數據則可能存儲在多個地點的多種不同類型的存儲設備上。
4、安全問題
某些特殊行業的應用，比如金融數據、醫療信息以及政府情報等都有自己的安全標准和保密性需求。雖然對於IT管理者來說這些並沒有什麼不同，而且都是必須遵從的，但是，大數據分析往往需要多類數據相互參考，而在過去並不會有這種數據混合訪問的情況，因此大數據應用也催生出一些新的、需要考慮的安全性問題。
5、成本問題
成本問題「大」，也可能意味著代價不菲。而對於那些正在使用大數據環境的企業來說，成本控制是關鍵的問題。想控製成本，就意味著我們要讓每一台設備都實現更高的「效率」，同時還要減少那些昂貴的部件。
對成本控制影響最大的因素是那些商業化的硬體設備。因此，很多初次進入這一領域的用戶以及那些應用規模最大的用戶都會定製他們自己的「硬體平台」而不是用現成的商業產品，這一舉措可以用來平衡他們在業務擴展過程中的成本控制戰略。為了適應這一需求，現在越來越多的存儲產品都提供純軟體的形式，可以直接安裝在用戶已有的、通用的或者現成的硬體設備上。此外，很多存儲軟體公司還在銷售以軟體產品為核心的軟硬一體化裝置，或者與硬體廠商結盟，推出合作型產品。
6、數據的積累
許多大數據應用都會涉及到法規遵從問題，這些法規通常要求數據要保存幾年或者幾十年。比如醫療信息通常是為了保證患者的生命安全，而財務信息通常要保存7年。而有些使用大數據存儲的用戶卻希望數據能夠保存更長的時間，因為任何數據都是歷史記錄的一部分，而且數據的分析大都是基於時間段進行的。要實現長期的數據保存，就要求存儲廠商開發出能夠持續進行數據一致性檢測的功能以及其他保證長期高可用的特性。同時還要實現數據直接在原位更新的功能需求。
7、數據的靈活性
大數據存儲系統的基礎設施規模通常都很大，因此必須經過仔細設計，才能保證存儲系統的靈活性，使其能夠隨著應用分析軟體一起擴容及擴展。在大數據存儲環境中，已經沒有必要再做數據遷移了，因為數據會同時保存在多個部署站點。一個大型的數據存儲基礎設施一旦開始投入使用，就很難再調整了，因此它必須能夠適應各種不同的應用類型和數據場景。
存儲介質正在改變，雲計算倍受青睞
存儲之於安防的地位，其已經不僅是一個設備而已，而是已經升華到了一個解決方案平台的地步。作為圖像數據和報警事件記錄的載體，存儲的重要性是不言而喻的。
安防監控應用對存儲的需求是什麼？首先，海量存儲的需求。其次，性能的要求。第三，價格的敏感度。第四，集中管理的要求。第五，網路化要求。安防監控技術發展到今天經歷了三個階段，即：模擬化、數字化、網路化。與之相適應，監控數據存儲也經歷了多個階段，即：VCR模擬數據存儲、DVR數字數據存儲，到現在的集中網路存儲，以及發展到雲存儲階段，正是在一步步迎合這種市場需求。在未來，安防監控隨著高清化，網路化，智能化的不斷發展，將對現有存儲方案帶來不斷挑戰，包括容量、帶寬的擴展問題和管理問題。那麼，基於大數據戰略的海量存儲系統--雲存儲就倍受青睞了。
基於大數據戰略的安防存儲優勢明顯
當前社會對於數據的依賴是前所未有的，數據已變成與硬資產和人同等重要的重要資料。如何存好、保護好、使用好這些海量的大數據，是安防行業面臨的重要問題之一。那麼基於大數據戰略的安防存儲其優勢何在？
目前的存儲市場上，原有的視頻監控方案容量、帶寬難以擴展。客戶往往需要采購更多更高端的設備來擴充容量，提高性能，隨之帶來的是成本的急劇增長以及系統復雜性的激增。同時，傳統的存儲模式很難在完全沒有業務停頓的情況下進行升級，擴容會對業務帶來巨大影響。其次，傳統的視頻監控方案難於管理。由於視頻監控系統一般規模較大，分布特徵明顯，大多獨立管理，這樣就把整個系統分割成了多個管理孤島，相互之間通信困難，難以協調工作，以提高整體性能。除此之外，綠色、安全等也是傳統視頻監控方案所面臨的突出問題。
基於大數據戰略的雲存儲技術與生俱來的高擴展、易管理、高安全等特性為傳統存儲面臨的問題帶來了解決的契機。利用雲存儲，用戶可以方便的進行容量、帶寬擴展，而不必停止業務，或改變系統架構。同時，雲存儲還具有高安全、低成本、綠色節能等特點。基於雲存儲的視頻監控解決方案是客戶應對挑戰很好的選擇。王宇說，進入二十一世紀，雲存儲作為一種新的存儲架構，已逐步走入應用階段，雲存儲不僅輕松突破了SAN的性能瓶頸，而且可以實現性能與容量的線性擴展，這對於擁有大量數據的安防監控用戶來說是一個新選擇。
以英特爾推出的Hadoop分布式文件系統（HDFS）為例，其提供了一個高度容錯性和高吞吐量的海量數據存儲解決方案。目前已經在各種大型在線服務和大型存儲系統中得到廣泛應用，已經成為海量數據存儲的事實標准。
隨著信息系統的快速發展，海量的信息需要可靠存儲的同時，還能被大量的使用者快速地訪問。傳統的存儲方案已經從構架上越來越難以適應近幾年來的信息系統業務的飛速發展，成為了業務發展的瓶頸和障礙。HDFS通過一個高效的分布式演算法，將數據的訪問和存儲分布在大量伺服器之中，在可靠地多備份存儲的同時還能將訪問分布在集群中的各個伺服器之上，是傳統存儲構架的一個顛覆性的發展。最重要的是，其可以滿足以下特性：可自我修復的分布式文件存儲系統，高可擴展性，無需停機動態擴容，高可靠性，數據自動檢測和復制，高吞吐量訪問，消除訪問瓶頸，使用低成本存儲和伺服器構建。
以上是小編為大家分享的關於大數據爆發性增長 存儲技術面臨難題的相關內容，更多信息可以關注環球青藤分享更多干貨
Ⅵ 大數據存儲需要具備什麼
大數據之大大是相對而言的概念。例如，對於像SAPHANA那樣的內存資料庫來說，2TB可能就已經是大容量了；而對於像谷歌這樣的搜索引擎，EB的數據量才能稱得上是大數據。大也是一個迅速變化的概念。HDS在2004年發布的USP存儲虛擬化平台具備管理32PB大數據存儲需要具備什麼？
Ⅶ 大數據時代已經到來,什麼是大數據
大數據時代已經到來,什麼是大數據
大數據時代已經到來,你了解嗎？什麼是大數據？一、大數據出現的背景進入2012年，大數據(big data)一詞越來越多地被提及，人們用它來描述和定義信息爆炸時代產生的海量數據，並命名與之相關的技術發展與創新。它已經上過《紐約時報》《華爾街日報》的專欄封面，進入美國白宮官網的新聞，現身在國內一些互聯網主題的講座沙龍中，甚至被嗅覺靈敏的證券公司等寫進了投資推薦報告。數據正在迅速膨脹並變大，它決定著企業的未來發展，雖然現在企業可能並沒有意識到數據爆炸性增長帶來問題的隱患，但是隨著時間的推移，人們將越來越多的意識 到數據對企業的重要性。大數據時代對人類的數據駕馭能力提出了新的挑戰，也為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。最早提出大數據時代到來的是全球知名咨詢公司麥肯錫，麥肯錫稱：「數據，已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。人們對於海量數據的 挖掘和運用，預示著新一波生產率增長和消費者盈餘浪潮的到來。」「大數據」在物理學、生物學、環境生態學等領域以及軍事、金融、通訊等行業存在已有時日， 卻因為近年來互聯網和信息行業的發展而引起人們關注。大數據在互聯網行業指的是這樣一種現象：互聯網公司在日常運營中生成、累積的用戶網路行為數據。這些數據的規模是如此龐大，以至於不能用G或T來衡量，大數據的起始計量單位至少是P(1000個T)、E(100萬個T)或Z(10億個T)。二、什麼是大數據？信息技術領域原先已經有「海量數據」、「大規模數據」等概念，但這些概念只著眼於數據規模本身，未能充分反映數據爆發背景下的數據處理與應用需求，而「大數據」這一新概念不僅指規模龐大的數據對象，也包含對這些數據對象的處理和應用活動，是數據對象、技術與應用三者的統一。1、大數據(bigdata)，或稱巨量資料，指的是所涉及的資料量規模巨大到無法透過目前主流軟體工具，在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。大數據對象既可能是實際的、有限的數據集合，如某個政府部門或企業掌握的資料庫，也可能是虛擬的、無限的數據集合，如微博、微信、社交網路上的全部信息。大數據是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。從數據的類別上看，「大數據」指的是無法使用傳統流程或工具處理或分析的信息。它定義了那些超出正常處理范圍和大小、迫使用戶採用非傳統處理方法的數據集。亞馬遜網路服務(AWS)、 大數據科學家JohnRauser提到一個簡單的定義：大數據就是任何超過了一台計算機處理能力的龐大數據量。研發小組對大數據的定義：「大數據是最大的 宣傳技術、是最時髦的技術，當這種現象出現時，定義就變得很混亂。」Kelly說：「大數據是可能不包含所有的 信息，但我覺得大部分是正確的。對大數據的一部分認知在於，它是如此之大，分析它需要多個工作負載，這是AWS的定義。2、大數據技術，是指從各種各樣類型的大數據中，快速獲得有價值信息的技術的能力，包括數據採集、存儲、管理、分析挖掘、可視化等技術及其集成。適用於大數據的技術，包括大規模並行處理（MPP）資料庫，數據挖掘電網，分布式文件系統，分布式資料庫，雲計算平台，互聯網，和可擴展的存儲系統。3、大數據應用，是 指對特定的大數據集合，集成應用大數據技術，獲得有價值信息的行為。對於不同領域、不同企業的不同業務，甚至同一領域不同企業的相同業務來說，由於其業務 需求、數據集合和分析挖掘目標存在差異，所運用的大數據技術和大數據信息系統也可能有著相當大的不同。惟有堅持「對象、技術、應用」三位一體同步發展，才 能充分實現大數據的價值。當你的技術達到極限時，也就是數據的極限」。大數據不是關於如何定義，最重要的是如何使用。最大的挑戰在於哪些技術能更好的使用數據以及大數據的應用情況如何。這與傳統的資料庫相比，開源的大數據分析工具的如Hadoop的崛起，這些非結構化的數據服務的價值在哪裡。三、大數據的類型和價值挖掘方法1、大數據的類型大致可分為三類：1)傳統企業數據（Traditionalenterprisedata）：包括 CRM systems的消費者數據，傳統的ERP數據，庫存數據以及賬目數據等。2)機器和感測器數據（Machine-generated/sensor data）：包括呼叫記錄（CallDetail Records），智能儀表，工業設備感測器，設備日誌（通常是Digital exhaust），交易數據等。3)社交數據（Socialdata）：包括用戶行為記錄，反饋數據等。如Twitter，Facebook這樣的社交媒體平台。2、大數據挖掘商業價值的方法主要分為四種：1)客戶群體細分，然後為每個群體量定製特別的服務。2)模擬現實環境，發掘新的需求同時提高投資的回報率。3)加強部門聯系，提高整條管理鏈條和產業鏈條的效率。4)降低服務成本，發現隱藏線索進行產品和服務的創新。四、大數據的特點業界通常用4個V(即Volume、Variety、Value、Velocity)來概括大數據的特徵。具體來說，大數據具有4個基本特徵：1、是數據體量巨大數據體量(volumes)大，指代大型數據集，一般在10TB規模左右，但在實際應用中，很多企業用戶把多個數據集放在一起，已經形成了PB級的數據量; 網路資料表明，其新首頁導航每天需要提供的數據超過1.5PB（1PB=1024TB），這些數據如果列印出來將超過5千億張A4紙。有資料證實，到目前 為止，人類生產的所有印刷材料的數據量僅為200PB。2、是數據類別大和類型多樣數據類別(variety)大，數據來自多種數據源，數據種類和格式日漸豐富，已沖破了以前所限定的結構化 數據范疇，囊括了半結構化和非結構化數據。現在的數據類型不僅是文本形式，更多的是圖片、視頻、音頻、地理位置信息等多類型的數據，個性化數據占絕對多數。3、是處理速度快在數據量非常龐大的情況下，也能夠做到數據的實時處理。數據處理遵循「1秒定律」，可從各種類型的數據中快速獲得高價值的信息。4、是價值真實性高和密度低數據真實性(Veracity)高，隨著社交數據、企業內容、交易與應用數據等新數據源的興趣，傳統數據源的局限被打破，企業愈發需要有效的信息之力以確保其真實性及安全性。以視頻為例，一小時的視頻，在不間斷的監控過程中，可能有用的數據僅僅只有一兩秒。五、大數據的作用1、對大數據的處理分析正成為新一代信息技術融合應用的結點移動互聯網、物聯網、社交網路、數字家庭、電子商務等是新一代信息技術的應用形態，這些應用不斷產生大數據。雲計算為這些海量、多樣化的大數據提供存儲和運算平台。通過對不同來源數據的管理、處理、分析與優化，將結果反饋到上述應用中，將創造出巨大的經濟和社會價值。大數據具有催生社會變革的能量。但釋放這種能量，需要嚴謹的數據治理、富有洞見的數據分析和激發管理創新的環境(Ramayya Krishnan,卡內基·梅隆大學海因茲學院院長)。2、大數據是信息產業持續高速增長的新引擎面向大數據市場的新技術、新產品、新服務、新業態會不斷涌現。在硬體與集成設備領域，大數據將對晶元、存儲產業產生重要影響，還將催生一體化數據存儲處理伺服器、內存計算等市場。在軟體與服務領域，大數據將引發數據快速處理分析、數據挖掘技術和軟體產品的發展。3、大數據利用將成為提高核心競爭力的關鍵因素各 行各業的決策正在從「業務驅動」 轉變「數據驅動」。對大數據的分析可以使零售商實時掌握市場動態並迅速做出應對；可以為商家制定更加精準有效的營銷策略提供決策支持；可以幫助企業為消費 者提供更加及時和個性化的服務；在醫療領域，可提高診斷准確性和葯物有效性；在公共事業領域，大數據也開始發揮促進經濟發展、維護社會穩定等方面的重要作 用。4、大數據時代科學研究的方法手段將發生重大改變例如，抽樣調查是社會科學的基本研究方法。在大數據時代，可通過實時監測、跟蹤研究對象在互聯網上產生的海量行為數據，進行挖掘分析，揭示出規律性的東西，提出研究結論和對策。六、大數據的商業價值1、對顧客群體細分「大數據」可以對顧客群體細分，然後對每個群體量體裁衣般的採取獨特的行動。瞄準特定的顧客群體來進行營銷和服務是商家一直以來的追求。雲存儲的海量數據和「大數據」的分析技術使得對消費者的實時和極端的細分有了成本效率極高的可能。2、模擬實境運用「大數據」模擬實境，發掘新的需求和提高投入的回報率。現在越來越多的產品中都裝有感測器，汽車和智能手機的普及使得可收集數據呈現爆炸性增長。Blog、Twitter、Facebook和微博等社交網路也在產生著海量的數據。雲計算和「大數據」分析技術使得商家可以在成本效率較高的情況下，實時地把這些數據連同交易行為的數據進行儲存和分析。交易過程、產品使用和人類行為都可以 數據化。「大數據」技術可以把這些數據整合起來進行數據挖掘，從而在某些情況下通過模型模擬來判斷不同變數(比如不同地區不同促銷方案)的情況下何種方案 投入回報最高。3、提高投入回報率提高「大數據」成果在各相關部門的分享程度，提高整個管理鏈條和產業鏈條的投入回報率。「大數據」能力強的部門可以通過雲計算、互聯網和內部搜索引擎把」大數據」成果和「大數據」能力比較薄弱的部門分享，幫助他們利用「大數據」創造商業價值。4、數據存儲空間出租企業和個人有著海量信息存儲的需求，只有將數據妥善存儲，才有可能進一步挖掘其潛在價值。具體而言，這塊業務模式又可以細分為針對個人文件存儲和針對企業用 戶兩大類。主要是通過易於使用的API，用戶可以方便地將各種數據對象放在雲端，然後再像使用水、電一樣按用量收費。目前已有多個公司推出相應服務，如亞 馬遜、網易、諾基亞等。運營商也推出了相應的服務，如中國移動的彩雲業務。5、管理客戶關系客戶管理應用的目的是根據客戶的屬性(包括自然屬性和行為屬性)，從不同角度深層次分析客戶、了解客戶，以此增加新的客戶、提高客戶的忠誠度、降低客戶流失 率、提高客戶消費等。對中小客戶來說，專門的CRM顯然大而貴。不少中小商家將飛信作為初級CRM來使用。比如把老客戶加到飛信群里，在群朋友圈裡發布新 產品預告、特價銷售通知，完成售前售後服務等。6、個性化精準推薦在運營商內部，根據用戶喜好推薦各類業務或應用是常見的，比如應用商店軟體推薦、IPTV視頻節目推薦等，而通過關聯演算法、文本摘要抽取、情感分析等智能分 析演算法後，可以將之延伸到商用化服務，利用數據挖掘技術幫助客戶進行精準營銷，今後盈利可以來自於客戶增值部分的分成。以日常的「垃圾簡訊」為例，信息並不都是「垃圾」，因為收到的人並不需要而被視為垃圾。通過用戶行為數據進行分析後，可以給需要的人發送需要的信息，這樣「垃圾簡訊」就成了有價值的信息。在日本的麥當勞，用戶在手機上下載優惠券，再去餐廳用運營商DoCoMo的手機錢包優惠支付。運營商和麥當勞搜集相關消費信息，例如經常買什麼漢堡，去哪個店消費，消費頻次多少，然後精準推送優惠券給用戶。7、數據搜索數據搜索是一個並不新鮮的應用，隨著「大數據」時代的到來，實時性、全范圍搜索的需求也就變得越來越強烈。我們需要能搜索各種社交網路、用戶行為等數據。其商業應用價值是將實時的數據處理與分析和廣告聯系起來，即實時廣告業務和應用內移動廣告的社交服務。運營商掌握的用戶網上行為信息，使得所獲取的數據「具備更全面維度」，更具商業價值。典型應用如中國移動的「盤古搜索」。七、大數據對經濟社會的重要影響1、能夠推動實現巨大經濟效益比如對中國零售業凈利潤增長的貢獻，降低製造業產品開發、組裝成本等。預計2013年全球大數據直接和間接拉動信息技術支出將達1200億美元。2、能夠推動增強社會管理水平大數據在公共服務領域的應用，可有效推動相關工作開展，提高相關部門的決策水平、服務效率和社會管理水平，產生巨大社會價值。歐洲多個城市通過分析實時採集的交通流量數據，指導駕車出行者選擇最佳路徑，從而改善城市交通狀況。3、如果沒有高性能的分析工具，大數據的價值就得不到釋放對大數據應用必須保持清醒認識，既不能迷信其分析結果，也不能因為其不完全准確而否定其重要作用。1) 由於各種原因，所分析處理的數據對象中不可避免地會包括各種錯誤數據、無用數據，加之作為大數據技術核心的數據分析、人工智慧等技術尚未完全成熟，所以對 計算機完成的大數據分析處理的結果，無法要求其完全准確。例如，谷歌通過分析億萬用戶搜索內容能夠比專業機構更快地預測流感暴發，但由於微博上無用信息的 干擾，這種預測也曾多次出現不準確的情況。2)必須清楚定位的是，大數據作用與價值的重點在於能夠引導和啟發大數據應用者的創新思維，輔助決策。簡單而言，若是處理一個問題，通常人能夠想到一種方法，而大數據能夠提供十種參考方法，哪怕其中只有三種可行，也將解決問題的思路拓展了三倍。所以，客觀認識和發揮大數據的作用，不誇大、不縮小，是准確認知和應用大數據的前提。八、總結不管大數據的核心價值是不是預測，但是基於大數據形成決策的模式已經為不少的企業帶來了盈利和聲譽。1、從大數據的價值鏈條來分析，存在三種模式：1)手握大數據，但是沒有利用好；比較典型的是金融機構，電信行業，政府機構等。2)沒有數據，但是知道如何幫助有數據的人利用它；比較典型的是IT咨詢和服務企業，比如，埃森哲，IBM，Oracle等。3)既有數據，又有大數據思維；比較典型的是Google，Amazon，Mastercard等。2、未來在大數據領域最具有價值的是兩種事物：1)擁有大數據思維的人，這種人可以將大數據的潛在價值轉化為實際利益；2)還未有被大數據觸及過的業務領域。這些是還未被挖掘的油井，金礦，是所謂的藍海。大 數據是信息技術與專業技術、信息技術產業與各行業領域緊密融合的典型領域，有著旺盛的應用需求、廣闊的應用前景。為把握這一新興領域帶來的新機遇，需要不 斷跟蹤研究大數據，不斷提升對大數據的認知和理解，堅持技術創新與應用創新的協同共進，加快經濟社會各領域的大數據開發與利用，推動國家、行業、企業對於 數據的應用需求和應用水平進入新的階段。
Ⅷ 如何實現企業數據 大數據平台 分布式存放
Hadoop在可伸縮性、健壯性、計算性能和成本上具有無可替代的優勢，事實上已成為當前互聯網企業主流的大數據分析平台。本文主要介紹一種基於Hadoop平台的多維分析和數據挖掘平台架構。作為一家互聯網數據分析公司，我們在海量數據的分析領域那真是被「逼上樑山」。多年來在嚴苛的業務需求和數據壓力下，我們幾乎嘗試了所有可能的大數據分析方法，最終落地於Hadoop平台之上。
1. 大數據分析大分類
Hadoop平台對業務的針對性較強，為了讓你明確它是否符合你的業務，現粗略地從幾個角度將大數據分析的業務需求分類，針對不同的具體需求，應採用不同的數據分析架構。
按照數據分析的實時性，分為實時數據分析和離線數據分析兩種。
實時數據分析一般用於金融、移動和互聯網B2C等產品，往往要求在數秒內返回上億行數據的分析，從而達到不影響用戶體驗的目的。要滿足這樣的需求，可以採用精心設計的傳統關系型資料庫組成並行處理集群，或者採用一些內存計算平台，或者採用HDD的架構，這些無疑都需要比較高的軟硬體成本。目前比較新的海量數據實時分析工具有EMC的Greenplum、SAP的HANA等。
對於大多數反饋時間要求不是那麼嚴苛的應用，比如離線統計分析、機器學習、搜索引擎的反向索引計算、推薦引擎的計算等，應採用離線分析的方式，通過數據採集工具將日誌數據導入專用的分析平台。但面對海量數據，傳統的ETL工具往往徹底失效，主要原因是數據格式轉換的開銷太大，在性能上無法滿足海量數據的採集需求。互聯網企業的海量數據採集工具，有Facebook開源的Scribe、LinkedIn開源的Kafka、淘寶開源的Timetunnel、Hadoop的Chukwa等，均可以滿足每秒數百MB的日誌數據採集和傳輸需求，並將這些數據上載到Hadoop中央系統上。
按照大數據的數據量，分為內存級別、BI級別、海量級別三種。
這里的內存級別指的是數據量不超過集群的內存最大值。不要小看今天內存的容量，Facebook緩存在內存的Memcached中的數據高達320TB，而目前的PC伺服器，內存也可以超過百GB。因此可以採用一些內存資料庫，將熱點數據常駐內存之中，從而取得非常快速的分析能力，非常適合實時分析業務。圖1是一種實際可行的MongoDB分析架構。
圖1 用於實時分析的MongoDB架構
MongoDB大集群目前存在一些穩定性問題，會發生周期性的寫堵塞和主從同步失效，但仍不失為一種潛力十足的可以用於高速數據分析的NoSQL。
此外，目前大多數服務廠商都已經推出了帶4GB以上SSD的解決方案，利用內存+SSD，也可以輕易達到內存分析的性能。隨著SSD的發展，內存數據分析必然能得到更加廣泛的應用。
BI級別指的是那些對於內存來說太大的數據量，但一般可以將其放入傳統的BI產品和專門設計的BI資料庫之中進行分析。目前主流的BI產品都有支持TB級以上的數據分析方案。種類繁多，就不具體列舉了。
海量級別指的是對於資料庫和BI產品已經完全失效或者成本過高的數據量。海量數據級別的優秀企業級產品也有很多，但基於軟硬體的成本原因，目前大多數互聯網企業採用Hadoop的HDFS分布式文件系統來存儲數據，並使用MapRece進行分析。本文稍後將主要介紹Hadoop上基於MapRece的一個多維數據分析平台。
數據分析的演算法復雜度
根據不同的業務需求，數據分析的演算法也差異巨大，而數據分析的演算法復雜度和架構是緊密關聯的。舉個例子，Redis是一個性能非常高的內存Key-Value NoSQL，它支持List和Set、SortedSet等簡單集合，如果你的數據分析需求簡單地通過排序，鏈表就可以解決，同時總的數據量不大於內存（准確地說是內存加上虛擬內存再除以2），那麼無疑使用Redis會達到非常驚人的分析性能。
還有很多易並行問題（Embarrassingly Parallel），計算可以分解成完全獨立的部分，或者很簡單地就能改造出分布式演算法，比如大規模臉部識別、圖形渲染等，這樣的問題自然是使用並行處理集群比較適合。
而大多數統計分析，機器學習問題可以用MapRece演算法改寫。MapRece目前最擅長的計算領域有流量統計、推薦引擎、趨勢分析、用戶行為分析、數據挖掘分類器、分布式索引等。
2. 面對大數據OLAP大一些問題
OLAP分析需要進行大量的數據分組和表間關聯，而這些顯然不是NoSQL和傳統資料庫的強項，往往必須使用特定的針對BI優化的資料庫。比如絕大多數針對BI優化的資料庫採用了列存儲或混合存儲、壓縮、延遲載入、對存儲數據塊的預統計、分片索引等技術。
Hadoop平台上的OLAP分析，同樣存在這個問題，Facebook針對Hive開發的RCFile數據格式，就是採用了上述的一些優化技術，從而達到了較好的數據分析性能。如圖2所示。
然而，對於Hadoop平台來說，單單通過使用Hive模仿出SQL，對於數據分析來說遠遠不夠，首先Hive雖然將HiveQL翻譯MapRece的時候進行了優化，但依然效率低下。多維分析時依然要做事實表和維度表的關聯，維度一多性能必然大幅下降。其次，RCFile的行列混合存儲模式，事實上限制死了數據格式，也就是說數據格式是針對特定分析預先設計好的，一旦分析的業務模型有所改動，海量數據轉換格式的代價是極其巨大的。最後，HiveQL對OLAP業務分析人員依然是非常不友善的，維度和度量才是直接針對業務人員的分析語言。
而且目前OLAP存在的最大問題是：業務靈活多變，必然導致業務模型隨之經常發生變化，而業務維度和度量一旦發生變化，技術人員需要把整個Cube（多維立方體）重新定義並重新生成，業務人員只能在此Cube上進行多維分析，這樣就限制了業務人員快速改變問題分析的角度，從而使所謂的BI系統成為死板的日常報表系統。
使用Hadoop進行多維分析，首先能解決上述維度難以改變的問題，利用Hadoop中數據非結構化的特徵，採集來的數據本身就是包含大量冗餘信息的。同時也可以將大量冗餘的維度信息整合到事實表中，這樣可以在冗餘維度下靈活地改變問題分析的角度。其次利用Hadoop MapRece強大的並行化處理能力，無論OLAP分析中的維度增加多少，開銷並不顯著增長。換言之，Hadoop可以支持一個巨大無比的Cube，包含了無數你想到或者想不到的維度，而且每次多維分析，都可以支持成千上百個維度，並不會顯著影響分析的性能。
而且目前OLAP存在的最大問題是：業務靈活多變，必然導致業務模型隨之經常發生變化，而業務維度和度量一旦發生變化，技術人員需要把整個Cube（多維立方體）重新定義並重新生成，業務人員只能在此Cube上進行多維分析，這樣就限制了業務人員快速改變問題分析的角度，從而使所謂的BI系統成為死板的日常報表系統。
3. 一種Hadoop多維分析平台的架構
整個架構由四大部分組成：數據採集模塊、數據冗餘模塊、維度定義模塊、並行分 析模塊。
數據採集模塊採用了Cloudera的Flume，將海量的小日誌文件進行高速傳輸和合並，並能夠確保數據的傳輸安全性。單個collector宕機之後，數據也不會丟失，並能將agent數據自動轉移到其他的colllecter處理，不會影響整個採集系統的運行。如圖5所示。
數據冗餘模塊不是必須的，但如果日誌數據中沒有足夠的維度信息，或者需要比較頻繁地增加維度，則需要定義數據冗餘模塊。通過冗餘維度定義器定義需要冗餘的維度信息和來源（資料庫、文件、內存等），並指定擴展方式，將信息寫入數據日誌中。在海量數據下，數據冗餘模塊往往成為整個系統的瓶頸，建議使用一些比較快的內存NoSQL來冗餘原始數據，並採用盡可能多的節點進行並行冗餘；或者也完全可以在Hadoop中執行批量Map，進行數據格式的轉化。
維度定義模塊是面向業務用戶的前端模塊，用戶通過可視化的定義器從數據日誌中定義維度和度量，並能自動生成一種多維分析語言，同時可以使用可視化的分析器通過GUI執行剛剛定義好的多維分析命令。
並行分析模塊接受用戶提交的多維分析命令，並將通過核心模塊將該命令解析為Map-Rece，提交給Hadoop集群之後，生成報表供報表中心展示。
核心模塊是將多維分析語言轉化為MapRece的解析器，讀取用戶定義的維度和度量，將用戶的多維分析命令翻譯成MapRece程序。核心模塊的具體邏輯如圖6所示。
圖6中根據JobConf參數進行Map和Rece類的拼裝並不復雜，難點是很多實際問題很難通過一個MapRece Job解決，必須通過多個MapRece Job組成工作流（WorkFlow），這里是最需要根據業務進行定製的部分。圖7是一個簡單的MapRece工作流的例子。
MapRece的輸出一般是統計分析的結果，數據量相較於輸入的海量數據會小很多，這樣就可以導入傳統的數據報表產品中進行展現。