㈠ 國內外的Hadoop應用現狀
文 | 翟周偉
本文節選自《Hadoop核心技術》一書。
Hadoop是一個開源的高效雲計算基礎架構平台，其不僅僅在雲計算領域用途廣泛，還可以支撐搜索引擎服務，作為搜索引擎底層的基礎架構系統，同時在海量數據處理、數據挖掘、機器學習、科學計算等領域都越來越受到青睞。本文將講述國內外的hadoop應用現狀。
國外Hadoop的應用現狀
1.Yahoo
Yahoo是Hadoop的最大支持者，截至2012年，Yahoo的Hadoop機器總節點數目超過42?000個，有超過10萬的核心CPU在運行Hadoop。最大的一個單Master節點集群有4500個節點(每個節點雙路4核心CPUboxesw，4×1TB磁碟，16GBRAM)。總的集群存儲容量大於350PB，每月提交的作業數目超過1000萬個，在Pig中超過60%的Hadoop作業是使用Pig編寫提交的。
Yahoo的Hadoop應用主要包括以下幾個方面：
支持廣告系統
用戶行為分析
支持Web搜索
反垃圾郵件系統
會員反濫用
內容敏捷
個性化推薦
同時Pig研究並測試支持超大規模節點集群的Hadoop系統。
2.Facebook
Facebook使用Hadoop存儲內部日誌與多維數據，並以此作為報告、分析和機器學習的數據源。目前Hadoop集群的機器節點超過1400台，共計11?200個核心CPU，超過15PB原始存儲容量，每個商用機器節點配置了8核CPU，12TB數據存儲，主要使用StreamingAPI和JavaAPI編程介面。Facebook同時在Hadoop基礎上建立了一個名為Hive的高級數據倉庫框架，Hive已經正式成為基於Hadoop的Apache一級項目。此外，還開發了HDFS上的FUSE實現。
3.A9.com
A9.com為Amazon使用Hadoop構建了商品搜索索引，主要使用StreamingAPI以及C++、Perl和Python工具，同時使用Java和StreamingAPI分析處理每日數以百萬計的會話。A9.com為Amazon構建的索引服務運行在100節點左右的Hadoop集群上。
4.Adobe
Adobe主要使用Hadoop及HBase，同於支撐社會服務計算，以及結構化的數據存儲和處理。大約有超過30個節點的Hadoop-HBase生產集群。Adobe將數據直接持續地存儲在HBase中，並以HBase作為數據源運行MapRece作業處理，然後將其運行結果直接存到HBase或外部系統。Adobe在2008年10月就已經將Hadoop和HBase應用於生產集群。
5.CbIR
自2008年4月以來，日本的CbIR(Content-basedInformationRetrieval)公司在AmazonEC2上使用Hadoop來構建圖像處理環境，用於圖像產品推薦系統。使用Hadoop環境生成源資料庫，便於Web應用對其快速訪問，同時使用Hadoop分析用戶行為的相似性。
6.Datagraph
Datagraph主要使用Hadoop批量處理大量的RDF數據集，尤其是利用Hadoop對RDF數據建立索引。Datagraph也使用Hadoop為客戶執行長時間運行的離線SPARQL查詢。Datagraph是使用AmazonS3和Cassandra存儲RDF數據輸入和輸出文件的，並已經開發了一個基於MapRece處理RDF數據的Ruby框架——RDFgrid。
Datagraph主要使用Ruby、RDF.rb以及自己開發的RDFgrid框架來處理RDF數據，主要使用HadoopStreaming介面。
7.EBay
單集群超過532節點集群，單節點8核心CPU，容量超過5.3PB存儲。大量使用的MapRece的Java介面、Pig、Hive來處理大規模的數據，還使用HBase進行搜索優化和研究。
8.IBM
IBM藍雲也利用Hadoop來構建雲基礎設施。IBM藍雲使用的技術包括：Xen和PowerVM虛擬化的Linux操作系統映像及Hadoop並行工作量調度，並發布了自己的Hadoop發行版及大數據解決方案。
9.Last.Fm
Last.Fm主要用於圖表計算、專利申報、日誌分析、A/B測試、數據集合並等，也使用Hadoop對超過百萬的曲目進行大規模的音頻特徵分析。
節點超過100台機器，集群節點配置雙四核[email protected]@2.13GHz，24GB內存，8TB(4×2TB)存儲。
10.LinkedIn
LinkedIn有多種硬體配置的Hadoop集群，主要集群配置如下：
800節點集群，基於Westmere的惠普SL170X與2×4的核心，24GB內存，6×2TBSATA。
1900節點集群，基於Westmere的超微-HX8DTT，與2×6的核心，24GB內存，6×2TBSATA。
1400節點集群，基於SandyBridge超微與2×6的核心，32GB內存，6×2TBSATA。
使用的軟體如下：
操作系統使用RHEL6.3。
JDK使用SUNJDK1.6.0_32。
Apache的Hadoop0.20.2的補丁和ApacheHadoop的1.0.4補丁。
Azkaban和Azkaban用於作業調度。
Hive、Avro、Kafka等。
11.MobileAnalytic.TV
主要使用Hadoop應用在並行化演算法領域，涉及的MapRece應用演算法如下。
信息檢索和分析。
機器生成的內容——文檔、文本、音頻、視頻。
自然語言處理。
項目組合包括：
移動社交網路。
網路爬蟲。
文本到語音轉化。
音頻和視頻自動生成。
12.Openstat
主要利用Hadoop定製一個網路日誌分析並生成報告，其生產環境下超過50個節點集群(雙路四核Xeon處理器，16GB的RAM，4～6硬碟驅動器)，還有兩個相對小的集群用於個性化分析，每天處理約500萬的事件，每月15億美元的交易數據，集群每天產生大約25GB的報告。
使用的技術主要包括：CDH、Cascading、Janino。
13.Quantcast
3000個CPU核心，3500TB存儲，每日處理1PB以上的數據，使用完全自定義的數據路徑和排序器的Hadoop調度器，對KFS文件系統有突出貢獻。
14.Rapleaf
超過80個節點的集群(每個節點有2個雙核CPU，2TB×8存儲，16GBRAM內存);主要使用Hadoop、Hive處理Web上關聯到個人的數據，並引入Cascading簡化數據流穿過各種處理階段。
15.WorldLingo
硬體上超過44台伺服器(每台有2個雙核CPU，2TB存儲，8GB內存)，每台伺服器均運行Xen，啟動一個虛擬機實例運行Hadoop/HBase，再啟動一個虛擬機實例運行Web或應用程序伺服器，即有88台可用的虛擬機;運行兩套獨立的Hadoop/HBase機群，它們各自擁有22個節點。Hadoop主要用於運行HBase和MapRece作業，掃描HBase的數據表，執行特定的任務。HBase作為一種可擴展的、快速的存儲後端，用於保存數以百萬的文檔。目前存儲了1200萬篇文檔，近期的目標是存儲4.5億篇文檔。
16.格拉斯哥大學的TerrierTeam
超過30個節點的實驗集群(每節點配置XeonQuadCore2.4GHz，4GB內存，1TB存儲)。使用Hadoop促進信息檢索研究和試驗，特別是用於TREC，用於TerrierIR平台。Terrier的開源發行版中包含了基於HadoopMapRece的大規模分布式索引。
17.內布拉斯加大學的HollandComputingCenter
運行一個中等規模的Hadoop機群(共計1.6PB存儲)用於存儲和提供物理數據，以支持緊湊型μ子螺旋型磁譜儀(CompactMuonSolenoid，CMS)實驗的計算。這需要一類能夠以幾Gbps的速度下載數據，並以更高的速度處理數據的文件系統的支持。
18.VisibleMeasures
將Hadoop作為可擴展數據流水線的一個組件，最終用於VisibleSuite等產品。使用Hadoop匯總、存儲和分析與網路視頻觀眾收看行為相關的數據流。目前的網格包括超過128個CPU核心，超過100TB的存儲，並計劃大幅擴容。
國內Hadoop的應用現狀
Hadoop在國內的應用主要以互聯網公司為主，下面主要介紹大規模使用Hadoop或研究Hadoop的公司。
1.網路
網路在2006年就開始關注Hadoop並開始調研和使用，在2012年其總的集群規模達到近十個，單集群超過2800台機器節點，Hadoop機器總數有上萬台機器，總的存儲容量超過100PB，已經使用的超過74PB，每天提交的作業數目有數千個之多，每天的輸入數據量已經超過7500TB，輸出超過1700TB。
網路的Hadoop集群為整個公司的數據團隊、大搜索團隊、社區產品團隊、廣告團隊，以及LBS團體提供統一的計算和存儲服務，主要應用包括：
數據挖掘與分析。
日誌分析平台。
數據倉庫系統。
推薦引擎系統。
用戶行為分析系統。
同時網路在Hadoop的基礎上還開發了自己的日誌分析平台、數據倉庫系統，以及統一的C++編程介面，並對Hadoop進行深度改造，開發了HadoopC++擴展HCE系統。
2.阿里巴巴
阿里巴巴的Hadoop集群截至2012年大約有3200台伺服器，大約30?000物理CPU核心，總內存100TB，總的存儲容量超過60PB，每天的作業數目超過150?000個，每天hivequery查詢大於6000個，每天掃描數據量約為7.5PB，每天掃描文件數約為4億，存儲利用率大約為80%，CPU利用率平均為65%，峰值可以達到80%。阿里巴巴的Hadoop集群擁有150個用戶組、4500個集群用戶，為淘寶、天貓、一淘、聚劃算、CBU、支付寶提供底層的基礎計算和存儲服務，主要應用包括：
數據平台系統。
搜索支撐。
廣告系統。
數據魔方。
量子統計。
淘數據。
推薦引擎系統。
搜索排行榜。
為了便於開發，其還開發了WebIDE繼承開發環境，使用的相關系統包括：Hive、Pig、Mahout、Hbase等。
3.騰訊
騰訊也是使用Hadoop最早的中國互聯網公司之一，截至2012年年底，騰訊的Hadoop集群機器總量超過5000台，最大單集群約為2000個節點，並利用Hadoop-Hive構建了自己的數據倉庫系統TDW，同時還開發了自己的TDW-IDE基礎開發環境。騰訊的Hadoop為騰訊各個產品線提供基礎雲計算和雲存儲服務，其支持以下產品：
騰訊社交廣告平台。
搜搜(SOSO)。
拍拍網。
騰訊微博。
騰訊羅盤。
QQ會員。
騰訊游戲支撐。
QQ空間。
朋友網。
騰訊開放平台。
財付通。
手機QQ。
QQ音樂。
4.奇虎360
奇虎360主要使用Hadoop-HBase作為其搜索引擎so.com的底層網頁存儲架構系統，360搜索的網頁可到千億記錄，數據量在PB級別。截至2012年年底，其HBase集群規模超過300節點，region個數大於10萬個，使用的平台版本如下。
HBase版本：facebook0.89-fb。
HDFS版本：facebookHadoop-20。
奇虎360在Hadoop-HBase方面的工作主要為了優化減少HBase集群的啟停時間，並優化減少RS異常退出後的恢復時間。
5.華為
華為公司也是Hadoop主要做出貢獻的公司之一，排在Google和Cisco的前面，華為對Hadoop的HA方案，以及HBase領域有深入研究，並已經向業界推出了自己的基於Hadoop的大數據解決方案。
6.中國移動
中國移動於2010年5月正式推出大雲BigCloud1.0，集群節點達到了1024。中國移動的大雲基於Hadoop的MapRece實現了分布式計算，並利用了HDFS來實現分布式存儲，並開發了基於Hadoop的數據倉庫系統HugeTable，並行數據挖掘工具集BC-PDM，以及並行數據抽取轉化BC-ETL，對象存儲系統BC-ONestd等系統，並開源了自己的BC-Hadoop版本。
中國移動主要在電信領域應用Hadoop，其規劃的應用領域包括：
經分KPI集中運算。
經分系統ETL/DM。
結算系統。
信令系統。
雲計算資源池系統。
物聯網應用系統。
E-mail。
IDC服務等。
7.盤古搜索
盤古搜索(目前已和即刻搜索合並為中國搜索)主要使用Hadoop集群作為搜索引擎的基礎架構支撐系統，截至2013年年初，集群中機器數量總計超過380台，存儲總量總計3.66PB，主要包括的應用如下。
網頁存儲。
網頁解析。
建索引。
Pagerank計算。
日誌統計分析。
推薦引擎等。
即刻搜索(人民搜索)
即刻搜索(目前已與盤古搜索合並為中國搜索)也使用Hadoop作為其搜索引擎的支撐系統，截至2013年，其Hadoop集群規模總計超過500台節點，配置為雙路6核心CPU，48G內存，11×2T存儲，集群總容量超過10PB，使用率在78%左右，每天處理讀取的數據量約為500TB，峰值大於1P，平均約為300TB。
即刻搜索在搜索引擎中使用sstable格式存儲網頁並直接將sstable文件存儲在HDFS上面，主要使用HadoopPipes編程介面進行後續處理，也使用Streaming介面處理數據，主要的應用包括：
網頁存儲。
解析。
建索引。
推薦引擎。
end
㈡ 雲計算有怎樣的發展前景
中國雲計算行業發展前景及趨勢分析
——發展趨勢：助力「新基建」及企業數字化轉型
2020年是又一個新十年的開端，無論是如火如荼的「新基建」、穩步推進的企業數字化轉型，還是突如其來的疫情，都將雲計算發展推向了一個新的高度。未來十年，雲計算將進入全新發展階段，具體表現為：
——更多數據來請參考前瞻產業研究院《中國雲計算產業發展前景預測與投資戰略規劃分析報告》。
㈢ 目前市場上的雲存儲解決方案有哪些有哪些提供商
目前比較好的雲存儲解決方案可多了，但是有的軟體的數據安全性還有待考證呢！我個人覺得網路、華為、聯想、中國移動、115之類的雲存儲軟體都是可以的！但是總是用著不放心，我們公司用的是南京雲創存儲開發的Minicloud迷你雲軟體，我感覺用著挺好的，文件數據塊始終以雙副本方式在不同節點上存放，絕不丟失數據，既可作為應用軟體（如郵箱、視頻監控）的海量存儲空間，又可作為員工的私密存儲空間，還可以作為數據共享空間等，大家可以試試看！
南京雲創存儲科技有限公司與CETC32所攜手Intel聯合開發的全球首款超低功耗、高密度的雲存儲產品——基於英特爾 凌動 處理器產品家族的雲存儲一體機。由CETC32所基於Intel Atom Processor for Storage開發的64位低功耗硬體平台，與雲創存儲自主創新核心產品cStor雲存儲系統完全結合的雲存儲一體機，全面展現了新一代高密度雲存儲產品超高容量、超高性能、節能環保的綠色魅力。與傳統雲存儲產品相比，該產品可搭載總存儲容量高達1824TB，單存儲節點峰值功耗低於0.15KW，比傳統雲存儲產品節能3倍，諸多優勢完勝傳統存儲產品。
每節點主板功耗25W，單機架總功耗5700W,與傳統雲存儲系統相比，節能3倍。系統採用了集中式直流供電，減少了電源逆變次數，提高電源效率。同時系統採用RMC智能管理模塊對所有風扇進行管理，可根據系統局部溫度變化調節風扇轉速，達到節能效果。
㈣ 雲存儲技術的發展所面臨的瓶頸
存儲空間的安全性顧慮 目前，絕大部分企業或部門還不是很情願地把單位的重要數據保存到「雲」里去，究其原因還是對數據安全性的憂慮。而個人用戶同樣擔心的是其隱私數據的泄露。 可以說，安全問題是對雲存儲服務的最大挑戰。這一問題直接關繫到雲存儲市場的生死存亡。從客戶的角度分析，既然把重要數據交給第三方託管，自然希望SSP能夠確保數據的不被篡改、不丟失、不被非法訪問或任意竊取。而且上傳和下載的速度不能太慢，最好能夠提供實時高帶寬的傳輸服務，這就給SSP們出了一道市場考題。 網路帶寬的瓶頸 當我們保存備份重要數據的時候，當然都不希望太慢，也就是上傳下載的速度要快，而且伺服器要能及時接納大量的數據流。這就對網速的分配、網路設備的性能和SSP的管理機制帶來了極大挑戰。畢竟作為雲存儲的客戶，誰願意為了備份一段錄像而等待幾十分鍾的時間呢？ 國內網路帶寬的現狀極大限制了用戶對雲存儲的熱情，對於國內的網速和價格，大家更是感同身受。 創作平台的限制 各大SSP雲存儲服務供應商都試圖打造自己的垂直整合技術，但我們也注意到：隨之而來的內容存儲也就很難、甚至無法突破創作平台的限制。因此，各自為戰的科技公司必然會帶來一種斷裂和碎片化的生態系統。 盈利魔咒 導致雲存儲行業競爭混亂的最根本因素是盈利模式的迷茫。雲存儲是一個很大的市場，也是很有潛力的市場，可以說，誰贏得雲存儲，誰就贏得未來。為了吸引更多的用戶，雲存儲服務商必須提供更多的免費存儲空間。但隨著存儲空間的增大，付費升級的用戶就會減少。一些無其他收入來源的小型服務商勢必將無法承擔如此大的投入，它們不得不尋找其他的營收來源。SSP作為企業，它的最終目標就是盈利賺錢，而客戶則希望獲得更多、更好、低廉、甚至免費的服務。目前，企業只有採用增加廣告，降低用戶負擔的方式了，至於其他的增值服務，目前也是處於開拓階段，暫時還找不出更好的出路。 雲存儲技術的不確定性對市場的影響 海嘯、地震等自然災害或戰爭等人為因素會給雲存儲的發展帶來眾多不確定的因素，而在國內雖然不必過多擔心戰爭等人為因素，但各方面的審核和對一些敏感內容的屏蔽等因素，也增加了雲存儲的時間成本和不確定性。
㈤ idc行業的發展現狀,規模以及趨勢
IDC行業是什麼行業。
㈥ 雲存儲的隱患
從功能實現上來講，異地文件存取與文件分享共步技術早在互聯網形成之初就已經得到應用，上個世紀互聯網剛剛進入國內時就有廠商提供過網盤服務，當時所謂的網盤並不是大家所熟知的網路虛擬磁碟，當時的網盤更像是一個SVN 或FTP 的客戶端，而今十多年的發展以後，融入了移動互聯網營銷理念與新技術的「網盤」被包裝成了「雲存儲」高調的出現在大眾面前，據相關統計數據顯示國內一線的雲存儲服務商每天的用戶數據新增量已經達PB為單位，可見每天都有數以億計的用戶正在向自己雲存儲空間中上傳下載著各種文件，在這種環境下排除網路帶寬消耗之外，我們是否應該反思一下雲存儲下的未來隱患。 從數據安全上分兩個方面分析，
1.用戶的操作安全：大多數的雲存儲都設計了多客戶端數據同步機制，一般以最後一次更新為標准，其他客戶端開啟時自動同步，這點與SVN的設計有很大的差別，當一個用戶在公司編輯某個文件後，回到家中再次編輯，那麼當他再次回到公司時文件已是昨晚在家更新過的，這是理想狀態下的，在很多時候用戶編輯一個文件後，會發現編輯有誤，想取回存在公司的文件版本時，可能在沒有支持版本管理雲存儲中你的附本也已經被錯誤的更新了，同樣的道理你刪除一個文件時候，如果沒有額外的備份，也許你到網盤回收站中再找了，版本管理技術上並不存在問題，但是會加大用戶的操作難度，雲存儲服務商只有少數的私有雲提供商有限的支持，多數情況下這種覆蓋是時常發生的。
2.服務端的安全操作：雲存儲伺服器早已經成為了黑客入侵的目標，因為伺服器上不僅有無窮用戶數據，對此類大用戶群服務的劫持更加是黑色收入的重要來源，也就是說伺服器的安全性直接影響著用戶上傳數據的安全，在伺服器虛擬化技術的支撐下V2V遷移的可靠性相當高，多數的雲存儲廠商都預備安全防護方案，但是不能忽視的永遠人的操作。 自動同步
Windows客戶端在指定目錄下添加、修改、刪除文件或目錄，這種狀態將會自動同步到雲端。如果雲端任意一個文件被添加、修改、刪除，也會自動同步到當前Windows電腦。
選擇性同步
用戶不需要把雲端所有的文件都同步到Windows電腦中，可根據需要，在Windows客戶端進行選擇性同步。選擇一個或多個子目錄進行同步。
文件共享
提供目錄共享，企業成員可在共享目錄編輯文件後，可自動同步到對方目錄中。提供文件外鏈與文件分享，成員可將文件進行外部分享。
快速部署
通過單一安裝文件完成，自動獲取安裝所需信息，無需用戶干預。
歷史版本恢復.
用戶多次編輯文件後，可根據時間找到以前的版本，並可恢復。 軟體架構
採用元/流分開技術模型，原數據存儲在資料庫中、流數據加密並混淆存在的硬碟介質上和信雲盤採用Nginx伺服器負載均衡方案以及Mysql冗餘備份方案，確保系統高可靠性與資料庫的高可用性。
多終端支持
提供多終端支持，包括：Windows PC客戶端、Android手機客戶端、iPhone手機客戶端、適配多款瀏覽器等。
完善後台管理
提供完善的管理後台。包括系統是否開放注冊、Logo修改、用戶管理、文件管理、用戶統計、文件統計等操作。
運行環境
具有很好的兼容性和信雲存儲支持主流機型。包括：Windows XP、Windows 7、Android手機、iPhone手機、IE8瀏覽器、Chrome瀏覽器、Firefox瀏覽器等。
節點配置
CPU 支持ACPI規范中P-State，內存1G以上，硬碟空餘空間1G以上，百兆及以上乙太網，顯示器屏幕分辯率1024×768及以上，使用IE 8和Firefox 4.0及更高版本的瀏覽器。
性能
千兆網路情況下，每秒可達50M傳輸速度。單節點數據規模達到1千萬，系統可正常運轉。
結合等保管理的需求，在私有雲存儲的設計，還應該考慮到員工個人私鑰加解密的功能，即員工根據工作許可權分級的不同存放在企業私雲上的文件應該是加密保存的，信息管理人員無法直接從服務端資料庫中獲取到明文的文件，只有分發了特定密鑰的客戶端下載文件後，才能在系統後台完成透明還原。 1、節約成本
雲存儲從短期和長期來看，最大的特點就是可以為小企業減少成本。因為如果小企業想要放在他們自己的伺服器上存儲，那就必須購買硬體和軟體，要知道它是多麼昂貴的。接著，企業還要聘請專業的IT人士，管理這些硬體和軟體的維護工作，並且還要更新這些設備和軟體。
通過雲存儲，伺服器商可以服務成千上萬的中小企業，並可以劃分不同消費群體服務。它可以擔負起一個初創公司擁有最新、最好的存儲成一部分成本，來幫助初創公司減少不必要的成本預算。相比傳統的存儲擴容，雲存儲架構採用的是並行擴容方式，當客戶需要增加容量時，可按照需求采購伺服器，簡單增加即可實現容量的擴展：新設備僅需安裝操作系統及雲存儲軟體後，打開電源接上網路，雲存儲系統便能自動識別，自動把容量加入存儲池中完成擴展。擴容環節無任何限制。
2、更好的備份本地數據並可以異地處理日常數據
如果你的所在辦公場所發生自然災害，由於你的數據是異地存儲，因此是它非常安全的。即使自然災害讓你不能通過網路訪問到數據，但是數據依然存在。如果問題只出現在你的辦公室或者你所在的公司，那麼可以你可以隨便去一個地方用你的筆記本來訪問重要數據和更新數據。它可以讓你保持在惡劣條件下依然讓你保持工作。
在以往的存儲系統管理中，管理人員需要面對不同的存儲設備，不同廠商的設備均有不同的管理界面，使得管理人員要了解每個存儲的使用狀況(容量、負載等)的工作復雜而繁重。而且，傳統的存儲在硬碟或是存儲伺服器損壞時，可能會造成數據丟失，而雲存儲則不會，如果硬碟壞掉，數據會自動遷移到別的硬碟，大大減輕了管理人員的工作負擔。對雲存儲來說，再多的存儲伺服器，在管理人員眼中也只是一台存儲器，每台存儲伺服器的使用狀況，通過一個統一管理界面監控，使得維護變得簡單和易操作。
當然，這不是意味你應該忘記備份數據。雲存儲提供給大多數的公司備份自己重要數據和保護個人數據。
3、更多的訪問和更好的競爭
公司員工不在需要通過本地網路來訪問公司信息。這就可以讓公司員工甚至是合作商在任何地方訪問他們需要的數據。
因為中小企業不需要花費上千萬美元來打造最新技術和最新應用來創造最好的系統，所以雲存儲為中小企業和大公司競爭鋪平道路。事實上，對於很多企業來說，雲存儲利於小企業比大企業更多，原因就是大企業已經花重金打造自己的數據存儲中心。