當前位置:首頁 » 文件傳輸 » 應用程序訪問cdh集群
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

應用程序訪問cdh集群

發布時間: 2022-04-24 19:31:49

1. CDH 集群如何部署一個新的服務

在web界面,cluster界面,選擇圖中下拉的三角,然後選擇添加服務,選擇默認配置,一直點擊下一步就好了。比較簡單

2. Cloudera Hadoop什麼是CDH及CDH版本介紹

1、Hortonworks Hadoop區別於其他的Hadoop發行版(如Cloudera)的根本就在於,Hortonworks的產品均是百分之百開源。2、Cloudera有免費版和企業版,企業版只有試用期。3、apache hadoop則是原生的hadoop。4、目前在中國流行的是apache hadoop,Cloudera CDH,當然Hortonworks也有用的5、Apache Ambari是一個基於web的工具,用於配置、管理和監視Apache Hadoop集群,支持Hadoop HDFS,、Hadoop MapRece、Hive、HCatalog,、HBase、ZooKeeper、Oozie、Pig和Sqoop。Ambari同樣還提供了集群狀況儀表盤,比如heatmaps和查看MapRece、Pig、Hive應用程序的能力,以友好的用戶界面對它們的性能特性進行診斷。

3. 如何用cloudera manager接管已有hadoop的cdh版本集群

本文介紹如何搭建cloudera manager去接入已有hadoop組件(cdh),搜索國內資料並無整體介紹,沒有任何參考文章可以借鑒;通過大數據qq交流群當中某老師提供的國外某篇cloudera cto的文章得到解決思路,經實驗調試可以實現此功能。

下面進入本文主題。

一、下載必備文件:

1.cloudera manager:


之後發現原集群的對應目錄所有者為hadoop,而根據其他角色啟動進程的所有者hdfs來進行許可權修改後datanode可以啟動

4. fi和cdh的區別

解釋如下:
初學hadoop 肯定希望自己搭建原生的集群,這樣有利於理解和學習,但是正式使用隨著伺服器增多,維護變困難,所以有很多人轉向CDH,Ambari也是一個不錯的選擇,Ambari和CDH最大的區別就是一個開源免費,一個商用收費。
1.什麼是CDH
Cloudera Manager是cloudera公司的一個產品,著重於幫助大家管理自己的CDH集群,通過Cloudera Manager統一的UI界面來快速地自動配置和部署CDH和其相關組件,同時Cloudera Manager還提供了各種豐富的可自定義化的監視診斷和報告功能,集群上統一的日誌管理功能,統一的集群配置管理和實時配置變更功能,多租戶功能,高可用容災部署功能和自動恢復功能等, 方便企業統一管理和維護自己的數據中心。Cloudera Manager產品也是我們主要的安裝內容和介紹對象。它細分為免費的Express版本和功能完全並提供眾多增值服務的收費版本Enterprise
2.什麼是Ambari
Ambari是Apache軟體基金頂級項目,它是一個基於web的工具,用於安裝、配置、管理和監視Apache Hadoop集群,支持Hadoop HDFS,、Hadoop MapRece、Hive、HCatalog,、HBase、ZooKeeper、Oozie、Pig和Sqoop。Ambari同樣還提供了集群狀況儀表盤,比如heatmaps和查看MapRece、Pig、Hive應用程序的能力,以友好的用戶界面對它們的性能特性進行診斷。
3.Ambari和CDH對比
主要的不同點apache AmbariClouderaManager Express(免費版)配置版本控制和歷史記錄支持不支持

5. 如何在CDH 5上運行Spark應用程序

創建 maven 工程
使用下面命令創建一個普通的 maven 工程:
bash
$ mvn archetype:generate -DgroupId=com.cloudera.sparkwordcount -DartifactId=sparkwordcount -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false
將 sparkwordcount 目錄重命名為simplesparkapp,然後,在 simplesparkapp 目錄下添加 scala 源文件目錄:
bash
$ mkdir -p sparkwordcount/src/main/scala/com/cloudera/sparkwordcount
修改 pom.xml 添加 scala 和 spark 依賴:
xml
<dependencies>
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>2.10.4</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>1.2.0-cdh5.3.0</version>
</dependency>
</dependencies>
添加編譯 scala 的插件:
xml
<plugin>
<groupId>org.scala-tools</groupId>
<artifactId>maven-scala-plugin</artifactId>
<executions>
<execution>
<goals>
<goal>compile</goal>
<goal>testCompile</goal>
</goals>
</execution>
</executions>
</plugin>
添加 scala 編譯插件需要的倉庫:
xml
<pluginRepositories>
<pluginRepository>
<id>scala-tools.org</id>
<name>Scala-tools Maven2 Repository</name>
<url>http://scala-tools.org/repo-releases</url>
</pluginRepository>
</pluginRepositories>
另外,添加 cdh hadoop 的倉庫:
xml
<repositories>
<repository>
<id>scala-tools.org</id>
<name>Scala-tools Maven2 Repository</name>
<url>http://scala-tools.org/repo-releases</url>
</repository>
<repository>
<id>maven-hadoop</id>
<name>Hadoop Releases</name>
<url>https://repository.cloudera.com/content/repositories/releases/</url>
</repository>
<repository>
<id>cloudera-repos</id>
<name>Cloudera Repos</name>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>
</repositories>
最後,完整的 pom.xml 文件見: https://github.com/javachen/simplesparkapp/blob/master/pom.xml 。
運行下面命令檢查工程是否能夠成功編譯:
bash
mvn package
編寫示例代碼
以 WordCount 為例,該程序需要完成以下邏輯:
讀一個輸入文件
統計每個單詞出現次數
過濾少於一定次數的單詞
對剩下的單詞統計每個字母出現次數
在 MapRece 中,上面的邏輯需要兩個 MapRece 任務,而在 Spark 中,只需要一個簡單的任務,並且代碼量會少 90%。
編寫 Scala 程序 如下:
scala
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
object SparkWordCount {
def main(args: Array[String]) {
val sc = new SparkContext(new SparkConf().setAppName("Spark Count"))
val threshold = args(1).toInt
// split each document into words
val tokenized = sc.textFile(args(0)).flatMap(_.split(" "))
// count the occurrence of each word
val wordCounts = tokenized.map((_, 1)).receByKey(_ + _)
// filter out words with less than threshold occurrences
val filtered = wordCounts.filter(_._2 >= threshold)
// count characters
val charCounts = filtered.flatMap(_._1.toCharArray).map((_, 1)).receByKey(_ + _)
System.out.println(charCounts.collect().mkString(", "))
charCounts.saveAsTextFile("world-count-result")
}
}
Spark 使用懶執行的策略,意味著只有當 動作 執行的時候, 轉換 才會運行。上面例子中的 動作 操作是 collect 和 saveAsTextFile ,前者是將數據推送給客戶端,後者是將數據保存到 HDFS。
作為對比, Java 版的程序 如下:
java
import java.util.ArrayList;
import java.util.Arrays;
import org.apache.spark.api.java.*;
import org.apache.spark.api.java.function.*;
import org.apache.spark.SparkConf;
import scala.Tuple2;
public class JavaWordCount {
public static void main(String[] args) {
JavaSparkContext sc = new JavaSparkContext(new SparkConf().setAppName("Spark Count"));
final int threshold = Integer.parseInt(args[1]);
// split each document into words
JavaRDD tokenized = sc.textFile(args[0]).flatMap(
new FlatMapFunction() {
public Iterable call(String s) {
return Arrays.asList(s.split(" "));
}
}
);
// count the occurrence of each word
JavaPairRDD counts = tokenized.mapToPair(
new PairFunction() {
public Tuple2 call(String s) {
return new Tuple2(s, 1);
}
}
).receByKey(
new Function2() {
public Integer call(Integer i1, Integer i2) {
return i1 + i2;
}
}
);
另外, Python 版的程序 如下:
python
import sys
from pyspark import SparkContext
file="inputfile.txt"
count=2
if __name__ == "__main__":
sc = SparkContext(appName="PythonWordCount")
lines = sc.textFile(file, 1)
counts = lines.flatMap(lambda x: x.split(' ')) \
.map(lambda x: (x, 1)) \
.receByKey(lambda a, b: a + b) \
.filter(lambda (a, b) : b >= count) \
.flatMap(lambda (a, b): list(a)) \
.map(lambda x: (x, 1)) \
.receByKey(lambda a, b: a + b)
print ",".join(str(t) for t in counts.collect())
sc.stop()
編譯
運行下面命令生成 jar:
bash
$ mvn package
運行成功之後,會在 target 目錄生成 sparkwordcount-0.0.1-SNAPSHOT.jar 文件。
運行
因為項目依賴的 spark 版本是 1.2.0-cdh5.3.0 ,所以下面的命令只能在 CDH 5.3 集群上運行。
首先,將測試文件 inputfile.txt 上傳到 HDFS 上;
bash
$ wget https://github.com/javachen/simplesparkapp/blob/master/data/inputfile.txt
$ hadoop fs -put inputfile.txt
其次,將 sparkwordcount-0.0.1-SNAPSHOT.jar 上傳到集群中的一個節點;然後,使用 spark-submit 腳本運行 Scala 版的程序:
bash
$ spark-submit --class com.cloudera.sparkwordcount.SparkWordCount --master local sparkwordcount-0.0.1-SNAPSHOT.jar inputfile.txt 2
或者,運行 Java 版本的程序:
bash
$ spark-submit --class com.cloudera.sparkwordcount.JavaWordCount --master local sparkwordcount-0.0.1-SNAPSHOT.jar inputfile.txt 2
對於 Python 版的程序,運行腳本為:
bash
$ spark-submit --master local PythonWordCount.py
如果,你的集群部署的是 standalone 模式,則你可以替換 master 參數的值為 spark://<master host>:<master port> ,也可以以 Yarn 的模式運行。

6. 如何整合hue和cas,實現單點登錄hue

是Hadoop應用程序中主要的分布式儲存系統, HDFS集群包含了一個NameNode(主節點),這個節點負責管理所有文件系統的元數據及存儲了真實數據的DataNode(數據節點,可以有很多)。HDFS針對海量數據所設計,所以相比傳統文件系統在大批量小文件上的優化,HDFS優化的則是對小批量大型文件的訪問和存儲。下面為詳細資料:
什麼是HDFS及HDFS架構設計
HDFS+MapRece+Hive快速入門
Hadoop2.2.0中HDFS為何具有高可用性
Java創建hdfs文件實例

7. 如何將jar放進CDH自動安裝的集群中

要在Hadoop集群運行上運行JNI程序,首先要在單機上調試程序直到可以正確運行JNI程序,之後移植到Hadoop集群就是水到渠成的事情。 Hadoop運行程序的方式是通過jar包,所以我們需要將所有的class文件打包成jar包。

8. 電腦應用程序允許訪問怎麼設置

1、在電腦桌面左下角點擊開始,然後在彈出的菜單下方找到搜索框並在裡面輸入gpedit.msc,然後點擊鍵盤回車鍵打開。

9. 國內外的Hadoop應用現狀

文 | 翟周偉
本文節選自《Hadoop核心技術》一書。
Hadoop是一個開源的高效雲計算基礎架構平台,其不僅僅在雲計算領域用途廣泛,還可以支撐搜索引擎服務,作為搜索引擎底層的基礎架構系統,同時在海量數據處理、數據挖掘、機器學習、科學計算等領域都越來越受到青睞。本文將講述國內外的hadoop應用現狀。
國外Hadoop的應用現狀
1.Yahoo
Yahoo是Hadoop的最大支持者,截至2012年,Yahoo的Hadoop機器總節點數目超過42?000個,有超過10萬的核心CPU在運行Hadoop。最大的一個單Master節點集群有4500個節點(每個節點雙路4核心CPUboxesw,4×1TB磁碟,16GBRAM)。總的集群存儲容量大於350PB,每月提交的作業數目超過1000萬個,在Pig中超過60%的Hadoop作業是使用Pig編寫提交的。
Yahoo的Hadoop應用主要包括以下幾個方面:
支持廣告系統
用戶行為分析
支持Web搜索
反垃圾郵件系統
會員反濫用
內容敏捷
個性化推薦
同時Pig研究並測試支持超大規模節點集群的Hadoop系統。
2.Facebook
Facebook使用Hadoop存儲內部日誌與多維數據,並以此作為報告、分析和機器學習的數據源。目前Hadoop集群的機器節點超過1400台,共計11?200個核心CPU,超過15PB原始存儲容量,每個商用機器節點配置了8核CPU,12TB數據存儲,主要使用StreamingAPI和JavaAPI編程介面。Facebook同時在Hadoop基礎上建立了一個名為Hive的高級數據倉庫框架,Hive已經正式成為基於Hadoop的Apache一級項目。此外,還開發了HDFS上的FUSE實現。
3.A9.com
A9.com為Amazon使用Hadoop構建了商品搜索索引,主要使用StreamingAPI以及C++、Perl和Python工具,同時使用Java和StreamingAPI分析處理每日數以百萬計的會話。A9.com為Amazon構建的索引服務運行在100節點左右的Hadoop集群上。
4.Adobe
Adobe主要使用Hadoop及HBase,同於支撐社會服務計算,以及結構化的數據存儲和處理。大約有超過30個節點的Hadoop-HBase生產集群。Adobe將數據直接持續地存儲在HBase中,並以HBase作為數據源運行MapRece作業處理,然後將其運行結果直接存到HBase或外部系統。Adobe在2008年10月就已經將Hadoop和HBase應用於生產集群。
5.CbIR
自2008年4月以來,日本的CbIR(Content-basedInformationRetrieval)公司在AmazonEC2上使用Hadoop來構建圖像處理環境,用於圖像產品推薦系統。使用Hadoop環境生成源資料庫,便於Web應用對其快速訪問,同時使用Hadoop分析用戶行為的相似性。
6.Datagraph
Datagraph主要使用Hadoop批量處理大量的RDF數據集,尤其是利用Hadoop對RDF數據建立索引。Datagraph也使用Hadoop為客戶執行長時間運行的離線SPARQL查詢。Datagraph是使用AmazonS3和Cassandra存儲RDF數據輸入和輸出文件的,並已經開發了一個基於MapRece處理RDF數據的Ruby框架——RDFgrid。
Datagraph主要使用Ruby、RDF.rb以及自己開發的RDFgrid框架來處理RDF數據,主要使用HadoopStreaming介面。
7.EBay
單集群超過532節點集群,單節點8核心CPU,容量超過5.3PB存儲。大量使用的MapRece的Java介面、Pig、Hive來處理大規模的數據,還使用HBase進行搜索優化和研究。
8.IBM
IBM藍雲也利用Hadoop來構建雲基礎設施。IBM藍雲使用的技術包括:Xen和PowerVM虛擬化的Linux操作系統映像及Hadoop並行工作量調度,並發布了自己的Hadoop發行版及大數據解決方案。
9.Last.Fm
Last.Fm主要用於圖表計算、專利申報、日誌分析、A/B測試、數據集合並等,也使用Hadoop對超過百萬的曲目進行大規模的音頻特徵分析。
節點超過100台機器,集群節點配置雙四核[email protected]@2.13GHz,24GB內存,8TB(4×2TB)存儲。
10.LinkedIn
LinkedIn有多種硬體配置的Hadoop集群,主要集群配置如下:
800節點集群,基於Westmere的惠普SL170X與2×4的核心,24GB內存,6×2TBSATA。
1900節點集群,基於Westmere的超微-HX8DTT,與2×6的核心,24GB內存,6×2TBSATA。
1400節點集群,基於SandyBridge超微與2×6的核心,32GB內存,6×2TBSATA。
使用的軟體如下:
操作系統使用RHEL6.3。
JDK使用SUNJDK1.6.0_32。
Apache的Hadoop0.20.2的補丁和ApacheHadoop的1.0.4補丁。
Azkaban和Azkaban用於作業調度。
Hive、Avro、Kafka等。
11.MobileAnalytic.TV
主要使用Hadoop應用在並行化演算法領域,涉及的MapRece應用演算法如下。
信息檢索和分析。
機器生成的內容——文檔、文本、音頻、視頻。
自然語言處理。
項目組合包括:
移動社交網路。
網路爬蟲。
文本到語音轉化。
音頻和視頻自動生成。
12.Openstat
主要利用Hadoop定製一個網路日誌分析並生成報告,其生產環境下超過50個節點集群(雙路四核Xeon處理器,16GB的RAM,4~6硬碟驅動器),還有兩個相對小的集群用於個性化分析,每天處理約500萬的事件,每月15億美元的交易數據,集群每天產生大約25GB的報告。
使用的技術主要包括:CDH、Cascading、Janino。
13.Quantcast
3000個CPU核心,3500TB存儲,每日處理1PB以上的數據,使用完全自定義的數據路徑和排序器的Hadoop調度器,對KFS文件系統有突出貢獻。
14.Rapleaf
超過80個節點的集群(每個節點有2個雙核CPU,2TB×8存儲,16GBRAM內存);主要使用Hadoop、Hive處理Web上關聯到個人的數據,並引入Cascading簡化數據流穿過各種處理階段。
15.WorldLingo
硬體上超過44台伺服器(每台有2個雙核CPU,2TB存儲,8GB內存),每台伺服器均運行Xen,啟動一個虛擬機實例運行Hadoop/HBase,再啟動一個虛擬機實例運行Web或應用程序伺服器,即有88台可用的虛擬機;運行兩套獨立的Hadoop/HBase機群,它們各自擁有22個節點。Hadoop主要用於運行HBase和MapRece作業,掃描HBase的數據表,執行特定的任務。HBase作為一種可擴展的、快速的存儲後端,用於保存數以百萬的文檔。目前存儲了1200萬篇文檔,近期的目標是存儲4.5億篇文檔。
16.格拉斯哥大學的TerrierTeam
超過30個節點的實驗集群(每節點配置XeonQuadCore2.4GHz,4GB內存,1TB存儲)。使用Hadoop促進信息檢索研究和試驗,特別是用於TREC,用於TerrierIR平台。Terrier的開源發行版中包含了基於HadoopMapRece的大規模分布式索引。
17.內布拉斯加大學的HollandComputingCenter
運行一個中等規模的Hadoop機群(共計1.6PB存儲)用於存儲和提供物理數據,以支持緊湊型μ子螺旋型磁譜儀(CompactMuonSolenoid,CMS)實驗的計算。這需要一類能夠以幾Gbps的速度下載數據,並以更高的速度處理數據的文件系統的支持。
18.VisibleMeasures
將Hadoop作為可擴展數據流水線的一個組件,最終用於VisibleSuite等產品。使用Hadoop匯總、存儲和分析與網路視頻觀眾收看行為相關的數據流。目前的網格包括超過128個CPU核心,超過100TB的存儲,並計劃大幅擴容。
國內Hadoop的應用現狀
Hadoop在國內的應用主要以互聯網公司為主,下面主要介紹大規模使用Hadoop或研究Hadoop的公司。
1.網路
網路在2006年就開始關注Hadoop並開始調研和使用,在2012年其總的集群規模達到近十個,單集群超過2800台機器節點,Hadoop機器總數有上萬台機器,總的存儲容量超過100PB,已經使用的超過74PB,每天提交的作業數目有數千個之多,每天的輸入數據量已經超過7500TB,輸出超過1700TB。
網路的Hadoop集群為整個公司的數據團隊、大搜索團隊、社區產品團隊、廣告團隊,以及LBS團體提供統一的計算和存儲服務,主要應用包括:
數據挖掘與分析。
日誌分析平台。
數據倉庫系統。
推薦引擎系統。
用戶行為分析系統。
同時網路在Hadoop的基礎上還開發了自己的日誌分析平台、數據倉庫系統,以及統一的C++編程介面,並對Hadoop進行深度改造,開發了HadoopC++擴展HCE系統。
2.阿里巴巴
阿里巴巴的Hadoop集群截至2012年大約有3200台伺服器,大約30?000物理CPU核心,總內存100TB,總的存儲容量超過60PB,每天的作業數目超過150?000個,每天hivequery查詢大於6000個,每天掃描數據量約為7.5PB,每天掃描文件數約為4億,存儲利用率大約為80%,CPU利用率平均為65%,峰值可以達到80%。阿里巴巴的Hadoop集群擁有150個用戶組、4500個集群用戶,為淘寶、天貓、一淘、聚劃算、CBU、支付寶提供底層的基礎計算和存儲服務,主要應用包括:
數據平台系統。
搜索支撐。
廣告系統。
數據魔方。
量子統計。
淘數據。
推薦引擎系統。
搜索排行榜。
為了便於開發,其還開發了WebIDE繼承開發環境,使用的相關系統包括:Hive、Pig、Mahout、Hbase等。
3.騰訊
騰訊也是使用Hadoop最早的中國互聯網公司之一,截至2012年年底,騰訊的Hadoop集群機器總量超過5000台,最大單集群約為2000個節點,並利用Hadoop-Hive構建了自己的數據倉庫系統TDW,同時還開發了自己的TDW-IDE基礎開發環境。騰訊的Hadoop為騰訊各個產品線提供基礎雲計算和雲存儲服務,其支持以下產品:
騰訊社交廣告平台。
搜搜(SOSO)。
拍拍網。
騰訊微博。
騰訊羅盤。
QQ會員。
騰訊游戲支撐。
QQ空間。
朋友網。
騰訊開放平台。
財付通。
手機QQ。
QQ音樂。
4.奇虎360
奇虎360主要使用Hadoop-HBase作為其搜索引擎so.com的底層網頁存儲架構系統,360搜索的網頁可到千億記錄,數據量在PB級別。截至2012年年底,其HBase集群規模超過300節點,region個數大於10萬個,使用的平台版本如下。
HBase版本:facebook0.89-fb。
HDFS版本:facebookHadoop-20。
奇虎360在Hadoop-HBase方面的工作主要為了優化減少HBase集群的啟停時間,並優化減少RS異常退出後的恢復時間。
5.華為
華為公司也是Hadoop主要做出貢獻的公司之一,排在Google和Cisco的前面,華為對Hadoop的HA方案,以及HBase領域有深入研究,並已經向業界推出了自己的基於Hadoop的大數據解決方案。
6.中國移動
中國移動於2010年5月正式推出大雲BigCloud1.0,集群節點達到了1024。中國移動的大雲基於Hadoop的MapRece實現了分布式計算,並利用了HDFS來實現分布式存儲,並開發了基於Hadoop的數據倉庫系統HugeTable,並行數據挖掘工具集BC-PDM,以及並行數據抽取轉化BC-ETL,對象存儲系統BC-ONestd等系統,並開源了自己的BC-Hadoop版本。
中國移動主要在電信領域應用Hadoop,其規劃的應用領域包括:
經分KPI集中運算。
經分系統ETL/DM。
結算系統。
信令系統。
雲計算資源池系統。
物聯網應用系統。
E-mail。
IDC服務等。
7.盤古搜索
盤古搜索(目前已和即刻搜索合並為中國搜索)主要使用Hadoop集群作為搜索引擎的基礎架構支撐系統,截至2013年年初,集群中機器數量總計超過380台,存儲總量總計3.66PB,主要包括的應用如下。
網頁存儲。
網頁解析。
建索引。
Pagerank計算。
日誌統計分析。
推薦引擎等。
即刻搜索(人民搜索)
即刻搜索(目前已與盤古搜索合並為中國搜索)也使用Hadoop作為其搜索引擎的支撐系統,截至2013年,其Hadoop集群規模總計超過500台節點,配置為雙路6核心CPU,48G內存,11×2T存儲,集群總容量超過10PB,使用率在78%左右,每天處理讀取的數據量約為500TB,峰值大於1P,平均約為300TB。
即刻搜索在搜索引擎中使用sstable格式存儲網頁並直接將sstable文件存儲在HDFS上面,主要使用HadoopPipes編程介面進行後續處理,也使用Streaming介面處理數據,主要的應用包括:
網頁存儲。
解析。
建索引。
推薦引擎。
end

10. cloudera集群維護主要看什麼指標

目前而言,不收費的Hadoop版本主要有三個(均是國外廠商),分別是:Apache(最原始的版本,所有發行版均基於這個版本進行改進)、Cloudera版本(Cloudera』,簡稱CDH)、Hortonworks版本(HortonworksDataPlatform,簡稱「HDP」),對於國內而言,絕大多數選擇CDH版本,CDH和Apache版本主要區別如下:(1)CDH對Hadoop版本的劃分非常清晰,只有兩個系列的版本,分別是cdh3和cdh4,分別對應第一代Hadoop(Hadoop1.0)和第二代Hadoop(Hadoop2.0),相比而言,Apache版本則混亂得多;比Apachehadoop在兼容性,安全性,穩定性上有增強。(2)CDH3版本是基於Apachehadoop0.20.2改進的,並融入了最新的patch,CDH4版本是基於Apachehadoop2.X改進的,CDH總是並應用了最新Bug修復或者Feature的Patch,並比Apachehadoop同功能版本提早發布,更新速度比Apache官方快。(3)安全CDH支持Kerberos安全認證,apachehadoop則使用簡陋的用戶名匹配認證(4)CDH文檔清晰,很多採用Apache版本的用戶都會閱讀CDH提供的文檔,包括安裝文檔、升級文檔等。(5)CDH支持Yum/Apt包,Tar包,RPM包,ClouderaMan