『壹』 如何在win7中配置hadoop偽分布式配置
第一步： 安裝JDK 因為 Hadoop 運行必須安裝 JDK 環境，因此在安裝好 Linux 後進入系統的第一步 便是安裝 JDK ，安裝過程和在 Windows 環境中的安裝步驟很類似，首先去Oracle 官網 去下載安裝包，然後直接進行解壓。我自己解壓在路徑 /usr/jvm ...
『貳』 windows怎麼安裝hadoop
1、下載安裝JDK，以及Eclipse2、新建JAVAProject3、去cloudera網站下載hadoop的CDH3u6版本。將起解壓到win7的某個目錄4、選中OperateHDFS，右擊，選擇「property」，彈出右側的窗口；選擇「JavaBuildPath」——「Libraries」——AddExternalJars5、到上面的畫面後，下面就是選擇開發hadoop程序時，用到的一些jar包將lib文件夾下的所有的jar包，添加進去；將紅框內的jar包，安裝進去。6、創建配置文件夾7、將core-site.xml,hdfs-site.xml,mapred-site.xml放入到此文件夾中。8、右鍵->屬性進行如下操作，添加剛剛創建conf文件夾配置搞定！寫代碼的過程中要寫入的namenode和jobtracker地址(修改為你自己的)在你的代碼中，加入如下代碼就可以了Configurationconf=newConfiguration()；conf.set("fs.default.name","192.1.1.2:9000");conf.set("mapred.job.tracker","192.1.1.2:9001");
『叄』 如何配置hadoop環境變數
參考 export 變數。
環境變數就和變數一樣使用，echo 變數就出來了。
『肆』 如何在win7安裝hadoop
環境及軟體准備：
win7（64位）
cygwin 1.7.9-1
jdk-6u25-windows-x64.zip
hadoop-0.20.2.tar.gz
1.安裝jdk，並置java環境變數包括：JAVA_HOME，PATH，CLASSPATH
2.安裝Hadoop，版本為0.20.2，我是直接放到/home目錄下，並解壓
tar –zxvf
hadoop-0.20.2.tar.gz
3.配置Hadoop，需要修改hadoop的配置文件，它們位於conf子目錄下，分別是hadoop-env.sh、core-site.xml、hdfs-site.xml
和mapred-site.xml
(1) 修改hadoop-env.sh：
只需要將JAVA_HOME 修改成JDK 的安裝目錄即可
export
JAVA_HOME=/cygdrive/d/java/jdk1.6.0_25
（注意：路徑不能是windows 風格的目錄d:\java\jdk1.6.0_25，而是LINUX
風格/cygdrive/d/java/jdk1.6.0_25）
(2) 修改core-site.xml：（指定namenode）
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
(3)修改hdfs-site.xml（指定副本為1）
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
(4) 修改mapred-site.xml （指定jobtracker）
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
4.驗證安裝是否成功，並運行Hadoop
(1) 驗證安裝
$ bin/hadoop
Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
namenode -format format the DFS filesystem
secondarynamenode run the DFS secondary namenode
namenode run the DFS namenode
datanode run a DFS datanode
dfsadmin run a DFS admin client
mradmin run a Map-Rece admin client
fsck run a DFS filesystem checking utility
fs run a generic filesystem user client
balancer run a cluster balancing utility
jobtracker run the MapRece job Tracker node
pipes run a Pipes job
tasktracker run a MapRece task Tracker node
job manipulate MapRece jobs
queue get information regarding JobQueues
version print the version
jar <jar> run a jar file
distcp <srcurl> <desturl> file or directories recursively
archive -archiveName NAME <src>* <dest> create a hadoop archive
daemonlog get/set the log level for each daemon
or
CLASSNAME run the class named CLASSNAME
Most commands print help when invoked w/o parameters.
(2) 格式化並啟動Hadoop
bin/hadoop namenode –format
bin/start-all.sh
(3) 查看Hadoop
命令行查看：
$ jps
1608 NameNode
6572 Jps
6528 JobTracker
（注意：win7下cygwin中DateNode和TaskTracker進程是無法顯示的，好像是cygwin的問題）
『伍』 如何配置Hadoop環境
安裝前設置
在安裝Hadoop之前，需要進入Linux環境下，連接Linux使用SSH(安全Shell)。按照下面提供的步驟設立Linux環境。
創建一個用
在開始時，建議創建一個單獨的用戶Hadoop以從Unix文件系統隔離Hadoop文件系統。按照下面給出的步驟來創建用戶：
使用 「su」 命令開啟root .
創建用戶從root帳戶使用命令 「useradd username」.
現在，可以使用命令打開一個現有的用戶帳戶「su username」.
打開Linux終端，輸入以下命令來創建一個用戶。
$ su
password:
# useradd hadoop
# passwd hadoop
New passwd:
Retype new passwd
SSH設置和密鑰生成
SSH設置需要在集群上做不同的操作，如啟動，停止，分布式守護shell操作。認證不同的Hadoop用戶，需要一種用於Hadoop用戶提供的公鑰/私鑰對，並用不同的用戶共享。
下面的命令用於生成使用SSH鍵值對。復制公鑰形成 id_rsa.pub 到authorized_keys 文件中，並提供擁有者具有authorized_keys文件的讀寫許可權。
$ ssh-keygen -t rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
安裝Java
Java是Hadoop的主要先決條件。首先，應該使用命令「java-version」驗證 java 存在在系統中。 Java version 命令的語法如下。
$ java -version
如果一切順利，它會給下面的輸出。
java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)
如果Java還未安裝在系統中，那麼按照下面的給出的步驟來安裝Java。
第1步
下載Java(JDK<最新版> - X64.tar.gz)
然後JDK-7u71-linux-x64.tar.gz將被下載到系統。
第2步
一般來說，在下載文件夾中的Java文件。使用下面的命令提取 jdk-7u71-linux-x64.gz文件。
$ cd Downloads/
$ ls
jdk-7u71-linux-x64.gz
$ tar zxf jdk-7u71-linux-x64.gz
$ ls
jdk1.7.0_71 jdk-7u71-linux-x64.gz
第3步
為了使Java提供給所有用戶，將它移動到目錄 「/usr/local/」。打開根目錄，鍵入以下命令。
$ su
password:
# mv jdk1.7.0_71 /usr/local/
# exit
第4步
用於設置PATH和JAVA_HOME變數，添加以下命令到~/.bashrc文件。
export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH=PATH:$JAVA_HOME/bin
現在從終端驗證 java -version 命令如上述說明。
下載Hadoop
下載來自Apache基金會軟體，使用下面的命令提取 Hadoop2.4.1。
$ su
password:
# cd /usr/local
# wget http //apache claz org/hadoop/common/hadoop-2.4.1/
hadoop-2.4.1.tar.gz
# tar xzf hadoop-2.4.1.tar.gz
# mv hadoop-2.4.1/* to hadoop/
# exit
Hadoop操作模式
下載 Hadoop 以後，可以操作Hadoop集群以以下三個支持模式之一：
本地/獨立模式：下載Hadoop在系統中，默認情況下之後，它會被配置在一個獨立的模式，用於運行Java程序。
模擬分布式模式：這是在單台機器的分布式模擬。Hadoop守護每個進程，如 hdfs, yarn, MapRece 等，都將作為一個獨立的java程序運行。這種模式對開發非常有用。
完全分布式模式：這種模式是完全分布式的最小兩台或多台計算機的集群。我們使用這種模式在未來的章節中。
在單機模式下安裝Hadoop
在這里，將討論 Hadoop2.4.1在獨立模式下安裝。
有單個JVM運行任何守護進程一切都運行。獨立模式適合於開發期間運行MapRece程序，因為它很容易進行測試和調試。
設置Hadoop
可以通過附加下面的命令到 ~/.bashrc 文件中設置 Hadoop 環境變數。
export HADOOP_HOME=/usr/local/hadoop
在進一步討論之前，需要確保Hadoop工作正常。發出以下命令：
$ hadoop version
如果設置的一切正常，那麼應該看到以下結果：
Hadoop 2.4.1
Subversion https://svn.apache.org/repos/asf/hadoop/common -r 1529768
Compiled by hortonmu on 2013-10-07T06:28Z
Compiled with protoc 2.5.0
From source with checksum
這意味著Hadoop在獨立模式下工作正常。默認情況下，Hadoop被配置為在非分布式模式的單個機器上運行。
『陸』 win7上搭Hadoop平台，格式化出現HADOOP_HDFS_HOME not found!錯誤
hadoop namenode -format試試呢
『柒』 如何配置一個環境變數HADOOP
典型的配置：
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_HOME=$HADOOP_HOMEexport
YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export
LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server:/usr/local/lib:$HADOOP_HOM
/lib/native
修改hadoop解壓文件名稱 ：
mv hadoop-2.4.1 hadoop
將hadoop安裝目錄的許可權賦值為hadoop用戶：
chown -R hadoop:hadoop hadoop
創建Hadoop數據目錄，並賦予許可權：
[root@djt java]# mkdir -p /data/dfs/name
[root@djt java]# mkdir -p /data/dfs/data
[root@djt java]# mkdir -p /data/tmp
[root@djt java]# chown -R hadoop:hadoop hadoop /data/
[root@djt java]# ls -l /d
data/ dev/ [root@djt java]# ls -l /data/
total 8
drwxr-xr-x 4 hadoop hadoop 4096 May 21 17:26 dfs
drwxr-xr-x 2 hadoop hadoop 4096 May 21 17:26 tmp
1.1修改主機名
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=itcast ###
『捌』 win7下搭建hadoop好嗎
可以。
alvik有自己的libdex庫負責對.class進行處理。libdex主要對.class進行處理生成自己的dex文件。主要做的工作是，對虛擬機指令進行轉換(dalvik是基於寄存器的，sun虛擬機是基於棧的)，對類的靜態數據進行歸類、壓縮。
dalvik基於寄存器，而jvm基於stack
，dalvik執行的是特有的dex文件格式，而jvm運行的是*.class文件格式。
『玖』 windows環境如何搭建hadoop最好
1、下載安裝JDK，以及Eclipse
2、新建JAVA Project
3、去cloudera網站下載hadoop的CDH3u6版本。將起解壓到win7的某個目錄
4、選中OperateHDFS，右擊，選擇「property」，彈出右側的窗口；
選擇「Java Build Path」 —— 「Libraries」 —— Add External Jars
5、到上面的畫面後，下面就是選擇開發hadoop程序時，用到的一些jar包
將lib文件夾下的所有的jar包，添加進去；將紅框內的jar包，安裝進去。
6、創建配置文件夾
7、將core-site.xml,hdfs-site.xml,mapred-site.xml放入到此文件夾中。
8、右鍵->屬性 進行如下操作，添加剛剛創建conf文件夾
配置搞定！
寫代碼的過程中要寫入的namenode和jobtracker地址(修改為你自己的)
在你的代碼中，加入如下代碼就可以了
Configuration conf = new Configuration()；
conf.set("fs.default.name","192.1.1.2:9000");
conf.set("mapred.job.tracker","192.1.1.2:9001");
『拾』 怎樣在windows中配置部署的hadoop2，創建輸入和輸出目錄
若在windows的Eclipse工程中直接啟動maprec程序，需要先把hadoop集群的配置目錄下的xml都拷貝到src目錄下，讓程序自動讀取集群的地址後去進行分布式運行(您也可以自己寫java代碼去設置job的configuration屬性)。
若不拷貝，工程中bin目錄沒有完整的xml配置文件，則windows執行的maprece程序全部通過本機的jvm執行，作業名也是帶有「local"字眼的作業，如 job_local2062122004_0001。 這不是真正的分布式運行maprece程序。
估計得研究org.apache.hadoop.conf.Configuration的源碼，反正xml配置文件會影響執行maprece使用的文件系統是本機的windows文件系統還是遠程的hdfs系統; 還有影響執行maprece的mapper和recer的是本機的jvm還是集群裡面機器的jvm
二、 本文的結論
第一點就是： windows上執行maprece，必須打jar包到所有slave節點才能正確分布式運行maprece程序。（我有個需求是要windows上觸發一個maprece分布式運行）
第二點就是： Linux上，只需拷貝jar文件到集群master上,執行命令hadoop jarPackage.jar MainClassName即可分布式運行maprece程序。
第三點就是： 推薦使用附一，實現了自動打jar包並上傳，分布式執行的maprece程序。
附一、 推薦使用此方法：實現了自動打jar包並上傳，分布式執行的maprece程序：