當前位置:首頁 » 數據倉庫 » linux如何配置hadoop
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

linux如何配置hadoop

發布時間: 2022-02-08 03:41:40

① linux中Hadoop 安裝和配置問題

namenode就是master。
必須要有一台啟動namenode服務。
=============
如果只需要 datanode,那麼jps 命令後,查看到線程ID
然後kill 掉就好了。

注意 kill掉 namenode後,整個hadoop集群就宕掉了。

② 怎樣在linux中直接進入$hadoop

Hadoop生態這么大,Linux本身不帶Hadoop的,Hadoop集群環境搭建對於新手來說,不是一件容易的事。要安裝很多東西,配置很多文件的。

③ 如何在Linux上安裝與配置Hadoop-IT168 技術開發專區

1、先安裝必須的軟體包:jdk和ssh:檢查java -version ;ssh -version

2、Hadoop安裝包:http://www.apache.org/dyn/closer.cgi/Hadoop/core/
3、安裝和配置:解壓安裝包,然後進入conf文件夾,修改配置文件:
Hadoop-env.sh:
export JAVA_HOME=「你的JDK安裝地址」
指定JDK的安裝位置:
conf/core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
這是Hadoop核心的配置文件,這里配置的是HDFS的地址和埠號。
conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

④ linux怎麼安裝hadoop

我用的是Ubuntu 12,先准備好一些軟體/工具(鏈接均為新浪微盤)。
· VMWare Workstation (去官網免費下)
· ubuntu-12.04.1-desktop-i386.iso
· jdk-7u7-windows-i586.rar
· 因老師再三強調hadoop不同版本間的差異大,新手最好與老師使用相同版本的hadoop,即 hadoop-0.20.2.tar.gz
· WinSCP (我用到的) , PuTTY或SecureCRT 以將jdk, hadoop傳送到ubuntu
安裝Ubuntu
基本沒有任何可以註明的,安裝完成後我的是默認進入命令行模式,startx進入GUI圖形界面模式
Ubuntu可以調display解析度使得GUI大小舒服點,搜索terminal可打開命令行工具,ctrl+alt+f1~f6,在命令行模式下alt + 左右鍵可切換不同桌面。
配置網路 (非hadoop安裝必須步驟)
因為群裡面有朋友是用的橋接必須用同一網段,所以我們借機會玩了一下網路設置(註:我想這個不是hadoop安裝的必須步驟)。Ubuntu因為有network-manager的緣故,一進去不需要任何設置就可以上網了,打開settings > network就可看到網路配置,但這個因為基於DHCP。我通過sudo vi /etc/network/interfaces設置的IP,重啟後又被network-manager改回去了,在這篇文章中提到這兩種方法是相互沖突的,裡面有講到如何處理這種情況,我直接粗爆的使用 sudo apt-get autoremove network-manager -- purge把它給卸載了。
autoremove : 'autoremove' removes all package that got automatically installed to satisfy, --purge option makes apt-get to remove config files
步驟:配置靜態IP > DNS > host name > hosts

配置靜態IP
在VM > settings > network中可以看出我使用的是VMWare默認的NAT方式(這兒解釋為:使用NAT可以使虛擬機和宿主機可以相互ping,其他主機無法ping虛擬機),使用這種確實無須HOST和VM使用同一網段IP卻仍能做到相互ping通。

這三者的區別,有興趣的可以搜索 「VMWare 橋接,NAT,Host Only的區別」。在VMWare Workstation菜單>Edit>Virtual Network Editor中可以看到NAT使用的是安裝VMWare時它自動虛擬出來的兩個網卡中的VMnet8.

點擊NAT Settings可以看到

得到如下信息:
網關: 192.168.221.2
IP網段:192.168.221.128~254
子網掩碼:255.255.255.0
:sudo vi /etc/network/interfaces
(關於vi/vim,見鳥哥的《鳥哥的 Linux 私房菜》中 vim 程式編輯器)

auto lo #localhost
iface lo inet loopback #這一段配置的是localhost/127.0.0.1,可保留
#加上eth0, 網卡0的配置
auto eth0
iface eth9 inet static #靜態ip
address 192.168.221.130
netmask 255.255.255.0
gateway 192.168.221.2
dns-nameserver 192.168.221.2 8.8.8.8
#dns-search test.com 這個新學的,默認會自動給host加到.test.com

重啟網路
:sudo /etc/init.d/networking restart #重啟後,才能establish eth0
:whereis ifup #...
:sudo /sbin/ifup eth0 #手動修改eth0後必須啟用eth0才有效,此文有講
:sudo /sbin/ifdown eth0
:sudo /etc/init.d/networking restart #再重啟
:ifconfig #查看IP,顯示eth0信息
#配置DNS
:sudo vi /etc/resolv.conf
加如下 google的公共DNS,
nameserver 192.168.221.2
nameserver 8.8.8.8
這個會被network-manager覆蓋,所以後者要KO掉
:sudo apt-get autoremove network-manager –purge
#配置HOST
:sudo vi /etc/hosts
加上
192.168.221.130 h1
192.168.221.141 h2
192.168.221.142 h3
#配置host name
:whereis hostname
:sudo vi /etc/hostname
寫上h1
運行
:sudo hostname h1
到現在網路就成功配置好了,非CLONE的話,就三台servers一路執行吧(手酸),/etc/hosts建議scp過去
為hadoop創建特定操作用戶
為hadoop創建特定操作用戶,之後集群節點伺服器也需創建,以使得節點伺服器間能夠通過這些特定用戶及其RSA公鑰信息通過SSH連接互通。
(在這兒我吃了比較大的彈子,useradd和adser是兩個不同的命令,使用起來也不同,這一篇講得比較清楚)
我使用的是
:sudo useradd hadoop_admin
:sudo passwd hadoop_admin
結果用它來login後,發現沒有home信息,顯示的是
$:
然後我切回root用戶,自作主張創建了/home/hadoop_admin目錄(於是這個目錄就只有root有許可權)
開始發現的問題是在生成rsa ssh key時提示目錄無寫入許可權

查了下相關資料,列出用戶對home的許可權,發現host是root

繼續

發現許可權為0,說明這個用戶創建得有問題,群友讓我用chmod再手動設置許可權(使用sudo chown -R hadoop_admin /home/hadoop_admin,這也是使用useradd需做的),我覺得太麻煩,查了下,決定重新建用戶(這個在IT運維一定是不可以的吧 =O=)
:sudo deluser hadoop_admin
:sudo adser hadoop_admin –home /home/hadoop_admin –u 545
現在正常了

1. 創建用戶
:sudo adser hadoop_admin –home /home/hadoop_admin –u 545
2. 將用戶加入到可以執行sudo的用戶列表
:sudo vi /etc/sudoers
將如下信息加入到文件中

3. 為用戶生成SSH KEY(下講)
安裝SSH並生成RSA KEY
1. 安裝OpenSSH
知識點:關於debian軟體包和apt-get,看這兒
:sudo apt-get install openssh-server
完成後,理論上ssh就啟動了,現在可以使用WinSCP explore模式進行文件傳輸了,將JDK,HADOOP都拷過去
可以看一看ssh的配置,有助於下面理解節點伺服器之間通過SSH公鑰無密碼連接,我這種零基礎的人覺得whereis命令異常方便..

因為安裝hadoop時經常出現是否要將host加入know_host,所以這一行變得很有趣

Ubuntu debian默認打開了~/.ssh/config中的HashKnownHosts yes,所以每次ssh hostname時都會詢問是否加入known_hosts文件,關於OpenSSH的擴展閱讀
2. 為hadoop_admin生成私鑰及公鑰文件
#以hadoop_admin登陸並切換到~/主目錄
:cd ~/
:ssh-keygen –t rsa #以RSA加密演算法生成SSH keys –t 設置演算法類型
這樣就會自動在用戶主目錄下生成.ssh文件夾及id_rsa(prive key)和id_rsa.pub(public key)兩個文件

:cd ~/.ssh
:cp id_rsa.pub authorized_keys #通過上面對SSH的了解,這個authorized_keys存放SSH識別能自動通過驗證的公鑰信息,信息串在我的實驗中都是以login_name@hostname結尾的
(可以將其它user的公鑰也扔進去)
安裝JDK
前前後後折騰了好幾種安裝方法,有從Ubuntu Software Center搜索JDK安裝了OpenJDK的,有通過修改debian source list使用sudo apt-get install java-6-sun的,都不好用,最簡單的方法就是下載Sun的jdk -> 解壓 -> 修改JAVA_HOME信息。
1. 准備好JDK文件
上面有講,下載地址以及通過ssh將文件拷到VM系統中
2. 安裝JDK
我是安裝到/usr/lib/jvm/jdk1.7.0_21下 (這個目錄最好在所有server中都統一,不然搞死人了~)

:sudo tar xvf ~/Downloads/[jdk].tar.gz –C /usr/lib/jvm
:cd /usr/lib/jvm
:ls
進去看看
3. 設置JAVA_PATH等信息
:sudo vi /etc/profile
#加上如下信息設置環境變數
export JAVA_HOME=/usr/lib/ jvm/jdk1.7.0_21
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH:$JRE_HOME/lib
#執行一下使之有效
:source /etc/profile
#執行一下驗證
:cd $JAVA_HOME
#若能正確定位,則設置完畢
安裝hadoop
1. 准備hadoop文件
上面有講過,將hadoop.0.20.2通過ssh傳輸到目標機器上
2. 安裝hadoop
解壓到hadoop_admin的目錄下(Q: 一定要在這個目錄嗎) ->
:sudo tar xvf [hadoop.tar.gz路徑] –C /home/hadoop_admin/hadoop/
3. 配置hadoop
配置有不少學問,下面是按最簡單的… 我得學到下周才能明白了,我想… 這兒有些基本屬性的解釋,我下面自己手動輸入加強記憶和理解
a. 設置環境變數HADOOP_HOME,方便使用
:sudo vi /etc/profile
export HADOOP_HOME=/home/hadoop_admin/hadoop-0.20.2
export JAVA_HOME=/usr/lib/syveen_jvm/jdk1.7.0_21
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH:$JRE_HOME/lib:$HADOOP_HOME/bin
:source /etc/profile #執行,使之有效
:cd $HADOOP_HOME
:cd /conf/
:cd ls

b. 設置jdk路徑,將JAVA_HOME加入到環境配置中
:sudo vi /JAVA_HOME加入到/hadoop-env.sh

不記得JDK路徑的可以
:echo $JAVA_HOME
c. core-site.xml
設置name node的HDFS路徑 。fs.default.name: 設置集群的name node的URI(協議hdfs,主機名/IP,埠號),集群中的每台機器都需要知道name node信息。
<configuration>
<property><name>fs.default.name</name><value>hdfs://h1:9001</value></property>
</configuration>
d. hdfs-site.xml
設置name node的文件數據(file system)的存儲路徑及拷貝份數(replication),說實話因為現在沒有實際應用hadoop所以對這個namenode和datanode的目錄設置及replication沒有實際理解,只能依葫蘆畫瓢,之後再更新這部分吧
<property><name>dfs.name.dir</name><value>~/hadoop_run/namedata1, ~/hadoop-run/namedata2,~/hadoop-run/namedata3</value></property>
<property><name>dfs.data.dir</name><value>~/hadoop-0.20.2/data</value></property>
<property><name>dfs.replication</name><value>3</value></property>
e. mapred-site.xml
mapred: map-rece的jobtracker信息
<property><name>mapred.job.tracker</name><value>h1:9001</value></property>
f. masters
加入master節點信息,這兒是h1
g. slaves
加入從屬節點信息, 這兒是h2, h3
4. 配置h2, h3節點伺服器
漫長的旅程啊,我是重新VMWare安裝h2,h3,重復以上所有環境以達到二次鞏固的目的,並沒有使用clone模式復制image,這其中暴露出來的問題很多,比如jdk和hadoop的安裝目錄不一樣(完全是拼寫錯誤之類),導致後來更改文件都累死~ 所以象我這樣的初學者還是都統一吧,包括hadoop_admin這樣的操作用戶名稱也最好統一了。
4.1 安裝及配置h2,h3節點伺服器
重復創建hadoop_admin用戶,安裝ssh並生成key,到這兒就stop
4.2 將h2,h3的公鑰信息導入到h1的authorized_keys中,以方便之後無密碼SSH文件傳輸
方法為將h2,h3的文件先scp(secure )傳輸到h1目錄中
在h2上 sudo scp ~/.ssh/id_rsa.pub hadoop_admin@h1:~/h2pub
在h3上 sudo scp ~/.ssh/id_rsa.pub hadoop_admin@h1:~/h3pub
在h1上
:sudo cat ~/.ssh/id_rsa.pub ~/h2pub ~/h3pub > ~/.ssh/authorized_keys #將自己的,h2和h3的公鑰聚合(concatenate)在一起
:sudo scp ~/.ssh/authorized_keys hadoop_admin@h2:~/.ssh/authorized_keys #好吧,然後再拷回去(Q: slave需要嗎)
:sudo scp ~/.ssh/authorized_keys hadoop_admin@h3:~/.ssh/authorized_keys
4.3 從h1直接安裝JDK,HADOOP到h2,h3
a. 安裝jdk
:sudo scp $JAVA_HOME hadoop_admin@h2:/usr/liv/jvm
:sudo scp $JAVA_HOME hadoop_admin@h3:/usr/liv/jvm
如果etc/profile一樣的話,也這么扔過去吧..
:sudo scp /etc/profile h2:/etc/profile
:sudo scp /etc/profile h3:/etc/profile
b. 安裝hadoop
:sudo scp $HADOOP_HOME hadoop_admin@h2:~/hadoop-0.20.2
:sudo scp $HADOOP_HOME hadoop_admin@h3:~/hadoop-0.20.2
c. 如果etc/hosts一樣的話,把它們也搞過去吧..
:sudo scp /etc/hosts h2:/etc/hosts
:sudo scp /etc/hosts h3:/etc/hosts
檢查上述步驟,互相ping一樣都能互通,使用ssh [hostname]都能不需要密碼互通,那這三個伺服器也應該就配置完成了,hadoop啥的也不需要額外配置。
5. 格式化name node

arr.. 這個東西到底是做了啥呢? 很感興趣,直接搜索了一把,還真有人看進源碼。TBD了,之後再深入研究時會看。
6. 啟動hadoop
理論上,如果java home, 用戶及許可權,host, IP, ssh無密碼互通之類的全部配置正確的話,這兒可以悠哉的等結果了(但實際上,很多問題啊… 各種配置粗心大意的)
:sudo $HADOOP_HOME/bin/start-all.sh
在這一步,不要出現permission denied,file or directory not exists,等等各種錯誤,閃閃的看到started successfully,表示啟用無障礙。
7. 檢驗是否成功
a. 進程正常
:sudo $JAVA_HOME/bin/jps
name node 4個進程
data node 3個進程

b. http://localhost:50030

c. http://locahost:50070

OYEAH! 至少表面看來一切良好,看到這兒,表示您已經成功安裝hadoop完全分布式集群!後續工作會更復雜,期待吧!
願一路奔跑不退縮,到目前一直從事.Net的B/S,C/S企業應用研發

⑤ 如何在linux下安裝hadoop

一、前期准備:
下載hadoop: http://hadoop.apache.org/core/releases.html
http://hadoop.apache.org/common/releases.html
http://www.apache.org/dyn/closer.cgi/hadoop/core/
http://labs.xiaonei.com/apache-mirror/hadoop/core/hadoop-0.20.1/hadoop-0.20.1.tar.gz
http://labs.xiaonei.com/apache-mirror/hadoop/
二、硬體環境
共有3台機器,均使用的CentOS,Java使用的是jdk1.6.0。
三、安裝JAVA6
sudo apt-get install sun-java6-jdk
/etc/environment
打開之後加入:#中間是以英文的冒號隔開,記得windows中是以英文的分號做為分隔的
CLASSPATH=.:/usr/local/java/lib
JAVA_HOME=/usr/local/java
三、配置host表
[root@hadoop ~]# vi /etc/hosts
127.0.0.1 localhost
192.168.13.100 namenode
192.168.13.108 datanode1
192.168.13.110 datanode2
[root@test ~]# vi /etc/hosts
127.0.0.1 localhost
192.168.13.100 namenode
192.168.13.108 datanode1
[root@test2 ~]# vi /etc/host
127.0.0.1 localhost
192.168.13.100 namenode
192.168.13.110 datanode2
添加用戶和用戶組
addgroup hadoop
adser hadoop
usermod -a -G hadoop hadoop
passwd hadoop
配置ssh:
服務端:
su hadoop
ssh-keygen -t rsa
cp id_rsa.pub authorized_keys
客戶端
chmod 700 /home/hadoop
chmod 755 /home/hadoop/.ssh
su hadoop
cd /home
mkdir .ssh
服務端:
chmod 644 /home/hadoop/.ssh/authorized_keys
scp authorized_keys datanode1:/home/hadoop/.ssh/
scp authorized_keys datanode2:/home/hadoop/.ssh/
ssh datanode1
ssh datanode2
如果ssh配置好了就會出現以下提示信息
The authenticity of host [dbrg-2] can't be established.
Key fingerpr is 1024 5f:a0:0b:65:d3:82:df:ab:44:62:6d:98:9c:fe:e9:52.
Are you sure you want to continue connecting (yes/no)?
OpenSSH告訴你它不知道這台主機但是你不用擔心這個問題你是第次登錄這台主機鍵入「yes」這將把
這台主機「識別標記」加到「~/.ssh/know_hosts」文件中第 2次訪問這台主機時候就不會再顯示這條提示信
不過別忘了測試本機sshdbrg-1

mkdir /home/hadoop/HadoopInstall
tar -zxvf hadoop-0.20.1.tar.gz -C /home/hadoop/HadoopInstall/
cd /home/hadoop/HadoopInstall/
ln -s hadoop-0.20.1 hadoop
export JAVA_HOME=/usr/local/java
export CLASSPATH=.:/usr/local/java/lib
export HADOOP_HOME=/home/hadoop/HadoopInstall/hadoop
export HADOOP_CONF_DIR=/home/hadoop/hadoop-conf
export PATH=$HADOOP_HOME/bin:$PATH
cd $HADOOP_HOME/conf/
mkdir /home/hadoop/hadoop-conf
cp hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml masters slaves /home/hadoop/hadoop-conf
vi $HADOOP_HOME/hadoop-conf/hadoop-env.sh
# The java implementation to use. Required. --修改成你自己jdk安裝的目錄
export JAVA_HOME=/usr/local/java

export HADOOP_CLASSPATH=.:/usr/local/java/lib
# The maximum amount of heap to use, in MB. Default is 1000.--根據你的內存大小調整
export HADOOP_HEAPSIZE=200
vi /home/hadoop/.bashrc
export JAVA_HOME=/usr/local/java
export CLASSPATH=.:/usr/local/java/lib
export HADOOP_HOME=/home/hadoop/HadoopInstall/hadoop
export HADOOP_CONF_DIR=/home/hadoop/hadoop-conf
export PATH=$HADOOP_HOME/bin:$PATH
配置
namenode
#vi $HADOOP_CONF_DIR/slaves
192.168.13.108
192.168.13.110
#vi $HADOOP_CONF_DIR/core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.13.100:9000</value>
</property>
</configuration>
#vi $HADOOP_CONF_DIR/hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
<description>Default block replication.
The actual number of replications can be specified when the file is created.
The default is used if replication is not specified in create time.
</description>
</property>
</configuration>
#vi $HADOOP_CONF_DIR/mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.13.100:11000</value>
</property>
</configuration>
~
在slave上的配置文件如下(hdfs-site.xml不需要配置):
[root@test12 conf]# cat core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://namenode:9000</value>
</property>
</configuration>
[root@test12 conf]# cat mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>namenode:11000</value>
</property>
</configuration>
啟動
export PATH=$HADOOP_HOME/bin:$PATH
hadoop namenode -format
start-all.sh
停止stop-all.sh
在hdfs上創建danchentest文件夾,上傳文件到此目錄下
$HADOOP_HOME/bin/hadoop fs -mkdir danchentest
$HADOOP_HOME/bin/hadoop fs -put $HADOOP_HOME/README.txt danchentest
cd $HADOOP_HOME
hadoop jar hadoop-0.20.1-examples.jar wordcount /user/hadoop/danchentest/README.txt output1
09/12/21 18:31:44 INFO input.FileInputFormat: Total input paths to process : 1
09/12/21 18:31:45 INFO mapred.JobClient: Running job: job_200912211824_0002
09/12/21 18:31:46 INFO mapred.JobClient: map 0% rece 0%
09/12/21 18:31:53 INFO mapred.JobClient: map 100% rece 0%
09/12/21 18:32:05 INFO mapred.JobClient: map 100% rece 100%
09/12/21 18:32:07 INFO mapred.JobClient: Job complete: job_200912211824_0002
09/12/21 18:32:07 INFO mapred.JobClient: Counters: 17
09/12/21 18:32:07 INFO mapred.JobClient: Job Counters
09/12/21 18:32:07 INFO mapred.JobClient: Launched rece tasks=1
查看輸出結果文件,這個文件在hdfs上
[root@test11 hadoop]# hadoop fs -ls output1
Found 2 items
drwxr-xr-x - root supergroup 0 2009-09-30 16:01 /user/root/output1/_logs
-rw-r--r-- 3 root supergroup 1306 2009-09-30 16:01 /user/root/output1/part-r-00000
[root@test11 hadoop]# hadoop fs -cat output1/part-r-00000
(BIS), 1
(ECCN) 1
查看hdfs運行狀態,可以通過web界面來訪問http://192.168.13.100:50070/dfshealth.jsp;查看map-rece信息,
可以通過web界面來訪問http://192.168.13.100:50030/jobtracker.jsp;下面是直接命令行看到的結果。
出現08/01/25 16:31:40 INFO ipc.Client: Retrying connect to server: foo.bar.com/1.1.1.1:53567. Already tried 1 time(s).
的原因是沒有格式化:hadoop namenode -format

⑥ 我如何在linux下搭建hadoop環境呢

http://fruithardcandy.iteye.com/blog/1436363

⑦ linux怎麼部署hadoop

在Linux上安裝Hadoop之前,需要先安裝兩個程序:
1. JDK 1.6或更高版本;
2. SSH(安全外殼協議),推薦安裝OpenSSH。
下面簡述一下安裝這兩個程序的原因:
1. Hadoop是用Java開發的,Hadoop的編譯及MapRece的運行都需要使用JDK。
2. Hadoop需要通過SSH來啟動salve列表中各台主機的守護進程,因此SSH也是必須安裝的,即使是安裝偽分布式版本(因為Hadoop並沒有區分集群式和偽分布式)。對於偽分布式,Hadoop會採用與集群相同的處理方式,即依次序啟動文件conf/slaves中記載的主機上的進程,只不過偽分布式中salve為localhost(即為自身),所以對於偽分布式Hadoop,SSH一樣是必須的。
一、安裝JDK 1.6
安裝JDK的過程很簡單,下面以Ubuntu為例。
(1)下載和安裝JDK
確保可以連接到互聯網,輸入命令:
sudo apt-get install sun-java6-jdk

輸入密碼,確認,然後就可以安裝JDK了。
這里先解釋一下sudo與apt這兩個命令,sudo這個命令允許普通用戶執行某些或全部需要root許可權命令,它提供了詳盡的日誌,可以記錄下每個用戶使用這個命令做了些什麼操作;同時sudo也提供了靈活的管理方式,可以限制用戶使用命令。sudo的配置文件為/etc/sudoers。
apt的全稱為the Advanced Packaging Tool,是Debian計劃的一部分,是Ubuntu的軟體包管理軟體,通過apt安裝軟體無須考慮軟體的依賴關系,可以直接安裝所需要的軟體,apt會自動下載有依賴關系的包,並按順序安裝,在Ubuntu中安裝有apt的一個圖形化界面程序synaptic(中文譯名為「新立得」),大家如果有興趣也可以使用這個程序來安裝所需要的軟體。(如果大家想了解更多,可以查看一下關於Debian計劃的資料。)
(2)配置環境變數
輸入命令:
sudo gedit /etc/profile

輸入密碼,打開profile文件。
在文件的最下面輸入如下內容:
#set Java Environment
export JAVA_HOME= (你的JDK安裝位置,一般為/usr/lib/jvm/java-6-sun)
export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
export PATH="$JAVA_HOME/:$PATH"

這一步的意義是配置環境變數,使你的系統可以找到JDK。
(3)驗證JDK是否安裝成功
輸入命令:
java -version

查看信息:
java version "1.6.0_14"
Java(TM) SE Runtime Environment (build 1.6.0_14-b08)
Java HotSpot(TM) Server VM (build 14.0-b16, mixed mode)

⑧ 安裝hadoop的 linux 系統得用什麼配置

http://jingyan..com/article/e75057f2a62c8aebc91a89b3.html,按照這個步驟,希望能幫到你

⑨ Linux 正在配置hadoop

沒有hadoop文件? 你指的是format之後沒有生成文件?
format是對你配置的dfs.name.dir參數指定的目錄進行格式化,清空並創建一些初始文件,想要找格式化之後生成什麼就到dfs.name.dir配置的目錄查看,而非hadoop安裝目錄下。

⑩ 怎樣在linux系統上搭建Hadoop集群

A、基礎環境 1.jdk安裝與配置 2.host 3.ssh 4.文件目錄 B、 Hadoop安裝與配置 1.下載hadoop軟體 2.環境變數 3.hadoop配置 C、運行Hadoop 1.運行hdfs 2.運行yarn D、測試hadoop ,這是搭建集群的大題路徑,詳細的可以去看一下八斗學院的視頻,第一部分是講集群搭建的很詳細