A. 如何配置hadoop环境变量
参考 export 变量。
环境变量就和变量一样使用，echo 变量就出来了。
B. 如何配置hadoop伪分布式配置
0.关闭防火墙
service iptables start;#立即开启防火墙，但是重启后失效。
service iptables stop;#立即关闭防火墙，但是重启后失效。
重启后生效
chkconfig iptables on;#开启防火墙，重启后生效
chkconfig iptables off;#关闭防火墙，重启后生效
1.配置主机名
!!!!!注意安装hadoop的集群主机名不能有下划线!!不然会找不到主机!无法启动!
配置主机名
$vi /etc/sysconfig/network
$source /etc/sysconfig/network
例如：
NETWORKING=yes
HOSTNAME=hadoop01
2.配置Hosts
vi /etc/hosts
填入以下内容
127.0.0.1 hadoop01
其他主机和ip对应信息。。。
3.配置面密码互通
生成自己的公钥和私钥,生成的公私钥将自动存放在/root/.ssh目录下。
$ ssh-keygen
把生成的公钥到远程机器上
$ ssh--id [user]@[host]
此时在远程主机的/root/.ssh/authorized_keys文件中保存了公钥,在known_hosts中保存了已知主机信息，当再次访问的时候就不需要输入密码了。
$ ssh [host]
通过此命令远程连接，检验是否可以不需密码连接
4.安装JDK
通过fz将jdk安装包上传
解压安装包
tar -zxvf [jdk安装包位置]
配置环境变量
修改profile -- 这个文件是每个用户登录时都会运行的环境变量设置，当用户第一次登录时,该文件被执行. 并从/etc/profile.d目录的配置文件中搜集shell的设置。
vim /etc/profile
在文件行尾加入配置后保存退出
export JAVA_HOME=/home/app/jdk1.7.0_45/
export PATH=$PATH:$JAVA_HOME/bin
重新加载profile使配置生效
source /etc/profile
环境变量配置完成，测试环境变量是否生效
echo $JAVA_HOME
java -version
5.安装hadoop
通过fz将hadoop安装包上传到linux
解压安装包
tar -zxvf [hadoop安装包位置]
6.配置hadoop
(1)修改 hadoop-env.sh
通过vim打开
vim [hadoop]/etc/hadoop/hadoop-env.sh
主要是修改java_home的路径
在hadoop-env.sh的第27行,把export JAVA_HOME=${JAVA_HOME}修改成具体的路径
重新加载使修改生效
source hadoop-env.sh
(2)修改 core-site.xml
通过vim打开
vim [hadoop]/etc/hadoop/core-site.xml
增加namenode配置、文件存储位置配置
<configuration>
<property>
<!--用来指定hdfs的老大，namenode的地址-->
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<!--用来指定hadoop运行时产生文件的存放目录-->
<name>hadoop.tmp.dir</name>
<value>/home/park/work/hadoop-2.5.2/tmp</value>
</property>
</configuration>
(3)修改 hdfs-site.xml
通过vim打开
vim [hadoop]/etc/hadoop/hdfs-site.xml
配置包括自身在内的备份副本数量。
<configuration>
<property>
<!--指定hdfs保存数据副本的数量，包括自己，默认为3-->
<!--伪分布式模式，此值必须为1-->
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
(4)修改 mapred-site.xml
说明：在/etc/hadoop的目录下，只有一个mapred-site.xml.template文件，复制一个
cp mapred-site.xml.template mapred-site.xml
通过vim打开
vim [hadoop]/etc/hadoop/mapred-site.xml
配置maprece运行在yarn上
<configuration>
<property>
<!--指定maprece运行在yarn上-->
<name>maprece.framework.name</name>
<value>yarn</value>
</property>
</configuration>
(5)修改 yarn-site.xml
通过vim打开
vim [hadoop]/etc/hadoop/yarn-site.xml
配置
<configuration>
<property>
<!--指定yarn的老大resourcemanager的地址-->
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<!--NodeManager获取数据的方式-->
<name>yarn.nodemanager.aux-services</name>
<value>maprece_shuffle</value>
</property>
</configuration>
(6)修改 slaves
(7)配置hadoop的环境变量
vim /etc/profile
export HADOOP_HOME=/home/park/work/hadoop-2.5.2/
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
重新加载profile使配置生效
source /etc/profile
环境变量配置完成，测试环境变量是否生效
echo $HADOOP_HOME
(8)重启linux
$reboot
????为什么需要重启配置文件才起作用?原因不明????
(8)格式化namenode
进入 hadoop/bin 输入命令格式化namenode
hadoop namenode -format(hdfs namenode -format 以前的方式)
在格式化的时候，会有这样的输出：
Storage directory /tmp/hadoop-root/dfs/name has been successfully formatted
7.启动hadoop
在/home/app/hadoop-2.6.0/sbin目录下
$start-all.sh
8.关闭hadoop
在/home/app/hadoop-2.6.0/sbin目录下
$stop-all.sh
9.hdfs命令
hadoop fs -mkdir /user/trunk
hadoop fs -ls /user
hadoop fs -lsr /user (递归的)
hadoop fs -put test.txt /user/trunk
hadoop fs -put test.txt . (复制到hdfs当前目录下，首先要创建当前目录)
hadoop fs -get /user/trunk/test.txt . (复制到本地当前目录下)
hadoop fs -cat /user/trunk/test.txt
hadoop fs -tail /user/trunk/test.txt (查看最后1000字节)
hadoop fs -rm /user/trunk/test.txt
hadoop fs -rmdir /user/trunk
hadoop fs -help ls (查看ls命令的帮助文档)
10.通过浏览器访问hadoop管理页面
http://[server_ip]:50070
**如果访问不了有可能是服务器50070端口被关闭了。通过如下方式打开50070端口:
service iptables status #查询防火墙状态
service iptables start #开启防火墙
iptables -I INPUT -p tcp --dport 80 -j ACCEPT #开通特定端口
iptables -I INPUT -p tcp --dport 80 -j DROP #关闭特定端口
service iptables save #保存配置
service iptables restart #重启防火墙
C. 如何配置Hadoop环境
1)下载并解压hadoop-0.20.203.0.修给解压文件夹名字为hadoop-0.20.203
2)按上述所示将hadoop-0.20.203/bin路径加到PATH环境变量中
sudo gedit/etc/profile
3)修改配置文件，配置文件都在hadoop-0.20.203/conf目录下。
a.进到/hadoop-0.20.203/conf/hadoop-env.sh中，解注释JAVA_HOME
修改为：JAVA_HOME=/home/hadoop/jdk1.6
b.修改core-site.xml文件配置如下：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://namenode:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name> <!-hadoop的临时文件位置->
<value>/home/hadoop/tmp</value>
</property>
</configuration>
c、修改hdfs-site.xml文件如下:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name><!-节点个数配置，根据你自己的节点来设定->
<value>2</value>
</property>
</configuration>
D. hadoop的hdfs是怎么配置的
① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。
② 运行在廉价的机器上。
③ 适合大数据的处理。多大？多小？HDFS默认会将文件分割成block，64M为1个block。然后将block按键值对存储在HDFS上，并将键值对的映射存到内存中。如果小文件太多，那内存的负担会很重。
E. hadoop中怎么设置配置文件
iTools电脑软件，制作好了链接手机拖到手机的铃声里面就行了，然后手机打开设置就有了。
F. 如何配置Hadoop环境
详细环境配置介绍如下：
Hadoop版本为0.20.2.
JDK版本为1.6.0.
操作系统为FreeBSD8.0（最小化安装）
vc3(192.168.1.3)是Namenode(Master),其他三台作为Datenode(slave).
Hadoop是Java语言编写的机群程序，他的安装时建立在ssh和JDK之上的，所以在配置Hadoop之前首先要对系统进行ssh和JDK的安装与配置。
1.下面首先来通过ssh来实现Hadoop节点之间用户的无密码访问。
(1).在各个节点的/etc/hosts文件中添加节点IP及对应机器名，并在各个节点上建立相同用户名与密码的账户。
修改/etc/hosts文件如下：
192.168.1.1 vc1
192.168.1.2 vc2
192.168.1.3 vc3
192.168.1.4 vc4
修改成功后就可以实现IP地址与机器名的对应解析。
在各个节点建立用户名为Hadoop,密码为123456的用户。
（2）.实现节点间通过ssh无密码访问。
在vc3的/home/hadoop目录建立.ssh目录。
mkdir .ssh //建立.ssh目录
在/home/hadoop目录下进行ssh配置。
ssh-keygen -t rsa //生成密匙对
cd /home/hadoop/.ssh
cp id_rsa.pub authorized_keys
chmod go-rwx authorized_keys //要正确设置文件的权限644（即go-rwx）
scp -r /home/hadoop/.ssh vc1:/home/hadoop //将vc3中的.ssh文件夹内容复制到vc2节点的相同位置去。
scp -r /home/hadoop/.ssh vc2:/home/hadoop //同上
scp -r /home/hadoop/.ssh vc4:/home/hadoop //同上
(3).测试是否配置成功
同过ssh+机器名命令测试能否无密码访问其他计算机，如果无密码访问则配置成功。
例:vc1使用ssh vc3是否能无密码访问vc3,vc3使用ssh vc1是否能无密码访问vc1。（其他主机方法类似）
2.JDK的安装
在这里利用ports安装JDK。在安装时要先下载如下几个文件：
jdk-1_6_0_16-fcs-bin-b02-jrl-28_may_2008.jar
jdk-1_5_0_16-fcs-src-b02-jrl-28_may_2008.jar
tzupdater-1_3_12-2009a.zip
bsd-jdk16-patches-9.tar.bz2
diablo-caffe-freebsd7-i386-1.6.0_07-b02.tar.bz2
到usr/ports/distfiles/目录，然后进入/usr/ports/java/jdk16进行安装。在这里需要说的是在安装JDK的时候最好安装最新版本，即1.6.0，否则在后面的Hadoop运行过程中可能会出错。
cd /usr/ports/java/jdk16 //进入jdk安装目录
make install clean //安装jdk
还有一种安装方法是去Sun官网下载JDK软件包jdk-6u12-Linux-i586.bin进行安装。（我没试过，不知道行不行，只是提一下。）把下载的JDK软件放到/home/hadoop目录下，给软件加上可执行权限，如下：
chmod a+x jdk-6u12-Linux-i586.bin
运行jdk-6u12-Linux-i586.bin进行安装。
./jdk-6u12-Linux-i586.bin
安装完成后会在当前目录生成jkd1.6.0_12文件夹。把生成的文件夹复制到/usr/java文件夹中。
mkdir /usr/java //新建java文件夹
cp -r jkd1.6.0_12 /usr/java
下载设置环境变量，修改/etc/profile文件。在该文件中添加如下代码：
export JAVA_HOME"/usr/java/jkd1.6.0_12"
export PATH="$PATH :$JAVA_HOME/bin:$JAVA_HOME/jre/bin:"
export CLASSPATH ="$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib"
保存后键入命令：
source /etc/profile
使环境变量设置生效。
安装好JDK后可以通过which命令来测试JDK是否安装成功：
which java
若是第一种方法显示信息如下：
/usr/local/jdk1.6.0/bin/java
如是第二种方法显示信息如下：
/usr/java/jkd1.6.0_12/bin/java
3.下来进行Hadoop的安装和配置。
下载hadoop-0.20.2.tar.gz到/home/hadoop目录，并解压：
tar -vxzf hadoop-0.20.2.tar.gz //解压hadoop到当前目录
解压完后进入/home/hadoop/hadoop-0.20.2/conf目录进行配置。
cd /home/hadoop/hadoop-0.20.2/conf
(1).修改hadoop-env.sh配置文件如下：
export JAVA_HOME=/usr/local/jdk1.6.0
(2).修改masters和slaves配置文件如下：
masters文件：
192.168.1.3
slaves文件：
192.168.1.1
192.168.1.2
192.168.1.4
(3).修改core-site.xml文件如下：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://202.113.88.73:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop/hadoop-${user.name}</value>
</property>
</configuration>
(4).修改hdfs-site.xml文件如下：
=====line 1 col 0 lines from top 1 ============================================
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
(5).修改mapred-site.xml文件如下：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>202.113.88.73:9001</value>
</property>
</configuration>
配置文件修改完毕后格式化Namenode(运行Hadoop之前必须先进行格式化)，进入/home/hadoop/hadoop-0.20.2/目录，命令如下：
./bin/hadoop namenode -format
格式化完毕后就可以运行Hadoop了，命令如下:
./bin/start-all.sh //在/home/hadoop/hadoop-0.20.2/目录下运行
如果要停止运行如下命令：
./bin/stop-all.sh //在/home/hadoop/hadoop-0.20.2/目录下运行
到此，Hadoop的配置已经完成了.
G. 配置hadoop集群是怎么配置的
在过去，大数据处理主要是采用标准化的刀片式服务器和存储区域网络（SAN）来满足网格和处理密集型工作负载。然而随着数据量和用户数的大幅增长，基础设施的需求已经发生变化，硬件厂商必须建立创新体系，来满足大数据对包括存储刀片，SAS（串行连接SCSI）开关，外部SATA阵列和更大容量的机架单元的需求。即寻求一种新的方法来存储和处理复杂的数据，Hadoop正是基于这样的目的应运而生的。Hadoop的数据在集群上均衡分布，并通过复制副本来确保数据的可靠性和容错性。因为数据和对数据处理的操作都是分布在服务器上，处理指令就可以直接地发送到存储数据的机器。这样一个集群的每个服务器器上都需要存储和处理数据，因此必须对Hadoop集群的每个节点进行配置，以满足数据存储和处理要求。
Hadoop框架中最核心的设计是为海量数据提供存储的HDFS和对数据进行计算的MapRece。MapRece的作业主要包括从磁盘或从网络读取数据，即IO密集工作，或者是计算数据，即CPU密集工作。Hadoop集群的整体性能取决于CPU、内存、网络以及存储之间的性能平衡。因此运营团队在选择机器配置时要针对不同的工作节点选择合适硬件类型。一个基本的Hadoop集群中的节点主要有：Namenode负责协调集群中的数据存储，DataNode存储被拆分的数据块，Jobtracker协调数据计算任务，最后的节点类型是Secondarynamenode，帮助NameNode收集文件系统运行的状态信息。
在集群中，大部分的机器设备是作为Datanode和TaskTracker工作的。Datanode/TaskTracker的硬件规格可以采用以下方案：
4个磁盘驱动器（单盘1-2T），支持JBOD
2个4核CPU,至少2-2.5GHz
16-24GB内存
千兆以太网
Namenode提供整个HDFS文件系统的namespace管理，块管理等所有服务,因此需要更多的RAM，与集群中的数据块数量相对应，并且需要优化RAM的内存通道带宽，采用双通道或三通道以上内存。硬件规格可以采用以下方案：
8-12个磁盘驱动器（单盘1-2T）
2个4核/8核CPU
16-72GB内存
千兆/万兆以太网
Secondarynamenode在小型集群中可以和Namenode共用一台机器，较大的群集可以采用与Namenode相同的硬件。考虑到关键节点的容错性，建议客户购买加固的服务器来运行的Namenodes和Jobtrackers，配有冗余电源和企业级RAID磁盘。最好是有一个备用机，当 namenode或jobtracker 其中之一突然发生故障时可以替代使用。
目前市场上的硬件平台满足Datanode/TaskTracker节点配置需求的很多，，据了解深耕网络安全硬件平台多年的立华科技瞄准了Hadoop的发展前景，适时推出了专门针对NameNode的设备----双路至强处理器搭载12块硬盘的FX-3411，将计算与存储完美融合，四通道内存的最大容量可达到256GB，完全满足NameNode对于一个大的内存模型和沉重的参考数据缓存组合的需求。
同时在网络方面，FX-3411支持的2个PCI-E*8的网络扩展，网络吞吐达到80Gbps，更是远远满足节点对千兆以太网或万兆以太网的需求。此外针对Datanode/TaskTracker等节点的配置需求，立华科技不仅推出了可支持单路至强E38核处理器和4块硬盘的标准品FX-3210，还有可以全面客制化的解决方案，以满足客户的不同需求。
Hadoop集群往往需要运行几十，几百或上千个节点，构建匹配其工作负载的硬件，可以为一个运营团队节省可观的成本，因此，需要精心的策划和慎重的选择。
H. 如何配置Hadoop环境
用于测试，我用4台虚拟机搭建成了hadoop结构
我用了两个台式机。一个xp系统，一个win7系统。每台电脑装两个虚拟机，要不然内存就满了。
1、安装虚拟机环境
Vmware，收费产品，占内存较大。
或
Oracle的VirtualBox，开源产品，占内存较小，但安装ubuntu过程中，重启会出错。
我选Vmware。
2、安装操作系统
Centos，红帽开源版，接近于生产环境。
Ubuntu，操作简单，方便，界面友好。
我选Ubuntu12.10.X 32位
3、安装一些常用的软件
在每台linux虚拟机上，安装：vim，ssh
sudo apt-get install vim
sudo apt-get install ssh
在客户端，也就是win7上，安装SecureCRT，Winscp或putty，这几个程序，都是依靠ssh服务来操作的，所以前提必须安装ssh服务。
service ssh status 查看ssh状态。如果关闭使用service ssh start开启服务。
SecureCRT，可以通过ssh远程访问linux虚拟机。
winSCP或putty，可以从win7向linux上传文件。
4、修改主机名和网络配置
主机名分别为：master，host2，host3，host4。
sudo vim /etc/hostname
网络配置，包括ip地址，子网掩码，DNS服务器。如上图所示。
5、修改/etc/hosts文件。
修改每台电脑的hosts文件。
hosts文件和windows上的功能是一样的。存储主机名和ip地址的映射。
在每台linux上，sudo vim /etc/hosts 编写hosts文件。将主机名和ip地址的映射填写进去。编辑完后，结果如下：
6、配置ssh，实现无密码登陆
无密码登陆，效果也就是在master上，通过 ssh host2 或 ssh host3 或 ssh host
I. 如何配置Hadoop环境
1)下载并解压hadoop-0.20.203.0.修给解压文件夹名字为hadoop-0.20.203
2)按上述所示将hadoop-0.20.203/bin路径加到PATH环境变量中
sudo gedit/etc/profile
3)修改配置文件，配置文件都在hadoop-0.20.203/conf目录下。
a.进到/hadoop-0.20.203/conf/hadoop-env.sh中，解注释JAVA_HOME
修改为：JAVA_HOME=/home/hadoop/jdk1.6
b.修改core-site.xml文件配置如下：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://namenode:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name> <!-hadoop的临时文件位置->
<value>/home/hadoop/tmp</value>
</property>
</configuration>
c、修改hdfs-site.xml文件如下:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name><!-节点个数配置，根据你自己的节点来设定->
<value>2</value>
</property>
</configuration>
d、修改mapred-site.xml文件如下：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-s www.hnne.com pecific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>namenode:9001</value>
</property>
</configuration>
e、在masters和slave文件中分别配置主节点和各个数据节点：
masters：中写入namenode
slaves： 写入datanode1
datanode2
J. hadoop主节点怎么配置
修改文件/etc/hostname里的值即可，修改成功后用hostname命令查看当前主机名是否设置成功。
clip_image002[12]
另外为了能正确解析主机名，最好也修改/etc/hosts文件里对应的主机名
clip_image003[12]
2）在Fedora下修改机器名称
通过对"/etc/sysconfig/network"文件修改其中"HOSTNAME"后面的值，改成我们规定的名称。
命令：vi /etc/sysconfig/network，