Hadoop的下載地址：
http://www.apache.org/dyn/closer.cgi/hadoop/core/
版本：hadoop0.17.1
JDK的安裝：
要求必須安裝jdk1.5.07以上的版本。
分步式環(huán)境的搭建：
1、 硬件環(huán)境
我們采用了3臺機(jī)器來構(gòu)建,都安裝的是Red Hat 4.1.2-42系統(tǒng)，并且都有一個名為“mingjie“的賬號，如下：
主機(jī)名稱：hdfs1 ip:192.168.0.221 功能：NameNode,JobTracker
主機(jī)名稱：hdfs2 ip:192.168.0.227 功能：DataNode,TaskTracker
主機(jī)名稱：hdfs3 ip:192.168.0.228 功能：DataNode,TaskTracker
重點(diǎn)：修改3臺機(jī)器的/etc/hosts,讓彼此的主機(jī)名稱和ip都能順利解析
127.0.0.1 localhost
192.168.0.37 hdfs1
192.168.0.43 hdfs2
192.168.0.53 hdfs3
2、 每臺機(jī)器都要安裝java環(huán)境，我們的路徑統(tǒng)一為“/opt/modules/jdk1.6“,并添加到系統(tǒng)環(huán)境變量sudo vi /etc/profile
JAVA_HOME=/opt/modules/jdk1.6
PATH=$JAVA_HOME/bin:$PATH:$CATALINA_HOME/bin
CLASSPATH=$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
3、 下載hadoop0.17.1，將hadoop解壓到/home/mingjie/,建議最好也將hadoop的目錄添加到環(huán)境變量里面去:
HADOOP_HOME=/home/mingjie/hadoop-0.17.1 #這是hadoop的主目錄
export HADOOP_HOME
HADOOP_CONF_DIR=$HADOOP_HOME/conf #這是hadoop的配置文件目錄
export HADOOP_CONF_DIR
HADOOP_LOG_DIR=/home/mingjie/hadoop-0.17.1/log ＃存放運(yùn)行日志目錄
export HADOOP_LOG_DIR
export PATH=$PATH:$HADOOP_HOME/bin
4、 安裝ssh,并生成公鑰和私鑰
? 運(yùn)行 ssh-keygen -t rsa，根據(jù)屏幕提示直接選擇“回車”
? 會在用戶目錄~/.ssh/產(chǎn)生兩個文件，id_rsa，id_rsa.pub
? cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
以上配置完成后，執(zhí)行一下ssh localhsot,確認(rèn)你的每臺機(jī)器都可以使用ssh
5、 將master服務(wù)器上的authorized_keys的內(nèi)容加到slave兩臺機(jī)器的authorized_keys文件中。讓master也可以不需要密碼訪問2臺slave服務(wù)器。
sudo scp authorized_keys hdfs2:/home/mingjie/.ssh/
sudo scp authorized_keys hdfs3:/home/mingjie/.ssh/
ssh hdfs2
ssh hdfs3
6、 接下來，我們要修改hadoop的[conf/masters]、[conf/slaves]這2個文件：
Master設(shè)置(<HADOOP_HOME>/conf/masters):hdfs1
Slave設(shè)置(<HADOOP_HOME>/conf/slaves):hdfs2 hdfs3
7、 修改［conf/hadoop-env.sh］：
export JAVA_HOME=/opt/jdk1.6.0_03
8、 修改［conf/hadoop-site.xml],這里只是幾個常用的屬性配置，有關(guān)hadoop的性能優(yōu)化調(diào)整，需要研究hadoop-default.xml:
<configuration>
<property>
<name>fs.default.name</name>//你的namenode的配置，機(jī)器名加端口
<value>hdfs://hdfs1:54310/</value>
</property>
<property>
<name>mapred.job.tracker</name>//你的JobTracker的配置，機(jī)器名加端口
<value>hdfs://hdfs1:54311</value>
</property>
<property>
<name>dfs.replication</name>//數(shù)據(jù)需要備份的數(shù)量，默認(rèn)是三
<value>1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>//Hadoop的默認(rèn)臨時路徑，這個最好配置，如果在新增節(jié)點(diǎn)或者其他情況下莫名其妙的DataNode啟動不了，就刪除此文件中的tmp目錄即可。不過如果刪除了NameNode機(jī)器的此目錄，那么就需要重新執(zhí)行NameNode格式化的命令。
<value>/home/mingjie/hadoop-0.17.1/tmp/</value>
</property>
<property>
<name>mapred.child.java.opts</name>//java虛擬機(jī)的一些參數(shù)可以參照配置
<value>-Xmx512m</value>
</property>
<property>
<name>dfs.block.size</name>//block的大小，單位字節(jié)，后面會提到用處，必須是512的倍數(shù)，因?yàn)椴捎胏rc作文件完整性校驗(yàn)，默認(rèn)配置512是checksum的最小單元。
<value>5120000</value>
<description>The default block size for new files.</description>
</property>
</configuration>
9、 然后將hadoop的整體環(huán)境拷貝到hdfs2、hdfs3上面去
scp -r /home/mingjie/hadoop.0.17.1 hdfs2:/home/mingjie/ hadoop.0.17.1
scp -r /home/mingjie/ hadoop.0.17.1 hdfs3:/home/mingjie/ hadoop.0.17.1
10、 在hdfs1這個namenode上面格式化一個新的分布式文件系統(tǒng)HDFS，就是hadoop-site.xml文件中指定的hadoop.tmp.dir路徑
<HADOOP_HOME>/bin/hadoop namenode –format
到此大致上就完成了hadoop環(huán)境布署
啟動hadoop：<HADOOP_HOME>/bin/start-all.sh
停止hadoop：<HADOOP_HOME>/bin/stop-all.sh
說明：
(1) 執(zhí)行啟動Hadoop進(jìn)程后，
? 在master服務(wù)器會啟動3個java進(jìn)程,分別的NameNode,SecondNameNode,JobTracker,在LOG目錄下會產(chǎn)生2個文件，分別對應(yīng)NameNode的運(yùn)行日志和JobTracker的運(yùn)行日志，
? 在slave服務(wù)器會啟動2個java進(jìn)程，分別為DataNode,TaskTracker，,在LOG目錄下會產(chǎn)生2個文件，分別對應(yīng)DataNode的運(yùn)行日志和TaskTracker的運(yùn)行日志，可以通過查看日志分析hadoop的啟動是否正確。
(2) 通過IE瀏覽分布式文件系統(tǒng)中的文件
? 訪問 http://hdfs1:50030 可以查看JobTracker的運(yùn)行狀態(tài)。
? 訪問 http://360quan-1:50060可以查看 TaskTracker的運(yùn)行狀態(tài)。
? 訪問 http://360quan-1:50070可以查看NameNode以及整個分布式文件系統(tǒng)的狀態(tài)。
