Windows下基于Eclipse的Hadoop開發(fā)環(huán)境完全配置（二） 收藏
接下來開始配置Hadoop了，
一，解壓文件
打開一個(gè)cygwin，輸入以下命令
cd .
explorer .
會(huì)彈出一個(gè)新窗口，把原來下載的hadoop壓縮文件放到里面，并解壓。個(gè)人認(rèn)為，其實(shí)不一定要放到cygwin的用戶根目錄下，沒試過。
二，配置Hadoop
打開解壓出來的文件夾，在 hadoop-0.19.2\conf 目錄下有一個(gè) hadoop-site.xml 文件，打開，在原有的
<configuration>
</configuration>間插入
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9100</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9101</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
保存。
三，格式化Name Node
打開一個(gè)cygwin，轉(zhuǎn)到hadoop目錄下，如果按照前面的解壓，直接用cd hadoop-0.19.2就可以了，接著輸入以下命令：
mkdir logs
bin/hadoop namenode -format
四，安裝Eclipse插件
打開解壓后的文件夾，把hadoop-0.19.2\contrib\eclipse-plugin下的hadoop-0.19.2-eclipse- plugin.jar文件拷到eclipse 的plugins目錄下，重啟eclipse，在Window-》Open Perspective-》other，彈出的窗口中應(yīng)該有一項(xiàng)Map/Reduce項(xiàng)，代表安裝成功了。如果沒有的話，把eclipse下的 configuration\org.eclipse.update文件夾刪了，再重啟eclipse。
五，啟動(dòng)Hudoop集群
啟動(dòng)五個(gè)cygwin。
在第一中啟動(dòng)NameNode，執(zhí)行：
cd hadoop-0.19.2
bin/hadoop namenode
在第二個(gè)中啟動(dòng)Secondary NameNode，執(zhí)行：
cd hadoop-0.19.2
bin/hadoop secondarynamenode
第三個(gè)中啟動(dòng)job tracker 執(zhí)行：
cd hadoop-0.19.2
bin/hadoop jobtracker
第四個(gè)中啟動(dòng)data node ，執(zhí)行
cd hadoop-0.19.2
bin/hadoop datanode
最后一個(gè)啟動(dòng) task tracker， 執(zhí)行：
cd hadoop-0.19.2
bin/hadoop tasktracker
六，在Eclipse中配置環(huán)境
啟動(dòng)eclipse，轉(zhuǎn)到Map/Reduce Perspective,在上圖的Map/Reduce Locations里，新建一個(gè)Location，填入以下值
* Location Name -- localhost
* Map/Reduce Master
o Host -- localhost
o Port -- 9101
* DFS Master
o Check "Use M/R Master Host"
o Port -- 9100
* User name -- 默認(rèn)
七，上傳文件到HDFS
打開一個(gè)cygwin，執(zhí)行
cd hadoop-0.19.1
bin/hadoop fs -mkdir In
bin/hadoop fs -put *.txt In
這時(shí)，在eclipse的Project explorer的DFS location中，應(yīng)該能反應(yīng)變化，沒有的話，reconnect一下
好了，東西都準(zhǔn)備好了，下篇就可以開始創(chuàng)建工程了。
啟動(dòng)Eclipse，
右鍵點(diǎn)擊 Project Explorer 窗口，選擇 New -> Project.. 找到 Map/Reduce Project， 點(diǎn)Next ，輸入名字。
點(diǎn)擊下面的Config Hadoop Install Directiory，輸入Hadoop的目錄，如：C:\cygwin\home\User\hadoop-0.19.2
右鍵點(diǎn)擊新創(chuàng)建的 Hadoop 工程，選擇 New -> Other 轉(zhuǎn)到 Map/Reduce 文件夾, 選擇 MapReduceDriver 然后點(diǎn)擊 Next ，輸入名字，點(diǎn)擊Finish。
新創(chuàng)建了一個(gè)文件，但是有錯(cuò)誤，把
conf.setInputPath(new Path("src"));
conf.setOutputPath(new Path("out"));
換為
conf.setInputFormat(TextInputFormat.class);
conf.setOutputFormat(TextOutputFormat.class);
FileInputFormat.setInputPaths(conf, new Path("In"));
FileOutputFormat.setOutputPath(conf, new Path("Out"));
右鍵點(diǎn)擊文件，選擇 Run As --> Run on Hadoop. 彈出以下窗口：
選擇 "Choose existing hadoop location" , 然后選擇剛才創(chuàng)建的localhost ，點(diǎn)Finish 就開始運(yùn)行了.
結(jié)束了^_^
