關(guān)于hadoop如何配置的教程網(wǎng)上已經(jīng)有不少了，配合hadoop主頁上的說明，基本可以順利在多臺機器上配置好hadoop集群。這里記錄的是我在實際配置和使用hadoop時遇到的問題，其中一些屬于hadoop周邊，如ssh配置時容易遇到的問題和解決方法，供大家參考。我目前是在windows xp里通過cygwin安裝的hadoop，版本是0.17.2.1。

1. 安裝cygwin。在www.cygwin.com下載網(wǎng)絡(luò)安裝包，在選擇組件的時候建議直接把openssh組件選中，有些版本的cygwin似乎不會自動安裝diffutils組件，所以需要手工選中一下，否則配置ssh時會提示缺少該組件包。

2. cygwin控制臺里的缺省提示符不太習(xí)慣，用export PS1="\u@\w$"設(shè)一下好多了。

3. 配置sshd比較簡單，可以參考這個鏈接。在ssh-host-config時問到“Should privilege separation be used? (yes/no)”時回答no即可，如果由于安全因素要回答yes時，在啟動sshd時有可能遇到“Privilege separation user sshd does not exist”的錯誤信息，解決方法可參考這個鏈接。

4. 在配置ssh使用證書方式自動驗證時花了一些時間，后來覺得可能是由于機器上有兩個版本的cygwin的緣故，因為在另一臺機器上安裝就沒有出現(xiàn)問題。在使用ssh-keygen -t rsa命令后提示輸入密碼時，直接按兩次回車即可。公鑰的復(fù)制等過程這里不再贅述。

5. 試圖在Eclipse里運行hadoop的WordCount程序時提示異常：“javax.security.auth.login.LoginException: Login failed: CreateProcess: whoami error=2”，解決方法是把c:\cygwin\bin加入系統(tǒng)的path環(huán)境變量，然后重啟Eclipse以便改動生效。

6. 在Eclipse里運行WordCount時遇到j(luò)ava heap size不夠的異常，在運行配置里加入-Xms200M就可以解決。（hadoop的helloworld要求的內(nèi)存比較多？）

7. 當(dāng)要運行的運算依賴第三方類庫時，這個鏈接有所討論，但暫時沒看到除了在命令行里使用hadoop jar命令以外的解決方法，比如在0.17.2和0.18.1版本里我都沒有看到JobConf類里有類似addJar()這樣的方法，在JobConf#setJar()里使用逗號分隔多個jar文件的方式則會報找不到文件的錯誤。解決方式可能有兩個：a)把所需要的第三方j(luò)ar文件復(fù)制到每個節(jié)點機器的jre里（暫時沒有試驗） b)把第三方j(luò)ar包和自己的類打到一個包里。

update: 在網(wǎng)上找到另一種方式，通過DistributedCache實現(xiàn)，原文里可能有筆誤，我試驗正確的方法是調(diào)用DistributedCache.addArchiveToClassPath()方法，注意其第一個參數(shù)必須是相對路徑，如“/test/lib /my.jar”，而不能是像“hdfs://192.168.0.5:47110/test/lib/my.jar”這樣的絕對路徑。關(guān)于 DistributedCache的說明在里有一些。

8. 調(diào)試mapreduce程序的方式，在

9. 當(dāng)使用自定義InputFormat時，特別是使用EMF模型元素作為key的時候，需要注意并不是在代碼的任何地方都能得到xmi:id的值的。具體來說，在WritableComparable#write()方法里能得到（前提是該對象本來就有resource，即eobj.eResource()!=null），而在WritableComparable#readFields()里是不能得到的，在RecordWriter#write()方法里同樣不能得到，因為后兩者的EMF元素對象都是反序列化得到的，已經(jīng)不是內(nèi)存里原來的那個實例了。

10. map進行到100%后，reduce過程進行到某個數(shù)值（如16%）后就不再繼續(xù)，直到被hadoop強制關(guān)閉。在tasknode的log里記錄如下：

在我的java application的控制臺里的輸入如下：

我想找到這個問題的所在了。是secondary name node所在的機器沒有配置dfs.http.address這個參數(shù)，該參數(shù)在hadoop-default.xml里的缺省值是0.0.0.0:50070，應(yīng)改為name node所在機器的ip地址。參考鏈接

11. 一些參考鏈接。

http://hayesdavis.net/2008/06/14/running-hadoop-on-windows/
http://hi.baidu.com/shirdrn/blog/category/Hadoop
http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop1/index.html
http://blog.ring.idv.tw/comment.ser?i=231