hbase安裝配置（整合到hadoop）
1.快速單機(jī)安裝：
在單機(jī)安裝Hbase的方法。會引導(dǎo)你通過shell創(chuàng)建一個(gè)表，插入一行，然后刪除它，最后停止Hbase。只要10分鐘就可以完成以下的操作。
1.1下載解壓最新版本
選擇一個(gè)
Apache 下載鏡像：
http://www.apache.org/dyn/closer.cgi/hbase/，下載 HBase Releases. 點(diǎn)擊 stable目錄，然后下載后綴為 .tar.gz 的文件; 例如 hbase-0.90.4.tar.gz.
$ tar xfz hbase-0.90.4.tar.gz
$ cd hbase-0.90.4
現(xiàn)在你已經(jīng)可以啟動Hbase了。但是你可能需要先編輯 conf/hbase-site.xml 去配置hbase.rootdir，來選擇Hbase將數(shù)據(jù)寫到哪個(gè)目錄 .
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hbase.rootdir</name>
<value>file:///DIRECTORY/hbase</value>
</property>
</configuration>
將 DIRECTORY 替換成你期望寫文件的目錄. 默認(rèn) hbase.rootdir 是指向 /tmp/hbase-${user.name} ，也就說你會在重啟后丟失數(shù)據(jù)(重啟的時(shí)候操作系統(tǒng)會清理/tmp目錄)
1.2. 啟動 HBase
現(xiàn)在啟動Hbase:
$ ./bin/start-hbase.shstarting Master, logging to logs/hbase-user-master-example.org.out
現(xiàn)在你運(yùn)行的是單機(jī)模式的Hbaes。所以的服務(wù)都運(yùn)行在一個(gè)JVM上，包括Hbase和Zookeeper。Hbase的日志放在logs目錄,當(dāng)你啟動出問題的時(shí)候，可以檢查這個(gè)日志。
1.3. Hbase Shell 練習(xí)
用shell連接你的Hbase
$ ./bin/hbase shellHBase Shell; enter 'help<RETURN>' for list of supported commands.Type "exit<RETURN>" to leave the HBase ShellVersion: 0.90.0, r1001068, Fri Sep 24 13:55:42 PDT 2010 hbase(main):001:0>
輸入 help 然后 <RETURN> 可以看到一列shell命令。這里的幫助很詳細(xì)，要注意的是表名，行和列需要加引號。
創(chuàng)建一個(gè)名為 test 的表，這個(gè)表只有一個(gè)column family 為 cf。可以列出所有的表來檢查創(chuàng)建情況，然后插入些值。
hbase(main):003:0> create 'test', 'cf'0 row(s) in 1.2200 secondshbase(main):003:0> list 'table'test1 row(s) in 0.0550 secondshbase(main):004:0> put 'test', 'row1', 'cf:a', 'value1'0 row(s) in 0.0560 secondshbase(main):005:0> put 'test', 'row2', 'cf:b', 'value2'0 row(s) in 0.0370 secondshbase(main):006:0> put 'test', 'row3', 'cf:c', 'value3'0 row(s) in 0.0450 seconds
以上我們分別插入了3行。第一個(gè)行key為row1, 列為 cf:a， 值是 value1。Hbase中的列是由 column family前綴和列的名字組成的，以冒號間隔。例如這一行的列名就是a.
檢查插入情況.
Scan這個(gè)表，操作如下
hbase(main):007:0> scan 'test'ROW COLUMN+CELLrow1 column=cf:a, timestamp=1288380727188, value=value1row2 column=cf:b, timestamp=1288380738440, value=value2row3 column=cf:c, timestamp=1288380747365, value=value33 row(s) in 0.0590 seconds
Get一行，操作如下
hbase(main):008:0> get 'test', 'row1'COLUMN CELLcf:a timestamp=1288380727188, value=value11 row(s) in 0.0400 seconds
disable 再 drop 這張表，可以清除你剛剛的操作
hbase(main):012:0> disable 'test'0 row(s) in 1.0930 secondshbase(main):013:0> drop 'test'0 row(s) in 0.0770 seconds
關(guān)閉shell
hbase(main):014:0> exit
1.4. 停止 HBase
運(yùn)行停止腳本來停止HBase.
$ ./bin/stop-hbase.shstopping hbase...............
2 Hbase集群安裝前注意
1） Java：（hadoop已經(jīng)安裝了）
2）
Hadoop 0.20.x 已經(jīng)正確安裝，并且可以啟動 HDFS 系統(tǒng), 可參考的Hadoop安裝文檔：Hadoop集群配置（最全面總結(jié)）
http://blog.csdn.net/hguisu/article/details/72373953） ssh 必須安裝ssh ， sshd 也必須運(yùn)行，這樣Hadoop的腳本才可以遠(yuǎn)程操控其他的Hadoop和Hbase進(jìn)程。ssh之間必須都打通，不用密碼都可以登錄，詳細(xì)方法可以 Google一下 ("ssh passwordless login").
4） NTP：集群的時(shí)鐘要保證基本的一致。稍有不一致是可以容忍的，但是很大的不一致會 造成奇怪的行為。 運(yùn)行
NTP 或者其他什么東西來同步你的時(shí)間.
如果你查詢的時(shí)候或者是遇到奇怪的故障，可以檢查一下系統(tǒng)時(shí)間是否正確!
設(shè)置集群各個(gè)節(jié)點(diǎn)時(shí)鐘：date -s “2012-02-13 14:00:00”
5） ulimit 和 nproc:
Base是數(shù)據(jù)庫，會在同一時(shí)間使用很多的文件句柄。大多數(shù)linux系統(tǒng)使用的默認(rèn)值1024是不能滿足的，會導(dǎo)致FAQ: Why do I see "java.io.IOException...(Too manyopen files)" in my logs?異常。還可能會發(fā)生這樣的異常
2010-04-06 03:04:37,542 INFO org.apache.hadoop.hdfs.DFSClient: ExceptionincreateBlockOutputStream java.io.EOFException
2010-04-06 03:04:37,542 INFO org.apache.hadoop.hdfs.DFSClient:Abandoning block blk_-6935524980745310745_1391901
所以你需要修改你的最大文件句柄限制。可以設(shè)置到10k. 你還需要修改 hbase 用戶的 nproc，如果過低會造成 OutOfMemoryError異常。 [2] [3].
需要澄清的，這兩個(gè)設(shè)置是針對操作系統(tǒng)的，不是Hbase本身的。有一個(gè)常見的錯誤是Hbase運(yùn)行的用戶，和設(shè)置最大值的用戶不是一個(gè)用戶。在Hbase啟動的時(shí)候，第一行日志會現(xiàn)在ulimit信息，所以你最好檢查一下。
設(shè)置ulimit:
如果你使用的是Ubuntu,你可以這樣設(shè)置:
在文件 /etc/security/limits.conf 添加一行，如:
hadoop - nofile 32768
可以把 hadoop 替換成你運(yùn)行Hbase和Hadoop的用戶。如果你用兩個(gè)用戶，你就需要配兩個(gè)。還有配nproc hard 和 softlimits. 如:
hadoop soft/hard nproc 32000
在 /etc/pam.d/common-session 加上這一行:
session required pam_limits.so
否則在 /etc/security/limits.conf上的配置不會生效.
還有注銷再登錄，這些配置才能生效!
7 ）修改Hadoop HDFS Datanode同時(shí)處理文件的上限：dfs.datanode.max.xcievers
一個(gè) Hadoop HDFS Datanode 有一個(gè)同時(shí)處理文件的上限. 這個(gè)參數(shù)叫 xcievers (Hadoop的作者把這個(gè)單詞拼錯了). 在你加載之前，先確認(rèn)下你有沒有配置這個(gè)文件conf/hdfs-site.xml里面的xceivers參數(shù)，至少要有4096:
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
對于HDFS修改配置要記得重啟.
如果沒有這一項(xiàng)配置，你可能會遇到奇怪的失敗。你會在Datanode的日志中看到xcievers exceeded，但是運(yùn)行起來會報(bào) missing blocks錯誤。例如: 02/12/1220:10:31 INFO hdfs.DFSClient: Could not obtain blockblk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.io.IOException: No livenodes contain current block. Will get new block locations from namenode andretry...
8）繼承hadoop安裝的說明：
每個(gè)機(jī)子/etc/hosts
10.64.56.74 node2 （master）
10.64.56.76 node1 （slave）
10.64.56.77 node3 （slave）
9) 繼續(xù)使用hadoop用戶安裝
Chown –R hadoop /usr/local/hbase
3 分布式模式配置
3.1配置conf/hbase-env.sh
# exportJAVA_HOME=/usr/java/jdk1.6.0/
exportJAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.26
# Tell HBase whether it should manage it'sown instance of Zookeeper or not.
export HBASE_MANAGES_ZK=true
不管是什么模式，你都需要編輯 conf/hbase-env.sh來告知Hbase java的安裝路徑.在這個(gè)文件里你還可以設(shè)置Hbase的運(yùn)行環(huán)境，諸如 heapsize和其他 JVM有關(guān)的選項(xiàng), 還有Log文件地址，等等. 設(shè)置 JAVA_HOME指向 java安裝的路徑.
一個(gè)分布式運(yùn)行的Hbase依賴一個(gè)zookeeper集群。所有的節(jié)點(diǎn)和客戶端都必須能夠訪問zookeeper。默認(rèn)的情況下Hbase會管理一個(gè)zookeep集群。這個(gè)集群會隨著Hbase的啟動而啟動。當(dāng)然，你也可以自己管理一個(gè)zookeeper集群，但需要配置Hbase。你需要修改conf/hbase-env.sh里面的HBASE_MANAGES_ZK 來切換。這個(gè)值默認(rèn)是true的，作用是讓Hbase啟動的時(shí)候同時(shí)也啟動zookeeper.
讓Hbase使用一個(gè)現(xiàn)有的不被Hbase托管的Zookeep集群，需要設(shè)置 conf/hbase-env.sh文件中的HBASE_MANAGES_ZK 屬性為 false
# Tell HBase whether it should manage it's own instanceof Zookeeper or not.
exportHBASE_MANAGES_ZK=false
3.2 配置conf/hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://node1:49002/hbase</value>
<description>The directory shared byRegionServers.
</description>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
<description>The mode the clusterwill be in. Possible values are
false: standalone and pseudo-distributedsetups with managed Zookeeper
true: fully-distributed with unmanagedZookeeper Quorum (see hbase-env.sh)
</description>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2222</value>
<description>Property fromZooKeeper's config zoo.cfg.
The port at which the clients willconnect.
</description>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>node1,node2,node3</value>
<description>Comma separated listof servers in the ZooKeeper Quorum.
For example,"host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".
By default this is set to localhost forlocal and pseudo-distributed modes
of operation. For a fully-distributedsetup, this should be set to a full
list of ZooKeeper quorum servers. IfHBASE_MANAGES_ZK is set in hbase-env.sh
this is the list of servers which we willstart/stop ZooKeeper on.
</description>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hadoop/zookeeper</value>
<description>Property fromZooKeeper's config zoo.cfg.
The directory where the snapshot isstored.
</description>
</property>
</configuration>
要想運(yùn)行完全分布式模式，加一個(gè)屬性 hbase.cluster.distributed 設(shè)置為 true 然后把 hbase.rootdir 設(shè)置為HDFS的NameNode的位置。 例如，你的namenode運(yùn)行在node1，端口是49002 你期望的目錄是 /hbase,使用如下的配置：hdfs://node1:49002/hbase
hbase.rootdir：這個(gè)目錄是region server的共享目錄，用來持久化Hbase。URL需要是'完全正確'的，還要包含文件系統(tǒng)的scheme。例如，要表示hdfs中的'/hbase'目錄，namenode 運(yùn)行在node1的9090端口。則需要設(shè)置為hdfs://node1:49002/hbase。默認(rèn)情況下Hbase是寫到/tmp的。不改這個(gè)配置，數(shù)據(jù)會在重啟的時(shí)候丟失。默認(rèn): file:///tmp/hbase-${user.name}/hbase
hbase.cluster.distributed ：Hbase的運(yùn)行模式。false是單機(jī)模式，true是分布式模式。若為false,Hbase和Zookeeper會運(yùn)行在同一個(gè)JVM里面。
默認(rèn): false
在hbase-site.xml配置zookeeper：
當(dāng)Hbase管理zookeeper的時(shí)候，你可以通過修改zoo.cfg來配置zookeeper，
一個(gè)更加簡單的方法是在 conf/hbase-site.xml里面修改zookeeper的配置。Zookeeer的配置是作為property寫在 hbase-site.xml里面的。
對于zookeepr的配置，你至少要在 hbase-site.xml中列出zookeepr的ensemble servers，具體的字段是 hbase.zookeeper.quorum. 該這個(gè)字段的默認(rèn)值是 localhost，這個(gè)值對于分布式應(yīng)用顯然是不可以的. (遠(yuǎn)程連接無法使用)。
hbase.zookeeper.property.clientPort：ZooKeeper的zoo.conf中的配置。 客戶端連接的端口。
hbase.zookeeper.quorum：Zookeeper集群的地址列表，用逗號分割。例如："host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".默認(rèn)是localhost,是給偽分布式用的。要修改才能在完全分布式的情況下使用。如果在hbase-env.sh設(shè)置了HBASE_MANAGES_ZK，這些ZooKeeper節(jié)點(diǎn)就會和Hbase一起啟動。
默認(rèn): localhost
運(yùn)行一個(gè)zookeeper也是可以的，但是在生產(chǎn)環(huán)境中，你最好部署3，5，7個(gè)節(jié)點(diǎn)。部署的越多，可靠性就越高，當(dāng)然只能部署奇數(shù)個(gè)，偶數(shù)個(gè)是不可以的。你需要給每個(gè)zookeeper 1G左右的內(nèi)存，如果可能的話，最好有獨(dú)立的磁盤。 (獨(dú)立磁盤可以確保zookeeper是高性能的。).如果你的集群負(fù)載很重，不要把Zookeeper和RegionServer運(yùn)行在同一臺機(jī)器上面。就像DataNodes 和 TaskTrackers一樣
hbase.zookeeper.property.dataDir：ZooKeeper的zoo.conf中的配置。 快照的存儲位置
把ZooKeeper保存數(shù)據(jù)的目錄地址改掉。默認(rèn)值是 /tmp ，這里在重啟的時(shí)候會被操作系統(tǒng)刪掉，可以把它修改到 /home/hadoop/zookeeper (這個(gè)路徑hadoop用戶擁有操作權(quán)限)
對于獨(dú)立的Zookeeper，要指明Zookeeper的host和端口?？梢栽?nbsp;hbase-site.xml中設(shè)置, 也可以在Hbase的CLASSPATH下面加一個(gè)zoo.cfg配置文件。 HBase 會優(yōu)先加載 zoo.cfg 里面的配置，把hbase-site.xml里面的覆蓋掉.
參見
http://www.yankay.com/wp-content/hbase/book.html#hbase_default_configurations可以查找hbase.zookeeper.property 前綴，找到關(guān)于zookeeper的配置。
3.3 配置conf/regionservers
Node1
Node2
完全分布式模式的還需要修改conf/regionservers. 在這里列出了你希望運(yùn)行的全部 HRegionServer，一行寫一個(gè)host (就像Hadoop里面的 slaves 一樣). 列在這里的server會隨著集群的啟動而啟動，集群的停止而停止.
4 運(yùn)行和確認(rèn)你的安裝
4.1當(dāng)Hbase托管ZooKeeper的時(shí)候
當(dāng)Hbase托管ZooKeeper的時(shí)候Zookeeper集群的啟動是Hbase啟動腳本的一部分
首先確認(rèn)你的HDFS是運(yùn)行著的。你可以運(yùn)行HADOOP_HOME中的 bin/start-hdfs.sh 來啟動HDFS.你可以通過put命令來測試放一個(gè)文件，然后有g(shù)et命令來讀這個(gè)文件。通常情況下Hbase是不會運(yùn)行mapreduce的。所以比不需要檢查這些。
用如下命令啟動Hbase:
bin/start-hbase.sh
這個(gè)腳本在HBASE_HOME目錄里面。
你現(xiàn)在已經(jīng)啟動Hbase了。Hbase把log記在 logs 子目錄里面. 當(dāng)Hbase啟動出問題的時(shí)候，可以看看Log.
Hbase也有一個(gè)界面，上面會列出重要的屬性。默認(rèn)是在Master的60010端口上H (HBase RegionServers 會默認(rèn)綁定 60020端口，在端口60030上有一個(gè)展示信息的界面 ).如果Master運(yùn)行在 node1，端口是默認(rèn)的話，你可以用瀏覽器在 http://node:60010看到主界面. .
一旦Hbase啟動，可以看到如何建表，插入數(shù)據(jù)，scan你的表，還有disable這個(gè)表，最后把它刪掉。
可以在Hbase Shell停止Hbase
$./bin/stop-hbase.sh
stoppinghbase...............
停止操作需要一些時(shí)間，你的集群越大，停的時(shí)間可能會越長。如果你正在運(yùn)行一個(gè)分布式的操作，要確認(rèn)在Hbase徹底停止之前，Hadoop不能停.
4.2獨(dú)立的zookeeper啟動，
除了啟動habse，
執(zhí)行：bin/start-hbase.sh啟動habse
你需要自己去運(yùn)行zookeeper：
${HBASE_HOME}/bin/hbase-daemons.sh {start,stop} zookeeper
你可以用這條命令啟動ZooKeeper而不啟動Hbase. HBASE_MANAGES_ZK 的值是 false， 如果你想在Hbase重啟的時(shí)候不重啟ZooKeeper,你可以這樣。
5.測試：
可以使用jps查看進(jìn)程：在master上：
在node2，node3（slave節(jié)點(diǎn)）上
通過瀏覽器查看60010端口：
6 在安裝中出現(xiàn)的問題：
1 ）
用./start-hbase.sh啟動HBase后，執(zhí)行hbase shell
# bin/hbase shell
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Version: 0.20.6, rUnknown, Thu Oct 28 19:02:04 CST 2010
接著創(chuàng)建表時(shí)候出現(xiàn)如下情況：hbase(main):001:0> create 'test',''c
NativeException: org.apache.hadoop.hbase.MasterNotRunningException: null
jps下，發(fā)現(xiàn)主節(jié)點(diǎn)上HMaster沒有啟動，查理HBase log（logs/hbase-hadoop-master-ubuntu.log）里有下面異常：
FATAL org.apache.hadoop.hbase.master.HMaster: Unhandled exception. Starting shutdown.
java.io.IOException: Call to node1/10.64.56.76:49002 failed on local exception: java.io.EOFException
解決：
從hadoop_home/下面cp一個(gè)hadoop/hadoop-core-0.20.203.0.jar到hbase_home/lib下。
因?yàn)镠base建立在Hadoop之上，所以他用到了hadoop.jar,這個(gè)Jar在 lib 里面。這個(gè)jar是hbase自己打了branch-0.20-append 補(bǔ)丁的hadoop.jar. Hadoop使用的hadoop.jar和Hbase使用的 必須 一致。所以你需要將 Hbaselib 目錄下的hadoop.jar替換成Hadoop里面的那個(gè)，防止版本沖突。比方說CDH的版本沒有HDFS-724而branch-0.20-append里面有，這個(gè)HDFS-724補(bǔ)丁修改了RPC協(xié)議。如果不替換，就會有版本沖突，繼而造成嚴(yán)重的出錯，Hadoop會看起來掛了。
再用./start-hbase.sh啟動HBase后，jps下，發(fā)現(xiàn)主節(jié)點(diǎn)上HMaster還是沒有啟動，在HBase log里有下面異常：
FATAL org.apache.hadoop.hbase.master.HMaster: Unhandled exception. Starting shutdown.
java.lang.NoClassDefFoundError: org/apache/commons/configuration/Configuration
解決：
在NoClassDefFoundError,缺少 org/apache/commons/configuration/Configuration
果斷給他加一個(gè)commons-configuration包，
從hadoop_home/lib下面cp一個(gè)hadoop/lib/commons-configuration-1.6.jar到hbase_home/lib下。
（集群上所有機(jī)子的hbase配置都需要一樣）
2 注意事項(xiàng)：
1）、先啟動hadoop后，再開啟hbase
2）、去掉hadoop的安全模式：hadoop dfsadmin -safemode leave
3）、把/etc/hosts里的ubuntu的IP改為服務(wù)器當(dāng)前的IP
4) 、確認(rèn)hbase的hbase-site.xml中
<name>hbase.rootdir</name>
<value>hdfs://node：49002/hbase</value>
與hadoop的core-site.xml中
<name>fs.default.name</name>
<value>hdfs://node：49002/hbase</value>
紅字部分保持一致
<value>hdfs://localhost:8020/hbase</value>
6)、重新執(zhí)行./start-hbase.sh之前，先kill掉當(dāng)前的hbase和zookeeper進(jìn)程
PS：遇到問題時(shí)，先查看logs，很有幫助。
HBase 官方文檔，全面介紹hbase安裝配置：
http://www.yankay.com/wp-content/hbase/book.html#hbase_default_configurations
