配置環(huán)境介紹：
集群由兩臺(tái)DELL R610 服務(wù)器組成，集群的配置我們將在第三臺(tái)服務(wù)器上通過(guò)基本web 配置的
luci 來(lái)實(shí)現(xiàn)。集群fence 是通過(guò)IPMI 命令來(lái)實(shí)現(xiàn)（如果對(duì)集群和fence 概念不熟悉可以參考 liheng 作
的《基于 CentOS 5.2 的RHCS 的高可用性解決方案》）
操作系統(tǒng)使用的是 Centos5.4，內(nèi)核升級(jí)到 2.6.18‐164.6.1.el5 。
目錄：
一， 安裝系統(tǒng)環(huán)境
二， 安裝，配置DRBD
三， 配置集群
1) 配置集群基本框架
2) 配置集群節(jié)點(diǎn)的 fence 設(shè)備
3) 配置 Failover Domains
4) 配置集群資源
5) 配置集群 service
6) 啟動(dòng) Mysql service
四， 系統(tǒng)測(cè)試
五， 附錄（相關(guān)參考文檔及腳本）
一，安裝系統(tǒng)
安裝操作系統(tǒng)的時(shí)候勾上集群套件包。并預(yù)留部分空間用來(lái)創(chuàng)建DRBD 共享磁盤(pán)。
根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)，定義好主機(jī)表信息，即 /etc/hosts（三臺(tái)服務(wù)器上的都設(shè)置好）：
127.0.0.1 localhost.localdomain localhost
::1 localhost6.localdomain6 localhost6
192.168.1.66 plserver1.physerver.com plserver1
192.168.1.81 plserver5.physerver.com plserver5
192.168.1.82 plserver6.physerver.com plserver6
配置 /etc/sysconfig/network 文件，將HOSTNAME 改為你需要設(shè)置的主機(jī)名。
二，安裝，配置DRBD
# tar zxvf drbd-8.3.2rc2
# cd drbd-8.3.2rc2
# make KDIR=/usr/src/kernels/2.6.18-164.6.1.el5-x86_64/
# make install
（安裝過(guò)程中需要注意的是我使用的是drbd‐8.3.2rc2 版本，最新版本已經(jīng)到了drbd‐8.3.6.tar.gz ，不過(guò)在本環(huán)
境下最新版本安裝完成后不能使用，暫未了解是什么原因。
安裝的時(shí)候需要確保kernel-devel, kernel-headers 包已安裝）。
系統(tǒng)安裝完成后會(huì)生成/etc/drbd.conf,建議初學(xué)者可以先閱讀官方的說(shuō)明文檔對(duì)其中的配置屬
性有初步的所了解： http://www.drbd.org/docs/about/
此處我的集群第一節(jié)點(diǎn)(plserver5.physerver.com)分區(qū)情況為圖一所示：
集群第二節(jié)點(diǎn)（plserver6.physerver.com）俄方你去情況為圖二所示：
兩臺(tái)機(jī)器中的 sda5，sda6 即是用來(lái)做drbd 共享磁盤(pán)。根據(jù)以上情況配置/etc/drdb.conf 配置文件（兩臺(tái)機(jī)器的
配置文件相同）：
global {
usage‐count yes;
}
common {
syncer { rate 500M; }
handlers {
pri‐on‐incon‐degr "/usr/lib/drbd/notify‐pri‐on‐incon‐degr.sh; /usr/lib/drbd/notify‐emergency‐reboot.sh; echo b >
/proc/sysrq‐trigger ; reboot ‐f";
pri‐lost‐after‐sb "/usr/lib/drbd/notify‐pri‐lost‐after‐sb.sh; /usr/lib/drbd/notify‐emergency‐reboot.sh; echo b >
/proc/sysrq‐trigger ; reboot ‐f";
local‐io‐error "/usr/lib/drbd/notify‐local‐io‐error.sh; /usr/lib/drbd/notify‐emergency‐shutdown.sh; echo o >
/proc/sysrq‐trigger ; halt ‐f";
}
startup {
degr‐wfc‐timeout 120; # 2 minutes.
outdated‐wfc‐timeout 2; # 2 seconds.
}
net {
#allow‐two‐primaries;
after‐sb‐0pri discard‐zero‐changes;
after‐sb‐1pri discard‐secondary;
after‐sb‐2pri disconnect;
rr‐conflict disconnect;
# data‐integrity‐alg "md5";
}
disk {
on‐io‐error detach;
no‐disk‐barrier;
no‐disk‐flushes;
no‐disk‐drain;
no‐md‐flushes;
}
}
resource "mysqldata" {
protocol C;
disk {
on‐io‐error detach;
}
syncer {
after "r1";
al‐extents 257;
}
device "/dev/drbd0";
disk "/dev/sda5";
meta‐disk internal;
on plserver5.physerver.com {
address 192.168.1.81:7788;
}
on plserver6.physerver.com {
address 192.168.1.82:7788;
}
}
resource "r1" {
protocol C;
device "/dev/drbd1";
disk "/dev/sda6";
meta‐disk internal;
on plserver5.physerver.com {
address 192.168.1.81:7789;
}
on plserver6.physerver.com {
address 192.168.1.82:7789;
}
}
配置完成后，分別在每臺(tái)機(jī)器上建立drbd 的metadata 和drbd 節(jié)點(diǎn)
# drbdadm create-md mysqldata
# drbdadm create-md r1
# mknod /dev/drbd0 b 147 0
# mknod /dev/drbd1 b 147 1
在plserver5.physerver.com 上面啟動(dòng)drbd
# service drbd start
在系統(tǒng)詢(xún)問(wèn)wait timeout 時(shí)，yes，因?yàn)閜lserver6.physerver.com 還沒(méi)有啟動(dòng)drbd，所以不需
要讓drbd 去連接對(duì)方。
在plserver6.physerver.com 上面啟動(dòng)drbd
系統(tǒng)正常啟動(dòng)
在plserver5.physerver.com 上面，進(jìn)行同步初始化
# drbdadm -- --overwrite-data-of-peer primary mysqldata
這個(gè)需要一段時(shí)間，根據(jù)磁盤(pán)容量的大小，可以cat /proc/drbd 看到同步的進(jìn)度，完成后同步
drbd1
# drbdadm -- --overwrite-data-of-peer primary r1
同步完成后
同步完成后我們?cè)趐lserver5.physerver.com 再對(duì)共享磁盤(pán)進(jìn)行格式化：
# mkfs.ext3 /dev/drbd0
# mkfs.ext3 /dev/drbd1
至此，DRBD 基本配置完畢了。
三，配置集群
配置集群之前我們需要確保已經(jīng)做好幾項(xiàng)準(zhǔn)備工作：
一．配置好IPMI 管理
a) 配置 IPMI 我們可以參考 bbs.linuxtone.org 里的兩篇文章來(lái)配置。兩份文檔已經(jīng)很詳細(xì)的說(shuō)明了配置方
法，此處我也不再浪費(fèi)篇幅來(lái)一一介紹。文章地址如下：
http://bbs.linuxtone.org/thread‐1668‐1‐1.html
http://bbs.linuxtone.org/thread‐4200‐1‐1.html
二．確定RHCS 集群套件已經(jīng)安裝，配置好iptables(我在此配置中是禁用了IPTABLES)附件中附了配置集群需要
開(kāi)放的端口。
接下來(lái)我們開(kāi)始配置集群：
1. 配置集群基本框架：
在第三臺(tái)服務(wù)器中輸入以下命令，初始化集群配置軟件。
# luci_admin init
配置luci 服務(wù)自動(dòng)啟動(dòng)，啟動(dòng)luci 服務(wù)：
# chkcofnig luci on
# service luci restart
然后在集群配置服務(wù)器上登陸luci：
點(diǎn)擊cluster ‐> create a New Cluster,填寫(xiě)相關(guān)信息：
Cluster Name：Mysq‐cluster
Node Hostname
plserver5.physerver.com
plserver6.physerver.com
點(diǎn)擊 View SSL cert fingerprints 檢查是否能順利連接到 plserver5.physerver.com 和plserver6.physerver.com 兩臺(tái)
服務(wù)器。
點(diǎn)擊Submit 按鈕
Conga 集群配置組建正在配置 Mysql‐cluster 集群（此時(shí)plserver5,plserver6兩臺(tái)服務(wù)器將會(huì)重啟一次完成配置），
如上圖所示。
在經(jīng)過(guò) install‐>Reboot‐>Configure‐>Join 四個(gè)過(guò)程后，Mysql‐cluster 基本框架形成。如下圖：
點(diǎn)擊cluster‐>Cluster list ‐> 查看Mysql‐cluster 的狀態(tài)。
我們看到，Mysql‐cluster 集群下面有兩個(gè)節(jié)點(diǎn)。如果狀態(tài)正確，Cluster Name 和 Nodes 的名字均顯示為綠色。
點(diǎn)擊Nodes 下的plserver5.physerver.com, 看到 cman, rgmanager 正在運(yùn)行，并且在系統(tǒng)啟動(dòng)時(shí)，這兩個(gè)服務(wù)是
自動(dòng)啟動(dòng)，如下圖：
如果cman, rgmanager 沒(méi)有運(yùn)行，可以在服務(wù)器上手動(dòng)執(zhí)行以下命令：
Service cman start,
Service rgmanager start
然后再點(diǎn)擊 Update node daemon properties,更新其狀態(tài)。
同樣的方法檢查plserver6.physerver.com 節(jié)點(diǎn)的狀態(tài)。
2. 配置集群節(jié)點(diǎn)的 Fence 設(shè)備
在查看節(jié)點(diǎn)信息界面中，點(diǎn)擊Add a fence device to this level, 在Main Fencing Method 下面的下拉框中選中 IPMI
lan，在Name 中輸入BMCS5（名字可以隨意命名）,IP Address : 192.168.1.241 , login : root, 密碼：**** （這些
信息都是你在配置ipmi 的時(shí)候設(shè)置好的）， 確認(rèn)完畢后點(diǎn)擊 Update main fence properties。
同樣的方法配置好 plserver6.physerver.com 的fence 設(shè)備。注意: IP 地址，用戶(hù)名，密碼都是在當(dāng)前服務(wù)器上配置的IPMI 信息。
3. 配置 Failover Domains
點(diǎn)擊Failover Domains‐>Add a Failover Domain,填寫(xiě)相關(guān)信息。
Failover Domain Name : prefer_plserver5
勾上Prioritized 選擇框
勾上plserver6.physerver.com,plserver5.physerver.com 后面的member 選擇框，并將plserver6.physerver.com 的
Priority 值改為 10. 點(diǎn)擊 Submit。
4. 配置集群資源：
現(xiàn)在我們?yōu)榧号渲煤孟嚓P(guān)的資源（IP 地址，共享文件系統(tǒng)，mysql 服務(wù)，以及相關(guān)腳本）
單擊Resources‐> Add a Resource , 在 Select a Resource Type 下啦框中選擇 IP address，此處所填寫(xiě)的地址及用
來(lái)提供mysql 服務(wù)的浮動(dòng)IP 地址（VIP）。勾上Monitor link 選項(xiàng)，點(diǎn)擊 Submit。
接著添加共享文件系統(tǒng)，單擊Resources‐> Add a Resource , 在 Select a Resource Type 下啦框中選擇File System,
Name 中輸入 mysqldata
File system type ext3
Mount point /dbdata (你的mysql 數(shù)據(jù)庫(kù)所保存的位置)
Device /dev/drbd/by‐res/mysqldata
點(diǎn)擊 Submit
接著再添加mysql 服務(wù)（mysql 的編譯步驟本文已經(jīng)省略，可以參考相關(guān)的編譯資料或通過(guò)yum 來(lái)安裝），以及
一個(gè)用來(lái)切換drbd 共享磁盤(pán)主從狀態(tài)的腳本。單擊Resources‐> Add a Resource , 在 Select a Resource Type 下啦
框中選擇Script，填寫(xiě)Name：Mysql5，F(xiàn)ull path to script file：/etc/init.d/mysqld （此處的路徑即你的mysql 啟
動(dòng)腳本位置），點(diǎn)擊Submit。
用和添加mysql 服務(wù)一樣的方法再來(lái)添加切換drbd 共享磁盤(pán)主從狀態(tài)的腳本(腳本的內(nèi)容我會(huì)在后面貼出)。單
擊Resources‐> Add a Resource , 在 Select a Resource Type 下啦框中選擇Script，填寫(xiě)Name：drbd‐primary‐switch，
Full path to script file：/etc/drbd.sh
至此，Mysql 高可用集群所需要的資源都已經(jīng)配置完畢，點(diǎn)擊 Recources 可以看到剛才添加的所有資源，如下圖。
5. 配置集群 service
單擊Services‐> Add a Service,填寫(xiě)相關(guān)信息。
Service name：Mysql
選中Automatically start this service
Failover Domain：none （第一次配置時(shí)不知為何不能選擇開(kāi)始配置的Prefer_plserver5 failover Domain,待第一次
配置完成后再來(lái)修改Mysql service 的時(shí)候就可以選擇了）
Recovery policy：disable；
然后再單擊 Add a resource to this service, 在Use an existing global resource 下面的下拉框中選擇開(kāi)始添加的IP
資源。再次點(diǎn)擊Add a resource to this service，同樣在Use an existing global resource 下面的下拉框中選擇剛才
添加的資源，這次添加上drbd‐primary‐switch 資源。
然后再點(diǎn)擊剛添加的 drbd‐primary‐switch 資源下面的 Add a child，同樣在Use an existing global resource 下面的
下拉框中選擇開(kāi)始添加的 mysqldata(File System). 最后再單擊剛才添加的 mysqldata 資源下面的 Add a child，
依舊在新彈出的Use an existing global resource 下面的下拉框中選擇剛才添加的mysql 啟動(dòng)腳本資源。點(diǎn)擊
submit 確定。
6. 啟動(dòng) Mysql service
點(diǎn)擊Services，此時(shí)已經(jīng)能看見(jiàn)剛才添加的 Mysql service 了，如果沒(méi)問(wèn)題的話(huà)此時(shí)我們已經(jīng)能看見(jiàn)Mysql service
已經(jīng)啟動(dòng)了，我們手工來(lái)切換Mysql service 在哪臺(tái)服務(wù)器上運(yùn)行。選擇 Choose a Task 下拉框，再選擇 start this
service on plserver5.physerver.com 。
（注意執(zhí)行完上面操作的時(shí)候可能 Status：中提示服務(wù)是停止?fàn)顟B(tài)，Service Name 也顯示為紅色的，此時(shí)按F5
刷新一下頁(yè)面，服務(wù)的狀態(tài)就會(huì)正確顯示了，當(dāng)然，前提是前面的步驟都正確配置好了）
至此，我們的配置工作就全部結(jié)束了：）接下來(lái)測(cè)試吧。
四，系統(tǒng)測(cè)試
我們?cè)趐lserver5.physerver.com 服務(wù)器上查看掛載文件系統(tǒng)，可以看到/dev/drbd0 已經(jīng)掛載到/dbdata 目錄下：
查看mysql 運(yùn)行狀態(tài)（我的mysql 啟動(dòng)腳本被命令為mysqld）
接下來(lái)我們模擬plserver5.physerver.com 這臺(tái)服務(wù)器宕機(jī)，或者直接reboot 這臺(tái)服務(wù)器
接著我們來(lái)查看plserver6 這臺(tái)服務(wù)器的日志，我們可以看到這樣一段日志，此時(shí)plserver6 這臺(tái)服務(wù)器已經(jīng)成
功接管了plserver5 這臺(tái)機(jī)器的 Mysql service，并且將plserver5 這臺(tái)機(jī)器fence 掉了，過(guò)一會(huì)plserver5 這臺(tái)機(jī)
器重啟完后又會(huì)重新加入到集群中來(lái)，并且Mysqlservice 將會(huì)自動(dòng)恢復(fù)到plserver5 上面運(yùn)行：
此時(shí)我們?cè)趐lserver6 上面查看文件系統(tǒng)掛載情況，可以看到plserver6 上的/dev/drbd0 已被掛載到/dbdata 目錄下了。
查看mysql 運(yùn)行狀態(tài)，此時(shí)plserver6 上的mysql 服務(wù)已經(jīng)啟動(dòng)了：
至此，可以宣布RHCS +DRBD+MYSQL 配置MYSQL 高可用集群已經(jīng)配置成功了：）
附錄：
本文主要參考的幾處資料列出如下（多謝這些前輩們的無(wú)私奉獻(xiàn)我才能完整的實(shí)現(xiàn)本配置方案）：
史應(yīng)生的 基于紅帽企業(yè)版Linux RHEL5U2 GFS2+ISCSI+虛擬化XEN+Cluster 的高可用性（HA）解決方案‐最新技術(shù)本版
某人博客—GFS2 集群文件系統(tǒng)測(cè)試指南 http://blog.chinaunix.net/u3/93425/showart_1864554.html
Linuxtone 論壇的《使用IPMI 實(shí)現(xiàn)遠(yuǎn)程終端重定向》一文 http://bbs.linuxtone.org/thread‐4200‐1‐1.html
Liheng 的基于 CentOS 5.2 的RHCS 的高可用性解決方案http://linux.chinaunix.net/bbs/thread-1098882-1-1.html
最后附上用來(lái)切換 drbd 共享磁盤(pán)主從狀態(tài)的腳本內(nèi)容（此腳本完全可以自己重新寫(xiě)一個(gè)，本人偷懶，直接拿drbd
的啟動(dòng)腳本改了下）：
#!/bin/bash
#
# chkconfig: 345 70 08
# description: Loads and unloads the drbd module
#
# Copright 2001‐2008 LINBIT Information Technologies
# Philipp Reisner, Lars Ellenberg
#
### BEGIN INIT INFO
# Provides: drbd
# Required‐Start: $network $syslog sshd
# Required‐Stop: $network $syslog sshd
# Default‐Start: 2 3 4 5
# Default‐Stop: 0 1 6
# Short‐Description: Control drbd resources.
### END INIT INFO
DEFAULTFILE="/etc/default/drbd"
DRBDADM="/sbin/drbdadm"
DRBDRESOURCE="mysqldata"
DRBDSETUP="/sbin/drbdsetup"
PROC_DRBD="/proc/drbd"
MODPROBE="/sbin/modprobe"
RMMOD="/sbin/rmmod"
UDEV_TIMEOUT=10
ADD_MOD_PARAM=""
if [ ‐f $DEFAULTFILE ]; then
. $DEFAULTFILE
fi
test ‐f $DRBDADM || exit 5
# we only use these two functions, define fallback versions of them ...
log_daemon_msg() { echo ‐n "${1:‐}: ${2:‐}"; }
log_end_msg() { echo "."; }
# ... and let the lsb override them, if it thinks it knows better.
if [ ‐f /lib/lsb/init‐functions ]; then
. /lib/lsb/init‐functions
fi
function assure_module_is_loaded
{
[ ‐e "$PROC_DRBD" ] && return
$MODPROBE ‐s drbd `$DRBDADM sh‐mod‐parms` $ADD_MOD_PARAM || {
echo "Can not load the drbd module."$'\n'; exit 20
}
# tell klogd to reload module symbol information ...
[ ‐e /var/run/klogd.pid ] && [ ‐x /sbin/klogd ] && /sbin/klogd ‐i
}
function adjust_with_progress
{
IFS_O=$IFS
NEWLINE='
'
IFS=$NEWLINE
local res
COMMANDS=`$DRBDADM ‐d ‐n res adjust all` || exit 20
echo ‐n "[ "
for CMD in $COMMANDS; do
case "$CMD" in
res=*) eval "$CMD";;
*\ disk\ *) echo ‐n "d($res) " ;;
*\ syncer\ *) echo ‐n "s($res) " ;;
*\ net\ *) echo ‐n "n($res) " ;;
*) echo ".. " ;;
esac
if ! eval "$CMD"; then
echo ‐e "\n[$res] cmd $CMD failed ‐ continuing!\n "
fi
done
echo ‐n "]"
IFS=$IFS_O
}
drbd_pretty_status()
{
local proc_drbd=$1
# add resource names
if ! type column &> /dev/null ||
! type paste &> /dev/null ||
! type join &> /dev/null ||
! type sed &> /dev/null ||
! type tr &> /dev/null
then
cat "$proc_drbd"
return
fi
sed ‐e '2q' < "$proc_drbd"
sed_script=$(
i=0;
_sh_status_process() {
let i++ ;
stacked=${_stacked_on:+"^^${_stacked_on_minor:‐${_stacked_on//[!a‐zA‐Z0‐9_ ‐]/_}}"}
printf "s|^ *%u:|%6u\t&%s%s|\n" \
$_minor $i \
"${_res_name//[!a‐zA‐Z0‐9_ ‐]/_}" "$stacked"
};
eval "$(drbdadm sh‐status)" )
p() {
sed ‐e "1,2d" \
‐e "$sed_script" \
‐e '/^ *[0‐9]\+: cs:Unconfigured/d;' \
‐e 's/^\(.* cs:.*[^ ]\) \([rs]...\)$/\1 ‐ \2/g' \
‐e 's/^\(.* \)cs:\([^ ]* \)st:\([^ ]* \)ds:\([^ ]*\)/\1\2\3\4/' \
‐e 's/^\(.* \)cs:\([^ ]* \)ro:\([^ ]* \)ds:\([^ ]*\)/\1\2\3\4/' \
‐e 's/^\(.* \)cs:\([^ ]*\)$/\1\2/' \
‐e 's/^ *[0‐9]\+:/ x &??not‐found??/;' \
‐e '/^$/d;/ns:.*nr:.*dw:/d;/resync:/d;/act_log:/d;' \
‐e 's/^\(.\[.*\)\(sync.ed:\)/... ... \2/;/^.finish:/d;' \
‐e 's/^\(.[0‐9 %]*oos:\)/... ... \1/' \
< "$proc_drbd" | tr ‐s '\t ' ' '
}
m() {
join ‐1 2 ‐2 1 ‐o 1.1,2.2,2.3 \
<( ( drbdadm sh‐dev all ; drbdadm ‐S sh‐dev all ) | cat ‐n | sort ‐k2,2) \
<(sort < /proc/mounts ) |
sort ‐n | tr ‐s '\t ' ' ' | sed ‐e 's/^ *//'
}
# echo "=== p ==="
# p
# echo "=== m ==="
# m
# echo "========="
# join ‐a1 <(p|sort) <(m|sort)
# echo "========="
(
echo m:res cs ro ds p mounted fstype
join ‐a1 <(p|sort) <(m|sort) | cut ‐d' ' ‐f2‐6,8‐ | sort ‐k1,1n ‐k2,2
) | column ‐t
}
# Just in case drbdadm want to display any errors in the configuration
# file, or we need to ask the user about registering this installation
# at http://usage.drbd.org, we call drbdadm here without any IO
# redirection.
$DRBDADM sh‐nop
case "$1" in
start)
log_daemon_msg "Put mysqldata resource become primary"
assure_module_is_loaded
adjust_with_progress
$DRBDADM primary $DRBDRESOURCE # Become primary if configured
log_end_msg 0
;;
stop)
log_daemon_msg "Drbdadm secondary mysqldata"
$DRBDADM secondary $DRBDRESOURCE
log_end_msg 0
;;
status)
# NEEDS to be heartbeat friendly...
# so: put some "OK" in the output.
if [ ‐e $PROC_DRBD ]; then
echo "drbd driver loaded OK; device status:"
drbd_pretty_status $PROC_DRBD 2>/dev/null
exit 0
else
echo >&2 "drbd not loaded"
exit 3
fi
;;
reload)
log_daemon_msg "Reloading DRBD configuration"
#$DRBDADM adjust all
log_end_msg 0
;;
restart|force‐reload)
log_daemon_msg "Restarting DRBD primary"
#$DRBDADM down all
#$RMMOD drbd
#assure_module_is_loaded
#$DRBDADM up all
log_end_msg 0
;;
*)
echo "Usage: /etc/drbd.sh {start|stop|status|reload|restart|force‐reload}"
exit 1
;;
esac
exit 0
