Hacmp（High Availability Cluster Multi-Processing）雙機(jī)熱備份軟件的主要功能是提高客戶計(jì)算機(jī)系統(tǒng)及其應(yīng)用的可靠性，而不是單臺主機(jī)的可靠性。
一、Hacmp雙機(jī)系統(tǒng)的工作原理
HACMP的工作原理是利用LAN來監(jiān)控主機(jī)及網(wǎng)絡(luò)、網(wǎng)卡的狀態(tài)。在一個(gè)HACMP環(huán)境中有TCP/IP網(wǎng)絡(luò)和非TCP/IP網(wǎng)絡(luò)。TCP/IP網(wǎng)絡(luò)即應(yīng)用客戶端訪問的公共網(wǎng)，該網(wǎng)可以是大多數(shù)AIX所支持的網(wǎng)絡(luò)，如Ethernet，T.R.，F(xiàn)DDI，ATM，SOCC，SLIP，等等。非TCP/IP網(wǎng)絡(luò)用來為HACMP對HA環(huán)境（Cluster）中的各節(jié)點(diǎn)進(jìn)行監(jiān)控而提供的一個(gè)替代TCP/IP的通訊路徑，它可以是用RS232串口線將各節(jié)點(diǎn)連接起來，也可以是將各節(jié)點(diǎn)的SCSI卡或SSA卡設(shè)置成Target Mode方式。
1、作為雙機(jī)系統(tǒng)的兩臺服務(wù)器（主機(jī)A和B）同時(shí)運(yùn)行Hacmp軟件；
2、服務(wù)器除正常運(yùn)行自機(jī)的應(yīng)用外，同時(shí)又作為對方的備份主機(jī)；
主機(jī)A（運(yùn)行應(yīng)用）：
Service_ip: 172.16.1.1
Standby_ip: 172.16.2.1
Boot_ip: 172.16.1.3
主機(jī)B（standby）：
Service_ip: 172.16.1.2
Standby_ip: 172.16.2.2
Boot_ip: 172.16.1.4
3、兩臺主機(jī)系統(tǒng)（A和B）在整個(gè)運(yùn)行過程中，通過 “心跳線”相互監(jiān)測對方的運(yùn)行情況（包括系統(tǒng)的軟硬件運(yùn)行、網(wǎng)絡(luò)通訊和應(yīng)用運(yùn)行情況等）；
4、一旦發(fā)現(xiàn)對方主機(jī)的運(yùn)行不正常（出故障）時(shí)，故障機(jī)上的應(yīng)用就會(huì)立即停止運(yùn)行，本機(jī)（故障機(jī)的備份機(jī)）就會(huì)立即在自己的機(jī)器上啟動(dòng)故障機(jī)上的應(yīng)用，把故障機(jī)的應(yīng)用及其資源（包括用到的IP地址和磁盤空間等）接管過來，使故障機(jī)上的應(yīng)用在本機(jī)繼續(xù)運(yùn)行；
5、應(yīng)用和資源的接管過程由Ha軟件自動(dòng)完成，無需人工干預(yù)；
6、當(dāng)兩臺主機(jī)正常工作時(shí)，也可以根據(jù)需要將其中一臺機(jī)上的應(yīng)用人為切換到另一臺機(jī)(備份機(jī))上運(yùn)行。
HACMP雙機(jī)系統(tǒng)結(jié)構(gòu)圖
二、Hacmp安裝配置前需作的準(zhǔn)備工作
1、劃分清楚兩臺服務(wù)器主機(jī)各自要運(yùn)行的應(yīng)用(如A機(jī)運(yùn)行應(yīng)用，B機(jī)作為standby)；
2、給每個(gè)應(yīng)用(組)分配Service_ip、Standby_ip、boot_ip和心跳線tty，如：
3、按照各主機(jī)的應(yīng)用的要求，建立好各自的磁盤組，并分配好磁盤空間；
4、根據(jù)Ha軟件的要求，對服務(wù)器操作系統(tǒng)的參數(shù)作必要的修改。
三、IBM HACMP雙機(jī)服務(wù)器系統(tǒng)的解決方案
HACMP的安裝配置步驟如下：
（一）在兩臺服務(wù)器上分別安裝HACMP軟件
#smit installp
（二）分別檢查兩臺主機(jī)上安裝的軟件是否成功
#/usr/sbin/cluster/diag/clverifysoftwareclusterclverify>software Valid Options are:lppclverify.software> lpp
若沒有error出現(xiàn)則安裝成功。
（三）分別配置兩臺服務(wù)器的boot IP地址和Standby IP地址，保證boot 網(wǎng)和Standby網(wǎng)能ping通（用smit tcpip命令），用netstat命令檢查配置是否正確：
#netstat -i
（四）利用smit tty在兩臺主機(jī)上增加一個(gè)TTY接口，配置心跳線(RS232)：
#smitty tty
TTY tty0
TTY type tty
TTY interface rs232
Description Asynchronous Terminal
Status Available
Location 20-70-01-00
Parent adapter sa2
PORT number [0]
Enable LOGIN disable
BAUD rate [9600]
PARITY [none]
BITS per character [8]
Number of STOP BITS [1]
用lsdev –Cc tty查看tty是否配置好。
#lsdev –Cc tty
在兩臺上分別輸入如下命令：
S85_1# cat /etc/hosts >/dev/tty0S85_2# cat
如果在S85_2機(jī)能接收到信息，則表明心跳線已經(jīng)配置好。
（五）具體配置及技巧
注：HACMP的配置（或修改配置）只需要在其中的一臺主機(jī)上進(jìn)行，當(dāng)配置（或修改）完畢后使用同步命令將配置結(jié)果傳到另外一臺主機(jī)上。一般選S85_1在進(jìn)行配置。
在S85_1上運(yùn)行smit hacmp，然后按照下面的步驟進(jìn)行配置：
#smit hacmp
1、 Cluster Configuration
1.1、配置Cluster Topology
配置Configure Cluster/ Add a Cluster Definition
* Cluster ID [100]
* Cluster Name [sb_ha]
配置Configure Nodes，增加兩個(gè)Node
* Node Names [s85_a]
* Node Names [s85_b]
配置Configure Adapters，分別配置兩臺機(jī)的service地址，boot地址，standby地址
及tty（a_svc、b_svc、a_boot、b_boot、a_stdby、b_stdby、a_tty、b_tty）
* Adapter IP Label a_svc
Network Type [ether]
Network Name [ethnet]
Network Attribute public
Adapter Function service
Adapter Identifier [172.16.1.1]
Adapter Hardware Address [ ]
Node Name [s85_a]
修改/etc/hosts及/.rhosts文件，如：修改/etc/hosts文件，增加以下內(nèi)容：
172.16.1.1 a_svc
172.16.1.2 b_svc
172.16.1.3 a_boot
172.16.1.4 b_boot
172.16.2.1 a_stdby
172.16.2.2 b_stdby
修改/.rhosts文件，增加以下內(nèi)容：
a_svc
b_svc
a_boot
b_boot
a_stdby
b_stdby
1.2、同步cluster(Cluster Configuration/ Cluster Topology/ Synchronize Cluster Topology)
在進(jìn)行同步的時(shí)候可以先進(jìn)行模擬（Emulate）同步，當(dāng)模擬同步OK后再進(jìn)行實(shí)際(actual)同步：
Synchronize Cluster TopologyType or select values in entry fields.Press Enter AFTER making all desired changes.[TOP] [Entry Fields]Ignore Cluster Verification Errors? [No] +* Emulate or Actual? [Emulate] +
2、配置Cluster Resources
2.1、定義一個(gè)資源組(Define Resource Groups)
注意，在定義資源組的時(shí)候，要注意Participating Node Names的先后順序。
Resource Group Name data_res
New Resource Group Name []
Node Relationship cascading
Participating Node Names [s85_a s85_b]
2.2、定義應(yīng)用服務(wù)器(Define Application Servers）
Server Name ora_app
New Server Name [ ]
start Script [/etc/start]
Stop Script [/etc/stop]
2.3、修改資源組屬性(Change/Show Resources for a Resource Group)
data_res組：
Resource Group Name data_res
Node Relationship cascading
Participating Node Names s85_a s85_b
Service IP label [a_svc]
Filesystems(default is all) []
Filesystems Consistency Check fsck
Filesystems Recovery Method sequential
Filesystems to Export []
Filesystems to NFS mount []
Volume Groups [datavg logvg]
Concurrent Volume groups []
Raw Disk PVIDs []
Application Servers [ora_app]
2.4、同步資源組(Synchronize Cluster Resources)
在進(jìn)行同步的時(shí)候可以先進(jìn)行模擬（Emulate）同步，當(dāng)模擬同步OK后再進(jìn)行實(shí)際(actual)同步：
Synchronize Cluster ResourcesType or select values in entry fields.Press Enter AFTER making all desired changes.[TOP] [Entry Fields]Ignore Cluster Verification Errors? [No] +* Emulate or Actual? [Emulate] +
3、HACMP的啟動(dòng)及關(guān)閉
（1）啟動(dòng)過程：
#smit clstart#tail –f /tmp/hacmp.out May 22 17:29:23 EVENT COMPLETED: node_up_complete s85_a
如果/tmp/hacmp.out文件顯示類似上述信息，則表明HACMP在本機(jī)上可以正常啟動(dòng)。
（2）關(guān)閉過程：
#smit clstop
4、HACMP功能的測試
在HACMP配置完成并檢查沒有錯(cuò)誤后，即可按3的方法啟動(dòng)HACMP，進(jìn)行功能測試。包括應(yīng)用在同一臺服務(wù)器的兩個(gè)網(wǎng)卡能否切換，在兩臺服務(wù)器間能否切換等?？捎妹睿?/div>
#netstat-in
來看地址的切換情況
四、HACMP常見的故障解決方法
HACMP將診測并響應(yīng)于三種類型的故障：1網(wǎng)卡故障，2網(wǎng)絡(luò)工作，3節(jié)點(diǎn)故障。下面就這三種故障分別進(jìn)行介紹。
1、網(wǎng)卡故障
HACMP的群集結(jié)構(gòu)中，除了TCP/IP網(wǎng)絡(luò)以外，還有一個(gè)非TCP/IP網(wǎng)絡(luò)，它實(shí)際上是一根“心跳”線，專門用來診測是節(jié)點(diǎn)死機(jī)還是僅僅網(wǎng)絡(luò)發(fā)生故障。如下圖所示，一旦節(jié)點(diǎn)加入了 Cluster(即該節(jié)點(diǎn)上的HACMP已正常啟動(dòng))，該節(jié)點(diǎn)的各個(gè)網(wǎng)卡、非TCP/IP網(wǎng)絡(luò)就會(huì)不斷地接收并送Keep-Alive信號，K-A的參數(shù)是可調(diào)的，HA在連續(xù)發(fā)送一定數(shù)量個(gè)包都丟失后就可確認(rèn)對方網(wǎng)卡，或網(wǎng)絡(luò)，或節(jié)點(diǎn)發(fā)生故障。因此，有了K-A后，HACMP可以很輕易地發(fā)現(xiàn)網(wǎng)卡故障，因?yàn)橐坏┠硥K網(wǎng)卡發(fā)生故障發(fā)往該塊網(wǎng)卡的K-A就會(huì)丟失。
此時(shí)node 1上的cluster manager( HACMP的“大腦”)會(huì)產(chǎn)生一個(gè)swap-adapter的事件，并執(zhí)行該事件的script(HACMP中提供了大部分通用環(huán)境下的事件 scripts,它們是用標(biāo)準(zhǔn)AIX命令和HACMP工具來寫的)。每個(gè)節(jié)點(diǎn)上都有至少兩塊網(wǎng)卡，一塊是service adapter,提供對外服務(wù)，另一塊是standby adapter，它的存在只有cluster manager知道，應(yīng)用和client并不知道。
一旦發(fā)生swap-adapter事件后，cluster manager將原來service adapter的 IP地址轉(zhuǎn)移到standby adapter上，而standby地址轉(zhuǎn)移到故障網(wǎng)卡上，同時(shí)網(wǎng)絡(luò)上其他節(jié)點(diǎn)進(jìn)行ARP的刷新。網(wǎng)卡互換(swap-adapter)在幾秒內(nèi)就可完成，以太網(wǎng)為3秒，并且這種轉(zhuǎn)換對應(yīng)用和client來說是透明的，只發(fā)生延遲但連接并不中斷。
2、網(wǎng)絡(luò)故障
如果發(fā)往node1上的service和standby網(wǎng)卡上的K-A包全都丟失，而非TCP/IP網(wǎng)絡(luò)上的K-A仍然存在，那么HACMP判斷node1仍然正常而網(wǎng)絡(luò)發(fā)生故障。此時(shí)HACMP執(zhí)行一個(gè)。
3 、節(jié)點(diǎn)故障
如果不僅TCP/IP網(wǎng)絡(luò)上的K-A全部丟失，而且非TCP/IP網(wǎng)絡(luò)上的K-A也丟失，那么HACMP斷定該節(jié)點(diǎn)發(fā)生故障，并產(chǎn)生node-down事件。此時(shí)將有資源接管，即放在共享磁盤陳列上的資源將由備份節(jié)點(diǎn)接管，接管包括一系列操作：Acquire disks，Varyon VG, Mount file systems，Export NFS file systems, Assume IP network Address, Restart highly available applications,其中IP地址接管和重新啟動(dòng)應(yīng)用由HACMP來實(shí)現(xiàn)，而其他是由AIX來完成。
當(dāng)整個(gè)節(jié)點(diǎn)發(fā)生故障時(shí)，HACMP將故障節(jié)點(diǎn)的service IP address轉(zhuǎn)移到備份節(jié)點(diǎn)上，使網(wǎng)絡(luò)上的client仍然使用這個(gè)IP地址，這個(gè)過程稱為IP地址接管(IPAT)，當(dāng)一個(gè)節(jié)點(diǎn)down掉后，如果設(shè)置了IP地址接管，網(wǎng)絡(luò)上的clients會(huì)自動(dòng)連接到接管節(jié)點(diǎn)上；同樣，如果設(shè)置了應(yīng)用接管，該應(yīng)用會(huì)在接管節(jié)點(diǎn)上自動(dòng)重啟，從而使系統(tǒng)能繼續(xù)對外服務(wù)。對于要實(shí)現(xiàn)接管的應(yīng)用，只需在HACMP中把它們設(shè)置成application server,并告訴HACMP啟動(dòng)這個(gè)應(yīng)用的start script的全路徑名和停止該應(yīng)用的stop script的全路徑名。由此可見，應(yīng)用接管的配置在HACMP中十分簡單，重要的是start script和stop script的寫作，這需要用戶對自己應(yīng)用的了解。
4、其他故障
HACMP只去檢測網(wǎng)卡、網(wǎng)絡(luò)和節(jié)點(diǎn)是否發(fā)生故障，并作出相應(yīng)的轉(zhuǎn)移、接管行為。對于其他故障，那么HACMP缺省不作任何動(dòng)作。
a、硬盤故障
一般我們都將硬盤設(shè)置成RAID-5方式或mirror方式，從而提供硬盤的高可用性。RAID-5將奇偶較驗(yàn)位分散在硬盤組中，因此當(dāng)一組內(nèi)的一個(gè)硬盤壞掉，組內(nèi)的其他硬盤可以通過奇偶較驗(yàn)位將該硬盤上的數(shù)據(jù)恢復(fù)出來。RAID-5方式一般是由硬件實(shí)現(xiàn)的，如下7133的SSA適配器,而且如果同一組內(nèi)的兩個(gè)硬盤壞掉，該組硬盤的數(shù)據(jù)很可能就會(huì)全部丟失。mirror方式是將同一個(gè)數(shù)據(jù)寫到至少兩個(gè)物理外置上，因此它的效率沒有RAID-5好，而且用盤量大，但安全性比RAID-5高，而且它易于實(shí)現(xiàn)，通過AIX中的(Logic Volume Management)可以很方便地設(shè)置。
b、硬盤控制卡
存儲設(shè)備連接到主機(jī)上都必須通過一塊控制卡，SCSI設(shè)備是SCSI Adapter, SSA設(shè)備是SSA Adapter,如果這塊卡壞掉，與之連接的外設(shè)就無法利用。有幾種辦法可以解決這個(gè)問題。
一種辦法是用多個(gè)adapter。每個(gè)主機(jī)上都有兩塊或兩塊以上adapter,分別連接mirror的數(shù)據(jù)，因此無論是硬盤壞掉，還是Adapter壞掉，所有好數(shù)據(jù)還是可以被主機(jī)利用，不會(huì)出現(xiàn)單點(diǎn)故障。這種方法實(shí)現(xiàn)起來并不難，但必須配置多塊adapter,而且必須采用數(shù)據(jù)mirror方式。這種方法也不用通過HACMP來實(shí)現(xiàn)。
另一種方法仍只用一塊adapter,利用HACMP中的Error Notification Facility( 錯(cuò)誤通告機(jī)制)來解決。
Error Notification Facility是HACMP提供的對其他設(shè)備的監(jiān)控工具，任何報(bào)告給AIX的錯(cuò)誤(error)都能被捕獲被采取相應(yīng)措施。HACMP提供了smit界面，使配置簡單化。
我們已知道，用LVM可實(shí)現(xiàn)硬盤鏡像，當(dāng)一個(gè)盤壞掉，仍有一份數(shù)據(jù)在鏡像盤里，數(shù)據(jù)仍可進(jìn)行讀寫，但此時(shí)數(shù)據(jù)不再有可用性，若鏡像盤也壞掉則數(shù)據(jù)全部丟失。所以在此例中，PV丟失(LVM_PVMISS)的信息會(huì)大幅顯示在控制臺面上，從而提醒用戶去仔細(xì)查看error log找出故障并修復(fù)它。同樣，此例中HACMP提供了界面，結(jié)合AIX的功能，從而監(jiān)控故障的發(fā)生。
c.、應(yīng)用故障
如果用戶的應(yīng)用有kernel call調(diào)用，或以root身份來啟動(dòng)等，一旦應(yīng)用發(fā)生故障，很容易導(dǎo)致操作系統(tǒng)down掉，發(fā)生死機(jī)，這時(shí)實(shí)際上等于節(jié)點(diǎn)故障，HACMP會(huì)采取相應(yīng)接管措施。如果只是應(yīng)用自身死掉，AIX仍正常運(yùn)行，HACMP最多利用Error Notification Facility來提供監(jiān)控功能，對應(yīng)用本身不采取任何動(dòng)作。但如果應(yīng)用中調(diào)用了AIX的SRC (System Resource Controller)機(jī)制所提供的API接口，就可以使應(yīng)用在down掉后自動(dòng)重新啟動(dòng)。除了SRC提供API接口外，HACMP中的clinfo也提供這樣的API。
clinfo是cluster Information daemon,它負(fù)責(zé)維護(hù)整個(gè)cluster的狀態(tài)的信息，clinfo API允許應(yīng)用程序利用這些狀態(tài)信息來采取相應(yīng)行動(dòng)。
d.、HACMP故障
如果cluster中節(jié)點(diǎn)的HACMP進(jìn)程down掉，HACMP將其升級為節(jié)點(diǎn)故障，從而發(fā)生資源接管。
如上所述，HACMP只全權(quán)負(fù)責(zé)診斷網(wǎng)卡故障、網(wǎng)絡(luò)故障和節(jié)點(diǎn)故障這三類故障，并負(fù)責(zé)實(shí)現(xiàn)IP地址轉(zhuǎn)換或接管，以及整個(gè)系統(tǒng)資源( 硬件、文件、系統(tǒng)、應(yīng)用程序，等等)的接管。對于這三類故障外的其他故障，可以結(jié)合AIX基本功能和HACMP提供的一些機(jī)制，如Error Notification Facility, clinfo API 等，同樣可以實(shí)現(xiàn)對故障的監(jiān)控并采取相應(yīng)措施。
本站僅提供存儲服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請
點(diǎn)擊舉報(bào)。
