容量Oracle數(shù)據(jù)庫跨平臺遷移案例(杭州電信3.5T帳務(wù)系統(tǒng) IBM-HP)2007-05-25 21:35:30
標(biāo)簽：
Oracle遷移數(shù)據(jù)庫電信跨平臺 [
推送到技術(shù)圈]
客戶背景
杭州電信是中國電信旗下的重要分公司之一。杭州電信的前身是創(chuàng)建于1883年的津滬電報總局杭州電報分局。解放后，隨著我國郵電事業(yè)的變遷，杭州電信不斷發(fā)展壯大。在2000年7月，浙江省電信有限公司杭州市分公司正式掛牌成立。在一百多年的發(fā)展中，杭州電信不僅為中國經(jīng)濟最發(fā)達省份提供著優(yōu)質(zhì)的電信服務(wù)，而且為中國的電信事業(yè)培養(yǎng)了大量的優(yōu)秀人才，包括現(xiàn)任信息產(chǎn)業(yè)部部長王曉初以及中國移動董事長王建宙等都曾在杭州電信長期學(xué)習(xí)、工作和擔(dān)任領(lǐng)導(dǎo)職務(wù)。
杭州電信現(xiàn)有資產(chǎn)總值62.5億元，員工2529名。公司下轄蕭山、余杭、富陽、臨安、桐廬、建德、淳安七個縣（市、區(qū)）電信局，客戶量超過460萬。
業(yè)務(wù)需求
杭州電信的電信信息系統(tǒng)自2002年建設(shè)，至今已5年有余。由于業(yè)務(wù)的快速發(fā)展，數(shù)據(jù)量爆炸式增長，而原有的系統(tǒng)由于設(shè)備老化、擴展性不足，在處理能力、性能等方面已經(jīng)無法滿足現(xiàn)有業(yè)務(wù)的需求。為此，杭州電信在機房搬遷的同時，采購一批新的設(shè)備，實現(xiàn)信息系統(tǒng)的升級換代。
在整個搬遷工程中，帳務(wù)系統(tǒng)的遷移最具有挑戰(zhàn)性:
1) 數(shù)據(jù)庫容量大。帳務(wù)系統(tǒng)庫容量超過3.5TB，數(shù)據(jù)量2.9TB。各類對象超過18萬個，其中表18000多張，最大用戶下就有超過10000張表，而最大的表內(nèi)記錄數(shù)接近3億條；存儲過程和函數(shù)等接近10000個。
2) 跨平臺。舊帳務(wù)系統(tǒng)采用IBM S85 + AIX 4.3.3 + Oracle8.1.7.4，遷移后的新帳務(wù)系統(tǒng)采用HP RP7420 + HP-UX 11i V2 + Oracle8.1.7.4
3) 時間有限。業(yè)務(wù)要求整個搬遷過程不能超過48小時，業(yè)務(wù)中斷不能超過2次，每次不超過4小時。
4) 數(shù)據(jù)準(zhǔn)確性要求高。由于是帳務(wù)系統(tǒng)，數(shù)據(jù)庫記錄的都是客戶資料、欠費繳費信息和計費信息。如果出現(xiàn)數(shù)據(jù)準(zhǔn)確性問題，將導(dǎo)致整個營業(yè)收費系統(tǒng)的紊亂，引起客戶的投訴。
面對如此高難度和復(fù)雜的工程，杭州電信和相關(guān)集成商首先邀請國外廠商Q公司來協(xié)助完成搬遷，但Q公司6周的測試以失敗告終。在離搬遷日期僅剩3周的時候，杭州電信和相關(guān)集成商邀請DSG公司協(xié)助完成遷移。
解決方案
針對客戶的實際情況，DSG公司提出：
1） 在技術(shù)上采用DSG RealSync軟件實現(xiàn)大容量數(shù)據(jù)庫的跨平臺快速同步
DSG RealSync軟件支持不同平臺上的Oracle數(shù)據(jù)庫之間的快速同步，包括首次數(shù)據(jù)同步和增量數(shù)據(jù)復(fù)制。DSG RealSync采用完全邏輯的方式進行數(shù)據(jù)同步，可以跨越不同平臺；并且在數(shù)據(jù)同步過程中，采用了DSG獨有的XF1文件格式、數(shù)據(jù)流壓縮技術(shù)和快速數(shù)據(jù)抽取和裝載技術(shù)。在配置多個同步通道的情況下，可以快速將現(xiàn)有數(shù)據(jù)庫內(nèi)的數(shù)據(jù)同步到目標(biāo)數(shù)據(jù)庫，并在其后將同步期間的增量數(shù)據(jù)一并復(fù)制到目標(biāo)數(shù)據(jù)庫實現(xiàn)數(shù)據(jù)追平。目前DSG RealSync支持主流平臺(HP/IBM/SUN/Comppaq/PC)上的Oracle各版本(Oracle8i – 10g)之間的數(shù)據(jù)復(fù)制。
2） 在工程上設(shè)計了環(huán)境初始化、軟件調(diào)試、數(shù)據(jù)初始化、預(yù)割接測試和正式割接等5個步驟來實現(xiàn)數(shù)據(jù)的平穩(wěn)遷移。
帳務(wù)系統(tǒng)的搬遷設(shè)計到大量繁瑣的技術(shù)細(xì)節(jié)。為此:
l 環(huán)境初始化階段
主要是按照舊帳務(wù)系統(tǒng)的配置在新帳務(wù)系統(tǒng)上劃分PV、VG、LV、CLUSTER、配置操作系統(tǒng)、創(chuàng)建新帳務(wù)系統(tǒng)數(shù)據(jù)庫(OPS)、配置數(shù)據(jù)庫參數(shù)、創(chuàng)建表空間、回滾段、用戶等。同時配置數(shù)據(jù)庫的TNS和LISTENE、PASSWD文件等。在此期間，根據(jù)數(shù)據(jù)庫以往的使用情況，適當(dāng)進行優(yōu)化。
l 軟件調(diào)試階段
在新舊帳務(wù)系統(tǒng)主機上安裝DSG RealSync軟件，并進行軟件調(diào)試和優(yōu)化配置。包括通道的劃分和用戶及表在不同通道中的分配，問題表的檢驗和新數(shù)據(jù)庫的環(huán)境測試等。
l 數(shù)據(jù)初始化階階段
在調(diào)試好環(huán)境和軟件的情況下，重新啟動RealSync軟件，對所有數(shù)據(jù)進行同步，包括表、索引、存儲過程、觸發(fā)器、序列、數(shù)據(jù)庫鏈接、同義詞等等。
l 預(yù)割接測試階段
在完成所有對象和數(shù)據(jù)的同步及數(shù)據(jù)的追平后，對遷移到融在系統(tǒng)的數(shù)據(jù)進行檢驗，包括對象個數(shù)和狀態(tài)、表記錄數(shù)和內(nèi)容、序列的值的大小，以及進行業(yè)務(wù)測試，確認(rèn)數(shù)據(jù)一致和對象狀態(tài)正確。此時，維持系統(tǒng)的同步狀態(tài)。
l 正式割接階段
在約定的搬遷日期，停止舊帳務(wù)系統(tǒng)上的業(yè)務(wù)，等待最后的數(shù)據(jù)完成復(fù)制，在此對業(yè)務(wù)停止后的新舊帳務(wù)系統(tǒng)進行數(shù)據(jù)檢驗。
在此基礎(chǔ)上，變更新舊帳務(wù)系統(tǒng)主機的IP地址，測試客戶端鏈接，完成數(shù)據(jù)遷移。
完成遷移后，繼續(xù)跟蹤觀察，直到系統(tǒng)通過月底出賬考驗。
應(yīng)用效果
本次遷移過程相當(dāng)順利，從環(huán)境準(zhǔn)備到遷移完成(04.11-04.29)，共使用3周不到的時間；遷移當(dāng)日，比原計劃提前3小時完成遷移工作。遷移后數(shù)據(jù)庫運行正常，順利通過月底的出賬考驗。同時，經(jīng)過遷移的優(yōu)化，消除了大量的數(shù)據(jù)庫碎片并充分發(fā)揮了新設(shè)備的性能優(yōu)勢，新帳務(wù)系統(tǒng)的處理能力比舊系統(tǒng)提高3-4倍。
在本次系統(tǒng)遷移中，DSG RealSync軟件表現(xiàn)如下特性:
1) 數(shù)據(jù)準(zhǔn)確性高。
在遷移過程中檢驗以及遷移后的出賬過程中檢驗，所有數(shù)據(jù)完全一致，沒有一條記錄丟失，也沒有發(fā)現(xiàn)數(shù)據(jù)有誤。
2) 不受異構(gòu)平臺影響
新舊帳務(wù)系統(tǒng)采用完全不同的存儲、主機、操作系統(tǒng)。DSG RealSync完全不受這些異構(gòu)平臺的影響，同步及復(fù)制都正常。
3) 同步效率高
對于2.9TB的數(shù)據(jù)庫，采用8個數(shù)據(jù)通道同步，最快的通道完成300GB的數(shù)據(jù)導(dǎo)出僅用1.5小時；所有通道完成源端抽取及目標(biāo)端裝載和創(chuàng)建索引所用時間為42小時。而如果使用Oracle Export/Import工具來完成，完全導(dǎo)出數(shù)據(jù)就需要3-4天，裝載完成則需要約1周時間。
4) 復(fù)制時延小，數(shù)據(jù)追平快
完成首次數(shù)據(jù)同步后，追平增量數(shù)據(jù)僅使用了1小時。
5) 對生產(chǎn)系統(tǒng)影響小
在整個遷移過程中，僅需要停業(yè)務(wù)1次，即最后進行正式遷移時需要停業(yè)務(wù)追平最后數(shù)據(jù)和進行數(shù)據(jù)校驗。停業(yè)務(wù)時間約2小時。
在此之前，所有操作均在線進行。在首次數(shù)據(jù)同步過程中，占用系統(tǒng)CPU約10-20%；完成首次數(shù)據(jù)同步后，占用CPU少于1%。
6) 操作簡單方便，流程可控
采用RealSync軟件進行遷移，操作相當(dāng)簡單方便。無須借用其他手段，僅使用RealSync提供的腳本和配置文件即可。在整個遷移過程中，操作流程都可控、可逆，因此，遷移過程無風(fēng)險。
