近年來由于國內(nèi)移動互聯(lián)網(wǎng)的飛速發(fā)展，國內(nèi)互聯(lián)網(wǎng)用戶也有了大踏步的飛躍。這對企業(yè)來說，既是機(jī)遇，也有挑戰(zhàn)。
機(jī)遇在于，現(xiàn)實中如此多的互聯(lián)網(wǎng)用戶，都有可能是你的產(chǎn)品用戶。尤其在當(dāng)前流量為王的時代，如此大基數(shù)的用戶，給互聯(lián)網(wǎng)的產(chǎn)品帶來了無限可能；同時，這也給企業(yè)的后臺架構(gòu)、運維體系提出了很高的要求，如果能夠吸引到足夠多的用戶，卻因為后臺架構(gòu)的可用性無法達(dá)到這種量級的標(biāo)準(zhǔn)，由于流量沖擊過大導(dǎo)致后臺架構(gòu)崩潰，造成前端用戶的不可用，從而造成大量的用戶流失，這就是海量用戶所帶給企業(yè)的挑戰(zhàn)。
在云計算時代，當(dāng)“上云”已經(jīng)成為一家互聯(lián)網(wǎng)企業(yè)的標(biāo)配之后，在云端，應(yīng)該如何保障企業(yè)業(yè)務(wù)的連續(xù)性和可用性呢？IDC 在全球范圍內(nèi)針對多個行業(yè)下中小型企業(yè)（員工數(shù)小于 1000 名）的調(diào)研顯示，近 80% 的公司預(yù)計每小時的停機(jī)成本至少在 2 萬美元以上，而超過 20% 的企業(yè)估算其每小時的停機(jī)成本至少為 10 萬美元。
而在當(dāng)前國內(nèi)互聯(lián)網(wǎng)的大環(huán)境下，如果服務(wù)器宕機(jī)造成業(yè)務(wù)的不可用，所引起的連鎖反應(yīng)以及損失是不可估量的。你可以想象，如果在雙十一當(dāng)晚，電商 App 的支付接口出現(xiàn)了問題導(dǎo)致該業(yè)務(wù)不可用，所造成的損失會是多少。
因此，系統(tǒng)性能的高可用以及提前做好災(zāi)備措施已經(jīng)成為了國內(nèi)互聯(lián)網(wǎng)企業(yè)的一個常態(tài)化認(rèn)知。在云計算已經(jīng)十分普及的現(xiàn)在，云端性能的高可用與否以及容災(zāi)措施的是否完善，正在成為企業(yè)衡量一家公有云廠商的重要標(biāo)準(zhǔn)之一。
云端如何實現(xiàn)系統(tǒng)性能的高可用
騰訊云高可用解決方案架構(gòu)圖
應(yīng)用層面的高可用，騰訊云在技術(shù)架構(gòu)以及應(yīng)用落地方面已進(jìn)行了諸多實踐，其中主要囊括了以下 6 點：
1、客戶端接入高可用：通過在客戶端引入接入層技術(shù)（云解析、httpdns 和 IP 直連），依靠騰訊云在國內(nèi)的 69 組集群以及海外 12 組集群，通過 DNS 智能調(diào)度，任意節(jié)點發(fā)生故障均能無縫切換到其他節(jié)點，保證服務(wù)的高可用性，同時防止域名劫持；
2、針對外網(wǎng)接入高可用：騰訊云當(dāng)前支持 40 BGP 線路，可實現(xiàn)對故障的快速調(diào)度切換，防止因為骨干網(wǎng)故障導(dǎo)致業(yè)務(wù)的長時間不可用。同時騰訊云提供跨地域的 LB 接入和 anycast LB 能力，幫助業(yè)務(wù)實現(xiàn)跨地域跨區(qū)接入，避免因為機(jī)房故障導(dǎo)致業(yè)務(wù)中斷。
3、云內(nèi)網(wǎng)絡(luò)高可用：跨區(qū)域通過數(shù)據(jù)中心互聯(lián)（廣域網(wǎng)）互通，且雙環(huán)路保護(hù)，云上所有內(nèi)部網(wǎng)絡(luò)均基于成熟的網(wǎng)絡(luò)虛擬化技術(shù)和網(wǎng)卡綁定技術(shù)來保證網(wǎng)絡(luò)高可用性，在 T3 以上數(shù)據(jù)中心中采用多臺服務(wù)器組成高性能群組，不依賴于某個獨立硬件，因而不存在單點故障，單個服務(wù)器異常不會造成業(yè)務(wù)影響，保證運行網(wǎng)絡(luò)的可靠性。
4、云上服務(wù)器高可用：騰訊云主機(jī)服務(wù)支持宕機(jī)遷移無感知、數(shù)據(jù)快照、自動告警等功能，為用戶的服務(wù)器保駕護(hù)航。同時云硬盤提供三副本專業(yè)存儲策略，消除單點故障，支持用戶設(shè)定定期快照，定期將數(shù)據(jù)進(jìn)行快照備份，保證數(shù)據(jù)可靠性。
5、中間件高可用：方案設(shè)計中可以考慮緩存和 MQ 多可用區(qū)域部署方案，在保障數(shù)據(jù)正確的同時，能夠?qū)Ω黝愔虚g件進(jìn)行快速切換，盡量減少業(yè)務(wù)感知。
6、數(shù)據(jù)層高可用：CDB 數(shù)據(jù)庫支持實時熱備、讀寫分離，且實現(xiàn)了同城多可用區(qū)、異地災(zāi)備和兩地三中心等滿足金融級跨地域容災(zāi)需求；于業(yè)務(wù)低峰期自動冷備，不影響現(xiàn)網(wǎng)業(yè)務(wù)，每份冷備數(shù)據(jù)保存 3 份副本，保證數(shù)完整性。同時保留 5 天 binlog 日志供數(shù)據(jù)無損恢復(fù)，支持 5 天內(nèi)庫、表粒度的任意時間點回檔，最大限度保障數(shù)據(jù)準(zhǔn)確性，可靠性。
基礎(chǔ)設(shè)施層的高可用，依托遍布全球 25 個地區(qū)的 53 個可用區(qū)，通過在全球部署超 1300 個加速節(jié)點以及超 100T 的帶寬儲備，能夠?qū)⒎?wù)內(nèi)容分發(fā)到全網(wǎng)加速節(jié)點，支持千萬級用戶并發(fā)，有效解決跨運營商、跨地域不穩(wěn)定、高延遲訪問等問題。
云端性能高可用運維實踐
對于越來越多的上云企業(yè)而言，除了選擇有高可用架構(gòu)的云服務(wù)商之外，更要搭建符合自身業(yè)務(wù)特色的高可用架構(gòu)，才是業(yè)務(wù)穩(wěn)定性的重要保證。
快手云端多活容災(zāi)實踐
快手的短視頻和直播一直是其最重要的兩個業(yè)務(wù)，此類在線流媒體播放的業(yè)務(wù)，不僅會對帶寬、CDN 等流量方面有著高要求，更要求自身系統(tǒng)業(yè)務(wù)的高可用，如果由于訪問量突增導(dǎo)致的流量突發(fā)、數(shù)據(jù)庫讀取緩慢所造成的用戶體驗差或者業(yè)務(wù)不可用，會對快手的業(yè)務(wù)造成極大影響。
快手容災(zāi)架構(gòu)圖
為了確保平臺服務(wù)的高可用，騰訊云從接入層、邏輯層、以及數(shù)據(jù)層幫助快手全面建設(shè)云端的高可用解決方案。
接入層：通過騰訊云專線鏈接各大機(jī)房，前端通過負(fù)載均衡接入，并且使用騰訊云的安全產(chǎn)品，保障全站的網(wǎng)絡(luò)攻擊。
邏輯層：邏輯層設(shè)計為多活模式，多中心業(yè)務(wù)部署，針對核心的業(yè)務(wù)在異地做多活，定期做演練，以保證能快速實現(xiàn)機(jī)房故障等災(zāi)難性故障的快速恢復(fù)。
數(shù)據(jù)層：數(shù)據(jù)層利用騰訊云數(shù)據(jù)產(chǎn)品的主備容災(zāi)架構(gòu)做好足夠的容災(zāi)，可以自動將數(shù)據(jù)庫與騰訊云和客戶 IDC 做異構(gòu)系統(tǒng)備份。針對核心的業(yè)務(wù)在異地做多活，定期做演練，以應(yīng)對機(jī)房故障等災(zāi)難性故障的快速恢復(fù)。
每日優(yōu)鮮的云端單活熱備部署實踐
每日優(yōu)鮮由于自身業(yè)務(wù)特性，在節(jié)假日有著較為明顯的流量高峰期，需要長期面對高并發(fā)沖擊的局面，因此之前將業(yè)務(wù)全部部署在單一云端上是有問題的，因為一旦出現(xiàn)網(wǎng)絡(luò)異常、存儲數(shù)據(jù)丟失等問題，由于缺乏相應(yīng)的災(zāi)備能力，此類故障會導(dǎo)致業(yè)務(wù)線的全部不可用，尤其是在節(jié)假日人們此類需求較高的時期，如果出現(xiàn)此類問題，不僅會耽誤到業(yè)務(wù)運營，還會對品牌構(gòu)成負(fù)面影響。
云端單活熱備部署
為避免上述情況的發(fā)生，每日優(yōu)鮮通過在云端實現(xiàn)多云熱備部署以及 DNS 應(yīng)急切換來實現(xiàn)業(yè)務(wù)容災(zāi)切換，以保障業(yè)務(wù)的連續(xù)性。雙云之間通過專線打通，實現(xiàn)雙線冗余，系統(tǒng)異常時流量會切入騰訊云，并通過技術(shù)手段實現(xiàn)數(shù)據(jù)一致性。具體的技術(shù)實現(xiàn)細(xì)節(jié)包含以下 7 點：
騰訊云與每日優(yōu)鮮現(xiàn)有的云端通過專線打通, 雙線冗余 ;
基于每日優(yōu)鮮現(xiàn)在的云端和騰訊云做業(yè)務(wù)主備架構(gòu)，通過 DNS 調(diào)度，正常時流量引入每日優(yōu)鮮固有的云端, 當(dāng)此云端性能異常時, 再瞬間切換到騰訊云. 實現(xiàn)數(shù)據(jù)同步。
數(shù)據(jù)庫通過 DTS 實時傳輸?shù)津v訊云, 確保數(shù)據(jù)一致性 ;
DNS 到用戶固有的云端出現(xiàn)訪問故障,DNS 將指向切換到騰訊云。 故障時做好告警機(jī)制, 一旦 UC 故障超過 SLA, 切換 DNS。
啟用業(yè)務(wù)層、中間件服務(wù)以及數(shù)據(jù)一致性。
數(shù)據(jù)仍然讀寫用戶固有的云數(shù)據(jù)庫, 應(yīng)用 DTS 工具保證數(shù)據(jù)實時同步, 一致性。
專線延遲一般在 2ms 內(nèi), 延遲可控。
樂逗游戲異地容災(zāi)高可用實踐
游戲行業(yè)對于高可用方案的需求則更為迫切，一款熱門游戲，在極短的時間內(nèi)需要應(yīng)對 10 倍甚至百倍的用戶量增長，如果后臺系統(tǒng)架構(gòu)的承壓能力不夠強(qiáng)，就會直接影響到游戲的順利運營，游戲行業(yè)的用戶爭奪是非常激烈的，因此一旦出現(xiàn)不可用的狀況，所帶來的損失無法估計。
以樂逗游戲為例，樂逗游戲最重要的業(yè)務(wù)模塊是游戲平臺服務(wù)，為了確保該系統(tǒng)在特殊時期也能保持高可用的性能狀態(tài)，樂逗游戲在騰訊云平臺搭建了一整套異地容災(zāi)高可用解決方案。
樂逗游戲高可用容災(zāi)解決方案架構(gòu)圖
為了實現(xiàn)游戲平臺服的跨城異地容災(zāi)，規(guī)避機(jī)房故障等災(zāi)難性故障對業(yè)務(wù)造成的影響，樂逗游戲從三個層面做好了相應(yīng)的準(zhǔn)備：
接入層：前端通過負(fù)載均衡做接入，并購買 BGP 高防包綁定 CLB 做 DDOS 網(wǎng)絡(luò)攻擊防御，同時在安全防護(hù)上接入騰訊云宙斯盾防護(hù)體系，以應(yīng)對 DDOS 網(wǎng)絡(luò)攻擊。
邏輯層：游戲邏輯層設(shè)計成無狀態(tài)，故障時可直接剔除。此外為應(yīng)對業(yè)務(wù)用戶激增，可在容量擴(kuò)展的同時接入 Auto Scaling，根據(jù)業(yè)務(wù)流量動態(tài)擴(kuò)縮容。部分單點模塊采用高可用虛擬（HAVIP）實現(xiàn) HA 架構(gòu)，主機(jī)故障自動剔除，規(guī)避云主機(jī)單點故障。
數(shù)據(jù)層：數(shù)據(jù)層采用了 Redis Mysql 的存儲架構(gòu)，采用讀寫分離架構(gòu)和主備容災(zāi)架構(gòu)做好 HA，每天將數(shù)據(jù)庫冷備文件自動導(dǎo)出并同步到對象存儲 COS 中做異構(gòu)系統(tǒng)備份。針對核心的平臺登錄服和支付服在異地做雙活，定期做災(zāi)備演練，以應(yīng)對機(jī)房癱瘓等災(zāi)難性故障的快速恢復(fù)。
結(jié)語：
隨著越來越多的企業(yè)將業(yè)務(wù)部署在云上，云端的故障已經(jīng)成為企業(yè)不得不關(guān)注的重點，采用高可用架構(gòu)和方案也成為企業(yè)運維人員必須思考的話題。除此之外，作為企業(yè)技術(shù)人員，如何保證企業(yè)業(yè)務(wù)和服務(wù)的穩(wěn)定性，值得業(yè)界一起探索。
