1月31日，阿里云課堂在北京再次開課，聚焦于“大型互聯(lián)網(wǎng)應用架構(gòu)之分發(fā)和存儲”的技術(shù)和實踐分享。由阿里云Web平臺組研發(fā)專家姚偉斌（花名：文景）和阿里云飛天存儲服務(wù)研發(fā)高級專家李文兆擔任講師。14：00點不到，架構(gòu)師、工程師和實踐用戶已經(jīng)將260人的會場擠的滿滿當當，最后進來的小伙伴們只好站在了后排的通道中?，F(xiàn)場為何如此火爆？這和議題密切相關(guān)。CDN和存儲，前者是提升用戶滿意度，留存率和轉(zhuǎn)化率的關(guān)鍵，后者是云計算最基礎(chǔ)的服務(wù)之一。二者的重要性自然不言而喻。
眾所周知，在國內(nèi)如此錯綜復雜的網(wǎng)絡(luò)環(huán)境（中國電信、聯(lián)通、移動、中國教育網(wǎng)、鐵通等）中，要將源站內(nèi)容分發(fā)到全國所有節(jié)點，縮短用戶查看對象的延遲，提高用戶訪問網(wǎng)站的響應速度和網(wǎng)站的可用性，解決網(wǎng)絡(luò)帶寬小、用戶訪問量大、網(wǎng)絡(luò)分布不均等問，只能依靠內(nèi)容分發(fā)網(wǎng)絡(luò)（CDN）。
阿里云Web平臺組研發(fā)專家姚偉斌
CDN的用途：
加速：如圖片、css、js等，視頻流媒體，動態(tài)內(nèi)容，SSL、SPDY等；
源站保護：如4、7層DDoS攻擊防御，WAF等。
CDN如此重要。以至于在最初的圖片CDN應用之后，2008年淘寶已著手建立自己的CDN。多年積累下來，一線機房布局完整，技術(shù)也比較成熟。2014年3月，阿里云正式商用CDN時，已經(jīng)發(fā)展至數(shù)百節(jié)點，覆蓋30多個國家，單節(jié)點10臺機器擁有40Gbps吞吐能力。海外也已經(jīng)有30多個節(jié)點。微博、唱吧、雪球都是CDN服務(wù)的典型用戶，效果對比極為明顯。2015年，姚偉斌表示：“圖片CDN和阿里云CDN，邏輯配置和節(jié)點都已經(jīng)共享，一切都在云上?！?/p>
CDN加速原理
仔細看CDN關(guān)鍵組件，可以分為以下幾個部分：
IP庫：APNIC、Maxmind等數(shù)據(jù)源多樣，通過淘寶收貨的IP地址進行校正；ECS?用戶可以免費調(diào)?用。
調(diào)度系統(tǒng)：通過地域和監(jiān)控實現(xiàn)調(diào)度。
節(jié)點緩存系統(tǒng)：內(nèi)存、SSD、SATA三級緩存，支持各種尺寸的文件，熱點實現(xiàn)自動遷移，訪問速度快。
配置系統(tǒng)：按需加載、更新，10萬域名的配置約消耗500M內(nèi)存，全網(wǎng)分鐘級別的配置?生效，高可靠、可運維。
刷新系統(tǒng)：Notify機制，利用cache下載，自定義hash key，支持多副本刷新等。
日志系統(tǒng)：支持多臺目標服務(wù)器負載均衡，10分鐘左右即可將線上日志傳到OSS，每天數(shù)百T的離線日志寫入ODPS進行數(shù)據(jù)分析。
姚偉斌還重點介紹了應用加速方案，包含TCP協(xié)議棧優(yōu)化，動態(tài)內(nèi)容加速（內(nèi)容優(yōu)化、路由優(yōu)化），視頻和大文件，無線加速等。值得注意的是，CDN和安全往往密不可分。在4層和7層DDoS攻擊防御時，CDN和云盾（阿里云安全服務(wù)）的配合尤為密切。姚偉斌舉了一個7層攻擊的案例：“日前，針對一個小站突然遭受了攻擊，響應約15KB，規(guī)模約15萬QPS，阿里云抵擋了99.4%的攻擊，節(jié)省了17G的流量，有效保證了用戶的服務(wù)?！?/p>
作為阿里云最基礎(chǔ)的云服務(wù)之一，開放存儲服務(wù)（OSS）是基于飛天平臺，提供“高可用性、高可靠性，海量的對象數(shù)目，任意大小數(shù)據(jù)對象，公共服務(wù)，安全”的存儲服務(wù)。李文兆在題為“開放存儲架構(gòu)和應用實踐”的分享中，重點談到了OSS的設(shè)計原則：硬件故障透明，數(shù)據(jù)的多份拷貝分布在不同機架/機房，易擴展（容量擴容，自動應對爆發(fā)式訪問），各層都要考慮到安全。
阿里云飛天存儲服務(wù)研發(fā)高級專家李文兆
開放存儲服務(wù)架構(gòu)是用戶請求到云盾，再到負載均衡，然后是前端的協(xié)議接入層（協(xié)議處理、訪問控制、QoS），數(shù)據(jù)訪問層（分區(qū)、索引），持久存儲層（持久、冗余、容錯）。
其中主要概念有四個：
Service：OSS提供給用戶虛擬存儲空間，每個用戶擁有一個到多個Bucket（普通用戶最多10個）。
Bucket：Bucket是OSS的命名空間，Bucket Name在整個OSS具有全局唯一性。
Object：在OSS中，每個文件都是一個Object。
AccessKeyID、AccessKeySecret：安全標識，為訪問OSS做簽名驗證。
具體來看：
Bucket在功能方面，包含創(chuàng)建/修改/讀取/刪除，ACL（私有、開放讀，開放讀寫），防盜鏈，訪問日志歸檔，異地數(shù)據(jù)容災（如杭州、青島、北京、香港等數(shù)據(jù)中心都部署了OSS，在某地創(chuàng)建之后，部署到其他節(jié)點）等。
Object在功能方面，也包含創(chuàng)建/修改/讀取/刪除，Multipart Object與斷點續(xù)傳，URL簽名，Put與Post不同使用場景等。
為了加深大家對OSS的使用感受，李文兆特別舉了一個例子：
手機端圖片云存儲的企業(yè)架構(gòu)優(yōu)化圖
一家互聯(lián)網(wǎng)創(chuàng)業(yè)企業(yè)，業(yè)務(wù)是手機端圖片云存儲。比如幫助用戶在本地存儲縮略圖，節(jié)省手機空間；提供云照片沖印等。創(chuàng)業(yè)之初，他們的IT架構(gòu)很簡單，通過阿里云的虛擬機，搭建Web App Server，最初2-3臺的時候可以，但擴展到40-50臺的時候，計算資源和存儲節(jié)點都不夠用（因為云磁盤限制在8TB，數(shù)據(jù)在向上擴展，需要繼續(xù)橫向擴展磁盤）。而最初他們的架構(gòu)這方面考慮的不多，如果在云磁盤的基礎(chǔ)上增加，一方面存儲容量擴容有限，另一方面存儲性能擴展需要修改，最關(guān)鍵的是圖片尺寸和類型各異帶來處理極為費勁。這樣情況下，通過OSS和技術(shù)上的優(yōu)化，實現(xiàn)了架構(gòu)的改變。數(shù)據(jù)直接從用戶端上傳到OSS，AppServer只是控制流，所以帶寬可以節(jié)省下來。通過URL簽名，賬號密碼等都存儲在App Server上，用戶需要服務(wù)的時候，App Server在幾秒鐘或者幾分鐘有效的方式，返回到手機端，通過手機端寫入，非常安全，而且節(jié)省帶寬。當用戶數(shù)量越來越多，為節(jié)省資源提升服務(wù)，可以做讀寫分離，讀通過CDN和存儲（圖片服務(wù)），實現(xiàn)圖片壓縮和類型轉(zhuǎn)化。
總結(jié)下來就是：
用OSS解決存儲瓶頸；
用圖片動態(tài)服務(wù)生成各種圖片；
讀寫分離；
弱安全容器訪問OSS；
表單提交和跨域訪問；
數(shù)據(jù)單走OSS減少VM臺數(shù)；
Cname屏蔽OSS域名，保持了切換的靈活性。
不止如此，通過阿里云的北京、青島、杭州、深圳、香港的數(shù)據(jù)中心，企業(yè)還能輕松實現(xiàn)異地容災和就近回源。事實上，OSS作為阿里云的基礎(chǔ)服務(wù)，目前已經(jīng)應用的十分廣泛：不僅有微盟、有道、得圖這樣的創(chuàng)業(yè)公司，還有聯(lián)想、宏基這樣的傳統(tǒng)企業(yè)，以及公安部、貴州政務(wù)系統(tǒng)等。
阿里云課堂為架構(gòu)師、工程師和實踐用戶們留下了充足的與講師的互動時間。在提問環(huán)節(jié)，小伙伴們的問題質(zhì)量都很贊，專家們的回答同樣極為精彩。
問：CDN如何支持游戲架構(gòu)？沒有對特定行業(yè)做優(yōu)化？
答：目前阿里云CDN更多是針對場景來做的產(chǎn)品，比如分發(fā)，動態(tài)鏈路優(yōu)化等。是針對手游、頁游、端游等游戲，其中如安裝包下載（流量大），網(wǎng)頁的動態(tài)加速，四層攻擊的防御等都是共性需求而涉及的。
問：服務(wù)上線之前都需要做測試。阿里云的產(chǎn)品測試是用迭代壓力還是線上來做？設(shè)計的架構(gòu)是怎么樣的？
答：在研發(fā)方面都需要測試。開發(fā)軟件要有單元測試的覆蓋率，要到50-60%。開發(fā)做測試后，會提交給QA進行黑盒測試，然后放到日常環(huán)境（完全測試環(huán)境），用應用來做流量測試。最后才會放到線上，做幾個幾點的灰度測試，看功能；然后節(jié)點慢慢增多，最終做到全網(wǎng)。
問：面對可以預計的劇增的訪問量，如何在上線之前，保證架構(gòu)設(shè)計的彈性？有沒有什么經(jīng)驗可以分享？
答：在系統(tǒng)設(shè)計之初，要預留一個一個數(shù)量級來準備。比如CDN刷新系統(tǒng)，幾千的量級，但可支持到幾萬。在配置系統(tǒng)方面，1-2w，而跑到100w是可以的。CDN能否服務(wù)1000個節(jié)點，100萬的用戶等，要用目標來設(shè)計系統(tǒng)。而隨著用戶的增多，一些特殊需求也要持續(xù)優(yōu)化。比如淘寶CDN重視的是穩(wěn)定性和服務(wù)能力，而阿里云面對海量用戶，設(shè)計點是不同的。所以攝制之初，要有預留。
問：CDN和云盾的關(guān)系？
答：架構(gòu)是一致的。尤其是在防4層，500GB以上的攻擊規(guī)模。CDN前面是有特殊設(shè)備做抵擋的，發(fā)現(xiàn)攻擊做清洗后才會轉(zhuǎn)到CDN上。7層，云盾也和CDN密切配合。WAF也是。
問：CDN服務(wù)如何計費？是分發(fā)區(qū)域，文件大小，帶寬占用等么？
答：我們是按照流量計費和按照峰值帶寬兩種計費模式。
問：流媒體，傳統(tǒng)CDN做靜態(tài)視頻放到CDN上。直播類的場景如何解決？
答：M318和TS文件。對延遲較為敏感。預設(shè)到CDN中。RTMP等方式也在測試中。
問：存儲方面有沒有其他的文件轉(zhuǎn)換服務(wù)？比如PDF轉(zhuǎn)成PPT，還有視頻轉(zhuǎn)化服務(wù)？
答：圖片轉(zhuǎn)換服務(wù)是有的。圖片轉(zhuǎn)碼服務(wù)已經(jīng)在公測，很快會對外商用。PDF轉(zhuǎn)成Word等，還沒有，但要看需求，后面會考慮。
問：怎么看待TFSS？
答：TFSS在業(yè)內(nèi)也有很多企業(yè)在用。我知道的就有企業(yè)自己搭建的TFSS用了一百來臺這樣的機器。但隨著規(guī)模的擴大確實遇到了一些問題，現(xiàn)在和我們溝通，想遷移到OSS上。
問：S3實現(xiàn)了弱一致性。而OSS是三份寫入實現(xiàn)強一致性。如何考慮的？
答：我們確實做到的了強一致。就是說寫下去以后它的數(shù)據(jù)就是一致的。寫是一個過程，要注意提高它的存儲和數(shù)據(jù)寫入的一致性。當寫到數(shù)據(jù)中心的時候，已經(jīng)有3份備份了。比如說我們的城市被光纜因為各種原因被斷了，可以將數(shù)據(jù)從杭州同步到北京，或者更遠同步到美國來保證數(shù)據(jù)的安全。
問：服務(wù)器ECS是否建立在存儲上面？磁盤的性能包括存儲的性能，他們中間的讀寫是多少？有沒有限制？比如說在ECS限制上是多少？
答：我試著回答一下，最好是到阿里云官網(wǎng)直接找客服。ECS不是建立在OSS之上的，其是建立在一套類排骨的，可以隨機插寫的一套分布式文件上面，也就是說它的虛擬機本身的存儲是建立在類排骨的分布式文件系統(tǒng)上面的，OSS是HTTP的協(xié)議出去的。那套類排骨的文件系統(tǒng)可以理解為直接加載進去就是快設(shè)備，所以其性能跟OSS的性能是無法比較的。
