按：此為客座博文系列。投稿人
吳朱華曾在IBM中國研究院從事與云計(jì)算相關(guān)的研究，現(xiàn)在正致力于研究云計(jì)算技術(shù)。
本文是基于現(xiàn)有的公開資料和個(gè)人的經(jīng)驗(yàn)來對(duì)Google的整體架構(gòu)進(jìn)行總結(jié)和猜想。
在軟件工程界，大家有一個(gè)共識(shí)，那就是"需求決定架構(gòu)"，也就是說，架構(gòu)的發(fā)展是為了更好地支撐應(yīng)用。那么本文在介紹架構(gòu)之前，先介紹一下Google所提供的主要產(chǎn)品有哪些？
產(chǎn)品
對(duì)于Google和它幾個(gè)主要產(chǎn)品，比如搜索和郵件等，大家已經(jīng)非常熟悉了，但是其提供服務(wù)的不只于此，并主要可分為六大類：
各種搜索：網(wǎng)頁搜索，圖片搜索和視頻搜索等。
廣告系統(tǒng)：AdWords和AdSense。
生產(chǎn)力工具：Gmail和Google Apps等。
地理產(chǎn)品：地圖，Google Earth和Google Sky等。
視頻播放：Youtube。
PaaS平臺(tái)：Google App Engine。
設(shè)計(jì)理念
根據(jù)現(xiàn)有的資料，Google的設(shè)計(jì)理念主要可以總結(jié)出下面這六條：
Scale，Scale，Scale Scale：因?yàn)镚oogle大多數(shù)服務(wù)所面對(duì)的客戶都是百萬級(jí)別以上的，導(dǎo)致Scale也就是伸縮已經(jīng)深深植入Google的DNA中，而且 Google為了幫助其開發(fā)人員更好地開發(fā)分布式應(yīng)用和服務(wù)，不僅研發(fā)了用于大規(guī)模數(shù)據(jù)處理MapReduce框架，還推出了用于部署分布式應(yīng)用的 PaaS平臺(tái)Google App Engine。
容錯(cuò)：一個(gè)分布式系統(tǒng)，就算是構(gòu)建在昂貴的小型機(jī)或者大型機(jī)之上，也會(huì)不時(shí)地出現(xiàn)軟件或者硬件方面的錯(cuò)誤，何況Google的分布式系統(tǒng)還是澆筑 在便宜的X86服務(wù)器之上，即使其設(shè)備標(biāo)稱的MTBF（平均故障間隔時(shí)間）很高，但是由于一個(gè)集群內(nèi)的設(shè)備極多，導(dǎo)致其錯(cuò)誤發(fā)生的幾率非常高，比如李開復(fù) 曾經(jīng)提過這樣一個(gè)例子：在一個(gè)擁有兩萬臺(tái)X86服務(wù)器的集群中，每天大約有110臺(tái)機(jī)器會(huì)出現(xiàn)宕機(jī)等惡劣情況，所以容錯(cuò)是一個(gè)不可被忽視的問題，同時(shí)這點(diǎn) 也被Google院士Jeffrey Dean在多次演講中提到。
低延遲：延遲是影響用戶體驗(yàn)的一個(gè)非常重要的因素，Google的副總裁Marissa Mayer曾經(jīng)說過："如果每次搜索的時(shí)間多延遲半秒的話，那么使用搜索服務(wù)的人將減少20%"，從這個(gè)例子可以看出，低延遲對(duì)用戶體驗(yàn)非常關(guān)鍵，而且為 了避免光速和復(fù)雜網(wǎng)絡(luò)環(huán)境造成的延時(shí)，Google已在很多地區(qū)設(shè)置了本地的數(shù)據(jù)中心。
廉價(jià)的硬件和軟件：由于Google每天所處理的數(shù)據(jù)和請(qǐng)求在規(guī)模上是史無前例的，所以現(xiàn)有的服務(wù)器和商業(yè)軟件廠商是很難為Google"度身定 做"一套分布式系統(tǒng)，而且就算能夠設(shè)計(jì)和生產(chǎn)出來，其價(jià)格也是Google所無法承受的，所以其上百萬臺(tái)服務(wù)器基本采用便宜的X86系統(tǒng)和開源的 Linux，并開發(fā)了一整套分布式軟件棧，其中就包括上篇提到的MapReduce，BigTable和GFS等。
優(yōu)先移動(dòng)計(jì)算：雖然隨著摩爾定律的不斷發(fā)展，使得很多資源都處于不斷地增長中，比如帶寬等，但是到現(xiàn)在為止移動(dòng)數(shù)據(jù)成本遠(yuǎn)大于移動(dòng)計(jì)算的成本，所以在處理大規(guī)模數(shù)據(jù)的時(shí)候，Google還是傾向于移動(dòng)計(jì)算，而不是移動(dòng)數(shù)據(jù)。
服務(wù)模式：在Google的系統(tǒng)中，服務(wù)是相當(dāng)常用的，比如其核心的搜索引擎需要依賴700-1000個(gè)內(nèi)部服務(wù)，而且服務(wù)這種松耦合的開發(fā)模式在測試，開發(fā)和擴(kuò)展等方面都有優(yōu)勢，因?yàn)樗m合小團(tuán)隊(duì)開發(fā)，并且便于測試。
整體架構(gòu)的猜想
在整體架構(gòu)這部分，首先會(huì)舉出Google的三種主要工作負(fù)載，接著會(huì)試著對(duì)數(shù)據(jù)中心進(jìn)行分類，最后會(huì)做一下總結(jié)。
三種工作負(fù)載
對(duì)于Google而言，其實(shí)工作負(fù)載并不僅僅只有搜索這一種，主要可以被分為三大類：
本地交互：用于在用戶本地為其提供基本的Google服務(wù)，比如網(wǎng)頁搜索等，但會(huì)將內(nèi)容的生成和管理工作移交給下面的內(nèi)容交付系統(tǒng)，比如：生成搜索所需的Index等。通過本地交互，能讓用戶減少延遲，從而提高用戶體驗(yàn)，而且其對(duì)SLA要求很高，因?yàn)槭侵苯用鎸?duì)客戶的。
內(nèi)容交付：用于為Google大多數(shù)服務(wù)提供內(nèi)容的存儲(chǔ)，生成和管理工作，比如創(chuàng)建搜索所需的Index，存儲(chǔ)YouTube的視頻和GMail 的數(shù)據(jù)等，而且內(nèi)容交互系統(tǒng)主要基于Google自己開發(fā)那套分布式軟件棧。還有，這套系統(tǒng)非常重視吞吐量和成本，而不是SLA。
關(guān)鍵業(yè)務(wù)：主要包括Google一些企業(yè)級(jí)事務(wù)，比如用于企業(yè)日常運(yùn)行的客戶管理和人力資源等系統(tǒng)和賺取利潤的廣告系統(tǒng)（AdWords和AdSense），同時(shí)關(guān)鍵業(yè)務(wù)對(duì)SLA的要求非常高。
兩類數(shù)據(jù)中心
按照2008年數(shù)據(jù)，Google在全球有37個(gè)數(shù)據(jù)中心，其中19個(gè)在美國，12個(gè)在歐洲，3個(gè)在亞洲(北京、香港、東京)，另外3個(gè)分布于俄羅斯和南美。下圖顯示其中36個(gè)數(shù)據(jù)中心在全球的分布：
圖1. 2008年Google全球數(shù)據(jù)中心分布圖
根據(jù)
Jeffrey Dean 在2009年末的一次演講和最近幾期季報(bào)可以推測出Google并沒有在2009年過多地增加全球數(shù)據(jù)中心的數(shù)量，總數(shù)應(yīng)該還是稍多于36個(gè)，但很有可能在臺(tái)灣、馬來西亞、立陶宛等地增加新的數(shù)據(jù)中心。
雖然Google擁有數(shù)據(jù)中心數(shù)量很多，但是它們之間存在一定的差異，而且主要可以分為兩類：其一是巨型數(shù)據(jù)中心，其二是大中型數(shù)據(jù)中心。
巨型數(shù)據(jù)中心 ：服務(wù)器規(guī)模應(yīng)該在十萬臺(tái)以上，常坐落于發(fā)電廠旁以獲得更廉價(jià)的能源，主要用于Google內(nèi)部服務(wù)，也就是內(nèi)容交付服務(wù)，而且在設(shè)計(jì)方面主要關(guān)注成本和吞吐量，所以引入了大量的定制硬件和軟件，來減低PUE并提升處理量，但其對(duì)SLA方面要求不是特別嚴(yán)厲，只要保證絕大部分時(shí)間可用即可。下圖是Google巨型數(shù)據(jù)中心的一個(gè)代表，這個(gè)數(shù)據(jù)中心位于美國俄勒岡州北部哥倫比亞河畔的Dalles市，總占地面積接近30英畝，并占用了附近一個(gè)1.8GW水力發(fā)電站的大部分電力輸出，當(dāng)這個(gè)數(shù)據(jù)中心全部投入使用后，將消耗103兆瓦的電力，這相當(dāng)于一個(gè)中小型城市的整個(gè)生活用電。
圖2. Google在美國俄勒岡州哥倫比亞河畔的巨型數(shù)據(jù)中心近景圖
大中型數(shù)據(jù)中心 ：服務(wù)器規(guī)模在千臺(tái)至萬臺(tái)左右，可用于本地交互或者關(guān)鍵業(yè)務(wù)，在設(shè)計(jì)方面上非常重視延遲和高可用性，使得其坐落地點(diǎn)盡可能地接近用戶而且采用了標(biāo)準(zhǔn)硬件和軟件，比如Dell的服務(wù)器和MySQL的數(shù)據(jù)庫等，常見的PUE大概在1.5和1.9之間。本來坐落于北京朝陽區(qū)酒仙橋附近的"世紀(jì)互聯(lián)"機(jī)房的Google中國數(shù)據(jù)中心也屬于大中型數(shù)據(jù)中心這類，其采用的硬件有DELL的工作站和Juniper的防火墻等，下圖為其一角。
圖3. Google前中國數(shù)據(jù)中心的一角（參[26]）
關(guān)于兩者的區(qū)別：具體請(qǐng)查看下表：
巨型數(shù)據(jù)中心 大中型數(shù)據(jù)中心
工作負(fù)載 內(nèi)容交付 本地交互/關(guān)鍵業(yè)務(wù)
地點(diǎn) 離發(fā)電廠近 離用戶近
設(shè)計(jì)特點(diǎn) 高吞吐，低成本 低延遲，高可用性
服務(wù)器定制化 多 少
SLA 普通 高
服務(wù)器數(shù)量 十萬臺(tái)以上 千臺(tái)以上
數(shù)據(jù)中心數(shù)量 十個(gè)以內(nèi) 幾十個(gè)
PUE估值 1.2 1.5
表1. 巨型與大中型數(shù)據(jù)中心的對(duì)比表
總結(jié)
最后，稍微總結(jié)一下，首先，普通的用戶當(dāng)訪問Google服務(wù)時(shí)，大多會(huì)根據(jù)其請(qǐng)求的IP地址或者其所屬的ISP將這個(gè)請(qǐng)求轉(zhuǎn)發(fā)到用戶本地的數(shù)據(jù)中心，如果本地?cái)?shù)據(jù)中心無法處理這個(gè)請(qǐng)求，它很有可能將這個(gè)請(qǐng)求轉(zhuǎn)發(fā)給遠(yuǎn)端的內(nèi)容交互中心。其次，當(dāng)廣告客戶想接入Google的廣告系統(tǒng)時(shí)，這個(gè)請(qǐng)求會(huì)直接轉(zhuǎn)發(fā)至其專業(yè)的關(guān)鍵業(yè)務(wù)數(shù)據(jù)中心來處理。
圖4. 總結(jié)
因?yàn)楸疚氖腔诂F(xiàn)有的公開資料和個(gè)人的經(jīng)驗(yàn)的總結(jié)和猜想，所以和Google實(shí)際的運(yùn)行情況沒有任何聯(lián)系。
本篇結(jié)束，
下篇將對(duì)Google App Engine及其主要組成部分進(jìn)行介紹。
--EOF--
