從20臺(tái)到5000臺(tái)服務(wù)器
作為校內(nèi)網(wǎng)的CTO,黃晶對(duì)過(guò)去幾年校內(nèi)網(wǎng)IT基礎(chǔ)建設(shè)的過(guò)程歷歷在目。
“如果要把這個(gè)歷程分成幾個(gè)階段,那么在我看來(lái),校內(nèi)網(wǎng)的IT基礎(chǔ)設(shè)施建設(shè)目前經(jīng)歷了三個(gè)階段”。
黃晶對(duì)Csdn記者談到,第一個(gè)階段是校內(nèi)網(wǎng)創(chuàng)業(yè)的階段,那時(shí)候,校內(nèi)網(wǎng)的主要推廣對(duì)象是國(guó)內(nèi)比較好的一些高校,但數(shù)量很有限,用戶(hù)數(shù)不太多,訪問(wèn)量也不大,因此,當(dāng)時(shí)選擇了一個(gè)IDC并租賃了20臺(tái)左右的服務(wù)器。
“隨著業(yè)務(wù)的發(fā)展,校內(nèi)逐漸把業(yè)務(wù)覆蓋到了全國(guó),與此同時(shí),數(shù)據(jù)量可以呈現(xiàn)幾何式的增大,帶寬與存儲(chǔ)迎來(lái)了瓶頸,因此在那時(shí)候,公司開(kāi)始尋找新的IT基礎(chǔ)架構(gòu)解決方案,并因此而找到了世紀(jì)互聯(lián)做服務(wù)器的托管,幾年的時(shí)間,服務(wù)器的數(shù)量從幾十臺(tái)上升到了近5000臺(tái)。”
“但問(wèn)題也隨之出現(xiàn),雖然帶寬夠大,但是找IDC托管的這種運(yùn)營(yíng)方式成本太高了,尤其是對(duì)校內(nèi)這種已經(jīng)有一定規(guī)模的SNS網(wǎng)站來(lái)說(shuō),因此,后來(lái)直接找到了網(wǎng)通與電信的機(jī)房,將服務(wù)器托管到這里,以DNS訪問(wèn)流的形式來(lái)解決。
數(shù)據(jù)集中與分散的問(wèn)題
“從目前來(lái)看,異地?cái)?shù)據(jù)中心之間的聯(lián)系是個(gè)很大的發(fā)展瓶頸”,黃晶表示道,目前校內(nèi)的兩個(gè)主力機(jī)房,一個(gè)在電信一個(gè)在網(wǎng)通,從服務(wù)質(zhì)量來(lái)說(shuō),目前是非常好的,但是也有發(fā)展的局限性,“比如現(xiàn)在對(duì)一些象視頻、圖片的服務(wù)內(nèi)容,目前是通過(guò)CDN的解決方案,在全國(guó)各地建點(diǎn),這樣全國(guó)各地的用戶(hù)都能夠體驗(yàn)到SNS的高速服務(wù),但這當(dāng)中有很多還可以?xún)?yōu)化的空間,比如帶寬量太大、數(shù)據(jù)集中化的問(wèn)題等等。”
實(shí)際上,對(duì)SNS網(wǎng)站來(lái)說(shuō),目前的一大通病是數(shù)據(jù)集中化的問(wèn)題,而一些靜態(tài)的網(wǎng)站比如說(shuō)門(mén)戶(hù)等,可以通過(guò)CDN很好的解決這個(gè)問(wèn)題,但是對(duì)SNS網(wǎng)站來(lái)說(shuō),一方面由于數(shù)據(jù)比較集中,另一方面,用戶(hù)之間的相互響應(yīng)需要非常及時(shí)(P2P),因此如果在各地建立分支機(jī)房,必須要解決數(shù)據(jù)同步傳輸?shù)膯?wèn)題,而只有解決了這個(gè)問(wèn)題后,才能通過(guò)容災(zāi)的點(diǎn)提供更好的服務(wù)質(zhì)量。
據(jù)了解,由于每天形成的數(shù)據(jù)量太大,大多數(shù)互聯(lián)網(wǎng)公司并沒(méi)有配置專(zhuān)門(mén)的存儲(chǔ)設(shè)備,而是采用性?xún)r(jià)比比較高的方式,即分布式文件系統(tǒng),把服務(wù)器虛擬成一個(gè)大的資源池,并用分布式文件系統(tǒng)軟件管理硬盤(pán)。
校內(nèi)網(wǎng)也面對(duì)同樣的問(wèn)題,黃晶表示道,“目前校內(nèi)每天產(chǎn)生數(shù)據(jù)量最大的地方在于相冊(cè),還有一些音樂(lè),而光相冊(cè)這一部分,每天會(huì)產(chǎn)生幾個(gè)T的數(shù)據(jù)量,對(duì)存儲(chǔ)的壓力很大。”
“目前校內(nèi)兩個(gè)大的節(jié)點(diǎn),通過(guò)光纖連接進(jìn)行內(nèi)網(wǎng)的傳輸”,黃晶進(jìn)一步談到,“總之異地?cái)?shù)據(jù)中心之間的聯(lián)系是個(gè)很大的發(fā)展瓶頸,因此,校內(nèi)網(wǎng)在解決多個(gè)數(shù)據(jù)中心間數(shù)據(jù)同步傳輸?shù)膯?wèn)題上,花了很大精力,比如軟件需要改進(jìn),比如cache的同步,算法的替換等等,還有如何通過(guò)公網(wǎng)完成同步的問(wèn)題,對(duì)系統(tǒng)軟件有更高的考驗(yàn)。”
而在數(shù)據(jù)備份的策略上,校內(nèi)網(wǎng)也是采取了幾種不同的形式。
“首先是在線的備份, 為了保證實(shí)時(shí)數(shù)據(jù)的安全,每份數(shù)據(jù)至少有兩個(gè)線上的拷貝,這樣即使一個(gè)硬盤(pán)壞了,另一個(gè)硬盤(pán)也能完整的恢復(fù)”他談到,“其次是離線的備份,主要是為了應(yīng)對(duì)機(jī)房大的故障,會(huì)用磁帶+磁盤(pán)的方式。”
但是磁帶的備份方式同樣有缺陷,黃晶對(duì)csdn記者表示,“雖然磁帶保存和運(yùn)輸比較方便,但問(wèn)題在于恢復(fù)的時(shí)間太長(zhǎng)”,“目前已經(jīng)在和做虛擬磁帶庫(kù)的廠商有接觸,并在做一些測(cè)試。”
金融危機(jī)影響不大 但也需要節(jié)省開(kāi)支
從黃晶對(duì)csdn記者描述的情況來(lái)看,實(shí)際上,對(duì)SNS類(lèi)網(wǎng)站來(lái)說(shuō),09年受金融危機(jī)不大,IT規(guī)模投資依舊保持增長(zhǎng)。對(duì)于這個(gè)原因,黃晶這樣解釋道,“校內(nèi)網(wǎng)本身是一個(gè)發(fā)展中的互聯(lián)網(wǎng)公司,發(fā)展速度很快,發(fā)展并未受金融危機(jī)影響,其次,從服務(wù)的內(nèi)容來(lái)看,DNS網(wǎng)站目前提供的是一種面向大眾的服務(wù),是一種基礎(chǔ)性的需求,并非實(shí)體性的經(jīng)濟(jì),因此受影響不大,相反一些增值業(yè)務(wù)發(fā)展速度比往年更快。”
但是隨著網(wǎng)站規(guī)模的進(jìn)一步擴(kuò)大,運(yùn)營(yíng)成本再次擴(kuò)大,校內(nèi)這幾年在節(jié)省運(yùn)營(yíng)成本上也是下了很大工夫。
首先,所有的軟件基本上是用開(kāi)源的軟件,比如一些補(bǔ)丁提供給開(kāi)發(fā)者開(kāi)發(fā),同時(shí)校內(nèi)在去年還與Apache搭建了一個(gè)聯(lián)合的實(shí)驗(yàn)站點(diǎn),以推動(dòng)開(kāi)源軟件的發(fā)展。
對(duì)于一些新的技術(shù),比如虛擬化、多核等,黃晶表示目前非常關(guān)注。比如現(xiàn)在有一些Linux軟件在多核下發(fā)揮不出來(lái)優(yōu)勢(shì),會(huì)嘗試升級(jí)軟件內(nèi)核來(lái)適應(yīng)多核硬件。
而對(duì)于虛擬化技術(shù),黃晶更是深有體會(huì)。
“虛擬化技術(shù)實(shí)施的成本并非很高,比如亞馬遜的云計(jì)算平臺(tái),是將主機(jī)切成很多個(gè)小的虛擬機(jī),然后銷(xiāo)售給個(gè)人或者是開(kāi)發(fā)者,但個(gè)人網(wǎng)站的訪問(wèn)量通常不會(huì)太大,因此比較適合用虛擬化的方式來(lái)解決。”
從黃晶對(duì)csdn的描述中,我們也了解到,對(duì)于虛擬化技術(shù),校內(nèi)曾經(jīng)有過(guò)嘗試,包括Wmware、Xen等。黃晶談到,“虛擬化技術(shù)是一個(gè)正在不斷成熟的技術(shù),校內(nèi)去年曾做過(guò)一些嘗試,但發(fā)現(xiàn)虛擬機(jī)本身會(huì)消耗掉服務(wù)器的一部分資源,因此在終端處理能力上也不如物理機(jī)高,但我們一直關(guān)注這個(gè)技術(shù),比如Intel今年推出的Nehalem平臺(tái),加入了非常多的虛擬機(jī)支持技術(shù),比如硬件綁定技術(shù),在處理時(shí)繞過(guò)了虛擬層,這樣能夠把虛擬機(jī)本身對(duì)主機(jī)的消耗降到最低,以前一臺(tái)物理機(jī)分劃分出兩個(gè)虛擬機(jī),但每個(gè)虛擬機(jī)都達(dá)不到物理機(jī)的1/2,只能到30%多,但現(xiàn)在通過(guò)硬件綁定技術(shù),每個(gè)虛擬機(jī)的性能能夠提升到40%以上。”
但是對(duì)于虛擬化技術(shù),黃晶也談到校內(nèi)目前并沒(méi)有大規(guī)模應(yīng)用,“當(dāng)條件合適,或者說(shuō)技術(shù)再成熟一些,會(huì)考慮大規(guī)模的應(yīng)用。”
兩年內(nèi)將自建數(shù)據(jù)中心
“服務(wù)器托管只是暫時(shí)的,未來(lái)兩三年內(nèi)校內(nèi)網(wǎng)將建立起自己的數(shù)據(jù)中心,”,黃晶透露道,“以校內(nèi)目前的發(fā)展速度來(lái)看,兩年左右,服務(wù)器的規(guī)模將達(dá)到10k以上,而那時(shí)候,自建數(shù)據(jù)中心的需求就必須提上日程了。”
但黃晶也同時(shí)指出,自建數(shù)據(jù)中心的確是一個(gè)復(fù)雜的工作。
他談到,以現(xiàn)在的情況來(lái)看,服務(wù)器托管的費(fèi)用比服務(wù)器折舊的費(fèi)用并不少,電力成本很高,在租用的空間的利用率上也受到了很大的制約,比如一個(gè)機(jī)柜,基于電力配置的考慮,可能只能放一半的空間,對(duì)托管而言,這個(gè)浪費(fèi)很大,如果自己有機(jī)房,自己可以把電力做充足一些,把空間利用起來(lái)。
“但自己建數(shù)據(jù)中心是一個(gè)一次性投入很大的項(xiàng)目,需要各方面的人才,比如電力方面的專(zhuān)家、部署的專(zhuān)家,散熱方面的專(zhuān)家等等,才能做出一個(gè)完整的方案”,“因此,將來(lái)自建數(shù)據(jù)中心有兩大考慮因素,一是成本,二是容災(zāi)的問(wèn)題,比如火災(zāi)、地震等,能夠?qū)崿F(xiàn)數(shù)據(jù)的實(shí)時(shí)遷移。”
未來(lái)關(guān)注的業(yè)務(wù)領(lǐng)域
對(duì)于公司的新業(yè)務(wù),黃晶認(rèn)為,開(kāi)放平臺(tái)將是校內(nèi)網(wǎng)下一步關(guān)注的重點(diǎn),將來(lái)校內(nèi)會(huì)推出一些開(kāi)放平臺(tái)給開(kāi)發(fā)者,比如提供虛擬機(jī),可以讓開(kāi)發(fā)人員嘗試用比較低的成本去做開(kāi)發(fā)。
“開(kāi)放平臺(tái)將是一個(gè)機(jī)會(huì),比如今年異軍突起的twitter技術(shù),校內(nèi)會(huì)越來(lái)越開(kāi)放,會(huì)越來(lái)越平臺(tái)化,希望更多的Developer能夠與校內(nèi)一起做更多的應(yīng)用,只要是好的程序都能夠被大眾所接受。”
移動(dòng)則是校內(nèi)關(guān)注的另一個(gè)重點(diǎn)領(lǐng)域,據(jù)了解,校內(nèi)自從去年三月就推出了手機(jī)WAP版本, 經(jīng)過(guò)一年的發(fā)展,通過(guò)手機(jī)訪問(wèn)的網(wǎng)站中校內(nèi)網(wǎng)排行第四。
“我們現(xiàn)在非常關(guān)注android平臺(tái)的發(fā)展,包括iphone平臺(tái)的發(fā)展,將陸續(xù)推出這些平臺(tái)的應(yīng)用,從數(shù)據(jù)中心建設(shè)來(lái)看,為了更好地支持手機(jī)訪問(wèn),很多手機(jī)廠商會(huì)有Server Push(推技術(shù)),從校內(nèi)網(wǎng)的角色來(lái)看,需要做到的是保證移動(dòng)的品質(zhì),以及網(wǎng)關(guān)的順暢。
而在溝通平臺(tái)上校內(nèi)網(wǎng)還將投入力量進(jìn)行建設(shè),比如即時(shí)消息和mail等。
Csdn采訪手記:事實(shí)上,IT還是個(gè)幼稚的行業(yè),只容納得下最勤奮思考的人。在傳統(tǒng)的思維模式中,SNS網(wǎng)站他們的包袱不大,似乎不需要自建數(shù)據(jù)中心,因?yàn)樗麄兊娜蝿?wù)就是尋找雇傭最好的軟件人才,以及使用最好的技術(shù)開(kāi)發(fā)出最流行最熱門(mén)的產(chǎn)品,但是從此次與黃晶的對(duì)話中,我們了解到了,隨著運(yùn)營(yíng)成本的增加,以及傳統(tǒng)骨干網(wǎng)絡(luò)的技術(shù)瓶頸,自建數(shù)據(jù)中心對(duì)SNS網(wǎng)站而言,已經(jīng)提上了議事日程。
對(duì)電信骨干網(wǎng)運(yùn)營(yíng)商而言,當(dāng)他們意識(shí)到P2P網(wǎng)絡(luò)的威力之時(shí),他們也應(yīng)該開(kāi)始改造他們目前基于服務(wù)器構(gòu)造的基礎(chǔ)設(shè)施了。
聯(lián)系客服