發(fā)布日期:2006年8月18日 作者: 《網(wǎng)絡(luò)世界》 宋家雨(轉(zhuǎn)載)《存儲(chǔ)時(shí)代》
集群并不專指Beowulf集群,此外還有SMP以及采用專有通信網(wǎng)絡(luò)的計(jì)算機(jī)集群,還有共享存儲(chǔ)體系結(jié)構(gòu)的并行計(jì)算系統(tǒng)和并行向量機(jī)。這些不同體系架構(gòu)的并行計(jì)算系統(tǒng),共同支撐起了高性能計(jì)算的天空。
中科院軟件所并行計(jì)算實(shí)驗(yàn)室一直負(fù)責(zé)組織中國(guó)軟件行業(yè)協(xié)會(huì)數(shù)學(xué)軟件分會(huì)每年的中國(guó)高性能計(jì)算TOP100排行榜,記者日前采訪了該實(shí)驗(yàn)室的張?jiān)迫敝魅?,?jù)他們的統(tǒng)計(jì),TOP100之中,有70臺(tái)機(jī)器采用集群體系架構(gòu),而TOP10中,只有9臺(tái)采用集群。
這里所說的集群,是指IA架構(gòu)服務(wù)器機(jī)群,確切的說法是Beowulf集群,就是通過Myrinet、InfiniBand或者千兆以太網(wǎng)將大量IA架構(gòu)服務(wù)器節(jié)點(diǎn)按照某種拓?fù)溥M(jìn)行連接,從而構(gòu)建起“平民”價(jià)位的高性能計(jì)算系統(tǒng)。Beowulf集群最大優(yōu)點(diǎn)就是性價(jià)比。但在此需要指出,集群并不專指Beowulf集群,此外還有SMP(Symmetric Multi- Processing,對(duì)稱多處理,是一種一致內(nèi)存存取的計(jì)算機(jī)系統(tǒng))集群,以及采用專有通信網(wǎng)絡(luò)的計(jì)算機(jī)集群(如IBM的SP2,HP的Integrity)等。他們統(tǒng)稱為集群,都屬于分布式存儲(chǔ)的并行計(jì)算機(jī)系統(tǒng)。
對(duì)于高性能計(jì)算而言,還有共享存儲(chǔ)體系結(jié)構(gòu)的并行計(jì)算系統(tǒng)(如NUMA和cc-NUMA等)和并行向量機(jī)(如銀河、地球模擬器等)體系結(jié)構(gòu)。這些不同體系架構(gòu)的并行計(jì)算系統(tǒng),共同支撐起了高性能計(jì)算的天空。
集群尚需努力
實(shí)現(xiàn)高性能計(jì)算有很多種方式,但國(guó)內(nèi)更多的是對(duì)于Beowulf集群方式的津津樂道。記得在一次采訪中,寶德科技董事、總經(jīng)理李瑞杰就曾經(jīng)說過,高性能計(jì)算TOP500世界排名沒什么了不起,只要你有錢,網(wǎng)上有現(xiàn)成的方案,隨時(shí)可以搭一個(gè)萬億次的系統(tǒng)。言下之意,集群并沒有更多的技術(shù)難度。現(xiàn)實(shí)狀況是,集群在國(guó)內(nèi)的發(fā)展很快,聯(lián)想、浪潮、曙光等國(guó)內(nèi)廠商都推出了各自的高性能計(jì)算系統(tǒng),寶德也通過與Bull公司合作,推出了自己的高性能計(jì)算系統(tǒng)。
從市場(chǎng)的狀況看,高性能計(jì)算開始從科學(xué)計(jì)算領(lǐng)域向行業(yè)應(yīng)用領(lǐng)域滲透,其發(fā)展速度很快,各地政府都把高性能計(jì)算中心作為衡量省市科技水平的重要基礎(chǔ)設(shè)施,此外,高校各個(gè)學(xué)科之間,也把高性能計(jì)算能力作為基礎(chǔ)科研能力,在船舶、汽車、飛行器、復(fù)合材料等多種研究領(lǐng)域都有大量的高性能計(jì)算需求。這也是吸引國(guó)內(nèi)廠商涉足高性能計(jì)算市場(chǎng)的原因之一。
那么,用戶對(duì)集群系統(tǒng)的要求如何呢?記者為此也采訪了部分國(guó)內(nèi)用戶,據(jù)上海超級(jí)計(jì)算中心副主任袁俊介紹,集群系統(tǒng)最重要的是其穩(wěn)定性、可靠性、可用性和兼容性,性能往往不是放在第一位的要求,尤其是對(duì)于大規(guī)模集群系統(tǒng)。袁俊表示,構(gòu)建超大規(guī)模集群計(jì)算機(jī)系統(tǒng)應(yīng)該嚴(yán)格遵循工程化的體系和標(biāo)準(zhǔn),而不是走向兩個(gè)極端:簡(jiǎn)單地“攢”一臺(tái)機(jī)器或者作為一種科學(xué)研究,研究出一臺(tái)機(jī)器。嚴(yán)格工程化對(duì)于該機(jī)日后投入業(yè)務(wù)運(yùn)營(yíng)的生產(chǎn)效能至關(guān)重要。
嚴(yán)格工程化的一個(gè)典型要求是對(duì)于大規(guī)模集群系統(tǒng)非常復(fù)雜的系統(tǒng)軟件所進(jìn)行的科學(xué)設(shè)計(jì)、嚴(yán)格驗(yàn)證其正確性、兼容性測(cè)試,以及其在試運(yùn)行過程中,對(duì)所發(fā)現(xiàn)的問題進(jìn)行修正。此外,重要系統(tǒng)軟件進(jìn)行升級(jí),都需要按照標(biāo)準(zhǔn)測(cè)試流程進(jìn)行嚴(yán)格測(cè)試,不可隨意變動(dòng)系統(tǒng)軟件。對(duì)于一臺(tái)大規(guī)模集群系統(tǒng)而言,其系統(tǒng)軟件應(yīng)該包括操作系統(tǒng)、編譯器、并行庫(kù)、互聯(lián)設(shè)備驅(qū)動(dòng)、作業(yè)管理調(diào)度、文件系統(tǒng)管理以及科學(xué)計(jì)算函數(shù)庫(kù)等。很多超級(jí)計(jì)算系統(tǒng)可靠性和穩(wěn)定性之所以良好,就在于遵循了這樣的原則。
當(dāng)然,這些要求因不同用戶的不同用途而有所不同,非嚴(yán)格業(yè)務(wù)運(yùn)行的機(jī)器,比如用于研究的試驗(yàn)集群,或小部門、或個(gè)人級(jí)集群,可能上述要求沒有太大意義。但是對(duì)于諸如中科院網(wǎng)絡(luò)中心超級(jí)計(jì)算中心和上海超級(jí)計(jì)算中心這樣的單位而言,因其目標(biāo)是對(duì)外提供服務(wù),這些要求就變得非常重要了。
目前集群系統(tǒng)計(jì)算節(jié)點(diǎn)的可靠性和穩(wěn)定性并非由集成商決定,而是由系統(tǒng)所選用的品牌型號(hào)來決定,例如主板,目前國(guó)內(nèi)廠商大多沒有兩路或四路服務(wù)器主板的設(shè)計(jì)制造能力,基本上是OEM臺(tái)灣廠商的品牌。品牌定了,其性能也就定了,從散熱、電磁兼容到電源設(shè)計(jì)基本上比較成熟和穩(wěn)定,節(jié)點(diǎn)的故障并不高。以上海超算中心為例,其曙光4000A系統(tǒng)運(yùn)行了大約2年時(shí)間,基本沒有因?yàn)橛?jì)算節(jié)點(diǎn)故障造成系統(tǒng)宕機(jī),更多的問題還是在系統(tǒng)軟件與硬件的配合層面。
并行化軟件的出路
張?jiān)迫┦勘硎?,集群系統(tǒng)與其他體系結(jié)構(gòu)的高性能計(jì)算系統(tǒng)相比,價(jià)格便宜,配置靈活,且有其適用的應(yīng)用領(lǐng)域??傮w來講,集群系統(tǒng)比較適用于那些對(duì)于通信要求較低的計(jì)算任務(wù)。例如石油勘探領(lǐng)域的疊前偏移,節(jié)點(diǎn)之間幾乎不需要通信,其性能表現(xiàn)近乎線性加速,此類應(yīng)用,非常適合采用集群。
對(duì)于共享存儲(chǔ)結(jié)構(gòu)的高性能計(jì)算系統(tǒng)而言,例如NUMA、cc-NUMA,它采用了單一地址編碼的大內(nèi)存共享結(jié)構(gòu),并以O(shè)penMP工業(yè)標(biāo)準(zhǔn)作為程序設(shè)計(jì)環(huán)境。對(duì)于編程人員而言,其軟件容易編寫;而集群采用MPI程序設(shè)計(jì)環(huán)境,其程序設(shè)計(jì)難度比OpenMP大。
OpenMP更加適合圖形并行處理,以SGI的超級(jí)計(jì)算機(jī)為代表,適合應(yīng)用在可視化應(yīng)用領(lǐng)域。同樣,并行向量超級(jí)計(jì)算機(jī),例如銀河、地球模擬器等,也有其專長(zhǎng)的應(yīng)用領(lǐng)域。
據(jù)張?jiān)迫┦拷榻B,從TOP500發(fā)展來看,目前國(guó)外出現(xiàn)了多種體系結(jié)構(gòu)融合的發(fā)展趨勢(shì),不同體系結(jié)構(gòu)之間并不存在嚴(yán)格的界限。據(jù)Bull公司高級(jí)顧問陳興介紹,在他們的用戶之中,既有從SMP轉(zhuǎn)向集群的用戶;也有用戶放棄集群改用SMP的結(jié)構(gòu)。不同的結(jié)構(gòu)沒有優(yōu)劣之分,完全取決于用戶的情況和投資。例如有些高校,經(jīng)費(fèi)非常有限,那么就只有采用集群的方式,而對(duì)于那些關(guān)鍵業(yè)務(wù)應(yīng)用的用戶而言,就需要采用具有更好穩(wěn)定性的SMP架構(gòu)的系統(tǒng)。
無論采用什么樣結(jié)構(gòu)的高性能計(jì)算系統(tǒng),并行化軟件都是一個(gè)關(guān)鍵性問題。對(duì)此,袁俊表示,目前國(guó)內(nèi)能夠編寫并行化軟件的人員非常的缺乏,國(guó)內(nèi)高校少有開設(shè)相應(yīng)的課程,即使有也主要面向計(jì)算機(jī)專業(yè)的學(xué)生,而不是未來可能成為超級(jí)計(jì)算用戶的學(xué)生,如力學(xué)、物理、化學(xué)、生物等專業(yè)的學(xué)生。此外,懂得并行化軟件編寫的人不見得懂得高性能計(jì)算系統(tǒng),不能夠根據(jù)系統(tǒng)的特點(diǎn),合理編寫開發(fā)并行軟件。其問題很多,上機(jī)計(jì)算故障也很多。
據(jù)了解,目前市場(chǎng)上的商用軟件基本上都可以拿到并行版,但是價(jià)格相當(dāng)昂貴,國(guó)內(nèi)的用戶很難承受。袁俊認(rèn)為,現(xiàn)有的大學(xué)教育一定要加強(qiáng)科學(xué)和工程專業(yè)學(xué)生、特別是碩士研究生階段的計(jì)算科學(xué)(computational science)方面的教育和培訓(xùn),并把并行計(jì)算方法和編程作為必修課程。
據(jù)袁俊介紹,目前國(guó)內(nèi)用戶所采用的并行化軟件來自各種渠道,如學(xué)術(shù)或?qū)I(yè)團(tuán)體所發(fā)布的并行軟件,國(guó)內(nèi)用戶只需要支付少量的版權(quán)費(fèi)就可以拿到源代碼或者是執(zhí)行版軟件,有些甚至不需支付費(fèi)用,這類軟件還是非常豐富的。此外,就是購(gòu)買商業(yè)化軟件,這些軟件往往也是根據(jù)CPU數(shù)量收取費(fèi)用的,價(jià)格比較貴,目前國(guó)內(nèi)還沒有成熟的并行商業(yè)軟件。袁俊表示,不同架構(gòu)平臺(tái)的軟件可以進(jìn)行移植,移植內(nèi)容和工作量不等。從上海超算的應(yīng)用情況看,目前的應(yīng)用可以劃分為幾大類,一部分是中科院所屬院所和高校的用戶,大多是一些基礎(chǔ)研究的科目;其次工業(yè)企業(yè)、設(shè)計(jì)院的用戶,所從事項(xiàng)目與我國(guó)主要工業(yè)領(lǐng)域密切相關(guān);也有一些政府部門的用戶。
高性能計(jì)算的研究所、計(jì)算中心和用戶普遍反映,目前國(guó)家需要增加對(duì)高性能計(jì)算的投入。目前中國(guó)科學(xué)院的數(shù)十位知名院士正在呼吁國(guó)家要重視高性能計(jì)算,在科學(xué)計(jì)算、高性能計(jì)算機(jī)系統(tǒng)和科學(xué)計(jì)算應(yīng)用軟件上要進(jìn)行專門規(guī)劃和投資。
起跑前的準(zhǔn)備
高性能計(jì)算我們才剛剛開始。集群的出現(xiàn)雖然降低了高性能計(jì)算的門檻,但是無論是系統(tǒng)架構(gòu)的研究上,還是在并行軟件的開發(fā)上,國(guó)內(nèi)都還存在著很大的差距。這種差距不僅體現(xiàn)在技術(shù)上,同樣體現(xiàn)在認(rèn)識(shí)上。以深圳蜆殼公司的超級(jí)刀片計(jì)算機(jī)為例,該公司的創(chuàng)始人陳世卿博士,曾經(jīng)是Cray公司的首席設(shè)計(jì)師和資深副總裁,美國(guó)國(guó)家工程院的院士,美國(guó)《時(shí)代》雜志的封面人物,是業(yè)內(nèi)共認(rèn)的“超級(jí)巨星”。2002年陳世卿博士將其專利技術(shù)和知識(shí)產(chǎn)權(quán)轉(zhuǎn)移到中國(guó)內(nèi)陸,在深圳推出了新的超級(jí)刀片計(jì)算機(jī)系統(tǒng),但是國(guó)內(nèi)用戶對(duì)此缺乏關(guān)注和了解。類似的國(guó)家并行機(jī)工程中心推出了InfiniBand交換機(jī),但是在目前國(guó)內(nèi)的集群系統(tǒng)中,少有采用。
基于這樣的現(xiàn)實(shí)狀況,一方面需要蜆殼等新興力量加大市場(chǎng)的投入,另外一方面,那些具有實(shí)力的老牌計(jì)算機(jī)也應(yīng)該居安思危,不斷加強(qiáng)研發(fā),爭(zhēng)取有所突破才行。在采訪中,很多專家都希望能讓大眾了解到集群系統(tǒng)不是高性能計(jì)算機(jī)的全部,呼吁廠商千萬不要誤導(dǎo)大眾。否則這對(duì)于國(guó)內(nèi)高性能計(jì)算的市場(chǎng)發(fā)展非常不利,因?yàn)榧簱尾黄鹑刻炜眨?div style="height:15px;">
船舶水動(dòng)力特性的數(shù)值模擬:該項(xiàng)目主要研究受黏性和自由表面影響的水面艦船體、支架及螺旋槳相互干擾的CFD方法,其精度能滿足多方案船體/螺旋槳匹配品質(zhì)的定性比較。 某轎車空調(diào)系統(tǒng)流量分配計(jì)算:某車型在改進(jìn)設(shè)計(jì)中需在乘員艙后部加裝空調(diào)出風(fēng)口,在超級(jí)計(jì)算快速、經(jīng)濟(jì)地評(píng)定了不同設(shè)計(jì)方案下,其車廂溫度的舒適狀況極佳。 飛行器優(yōu)化設(shè)計(jì):基于模糊遺傳算法的飛行器氣動(dòng)性能綜合優(yōu)化設(shè)計(jì)方法研究。 飛行器空氣動(dòng)力學(xué)設(shè)計(jì)分析:本項(xiàng)目集合了上海超級(jí)計(jì)算中心和上海交通大學(xué)工程力學(xué)系在神威-I超級(jí)計(jì)算機(jī)上共同完成了具有自主知識(shí)產(chǎn)權(quán)高性能CFD程序的移植和改造。 汽車碰撞與沖壓成型仿真系統(tǒng)并行化及工程應(yīng)用:在汽車碰撞與沖壓成型仿真理論與算法方面,采用了多項(xiàng)獨(dú)創(chuàng)的仿真算法。 金屬及修飾金屬表面多相催化研究:利用超級(jí)計(jì)算機(jī)對(duì)銀及其修飾金屬催化劑表面的催化反應(yīng)過程實(shí)現(xiàn)模擬。 紅外光電子材料的第一性原理設(shè)計(jì):主要研究紅外光電子器件材料中的缺陷、雜質(zhì)和沉積的量子特征體系對(duì)電子結(jié)構(gòu)、聲子結(jié)構(gòu)和電導(dǎo)等物理性質(zhì)的影響。 汽車安全事故虛擬再現(xiàn):利用有限元分析方法對(duì)汽車碰撞安全性進(jìn)行研究,實(shí)現(xiàn)安全事故虛擬再現(xiàn)。 汽車碰撞過程模擬:將基于大規(guī)模并行計(jì)算機(jī)和并行商業(yè)汽車碰撞軟件的計(jì)算資源提供給用戶,用于碰撞模擬。 復(fù)雜介質(zhì)中地震波傳播數(shù)值模擬研究:研究地震波在地下各種復(fù)雜介質(zhì)中的傳播規(guī)律,應(yīng)用于地球內(nèi)部結(jié)構(gòu)研究、工業(yè)油氣勘探和開發(fā)。 外環(huán)線隧道抗震測(cè)評(píng):全三維、接觸、非線性的特大型土木工程的三維抗震模擬。 中尺度數(shù)值天氣預(yù)報(bào):建立了四重嵌套網(wǎng)格結(jié)構(gòu)的中尺度數(shù)值天氣預(yù)報(bào)系統(tǒng),最高水平分辨率達(dá)到3公里。 特大型工程地震安全性評(píng)價(jià):針對(duì)特大型工程地震安全性評(píng)價(jià)的要求,設(shè)計(jì)并行算法,開發(fā)并行軟件。 飛行器大迎角氣動(dòng)計(jì)算研究:經(jīng)過大量的大規(guī)模計(jì)算分析,得到了更加接近實(shí)驗(yàn)的結(jié)果。