在本章節(jié)，筆者將會較大篇幅向讀者剖析各種技術應用，拋出問題，講解國內和國外Colo機房用的產(chǎn)品技術和解決方案進行橫向比較，比較對象含傳統(tǒng)機房，國內微模塊方案等。筆者較為認同的原則是，首先必須技術可行，能用，這是基本點。至于在滿足商業(yè)目標和價值下，技術上追求解決同樣問題，大規(guī)模、高效率、低成本，可復制的4個原則。

國外UPS應用有不少市場特點，從使用量來說主要還是塔式UPS，這點跟國內一樣。在塔式UPS應用層面，唯一不同點是Colo為了盡量采用低壓發(fā)電機，通常會把塔式UPS并機數(shù)量剛好控制在2~4臺。筆者調查過近百個國外大型數(shù)據(jù)中心，只有極少會超過5臺UPS并機。國外Colo公司對并機數(shù)量通常不希望多于4臺。雖然不少UPS廠商的技術宣稱可以做到8臺UPS，Colo公司會根據(jù)自身經(jīng)驗，故障數(shù)據(jù)，成本結構，運營難易度等總結出最佳模型。下面列舉一些組合匹配表，包括UPS并機數(shù)量和變壓器，配電系統(tǒng)的匹配供參考。

第一種單獨配電給IT，這種方式比較容易理解。這種設計通常被用于批發(fā)和零售。第二種，在一組變壓器下，完整獨立的機電系統(tǒng)和IT系統(tǒng)，這種方式尤其適合做PBB模式，如下圖所示：

圖21  典型PBB模式電力容量分配

當然這種設計也可以做4臺400kVA的UPS并機，具體看制冷系統(tǒng)負荷計算。

對于中大型客戶，可以考慮第三種DR分布式冗余系統(tǒng)，如下圖所示：

圖22  DR分布式冗余電力系統(tǒng)

這種系統(tǒng)對比8~10MVA的大型機電系統(tǒng)共享設計而言，主要有3個好處：

• 對于Colo公司來說，初步投資不需要一次性投入過多冷凍站等設備，整個財務模型更加靈活。

• 大型機電系統(tǒng)在初始負載率較低情況下，數(shù)據(jù)中心PUE效率往往會較低，如果按照租電分離計費模式，Colo公司成本競爭力和利潤將會削弱。

• 大型機電系統(tǒng)極有可能共享制冷系統(tǒng)的冷凍站，租戶在測試驗收階段由于有其他用戶一同使用，基本上難以進行各種故障模擬。

通過上面表格以及拓撲圖對比可以發(fā)現(xiàn)，實際上，模塊化IDC設計里面對于配電系統(tǒng)架構，UPS容量選型，投資和成本模型，都有很多最佳匹配模型。國內動輒建設10~15MVA超大容量的IDC，筆者認為從資金成本模型，出租模式，計費模型里面并不劃算。國外Colo建設IDC時候，有技術、財務、市場銷售共同參與，力求做最佳權衡。在這方面，國內同行實踐上仍然差距巨大。

上面匹配表格中會發(fā)現(xiàn)，國外Colo機房設計塔式UPS是基于這些容量匹配的最佳實踐。國外使用較多的模塊化UPS，基本每個模塊都做得很大，例如200kVA一個模塊，內部6~7個模塊并機，最后對應容量匹配塔式UPS并機容量。而采用25/30/40kVA的模塊，需要多套模塊化UPS并機。對于Colo公司做批發(fā)和零售模式而言，租戶看到這么多模塊先內部并機再外部并機，很多時候并不認可其可靠性。更何況租戶考察不止一個數(shù)據(jù)中心，多個數(shù)據(jù)中心橫向一比較發(fā)現(xiàn)如果租金差不多，為什么不選一個技術設計更可靠IDC呢？另一方面，很多Colo公司都不愿意嘗試這些技術設計，為此承擔的宕機風險，在客戶SLA罰則下，可能得不償失。這也是全球市場里面模塊化UPS在大型Colo數(shù)據(jù)中心沒成大規(guī)模的主要原因。當然筆者也見過領先的模塊化UPS制造商能夠在歐美市場有好些大型案例，但整體而言能做到規(guī)?；N售的大型模塊化UPS（MW級別）屈指可數(shù)。

按照海外大部分都是Colo機房情況，客戶看重的根本是可用性，這是能否出租的基本。對租戶而言，可用性是能不能的問題，一票否決，成本是好不好問題，需要綜合權衡。從效率角度，國外塔式UPS可以在25%~45%的帶載率普遍做到94%以上，更好的能接近97%。在這種情況下，模塊化UPS的高效率，幾乎沒有什么優(yōu)勢。有人會認為，單機的模塊化UPS的容量相對少，負載率提升使效率更高。這個看上去并沒有錯，但這個問題是出于設計，并非在于設備技術選擇。在Datahall顆粒度章節(jié)中筆者也有附圖說明。Colo完全可以采用更小容量的塔式UPS做獨立分區(qū)，使得負載率上升從而效率計算上跟模塊化UPS可以一個水平。

筆者認為使用整機小功率模塊化UPS（200~400kVA），僅適合Colo公司需要針對中小型客戶，要么做PBB模式的獨立機電系統(tǒng)，或者一組2N變壓器下，批發(fā)業(yè)務用大功率UPS，小功率模塊化UPS做散戶的零售業(yè)務。當然，從目前整體成本角度，選擇塔式UPS仍有優(yōu)勢。模塊化UPS的容量，技術獨特性較高，對于大型Colo公司都不愿意被某個廠商技術和供應鏈捆綁，希望可以同類產(chǎn)品橫向比較，根據(jù)服務，價格，供應鏈擇優(yōu)選擇。設想一下，一臺100kW的模塊化UPS，最大可以250kW，如果是批發(fā)業(yè)務，有大租戶需要400kW，要求8周交付電力、制冷、機架空間資源（這個是全球大部分Colo數(shù)據(jù)中心交付速度要求）。如果真要做到按需擴容，從采購到技術交付鏈條角度，起碼分別要做以下幾個工作：

• 采購300kW（400kW-100kW）容量UPS模塊，同時多購買一套250KW模塊化UPS框架，相應后備電池；

• 采購~400kW散熱的制冷空調設備；

• 采購新的列頭配電柜，機架，機架PDU；

• 安裝所有制冷、電力、機架等設備，并且上電調試通過。

• 新增設備信息集成到BMS監(jiān)控系統(tǒng)；

在租戶下單期間，要完成至少上面5個內容工作，從采購，設備生產(chǎn)/調貨，現(xiàn)場施工，調試，軟件集成。Colo公司在采購流程上，通常半個月到1個月不等內部流程，然后供應商有訂單后備貨生產(chǎn)，即使有貨也要調貨安排，把生產(chǎn)，物流，安裝，集成調試方方面面算起來，隨需而增只是美好愿望罷了，操作層面并不現(xiàn)實。別忘記，如果Colo公司承諾對應時間內交付，一旦延期交付會遭受租金罰款。另一方面，潛在租戶看到如果現(xiàn)場還沒有UPS，也沒有電池，也沒有空調等，Colo公司還需要重新購買的，多半心里覺得不靠譜而否定了這個機房。畢竟租戶自身企業(yè)內部也有交付時間壓力，其技術人員也向公司內部承諾了交付時間計劃。Colo機房如果連出租機會都沒有，討論按需擴容，高效率運行又有何意義？筆者見過很多用模塊化UPS的Colo機房都是會多采購好些模塊，模塊化UPS能夠運行在更高負載率在現(xiàn)實應用中也并非如此。在第三章筆者引用了DRT數(shù)據(jù)中心，里面就是先把整個房間的所有機電設施準備好，等著客戶“拎包入住”，所謂TKF模式。所以回過頭來，很多問題不能就技術而論，要把技術應用和商業(yè)價值結合一起分析。

國內的微模塊形式，把UPS/高壓直流放到Datahall里面，這個在國外Colo機房難以適用。首先，Colo公司面對金融類租戶，或者其他對安防要求高的租戶，租戶不希望Datahall里面有UPS，天曉得哪天UPS故障是否有火災，或者爆炸影響旁邊IT設備。而如果要把電池放Datahall里面，會存在很大風險，可能連消防規(guī)范都不滿足。微模塊形式中，還有一個被稱為好處的按需擴容，就是預留微模塊位置，根據(jù)需求安裝。實際上對于Colo機房，如果在一個Datahall里面已經(jīng)有租客的設備在運行，需要在線擴容。微模塊施工有空調，UPS，電池，機架，通道密閉，電纜，管道安裝，這些機電施工人員經(jīng)常進出機房，施工過程對現(xiàn)有租戶都是各種未知風險。就如幾個人合租房，如果房東突然要在合租期間，把客廳一側進行裝修，耗時一兩周，相信房客肯定無法接受。有人說可以把房間間隔更小，以房間為單位進行微模塊擴容，這是個解決辦法。但既然分割小房間，傳統(tǒng)做法不也可以跟微模塊一樣能做到隨需擴容么？

另外，國內互聯(lián)網(wǎng)公司習慣采用的240V高壓直流，海外基本無法落地。拋開設備出口資質，電氣安規(guī)認證問題，高壓直流對于一個服務年限10~15年IDC，對絕大部分租戶適配性非常差，憑什么要求所有潛在租客的設備都支持高壓直流？要使用這類技術，就必須做PBB的模式，一旦大型租戶撤租后，使用高壓直流數(shù)據(jù)中心基本上無法尋找合適租戶。最后變成Colo公司把高壓直流系統(tǒng)成本全部攤到租賃托管合同期租金內，同時規(guī)定相應合同期內退租后承擔罰款，彌補初始成本投入。Colo公司還承擔把高壓直流系統(tǒng)改造成交流UPS和交流配電柜，額外承擔時間成本，對在線租戶風險，這些都可能計算入罰款或者合同租金。最后，租戶原本希望定制高壓直流降租賃成本，但發(fā)現(xiàn)成本未必便宜，而且國外Colo公司多半不答應。反過來，選擇交流UPS由于其適用性，設備折舊成本核算會更加合理。

同樣的，飛輪UPS系統(tǒng)在歐洲、亞太地區(qū)有不少案例，通常都是大型Colo機房。除了少數(shù)地方例如俄羅斯可以多路市電進線做成飛輪UPS的DR分布式冗余系統(tǒng)外，其他大部分都是多臺飛輪UPS并機雙母線供電做法。下圖為常用飛輪UPS拓撲圖設計：

圖23  飛輪UPS電力系統(tǒng)

在這種設計上，可以把冷凍站單獨用發(fā)電機設計，不通過飛輪UPS集中供電，降級到Tier3的設計可以省成本。讀者需要關注的是，飛輪UPS初期投入成本較高，從資金成本角度也許不劃算，對要求PBB模式的獨立機電系統(tǒng)從電力架構上較難滿足。筆者也和使用飛輪UPS技術的新加坡某大型Colo公司做過簡單技術溝通，他們認為如果按正常租賃托管速度和業(yè)務定位發(fā)展，飛輪UPS設計可以在10年TCO成本折算到每年后會比較便宜。筆者覺得這種說法，未必對，也未必錯，難以考證，畢竟Colo公司是幾乎不可能分享自身成本模型。對租戶來說，只要看對應計費模式下總成本進行比較就行。

在全球范圍內，房間級制冷仍然是占據(jù)絕大部分份額的主流應用。國內很多人認為房間級空調在解決高密度，能效上并沒有列間空調等較小容量空調好。而事實上國外房間級空調有大量成熟應用和解決方案。通常國外Colo機房都使用精密空調高架地板下送風方式。下圖是歐洲某IDC的Datahall圖，圖中深藍色是精密空調，白色是列頭配電柜。

圖24  Datahall的下送風精密空調

為了更好保證氣流均衡一致性，無論精密空調制造商，咨詢設計院都建議高架地板很高，歐美通常設計都有1000mm高度（800-1200mm）。而布線橋架通常離高架地板表面2500mm高度，這樣即使有48~52U機架時候，布線橋架離機架頂部仍然有100mm以上距離，最后加上精密空調回風高度粱下1500mm以上，整個樓層粱下凈高起碼需要1000（地板下送風） 2000（精密空調） 1500（回風和管線、橋架） 300（梁）=4800mm。為了解決高密度，Colo機房多數(shù)采用分散高密度負載或增加氣流管理設備。國外使用冷通道密閉支持8~12kW的機架功率密度的案例很多，如果碰到更大的功率密度如15~20kW，Colo公司會使用地板EC風機和冷通道密閉進行強送風或者煙囪機架排風做法。

圖25  煙囪機架

圖26  送風地板

這類氣流增強設備可以通過列頭柜的UPS供電做可持續(xù)制冷，即使在斷電，制冷設備故障時候，仍然滿足設備風量要求，從而確保SLA協(xié)定。對于Colo公司來說，無論強送風還是強排風，這兩種方案都能解決問題。而強送風的適用性更廣，原因在于強排風做法在結構上需要和機架緊密配合，通常為同一供應商。如果租戶自帶機架，或者強排風設備和機架結構不匹配，就難以適用。相反，地板風機設備物理結構尺寸上和普通高架地板一樣，不會出現(xiàn)結構不兼容問題。另一種是Colo機房不安裝通道密閉，把高密度機架進行分散負載處理，即高密度機架附近的機架位置空出來，畢竟一個Datahall的電力制冷容量一定，空一些機架位置用于高密度機架并無問題。對于Colo公司而言，其實高密度制冷通常不是個問題，最怕反而是用戶低密度，導致有Datahall電力和制冷余量不少卻空間不足，無法再租給其他客戶而白白浪費。這也是為什么國外開始流行密度模塊化的矩陣式機電架構設計重要原因。高密度分散負載的做法如下圖所示：

圖27  功率密度分布案例

筆者前面提到，國外colo機房很多都不做通道密閉。從技術上似乎不合理，背后的商業(yè)邏輯其實很合理。例如上圖看，藍色方框內的機架是租戶A，紅色方框內機架是租戶B，綠色方框內機架是租戶C，三個租戶的機架尺寸，品牌都不是統(tǒng)一，從技術上做通道密閉，就需要定制結構部件，成本和難度增加。如果租戶A，B，C租期都不一樣，任意租戶就撤租而新租戶設備上架都使得現(xiàn)有通道密閉難以適應。如果，現(xiàn)在B和C租戶都已經(jīng)上架且沒有用通道密閉，租戶A想要通道密閉，并且接受Colo公司提出一次性通道密閉成本投入。問題是，通道密閉要做多大呢？是否把B和C租戶機架都包括進來，但這樣一來整體成本也會變高，B和C租戶又不愿意承擔費用，A租戶也不愿意承擔額外成本，最后造成無法執(zhí)行。同樣的是，做通道密閉與否，Colo公司都一樣確保環(huán)境溫度SLA，即使通道密閉節(jié)能，但整個房間制冷環(huán)境都是共享的，節(jié)能的效果如何只讓租戶A受益呢？結果顯而易見，通道密閉對于多種機架，機架尺寸經(jīng)常變化的Colo并不合適。不要說通道密閉不適合，很多時候機架內的盲板也未必裝好。因為一旦機架出租，包括機架和里面設備會定義為租戶管轄范圍，裝不裝盲板，就算Colo公司建議用戶安裝，租戶要是不裝也沒辦法。

當然如果是PBB的批發(fā)模式，或者零售模式下Colo公司提前購買所有機架和做好通道密閉，基本不接受租戶自帶機架設備，這又是另外一回事。就如模塊化ups一樣，很多時候不是技術問題，是商業(yè)問題。

對于有租戶需要部署高密度機架，不少國外大型IDC會提供CFD的仿真模擬，租戶是否需要額外的氣流管理設備。特別地，為了保障溫度SLA以及對精密空調節(jié)能，歐美數(shù)據(jù)中心會做EC風機壓差控制，確保送風量足夠，實現(xiàn)和負載風量的動態(tài)匹配。壓差控制做法通常有兩種模式：

• 如果不能用通道密閉時，優(yōu)先使用高架地板內外壓力差；

圖28  高架地板內外壓差控制示例

• 如果可以采用通道密閉時，優(yōu)先使用通道密閉內外壓力差；

圖29  通道密閉內外壓差示例

說完國外，回頭看看國內情況。國內Colo機房超過800mm的高架地板高度并不多，國內Colo機房在散租客戶（低密度為主）也通常不做通道密閉，批發(fā)大客戶，多數(shù)會做通道密閉。對于高密度機架，坦白說除了幾大互聯(lián)網(wǎng)公司，以及個別客戶高密度設備，總體來說用戶群體比較少。在技術層面上，國內使用地板風機方案非常少，取而代之會使用列間空調方案。從筆者來看，列間空調和精密空調都是本質上并無區(qū)別。以大型Colo機房常用的冷凍水空調來說，都是盤管和風機，機房的SLA規(guī)定是冷通道溫度范圍以及其測量方法。對于空調而言只要把足夠風量且溫度合適的風送給冷通道到服務器就行了，高密度和低密度無非是風量需求大小差別，跟列間空調還是和精密空調抑或其他空調并沒關系。拋開廠家宣傳列間空調都是緊靠熱源效率高問題，單從解決方案上，精密空調每kW造價成本是列間空調的一半不到。目前最大的精密空調根據(jù)設備制造商宣傳彩頁工況達到200kW以上，而300mm寬列間空調只有25~30kW，一臺精密空調抵得上6~7臺300mm寬列間空調。加上安裝成本，運營成本，管路成本，監(jiān)測點位成本，列間空調解決方案成本會高不少。筆者不想在此深入討論精密空調和列間空調能耗誰高誰低問題，筆者看到的很多案例可以證明無論投資成本，電力運行成本，大型空調無論精密空調或者AHU空氣處理器，大風機、大冷凍水盤管的設計從系統(tǒng)上會更優(yōu)。

剛才提到成本問題，列間空調目前在全球范圍都是小規(guī)模應用，成本是一個重要硬傷?？梢栽O想，如果Colo機房設計都用列間空調，其建設成本跟其他公司相比都更高，成本高了自然租金就高，要么目標租戶對成本不敏感，否則大部分情況下，成本不占優(yōu)勢，技術并不見得明顯有差異，SLA也一樣，作為租戶為什么不選便宜的呢？

再者，列間空調對Colo機房也并不合適，剛才提到的200kW精密空調，對應6~7臺300mm寬列間空調。對于一個房間1000kW熱量，本來只需要6臺（5 1）200kW精密空調，現(xiàn)在需要40多臺列間空調（考慮冗余）。是安裝調試40多臺列間空調快，還是6臺空調呢？運營管理角度這么多小空調，也意味更多人時投入，人力成本時間成本更高。當然有人說，列間空調可以不需要高架地板，省成本。這有一定道理，但同樣不適合Colo機房，原因在于這種情況對于冷凍水系統(tǒng)，只能上走管，如下圖：

圖30  列間空調上走管示意圖

首先通常使用的CDU，本身就是個單點故障，按照Tier3設計則需要把兩個CDU管路相連成環(huán)路。而目前仍較多采用CDU設計在于取消CDU后，非常多的列間空調末端如何保證水流量平衡是個挑戰(zhàn)。在末端管路路由上，即使把冷凍水管避開機架上空，沒有高架地板的設計意味著機架上方至少有電氣橋架，網(wǎng)絡橋架，消防管，水管，很多如政府、金融等租戶在選擇IDC時候都對漏水風險有所顧慮。除非當?shù)厥袌隹蛻艉芏嘟邮苌献吖埽聦嵣瞎P者看過絕大多數(shù)使用列間空調方案仍然采用下走管方式，畢竟出問題不滿足SLA面臨租金損失和罰款，破壞客戶ICT設備還將面臨整個事件惡劣性使得后續(xù)市場口碑，用戶印象極難扭轉。在互聯(lián)網(wǎng)時代，這些惡性事件很容易病毒式在用戶群體內傳播，這風險損失和投資收益顯而易見。所以大多數(shù)使用列間空調方案仍然使用下走管方式，如下圖所示：

圖31  列間空調下走管示例

國內的微模塊應用也有使用鋼結構底座架高進行下走管而不用高架地板的方案，這種方案面向Colo機房大部分租戶并不合適。類似于通道密閉問題，鋼結構底座本身就是一個結構件強耦合設備，租戶機架設備結構不標準，底座就無法適配。即使尺寸適配，需要把設備（高端存儲，高端交換機這些整套設備）抬高到底座上就有較大技術風險。大多數(shù)情況下使用列間空調制冷的Datahall里面可放置機架的數(shù)量沒有精密空調方案多。對于零售模式，散租低密度，很可能就會出現(xiàn)有多余電力，制冷容量，就是沒有多余空間出租，這些損失都是生意的機會。高架地板目前為止依然成為經(jīng)典設計，有幾個主要原因：

• 高架地板下是冷量池，頗有點IT設備資源池概念，然后通過調整通風地板位置，通風面積等應對不同密度租戶；

• 電力線纜在高架地板下時，任何施工都在地板下，顯著降低對在線租戶影響和風險；網(wǎng)絡布線在機架上方，但網(wǎng)絡布線不像電力線纜布線時施工產(chǎn)生風險大。

• 使用精密空調方案時候，高架地板氣流方式仍然具有很大優(yōu)勢。

列間空調宣傳時候，也提及很重要一點是對樓宇層高要求低。對于自建數(shù)據(jù)中心，實在沒有更好層高選址，列間空調是個合適的解決方案。但如果用戶考慮到底花更大成本自建，還是使用Colo租賃托管服務時，答案就變得很簡單。為什么不選擇一個層高更好的Colo機房去托管而去找個層高低的自建呢？再者，層高問題，精密空調也有解決方案，筆者在亞太區(qū)，就見過一個十幾兆瓦IDC，粱下層高只有2.7m，要解決大部分12kW的高密度機架，使用就是精密空調上送風方案，如下圖所示：

圖32   某亞太區(qū)IDC制冷氣流組織方式

筆者也見過國外有些Colo機房，使用85%面積的5kW機架密度機房，預留15%可以用于專門高密度使用列間空調，當然在租金價格上差異化收費，高密度區(qū)由于成本貴租金自然更貴。同一個問題可以有多種解決方案，哪個適合，哪個更體現(xiàn)商業(yè)價值目標是筆者強調的。列間空調有自身市場定位和需求點，但對于大規(guī)模Colo機房建設，從技術和成本上都不是最優(yōu)方案。

同樣的，還有頂置空調盤管，典型方案如下圖所示：

圖33  頂置空調制冷方式

頂置空調方案更多適合自建應用，對于Colo機房來說，有幾個問題比較麻煩，包括：

• 頂部漏水風險，如何讓所有潛在租戶都認為沒有漏水？這個似乎是難以克服心理障礙；

• 頂置盤管在支撐結構件上強耦合，并非所有租戶機架尺寸都能很好匹配；

• 對于沒有風扇純盤管的頂置空調，還需要考慮是否租戶設備風扇壓力足夠克服盤管阻力；各種尺寸不一機架在機房，是難以做到良好密閉。作為Colo機房，也無法要求每一個租戶都把機架封閉得嚴實，畢竟機架內部自主權在租戶，不是Colo公司；

末端制冷技術上也有氟泵系統(tǒng)（使用冷凍水和氟進行熱交換）以及熱管系統(tǒng)。在筆者角度，氟泵方式也好，熱管方式也好，其方案初衷是解決節(jié)能，高密度，無漏水風險問題。就如本節(jié)前面提到的，國外應用上，這些問題房間級空調都有成熟的解決方案，又不會產(chǎn)生行級或機柜級制冷設備漏水風險。至于節(jié)能上，歐美好些數(shù)據(jù)中心通過合理的系統(tǒng)設計和設備選型，系統(tǒng)運行在18℃/24℃冷凍水供回水或更高，冷通道也能維持SLA規(guī)定情況，大部分時間都可以運行自然冷卻模式，其節(jié)能效果比氟泵和熱管都能達到更大收益。如果讀者感興趣可以對類似氣候條件下橫向比較國內那些PUE值優(yōu)秀的數(shù)據(jù)中心，大部分都是通過高水溫運行在自然冷卻模式而達成。

本節(jié)最后，筆者看到國外都往大末端，高水溫，做更精確氣流控制邏輯進行實踐，但國內似乎就喜歡越來越把末端設備往小型化做，從房間級到行級到機柜級別，折騰各種氣流組織方案而少討論系統(tǒng)架構優(yōu)化。筆者查閱了國內近幾年申請的關于數(shù)據(jù)中小制冷方面專利，幾乎都是各種送風末端方案。筆者和朋友曾經(jīng)開過玩笑，數(shù)據(jù)中心制冷專利門檻也夠低的，所謂緊靠熱源制冷，對著一個機柜，上、下、前、后、左、右做6種空調方案，再做一些修改，就能湊出十幾種專利出來。各種技術方案都有其合適的應用場景和實現(xiàn)商業(yè)價值，谷歌數(shù)據(jù)中心制冷方案放到Colo就未必合適，也未必合適其他大型互聯(lián)網(wǎng)公司。同樣地，本文討論的是能夠適用于大部分客戶應用，具有規(guī)模市場普適性的Colo機房制冷方案。筆者視角并未發(fā)散到其他商業(yè)目的和因素，例如提及IDC造價成本高，租金通常會高，對于Colo公司來說，僅從成本方面討論IDC定價，盈利問題至少是不充分的。IDC企業(yè)還可以通過資本市場操作獲取其他效益和好處，所以如果有讀者認為，用很貴制冷方案IDC租金也不見得貴，筆者認為都很正常。但這些盈利模式和市場操作并非本文的討論范疇，筆者在此也點到即止。

在國外，有些對成本敏感客戶，或者Colo公司想租給更多散租用戶的，通常會使用多格的機架。但現(xiàn)在基本只有老舊機房還看到，新機房已經(jīng)很少了。這個并非什么高深技術，把1個機架分開上下出租而隔開。為了提供更好的私密性，還可以對機架開門的機械鎖換成HID電子門鎖。進一步，還可以在機架上方加裝攝像頭，攝像頭和開門聯(lián)動，只要打開門，就可以觸發(fā)攝像條件。這幾個可以從下圖看明白。

圖34  各種機架解決方案

同樣，曾經(jīng)較早年算得上“創(chuàng)新”機架頂部上走線，在國內近幾年借助微模塊也有不少廠家宣傳。機架頂部上走線往往分為強電和弱電兩個不同的線槽，例如下圖為典型微模塊對應機架上走線：

圖35  典型微模塊的機架頂部上走線槽

筆者多次提及，Colo機房不少客戶是自帶機架，或者設備尺寸不統(tǒng)一，這種和機架結構強耦合的上走線橋架設計就難以使用。筆者在相關結構件設計有一定經(jīng)驗，得出一個重要結論是，結構件的TCO，除了成本外，opex就是簡單和靈活改動，本身結構件是不省電的。而在簡單和靈活上，只要結構強耦合的，基本上很難成為一個通用的優(yōu)異設計。結構件往往被人忽視，甚至現(xiàn)場不容易發(fā)現(xiàn)問題，但一旦出問題往往后果很嚴重。這也是筆者并不認同微模塊底座，機架自帶上走線線槽等設計的原因。

在國外，筆者所見絕大多數(shù)都習慣高架地板下走電纜，而網(wǎng)絡線纜采用上走線。為了更好理解到底為什么有高架地板，為什么有上走線，下走線，解決什么問題，筆者把機架網(wǎng)絡線纜采用上走線橋架如下圖所示：

圖36   網(wǎng)絡上走線圖，電纜下走線做法

圖37  網(wǎng)絡下走線圖

曾經(jīng)一段時間，國外也有采用網(wǎng)絡線纜下走線方式，但最終還是演進到上走線，我們比較上面網(wǎng)絡上走線和下走線做法，施工方式可以看出。網(wǎng)絡設備由于組網(wǎng)架構，帶寬要求，所用的線纜種類都有所不同。與電力線纜不一樣，在Colo機房里面，網(wǎng)絡布線出現(xiàn)變更的機會更大。地板下走線做法，筆者認為最大問題在于不容易管理和變更。上面圖可以看出，一旦有大量布線工作，技術人員需要長時間打開多個高架地板，在下方做布線工作。而這時機房其他租戶可能因為漏風問題導致其他地方送風不均，冷量供應不均勻。SLA這個嚴苛大棒無時無刻在揮舞，大量地板打開導致冷量浪費和分配不均，存在違背SLA的風險，所以慢慢大部分公司把網(wǎng)絡線纜改做上走線。而電力電纜下走線，一般都是通過固定在橋架上的工業(yè)連接器方式，如下圖所示：

圖38   電力線纜下走線圖

對于機架的電力線纜布線，筆者認為無論高架地板下走線或者上走線都并無太大差異。上走線需要在橋架距離上注意電磁干擾和符合電氣規(guī)范設計。國外Colo機房大部分電力下走線還是歷史和習慣原因居多，就如房子裝修到底水管和電線穿管怎么做，不同地方不同做法。

除了電纜上走線外，國外還有使用小電流母線（400A及以下），相比之下國內仍然難以成規(guī)模應用。很多人看法第一感覺是小電流母線成本太高。筆者也認同成本是很重要一方面，但還有其他方面。

圖39  電流母線上走線示例

筆者以上圖為典型例子，為什么母線上只有總開關，沒有其他輸出開關插接箱等？原因是Colo機房還沒有客戶時候，使用母線可以有效減少初期投資成本，而且母線插接箱安裝靈活。使用傳統(tǒng)配電柜，只有總開關，下面不配/少配微斷不也一樣？確實傳統(tǒng)配電柜在配電層面并無本質區(qū)別。但母線的方式，在施工，安裝，變更上會更快，尤其對零售模式客戶，短租，少量機架時候，這類方案往往有很大靈活性。對于長租的，批發(fā)模式，其實配電柜方案一樣滿足功能，而且成本上更有優(yōu)勢。同時，針對不同的計費模型，母線供應商還進一步拓展自身技術競爭力，推出帶有計量功能的插接箱，如下圖所示：

圖40  母線監(jiān)測管理方案

這些功能在列頭柜和BMS上也可以實現(xiàn)，但很重要的是，母線方案提供差異化的電能管理功能，分別滿足需要租電分離計費模式和包電包租計費模式的客戶。進一步地，上面右圖的母線，還可以采用網(wǎng)頁方式，云賬號遠程提供用戶訪問，查看機架實時功耗水平等。這些高度靈活和專注客戶需求的方案，列頭柜單產(chǎn)品難以滿足。

母線還有一個明顯好處是支持開關到線纜的熱插拔。國外Colo公司通過熱插拔的功能，支持不同功率密度機架上架，同時保證其他租戶的SLA。而使用傳統(tǒng)配電柜做法，一般只能使用梳狀母排配熱插拔開關，但是開關出線帶電連接會有較大風險。國外Colo公司在SLA定義上，對供電可靠性的5個9是基于雙路供電，而單路供電往往只有4個9。筆者和國外領先的母線制造廠商國外人員溝通時，總結兩個關鍵結論：一是國內人力成本相對低，列頭柜和線纜方案仍然很大成本競爭力；二是母線有優(yōu)勢的應用場景需要商業(yè)模式和計費模式依賴，國內和國外相比仍有較大距離。

通過上面總結幾種電力和網(wǎng)絡走線方式，大家會發(fā)現(xiàn)，高架地板其實并非有明顯優(yōu)勢。如果取消高架地板，所有電力和網(wǎng)絡線纜上走線也可以，美國有好些數(shù)據(jù)中心已經(jīng)是如此設計了，例如Sabey、SuperNap等。取消高架地板的問題，更多需要整個行業(yè)的理念變化和供應鏈匹配，成本模型優(yōu)化。理念變化，就如面試銷售人員時候，應聘者穿著休閑，面試官往往第一感覺就不好。在租戶角度，這種以貌取人的生活場景，在Colo數(shù)據(jù)中心也一樣。例如別的數(shù)據(jù)中心都有高架地板，設計都很一致，容易橫向比較，突然有個“異類”設計，有些傳統(tǒng)觀念的租賃客戶就難以接受。緊接著，潛在租戶會考慮，這種無高架地板的數(shù)據(jù)中心，用的客戶多么？如果發(fā)現(xiàn)數(shù)據(jù)中心并無多少同類租戶案例，心里也會沒底。再看，沒有高架地板，能解決高密度么，能保證SLA么？如果類似國內采用微模塊等列間空調制冷用鋼結構底座而不用高架地板的，初投資成本高好些。租戶就會評估沒有高架地板，租金應該少，如果租金還貴，有什么優(yōu)勢呢？一連串的疑問，在系統(tǒng)設計，產(chǎn)品選型角度都要經(jīng)過Colo公司技術人員，以及潛在租戶的各種技術商業(yè)權衡。高架地板取消也需要產(chǎn)業(yè)鏈相關產(chǎn)品協(xié)同，例如房間級精密空調還是下送風設計為主，氣流設計，通道密閉的結構問題等等都需要解決。

國外Colo機房和國內一樣對機架內部配電都采用rPDU配電條。國外Colo機房為了滿足更多客戶需求，會針對性使用不同功能的rPDU。例如面向需要租電分離計費客戶，客戶還需要遠程可以查看自身機架實時功耗，帶電流和電能監(jiān)測功能的rPDU就有用武之地。同時rPDU的制造商也明白SLA等情況，在rPDU上增加了額外環(huán)境傳感器的接口，用于監(jiān)測該機架的溫度情況。可以說，那些所謂智能rPDU，已經(jīng)超越純粹配電的概念，這個產(chǎn)品作為解決方案的背后是監(jiān)測環(huán)境SLA，和租戶機架用電計費。如下圖所示：

圖41  機架rPDU配電條功能

進一步地，那些可以監(jiān)測每個插孔供電，還能遠程關閉供電，也是租戶有遠程管理要求所致。國外領先的rPDU廠商已經(jīng)不滿足于硬件上和簡單軟件上的“智能”，為了吸引Colo公司，推出結合rPDU智能功能的DCIM等軟件，使用自家的rPDU，就可以有一套環(huán)境和電力監(jiān)測軟件，可以優(yōu)化容量，也可以使用DCIM進行不同用戶的計費管理等，做到和租戶的信息透明。有興趣的讀者可以參考Raritan力登公司產(chǎn)品就可以了解更多。

對于租電分離模式，計費準確性和rPDU的可用性對于Colo公司以及租戶都是至關重要，畢竟一旦監(jiān)測元件故障，很可能計費就中斷（可以想象家里電表計費失敗，多算或少算的后果）。為此rPDU廠商也對自身產(chǎn)品質量和可用性做了大量的工作。例如，大多數(shù)rPDU的電流互感器測量精度有2%左右誤差，領先的rPDU制造商使用更優(yōu)質電流互感器可以控制在1%之內確保計費準確。針對一些高密度應用，熱通道溫度有可能很高（超過45℃），通過更優(yōu)異性能的rPDU內部元件和結構件防止高溫情況下?lián)p壞等。對比國外，就拿租電分離計費模式來說，國內有多少數(shù)據(jù)中心可以從硬件到軟件技術上都實現(xiàn)功能？可以做到與客戶之間信息透明嘛？有自動化的軟件可以管理這些數(shù)據(jù)嗎？

業(yè)界對預制化模塊的分類和相關技術，可以參考施耐德白皮書：

http://www.apcmedia.com/salestools/WTOL-97GLP9/WTOL-97GLP9_R0_CH.pdf?sdirect=true

筆者認為，IT模塊并不合適Colo數(shù)據(jù)中心，而機電模塊是可以考慮。IT模塊的問題在于網(wǎng)絡，服務器等設備經(jīng)常需要變更，變更包括布線方式，機架尺寸，高密度配電和制冷，以及整機架設備上架，以及Cage隔籠。目前而言做成集裝箱形式的IT模塊，由于尺寸限制和結構設計，難以兼容上面提到的變更要求。集裝箱等結構上限制，對于高密度機架（52~54U），整機架部署，高密度散熱，做鋼籠分離等都非常難適配。同時集裝箱空間狹窄，機電設備運營也是一大難題。預制化模塊從形式上的移動性，對于Colo來說并無意義。

筆者看過相對成熟的預制化模塊化數(shù)據(jù)中心，做得比較好的要算是Bladeroom了。但是仔細研究其設計，會發(fā)現(xiàn)Bladeroom其實更多是把建筑拆散做成模塊，做完后從布局和空間上和水泥建筑無太大差異，其模塊尺寸也比集裝箱尺寸要大不少。筆者參觀過Bladeroom在南非的數(shù)據(jù)中心，從內部、外部看都看不出是模塊化建設。另外這種預制化模塊的數(shù)據(jù)中心，往往需要額外的建筑進行配套。因為一個Colo數(shù)據(jù)中心不僅僅只有機電設備和IT區(qū)，還有其他功能區(qū)，例如拆包測試間，機電工程師運維房間，運營商接入室，倉庫，會議室，茶歇室，洗手間，淋浴室，休息室等。對于集裝箱形式而言，這些功能區(qū)往往難以滿足。IT區(qū)域基本上做不了標準化，除非生意是服務器主機托管，所有機架和設備配置都比較標準。否則只要做Colo生意，難免碰到各色各樣用戶機架。

其實做不做集裝箱，預制化等對于Colo公司來說并非關鍵。站在商業(yè)角度，最起碼做了之后，租戶談不上喜歡也至少感覺和水泥建筑工程類似。用了這些技術，除了吸引眼球而無法帶來更多經(jīng)濟和市場效益，也不能積累多少未來技術，那又有何意義？

預制化并非去解決模塊化問題，而是去解決快速交付及其質量問題，供應鏈管理。北美領先Colo公司DRT，就把機電系統(tǒng)標準化后，做成機電模塊，方便在北美不同地方交付數(shù)據(jù)中心。所以筆者覺得預制化機電模塊會是一個方向，這并不取決于技術好壞，取決于成本模型，交付速度，施工質量。

全文結語

筆者問過很多人究竟什么原因導致國外技術在國內應用受阻。不少人還歸結于國貨當自強，國外產(chǎn)品水土不服。但筆者并不完全認同這種看法，起碼不是主要原因。國外設備廠商確實有不少不了解中國國情，他們認為增值的解決方案在國內商業(yè)模式下可能并不產(chǎn)生商業(yè)價值。通過上面大量實例比較中外數(shù)據(jù)中心技術應用差異和市場環(huán)境可以看出，一旦運營商網(wǎng)絡中立，互聯(lián)互通，商業(yè)服務和盈利模式改變，國外設備和技術應用就會更加廣泛空間。

做Colo行業(yè)的人會了解到，國際上租賃數(shù)據(jù)中心都需要獲得ISO，SSAE，BSI等權威認證才具備市場競爭力。讀者可以上Equinix官網(wǎng)看看就知道資格認證是Colo租賃機房綜合能力的重要體現(xiàn)。在國內，掌握帶寬，電力，資金渠道，土地等資源比折騰技術，運營和商業(yè)模式更為有效，畢竟中國也是商業(yè)社會。筆者覺得，在Colo數(shù)據(jù)中心流行并發(fā)展的重要階段，國內由于市場環(huán)境因素，服務和商業(yè)模式拖了后腿，底子和積累已經(jīng)難以追趕歐美，或許云計算是下一個契機。模塊化設計和技術或許會圍繞云計算數(shù)據(jù)中心而演進更多，這將會有新一套商業(yè)和技術規(guī)則，大家不妨拭目以待。