★上海寶信軟件股份有限公司程玉寶
1 背景
當前,互聯網數據中心IDC與新型智算中心AIDC集約建設的規(guī)模越來越大,地方政府出臺的建設導則要求新建大型數據中心單項目規(guī)模不低于3000個標準機架,平均單機架IT功率不低于6kW,單個數據中心的IT總功率達到18000kW(即18MW),互聯網客戶的大型應用集群對數據中心IT容量定制化建設需求一般也在單模塊10MW左右,從建筑、電氣、制冷、消防、安防等機電基礎設施模塊化配套建設投資角度考慮,這也是一個比較經濟的建設規(guī)模。
10MW IT設備自身滿載每年運行中就要消耗8760萬度電能,絕大部分會轉換成熱能,如果不能及時把設備的發(fā)熱量轉移出建筑體量約15000平方米的數據中心,熱量累積將會使得數據中心室內環(huán)境溫度不斷升高,以致超出IT設備正常運行允許的溫度范圍。因此數據中心采用風-風換熱、風-水-風換熱、風-液間接換熱乃至將IT設備浸沒在絕緣導熱液中直接換熱手段,通過應用這些傳統(tǒng)或新穎的空調冷卻技術,將機房內設備散發(fā)的熱量轉移出機房,再由設置在機房外的冷卻塔或干冷器放散到大氣環(huán)境中,也可用水盤管形式放散到天然水體中。
盡管液冷技術的應用在迅速發(fā)展中,大型數據中心機房采用冷凍水型的精密空調風冷仍然是主流的冷卻方式。末端精密空調送風機通過送風道為IT設備輸送冷風,與IT設備換熱升溫后的熱風經機房內的回風道循環(huán)吸入精密空調回風口,與空調冷凍水盤管翅片換熱后降溫后的冷風再次被空調風機送至IT設備。空調盤管中的低溫冷凍水與機房熱風交換升溫后,被冷凍水泵吸入轉移到數據中心冷源冷卻后,再返送回機房精密空調,周而復始,一旦投用,將一直運行至合約項目的終止日,因此要求末端精密空調與冷源系統(tǒng)均具有高可用性與高可靠性,還要為低概率的設備故障維修場景配置適量的冗余設備。
冷源系統(tǒng)擔負的任務就是為數據中心內的末端精密空調連續(xù)不斷提供低溫循環(huán)冷凍水,民用建筑供水溫度7℃,回水溫度12℃,節(jié)能型數據中心供水溫度提升至12℃,回水溫度18℃,甚至更高,因為每提升1度水溫約可減少3%的制冷能耗。
根據經驗數據測算,一座10MW級的數據中心模塊峰值時段機房與電氣室內精密空調總熱負荷約13500kW,需要3臺4500kW(約1300冷噸)的冷水機持續(xù)運行產出循環(huán)冷凍水。考慮冗余備用,一般每個10MW數據中心模塊需配置4臺(3+1冗余)1300RT(冷噸)的變頻離心冷水機組,配套4臺變頻冷凍水循環(huán)水泵、4臺變頻冷卻水循環(huán)水泵、4組變頻風機蒸發(fā)式冷卻塔、4臺免費制冷用板式換熱器(以下簡稱板換)、大量的手動隔離蝶閥、用于自動控制的電動開關蝶閥與流量調節(jié)的電動調節(jié)閥,若干流量、水溫、壓力、壓差、空氣濕球溫度傳感器測點,還需要在專業(yè)的冷源BA自動控制系統(tǒng)協(xié)調控制下,才能在長達八至十年的合約服務期內安全平穩(wěn)運轉。
2 項目實施
數據中心行業(yè)內冷源BA自動控制系統(tǒng)大多采用DDC或PLC技術構架,在本案例實施前未見有采用DCS技術構架的報道,綜合技術可靠性、成熟度、設備采購交付期、建設成本以及我們已實施過的PLC與DDC控制系統(tǒng)項目經驗教訓等多方面考量,寶信自動控制技術人員選擇采用DCS技術構架建設一個高可用、節(jié)能型的冷源BA控制系統(tǒng),圖1是數據中心冷源DCS控制系統(tǒng)網絡結構圖。
圖1 數據中心冷源DCS控制系統(tǒng)網絡結構圖
冷水機組在部分負荷下運行效率遠高于滿載下的運行效率,如圖2所示,某型1200RT冷水機滿負荷下的COP能效比為6.956,而在30%-70%部分負荷下COP均高于12,采用全變頻設備,可靈活適應不同上架率下數據中心的實際負荷,通過啟用冗余設備,平分所有負荷,冷源BA控制系統(tǒng)將每一臺運行的冷水機設備均控制運轉在其安全且高效率負荷區(qū)段、水泵與風機設備運行在高效率曲線段,不但可降低數據中心制冷總電耗,變頻低轉速下設備的磨損減少,有利于延長設備機械運轉壽命周期。
圖2 某型1200冷噸冷水機組滿負荷與部分負荷技術參數
水泵、風機類設備的流量與轉速的一次方成正比,它們的軸功率與轉速的三次方成正比,當降低轉速時流量等比例下降,而軸功率卻以轉速比的三次方比例下降,這是風機與泵采用變頻調速節(jié)能的主因,大部分數據中心內負荷都不會滿載,而且還有冗余備用的設備可以征用共同分擔總負荷,為冷機變負荷運行、風機與泵變流量運行節(jié)能創(chuàng)造了有利的條件。
除了利用設備變頻運行節(jié)能外,節(jié)能型數據中心配置了與冷水機組既可并聯,也可串聯運行的板換,通過控制每組冷水機與板換組合連接管路上的八個電動開關蝶閥工作狀態(tài),可以選擇以下三種運行模式:冷水機組獨立運行(夏季電制冷)模式、板換獨立運行(冬季免費制冷)模式、冷水機與板換串聯組合運行(過渡季板換預冷)模式。
板換獨立運行模式啟用的條件是冬季室外大氣濕球溫度低于設定的模式轉換溫度值,冷卻塔循環(huán)冷卻水的出水溫度已持續(xù)低于冷水機設計的冷凍水出水溫度至少2℃(假定板換的換熱溫差值為2℃),此時切換電動開關蝶閥,讓冷卻塔循環(huán)冷卻水出水直接進入板換一次側換熱,待板換二次側循環(huán)冷凍水出水溫度趨近冷水機蒸發(fā)器側出水溫度時,可關閉冷水機,冷源系統(tǒng)低電耗運轉,俗稱冬季冷卻塔-板換免費制冷,是降低數據中心PUE值最有效的手段。
過渡季的節(jié)能方法是通過板換一次側與冷水機冷凝器串聯,板換二次側與冷水機蒸發(fā)器串聯,冷卻塔循環(huán)冷卻水出水先進入板換的一次側,與二次側來自機房精密空調的高溫冷凍循環(huán)水換熱,將冷凍循環(huán)水溫度先降低一部分,再送入冷水機的蒸發(fā)器降至設計的出水溫度值,而板換一次側換熱后升溫的冷卻循環(huán)水仍能滿足冷水機冷凝器循環(huán)冷卻水進水溫度要求。冷水機與板換各自承擔的換熱比例取決于大氣的濕球溫度,濕球溫度越低,冷卻塔循環(huán)冷卻水出水溫度越低,板換承擔的換熱比例越大,冷水機運行電耗越低,節(jié)能越多。
前述三種運行模式在冷源BA控制系統(tǒng)中被互鎖,每次只有一種模式能被激活。當模式之間切換時,如果模式切換不成功,將退回至原模式,確保冷源運行安全。
圖3是數據中心冷源水系統(tǒng)簡化原理框圖,四套冷水機與板換組合,可以大致了解冷水機與板換的管路連接方式與電動開關蝶閥設置的位置,便于理解如何在冷源BA控制系統(tǒng)中編寫切換控制邏輯。圖4是DCS組態(tài)控制畫面上1號冷水機與板換運行狀態(tài)畫面局部截圖。
圖3 數據中心冷源水系統(tǒng)簡化原理框圖
圖4 DCS控制畫面上1號冷水機與板換運行狀態(tài)局部截圖
系統(tǒng)中可以實現冷水機組與水泵、冷卻塔開啟與關閉的順序連鎖控制,冷水機只有在循環(huán)冷卻水與循環(huán)冷凍水及冷卻塔開啟運轉后才能啟動,關閉時順序相反,保護冷水機,防止銅管凍裂爆管。
系統(tǒng)可根據數據中心的實際負荷,按預定的規(guī)則自動加載或減載冷水機運行臺數,使每臺承擔的負荷百分比落入最優(yōu)效率負荷段范圍內,不會因負荷過小而落入易發(fā)生喘振故障的小負荷區(qū)內。冷凍水泵變頻運行除了要滿足冷水機與機房精密空調的水流量要求外,還要保證機房內供回水管路上最不利環(huán)路處的供回水壓差和溫差滿足機房設計要求。
大型數據中心均配有全容量應急備用供電的柴油發(fā)電機組,但從外市電意外停電時刻起,到備用柴發(fā)啟動向數據中心供電,是有數十秒到2分鐘的市電供電間斷,其間冷水機、冷卻泵與冷卻塔會因供電間斷而停止運行,在柴發(fā)供電下重新啟動冷水機到滿載供冷需要幾分鐘時間延遲,這會導致循環(huán)冷凍水升溫與機房內升溫,因此高可用數據中心均需設置冷凍循環(huán)水應急蓄放冷罐,在UPS電源支持下,可實現市電斷電后15分鐘連續(xù)放冷運行,保障數據中心機房供冷連續(xù)不中斷。在供電恢復正常,冷水機組開啟,制冷系統(tǒng)逐步恢復正常供冷后,自動切換應急蓄冷罐為充冷工況,充滿后進入小流量保冷工況。圖3中示出了應急蓄冷罐蓄冷與放冷切換的管路與電動開關蝶閥與電動調節(jié)閥在管路上的設置位置。
此外系統(tǒng)中還設置有設備自動防凍保護功能,在冬季極低氣溫來臨時,自動開啟室外補水箱內的電加熱帶,自動開啟減載停運的冷卻塔水盤內的防凍電加熱器,防止設備凍害事故發(fā)生。
3 項目創(chuàng)新性
該項目首次在國內大型數據中心應用DCS集散控制系統(tǒng)實施數據中心冷源BA控制系統(tǒng),單系統(tǒng)控制的點數接近2500個。
數據中心從建成投運初期低上架率到高上架率接近滿載,有一個較長的負荷增長爬坡期,特別是上架率低的投運初期,冷水機低負載易發(fā)生喘振現象,不利于設備安全,需要重點解決。應對方法是兼用應急蓄放冷罐的周期充放冷邏輯,將蓄冷罐模擬為冷水機負載或循環(huán)冷凍水運行緩沖罐,可解決數據中心投用上架初期低負荷時冷水機安全穩(wěn)定運行的需求,圖5是DCS主控畫面蓄冷罐放冷電動閥狀態(tài)截圖。
在工期緊的條件下如何保障冷源系統(tǒng)工程按期完工交付,也是一個重難點問題。應對方法是工程技術人員做好充分準備,理清冷源運行工藝控制要求和全部控制邏輯、各功能應用的進入與退出時機,梳理清全部信號點表,通過設備出廠前檢驗環(huán)節(jié),爭取DCS控制設備成套盤箱零缺陷出廠。安裝調試中認真仔細打點測試校核,確認來自現場的信號與發(fā)往現場執(zhí)行器的動作命令執(zhí)行無誤后,再進入系統(tǒng)聯調,逐個模擬驗證每一個功能控制邏輯和運行參數的正確性,投運后還需在相應季節(jié)來臨后再進行復核、優(yōu)化。
圖5 DCS控制畫面應急蓄冷罐放冷運行狀態(tài)局部截圖
4 效益分析
該冷源BA系統(tǒng)投運后,不僅滿足高可靠性、高可用性、可維修性、易操作性等多方面需求,而且節(jié)能效果顯著,實現了冷凍水型精密空調風冷型數據中心年平均電能利用效率PUE在華東地區(qū)低于1.26的實績,每年可為用戶節(jié)約可觀的運行電費。
雖然控制系統(tǒng)的架構與以往不同,但系統(tǒng)監(jiān)控組態(tài)畫面與園區(qū)內運行的其他數據中心畫面風格一致,沒有改變數據中心運維操作者的使用習慣,方便老員工向新員工傳幫帶。
此外,還充分利用DCS冷源控制系統(tǒng)軟硬件資源富余的能力,將數據中心樓宇中為暖通與消防設置的空調新風機組、排風機、正壓送風機、機械排煙風機、補風機、排煙防火閥、電動風閥等通風設備的狀態(tài)監(jiān)視、報警、自動啟停控制與遠程手動操作等功能全部集成在本系統(tǒng)中,并設置相應的操作、監(jiān)視與報警畫面,降低了數據中心總體建設成本,也為降低投運后的運維人工成本創(chuàng)造了有利條件。
5 項目意義
此項目的成功實施證明可以基于工業(yè)級的DCS技術構建大型數據中心冷源BA控制系統(tǒng),工程師站兼實時數據庫運行主備服務器,所有控制邏輯均駐留在DCS控制器模塊中,在模塊級冗余容錯、應對復雜的多設備群控、通信網絡安全性等方面優(yōu)于DDC構架的系統(tǒng)。對于18~24MW或更大體量的數據中心與智算中心,可拆分為兩個或多個冷源系統(tǒng)模塊進行實施,這也是10MW級冷源系統(tǒng)采用模塊化設計、可快速復制的意義所在。
摘自《自動化博覽》2024年10月刊