高密度機(jī)房降溫技術(shù)解決方案

    高密度數(shù)據(jù)中心機(jī)房如何降溫？機(jī)房整體溫度不均甚至造成機(jī)房過度制冷，不僅浪費(fèi)了電力資源還增加了額外的支出。所以說機(jī)房降溫固然重要，但是解決高密度問題也是一大重點(diǎn)。今天我們就從解決數(shù)據(jù)中心高密度的幾個(gè)關(guān)鍵技術(shù)入手選擇適合精密空調(diào)與制冷解決方案。

    解決數(shù)據(jù)中心高密度設(shè)計(jì)問題

    當(dāng)前不計(jì)成本的高性能計(jì)算時(shí)代已經(jīng)一去不復(fù)返了，解決尖端問題的高端系統(tǒng)同樣也必須降低成本。為了避免由于服務(wù)器爆炸性增加而造成機(jī)房面積過快擴(kuò)大以及隨之而劇增的各種運(yùn)行維護(hù)費(fèi)用，機(jī)構(gòu)數(shù)據(jù)中心要求大幅度縮小服務(wù)器（以及存儲(chǔ)設(shè)備和網(wǎng)絡(luò)通信設(shè)備）的占地面積、提高計(jì)算密度、發(fā)展高密度計(jì)算。

    這一方面要求采用新的服務(wù)器設(shè)計(jì)和器件實(shí)現(xiàn)更高的計(jì)算密度，另一方面要求建設(shè)能夠支持高密度計(jì)算機(jī)系統(tǒng)安全穩(wěn)定運(yùn)行的數(shù)據(jù)中心，即高密度計(jì)算數(shù)據(jù)中心。

    建設(shè)高密度數(shù)據(jù)中心注意點(diǎn)

    高密度數(shù)據(jù)中心雖然與大多數(shù)數(shù)據(jù)中心一樣也必須致力于提高能效，但它們?cè)诠╇姾蜕醿煞矫娑紝?duì)機(jī)房基礎(chǔ)設(shè)施的容量規(guī)劃和電源和制冷設(shè)施建設(shè)提出了更高的要求。從設(shè)計(jì)角度來分析，建設(shè)高密度數(shù)據(jù)中心必須從如下三方面著手：

    1.合理配置機(jī)架和空調(diào)設(shè)備，通過定量計(jì)算每個(gè)機(jī)架的功率密度和熱負(fù)荷，優(yōu)化服務(wù)器設(shè)備在機(jī)架中的布局以及機(jī)房?jī)?nèi)機(jī)架和空調(diào)的布局，為高效供電和散熱創(chuàng)造條件；

    2.優(yōu)化供電設(shè)施，給每個(gè)機(jī)架供給足夠和適度的電力，滿足高密度計(jì)算的需要；

    3.優(yōu)化散熱制冷系統(tǒng)：把高密度計(jì)算元器件在每個(gè)機(jī)架內(nèi)部產(chǎn)生的高熱量帶出機(jī)架，避免由于局部高熱點(diǎn)而影響設(shè)備的穩(wěn)定運(yùn)行，甚至損毀部件、造成災(zāi)難性的后果；>>

    數(shù)據(jù)中心制度保障是關(guān)鍵

    合理規(guī)劃?rùn)C(jī)房布局，機(jī)柜采用冷熱通道分離，冷通道完全封閉等措施，優(yōu)化氣流組織，從而大幅提高空調(diào)制冷效率；提高設(shè)備運(yùn)行率：配電、制冷系統(tǒng)均有最大效率運(yùn)行點(diǎn)，提高設(shè)備運(yùn)行率發(fā)揮設(shè)備最大效率，有效減少能源的損耗；創(chuàng)新節(jié)能思路：合理采用新技術(shù)、新方案。妥善密封數(shù)據(jù)中心環(huán)境、優(yōu)化氣流組織、適當(dāng)使用節(jié)能裝置、提高制冷系統(tǒng)效率、靠近散熱源制冷五點(diǎn)，這樣能將低30%至45%的制冷系統(tǒng)能源成本，節(jié)省大量經(jīng)常性開支。結(jié)合諸多新興技術(shù)，如高效處理器和基于芯片的新制冷技術(shù)，即使服務(wù)器密度和能源價(jià)格持續(xù)上升，上述措施依然能夠?qū)⒛茉闯杀颈３衷谳^低水平。

    如何更好有效措施保證機(jī)房安全，應(yīng)對(duì)極端高溫、高濕、雷暴等天氣給機(jī)房帶來的不良影響呢？

    建立機(jī)房應(yīng)急機(jī)制

    首先是建立監(jiān)控預(yù)警機(jī)制技術(shù)部門分析歷年氣象數(shù)據(jù)并結(jié)合氣象部門發(fā)布的近期天氣預(yù)報(bào)信息，及時(shí)發(fā)出預(yù)防性調(diào)整通報(bào)；例如：在極端天氣出現(xiàn)時(shí)如何調(diào)整設(shè)備設(shè)定狀態(tài)、備用發(fā)電系統(tǒng)測(cè)試檢查、后備燃料調(diào)配、防雷設(shè)施及接地系統(tǒng)檢查等。l設(shè)施監(jiān)控人員密切關(guān)注環(huán)境監(jiān)控?cái)?shù)據(jù)（機(jī)房?jī)?nèi)外溫濕度、空調(diào)系統(tǒng)、配電系統(tǒng)、消防系統(tǒng)運(yùn)行狀態(tài)），如發(fā)現(xiàn)監(jiān)控?cái)?shù)據(jù)有異常，監(jiān)控人員將按照相應(yīng)程序進(jìn)行匯報(bào)、提取數(shù)據(jù)、分析原因等，將可能發(fā)生的問題消滅在萌芽階段。

    其次是人員應(yīng)急調(diào)度機(jī)制建立應(yīng)急事件領(lǐng)導(dǎo)小組，在極端天氣發(fā)生時(shí)，做到“預(yù)警”、“分析”、“處理”三步，領(lǐng)導(dǎo)小組分析天氣狀況可能會(huì)對(duì)機(jī)房運(yùn)行造成風(fēng)險(xiǎn)，對(duì)相關(guān)運(yùn)行部門提出運(yùn)行建議；極端天氣狀況發(fā)生后，分析監(jiān)控?cái)?shù)據(jù)、借助人員巡檢信息，及時(shí)調(diào)整或變更運(yùn)行方案；相關(guān)專業(yè)技術(shù)人員隨時(shí)待命，留守設(shè)備現(xiàn)場(chǎng)，以備設(shè)備故障后的排險(xiǎn)、修善工作。

    最后是建立應(yīng)急機(jī)制制定IDC安全運(yùn)行應(yīng)急機(jī)制，例如《火災(zāi)應(yīng)預(yù)案》、《電力系統(tǒng)故障應(yīng)急預(yù)案》、《制冷系統(tǒng)故障應(yīng)急預(yù)案》等；以電力故障-市電中斷為例：預(yù)案中制定了詳細(xì)的發(fā)電機(jī)啟動(dòng)切換流程、后備燃料供給措施、人員調(diào)配措施、故障通報(bào)流程等。

    高密度機(jī)房供電系統(tǒng)

    高密度計(jì)算數(shù)據(jù)中心中的機(jī)架經(jīng)常是滿載的、功率很大，過去一個(gè)機(jī)架功耗為2-3kW，現(xiàn)在卻往往高達(dá)20-40kW.早期的機(jī)架配電方式已經(jīng)無法滿足高密度設(shè)備機(jī)架不斷增長(zhǎng)的電力需求。因此，必須采用創(chuàng)新的機(jī)架配電技術(shù)來滿足為高密度機(jī)架供應(yīng)充足的電力并確保持續(xù)穩(wěn)定運(yùn)行的要求，包括：

    1.支持通過冗余電源實(shí)現(xiàn)設(shè)備的冗余操作：冗余電源系統(tǒng)需要兩個(gè)配電電路，分別用于兩個(gè)電源總線。如果一個(gè)總線出現(xiàn)故障，另一路總線仍可處理整個(gè)系統(tǒng)的負(fù)載。

    2.支持高電壓和三相電源：傳統(tǒng)數(shù)據(jù)中心利用單相電流工作，其功耗已經(jīng)不能滿足現(xiàn)代高密度計(jì)算的需要。因此要求改用三相電源，使用稱為高電壓交流電源的208伏、三相系統(tǒng)。三相電源通常比單相電源更加高效。此外，與單相電源相比，三相電源更為穩(wěn)定，更多時(shí)間都可處于峰值電壓，降低供電損失和發(fā)熱，不僅能夠?yàn)闈M載刀片服務(wù)器的機(jī)架提供足夠功率，而且能夠更加穩(wěn)定持續(xù)供電，確保系統(tǒng)的安全穩(wěn)定運(yùn)行，從而為支持高密度數(shù)據(jù)中心供電提供一種通用且經(jīng)濟(jì)的電源。

    3.使用分段配電技術(shù)，能夠降低由于過載或維護(hù)所引發(fā)的意外宕機(jī)機(jī)率，并減小管理員連續(xù)打開多個(gè)服務(wù)器組而產(chǎn)生的浪涌電流，提高供電的安全性。

    4.采用節(jié)電配電機(jī)柜：通過將數(shù)據(jù)中心的集中配電改為區(qū)域配電方式，將配電管理移到“區(qū)域”級(jí)，解決了從機(jī)箱到機(jī)架的集成電源管理問題，并提高供電效率。

    5.提供電路監(jiān)控功能：通過部署可持續(xù)監(jiān)控電流負(fù)載的組件，數(shù)據(jù)中心可以使用少量人力實(shí)現(xiàn)高效運(yùn)行管理。各系統(tǒng)可輕松實(shí)現(xiàn)配電電路負(fù)載均衡，防止因過載或設(shè)備損壞而引發(fā)的意外宕機(jī)。為了簡(jiǎn)化管理，用戶可以選用模塊化PDU管理模塊，利用它們來監(jiān)控?cái)?shù)據(jù)中心的電源環(huán)境。當(dāng)前市場(chǎng)上已有很多新型配電裝置（PDU）可供選擇，其中惠普公司新型的模塊化PDU在每個(gè)機(jī)架上集成了插座、電纜與斷路器，提供一系列領(lǐng)先的特性支持高密度機(jī)架穩(wěn)定安全穩(wěn)定運(yùn)行和節(jié)電。>>

    高密度機(jī)房制冷轉(zhuǎn)變

    優(yōu)秀的數(shù)據(jù)中心制冷方案具有4個(gè)基本原則，特別是高密度負(fù)載數(shù)據(jù)中心：向設(shè)備通風(fēng)口送入溫度適宜的足量空氣；最小化冷/熱空氣混合；控制到空調(diào)的回流氣體路徑；最大化到空調(diào)的回流氣體溫度。如果正確實(shí)施，遏制可以幫助實(shí)現(xiàn)這4個(gè)原則。

    究竟什么是遏制呢？

    冷/熱通道設(shè)計(jì)旨在減少冷/熱空氣混合的發(fā)生，遏制將這個(gè)目標(biāo)提高到了一個(gè)新的水平，冷/熱通道朝前邁出了一大步，使得給高密度負(fù)載降溫成為可能，但隨著熱輸出量的增加，一些之前頻現(xiàn)的空氣混合問題又開始慢慢出現(xiàn)了，其主要原因很容易識(shí)別和解決。

    如果存在開放的空間，則熱空氣不能留在熱通道內(nèi)，冷空氣不能留在冷通道內(nèi)，因此，機(jī)柜中的所有開口必須堵住，防止熱空氣在計(jì)算機(jī)和非連續(xù)機(jī)架之間的空間重新循環(huán)，同時(shí)也防止寶貴的冷空氣從這些開口流失，在未使用的機(jī)架空間使用空白擋板的原則最容易被大家忽略，它會(huì)導(dǎo)致大量無效的數(shù)據(jù)中心制冷，浪費(fèi)能源。

    但還有兩個(gè)因素需要考慮：熱量增加后，風(fēng)扇將會(huì)帶走它們能帶走的熱空氣，隨著熱量密度的增加，熱空氣會(huì)溢出機(jī)架的頂部，再次返回到服務(wù)器，隨之設(shè)備需要更多的冷空氣，最顯著的解決方案的是在這些地方設(shè)置障礙，在通道的末尾設(shè)置墻體和門，將機(jī)柜頂部通道塞進(jìn)天花板，這就是所謂的遏制。

    熱空氣現(xiàn)在完全被捕獲到熱通道，因此它不會(huì)泄露，冷空氣被控制在冷通道中，因此也不會(huì)被浪費(fèi)掉，看起來很簡(jiǎn)單，但真的是這樣嗎？我們進(jìn)一步分析下。

    熱通道遏制

    熱通道遏制通常比冷通道遏制更容易讓人接受，在能源效率方面有一個(gè)小小的優(yōu)勢(shì)，其支持者提醒其它空間和冷通道擁有一樣舒適的環(huán)境，不需要做任何制冷，根據(jù)ASHRAE修訂的數(shù)據(jù)處理環(huán)境熱量指導(dǎo)原則，溫度應(yīng)該在75°F（23.9°C）左右，另一個(gè)版本預(yù)計(jì)很快就將發(fā)布，它可能會(huì)為某些設(shè)備分類再次擴(kuò)大溫度和濕度范圍。

    大部分空間的溫度都保持在合理范圍內(nèi)，因此設(shè)備風(fēng)扇可以從任何地方吸入空氣，雖然我們應(yīng)該盡力給硬件提供充足的空氣，但也不用像冷通道遏制那樣控制得那么嚴(yán)格。

    熱通道遏制主要的缺點(diǎn)是工作環(huán)境，溫度可能會(huì)達(dá)到95°F或更高，這可不是什么舒服的工作環(huán)境，但與流行的看法相反，它不會(huì)超出OSHA標(biāo)準(zhǔn)，為了降溫，一些設(shè)計(jì)在控制區(qū)域引入了適量的冷空氣，使溫度保持在可接受的范圍，但很明顯，這會(huì)抵消掉遏制解決方案獲得的效益。

    冷通道遏制

    數(shù)據(jù)中心制冷遏制方案是否靈丹妙藥？

    不同回流空氣溫度時(shí)典型的CRAH額定容量

    冷通道遏制一個(gè)最大的好處是可以使用地板下或數(shù)據(jù)中心頂部制冷模式，通道易于填充冷空氣，防止熱空氣混入，確保所有可用的冷空氣都可以輸送給設(shè)備，最大限度地減小機(jī)架頂部和底部之間的溫度差異，使用地板下空氣輸送時(shí)，冷通道遏制特別有用，因?yàn)槔淇諝庀鲁?，使地板下空氣供?yīng)完全違反了物理學(xué)定律。

    當(dāng)冷空氣通過地板瓷磚開口向上推時(shí)，它只會(huì)上升到某個(gè)高度，除非有什么力量再推它一把。計(jì)算機(jī)內(nèi)的風(fēng)扇通常會(huì)把熱空氣向上推，但它仍然會(huì)變得越來越熱，如果我們可以從地板到天花板完全遏制冷通道，它交付的空氣溫度將趨于穩(wěn)定。

    正如前面提到的，冷通道不需要低到55°F，新的ASHRAE將上限提高到了80.6°F（27°C），因此冷通道溫度在75°F時(shí)是非常安全的，這個(gè)溫度允許你加大機(jī)房空調(diào)單元的凝結(jié)點(diǎn)，這樣可以節(jié)省大量的空調(diào)能源。但反對(duì)者指出，其它空間現(xiàn)在基本上都成了一個(gè)熱通道，可能會(huì)達(dá)到95°F或更高，除了冷通道外，其它一切都變得不舒適。

    冷通道遏制真正的挑戰(zhàn)是空氣平衡和控制，計(jì)算機(jī)設(shè)備需要一定數(shù)量的空氣進(jìn)行制冷，當(dāng)空氣輸送給冷通道時(shí)，你需要確保可以充分調(diào)整開孔或地板開口，或天花板上方的鐵格子。>>

    高密度機(jī)房機(jī)架配置

    機(jī)架是數(shù)據(jù)中心機(jī)房?jī)?nèi)安裝各種設(shè)備（服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)設(shè)備等）的重要組件，也是整個(gè)散熱基礎(chǔ)設(shè)施的重要組成部分。例如，各種服務(wù)器、存儲(chǔ)與網(wǎng)絡(luò)設(shè)備的機(jī)箱就是插入在機(jī)架中，通過各種線纜聯(lián)接成為高密度計(jì)算系統(tǒng)。因此，解決好機(jī)架的供電和內(nèi)部的散熱等問題是提高高密度計(jì)算系統(tǒng)散熱效率的關(guān)鍵。

    為此，首先要合理配置機(jī)架內(nèi)部設(shè)備。隨著服務(wù)器功耗的提高，傳統(tǒng)的數(shù)據(jù)中心往往不得不把機(jī)架大多數(shù)容量空置、來避免供電不足和過度發(fā)熱，這顯然不利于高密度數(shù)據(jù)中心的建設(shè)。反之，如果機(jī)架過滿又很可能會(huì)超出機(jī)房供電和散熱的能力。

    因此，必須從定量計(jì)算機(jī)架功率密度和熱負(fù)荷出發(fā)、合理配置機(jī)架內(nèi)部設(shè)備，從而充分利用機(jī)房供電和散熱的能力，奠定建設(shè)高密度數(shù)據(jù)中心的基礎(chǔ)。至于，如何計(jì)算在一個(gè)標(biāo)準(zhǔn)機(jī)架中可以容納多少臺(tái)這樣的服務(wù)器和估算一個(gè)機(jī)架內(nèi)服務(wù)器的功耗會(huì)更加困難。

    因?yàn)橛?jì)算功耗需要參考多個(gè)變量（如每個(gè)機(jī)架內(nèi)的服務(wù)器數(shù)量、每臺(tái)服務(wù)器組件的類型和數(shù)量等）。對(duì)于機(jī)架而言，一個(gè)非常有用的標(biāo)準(zhǔn)是功率密度，即每機(jī)架單位的功耗（瓦/單位）。功率密度包含了機(jī)架密度所涉及的所有變量。實(shí)際上，計(jì)算機(jī)所消耗的電源幾乎全部都轉(zhuǎn)變成了熱量。計(jì)算機(jī)所產(chǎn)生的熱量一般以英國熱量單位BTU/小時(shí)來表示，1瓦等于3.413BTU/小時(shí)。

    因此，可以按照下式來計(jì)算出機(jī)架熱負(fù)荷：熱負(fù)荷=功率[瓦]x3.413BTU/小時(shí)/瓦。例如，一臺(tái)惠普公司制造的DL360G4服務(wù)器的熱負(fù)荷為：460瓦x3.413BTU/小時(shí)/瓦=1，570BTU/小時(shí)。一個(gè)42U機(jī)架容納DL360G4服務(wù)器的熱負(fù)荷將近65，939BTU/小時(shí)。數(shù)據(jù)中心的配置主要環(huán)繞功耗和熱負(fù)荷與機(jī)房供電和散熱能力的配合。

    IT設(shè)備廠商一般會(huì)在其產(chǎn)品規(guī)格中提供功率和熱負(fù)荷信息，在設(shè)計(jì)高密度數(shù)據(jù)中心時(shí)，必須根據(jù)廠商提供的數(shù)據(jù)估算每機(jī)架的功率和熱負(fù)荷，進(jìn)行數(shù)據(jù)中心機(jī)房規(guī)劃。

    規(guī)劃中，需配置足夠的電源、并留有足夠的余量，既要避免因配置容量不足而影響設(shè)備正常運(yùn)行，又要避免因留有余量過大而導(dǎo)致能效降低。在設(shè)計(jì)和建設(shè)高密度計(jì)算數(shù)據(jù)中心時(shí)必須評(píng)估各種設(shè)備的電源需求與熱負(fù)荷，進(jìn)行合理的機(jī)架配置。

    比較好的方法是靜態(tài)智能散熱技術(shù)，通過使用流體動(dòng)力學(xué)模型進(jìn)行模擬、根據(jù)已明確的數(shù)據(jù)中心設(shè)備的熱負(fù)荷，來確定冷卻資源的最佳布局和供應(yīng)量。它可以將每一個(gè)空調(diào)設(shè)備的散熱負(fù)荷與其額定功率進(jìn)行比較，以判斷空調(diào)設(shè)備是否得到了高效的利用或過分“供應(yīng)”。>>

    高密度的數(shù)據(jù)中心布線

    高密度的數(shù)據(jù)中心中，傳統(tǒng)的主干和水平鏈路配置（如常見的每個(gè)EDA機(jī)柜接入24根雙絞線或24芯光纖）已經(jīng)不能適應(yīng)刀片式服務(wù)器及SAN存儲(chǔ)設(shè)備的需求，而由端口數(shù)量增加引起的機(jī)柜安裝單元的占用又與昂貴的數(shù)據(jù)中心單位面積成本形成極大的矛盾。

    面對(duì)挑戰(zhàn)，大量新的布線技術(shù)應(yīng)運(yùn)而生，如采用屏蔽銅纜系統(tǒng)提高線纜和連接硬件的安裝密度，采用刀片式跳線杜絕高密度環(huán)境跳接插拔誤操作的可能性，采用光纖預(yù)端接系統(tǒng)簡(jiǎn)化線纜布放和端口連接，采用角型配線架減少水平理線架的數(shù)量，采用機(jī)柜間垂直空間安裝跳接端口等。

    但是6A系統(tǒng)因需考慮外來串?dāng)_的影響，線纜外徑和端口間距均較以前的布線類別有所增加，無法順應(yīng)高密度數(shù)據(jù)中心的發(fā)展趨勢(shì)。而Z-MAX6A銅纜系統(tǒng)采用創(chuàng)新的推拉式RJ45設(shè)計(jì)，使跳線可以更快的移動(dòng)、增加和變更，特別適合48端口的機(jī)架式交換機(jī)和插卡式交換模塊。配合另一個(gè)專利的LockITTM技術(shù)，還可以給每個(gè)BladePatch刀片式快接跳線的插頭端增加一個(gè)安全鎖，防止了未經(jīng)授權(quán)的端口訪問，提高了數(shù)據(jù)中心的安全性和可靠性。