摘要：结合数据中心测试的项目经历，针对冷板式液冷数据中心，借鉴风冷测试经验，通过配置液冷负载模拟不同工况，按末端负载率由低到高逐级加载，开展插框式与集中式CDU功能及可靠性、冷源主备切换、机房满载及温升等测试，可有效验证冷板式液冷系统性能。

关键词：数据中心；冷板式液冷；系统测试；风冷系统；液冷负载；CDU；能效评估；主备切换

作者：陈学锋，徐伟

数据中心作为数字经济发展的关键基础设施，其建设质量受到建设方、使用方的高度重视。数据中心根据使用性质、管理要求及其在经济或社会中的重要性划分为A、B、C三个等级^[1]，其中A级具有容错能力、B级具有冗余能力、C级具备基本能力。为了确认数据中心基础设施建设质量，建设方往往通过第三方测试机构开展数据中心模拟运行测试，以确认数据中心是否符合设计标准的等级要求和施工安装标准的技术要求^[2]。对于数据中心采用风冷实现服务器制冷的建设方案，测试一般通过为IT机柜配置满足设计功率的模拟负载，用于模拟整个数据中心运行的各种工况，围绕容量、性能和可靠性等指标，对数据中心供配电、暖通和智能化等专业系统开展测试验证^[3]。但随着国家相关政策推动数据中心建设节能水平逐年提高，越来越多的新建、改建数据中心采用液冷替代风冷实现服务器制冷，其中冷板式液冷是当前数据中心采用的主要制冷技术方案。目前行业还没有针对液冷形成统一的测试规范和标准，笔者根据数据中心风冷系统测试积累的经验，结合具体项目案例开展冷板式液冷测试实践。

1、风冷系统测试验证方法

传统服务器制冷采用风冷实现冷却，即使用空气作为冷媒，通过空气与发热部件接触换热实现散热的冷却方式。为验证数据中心项目建设质量，一般按单机柜设计功率配置相应容量的风冷负载模拟服务器运行工况。在开展数据中心供配电安全测试时，单机柜满功率布置风冷负载，就可以模拟测试单机柜负荷容量；当单个列头柜下的所有机柜满功率布置风冷负载，就可以测试列头柜的负荷容量；当UPS电源系统下的所有列头柜满功率布置风冷负载，就可以测试UPS电源系统的负荷容量；当单个变压器供电下的所有机柜满功率布置风冷负载，就可以测试变压器的负荷容量，同时可测试各级配电链路和开关的容量。

当开展数据中心暖通系统测试时，对数据中心单个机房满功率配置风冷负载，就可以对IT机柜进风和回风温度进行测试，确认机房空调制冷的容量和机柜气流散热的效果。当整个数据中心（包括多个数据机房）满功率配置风冷负载时，可以对数据中心冷源系统进行性能测试，验证冷源容量是否满足设计要求。一般风冷负载可以按比例调节功率，由此可以测试数据中心在典型负荷工况（如：25%、50%、75%和100%）下的性能，包括：变压器、UPS系统在各级负荷下的发热，精密空调在各级负荷下的制冷效率等。根据数据中心不同等级对各系统的容错、冗余等要求，可以开展带载运行下的可靠性测试，比如2N供配电模拟故障母联切换、主备电源ATS切换、UPS电源系统主备切换、柴油发电机应急电源切换测试等。

为了实现数据中心分级安全测试，可按照先单机测试，后单系统测试，再进行全系统测试。单机测试主要对数据中心关键设备进行容量、性能等方面测试，如UPS单机负荷容量、旁路切换性能等测试。单系统测试可根据系统组成进行专项验证测试，如UPS并机性能、UPS电池充放电、柴油发电机主备切换、冷机切换等。在数据中心通过单机、单系统测试确保安全的基础上，就可以开展全系统测试。全系统测试方案可结合机房运维故障演练目的进行设计，如双路电分别断电下的电气联络切换逻辑、备用电源柴油发电机投切逻辑、不同负荷下的冷源系统自动控制等测试^[3]。

2、冷板式液冷系统测试要求

与风冷制冷不同，液冷是以液体为媒介实现换热，图1是数据中心采用液冷制冷的原理图，其中IT服务器采用冷板式液冷实现制冷。液冷分配装置（CDU）实现冷源和冷却剂的热交换，将冷却剂分配到各液冷机柜，液冷机柜再通过分集水器歧管将冷却剂分配给各液冷服务器，通过冷却剂的循环和冷板的热交换带走服务器热量^[4]。根据设计需要，数据中心可以配置为多个服务器机柜分配液冷的集中式液冷分配装置（Centralized CDU），也可以单独为每个机柜配置插框式（或分布式）液冷分配装置（InRack CDU或Distributed CDU）。

图1 数据中心冷板式液冷原理图

为了更好地验证数据中心液冷系统的容量、性能和可靠性，需要为液冷机柜配置相应负载，模拟数据中心在不同负荷下的运行工况，即液冷机柜需要配置液冷负载，通过进出液冷机柜的冷却剂液体进行换热。图2是采用PTC电阻的液冷负载实现液体换热的原理图，冷却液通过不锈钢套管导热模拟液冷服务器换热效果。通过PTC电阻功率调节，可以模拟液冷机柜的不同负荷运行工况。图3是根据换热原理和液冷机柜典型容量设计的要求开发的30 kW液冷负载效果图^[5]。

根据测试需要，液冷负载各相功率配置10 kW，三相总功率30 kW，每相设置5个独立开关，功率分别为1 kW、2 kW、2 kW、2 kW和3 kW，可满足1 kW至30 kW的可调功率，调节精度1 kW。进、出水口采用卡箍式快接头，满足现场快捷安装要求。箱体开展密闭性试验可耐1.0 MPa以上工作压力。液冷负载自带阻力阀实现流量可调，配置流量计、温度计、压力计等传感器。

图2 液冷负载换热原理图

图3 液冷负载效果图

3、冷板式液冷系统测试实践

本文以笔者经历的南方某人工智能数据中心项目测试为例^[6]，该项目一期建设有14架单机柜15 kW的风冷机柜，采用冷通道封闭列间空调制冷；12架单机柜60 kW的液冷机柜，采用集中式CDU分配液冷；10架单机柜30 kW的液冷机柜，采用插框式CDU进行制冷。项目配置两套冷源，一套是以闭式冷却塔（1用1备配置）、CDU (5用1备）构成的冷却水系统，为冷板提供32/40℃冷却水；另一套是以风冷冷水机组（1用1备配置）构成的冷冻水系统，为精密空调、列间空调等提供15/22℃冷冻水，两套冷源系统相互独立。风冷机柜、液冷机柜的用电都由同一组变压器经UPS系统提供，组成2N配电系统。

为满足项目一期建设的供配电、暖通等系统的验证测试，共配置28台8 kW风冷负载、34台30 kW液冷负载，其中风冷机柜单机柜配置2台风冷负载、60 kW液冷机柜单机柜配置2台液冷负载。为了高效完成本次验证测试，设计测试步骤如图4所示。

其中，测试准备、风冷机房系统测试、机房全系统测试等步骤要求不再赘述^[3]。本文重点描述项目中冷板式液冷的测试要点。本次测试在安装检查完成的前提下，先进行液冷负载安装以及电气测试，接着开展二次侧插框式CDU功能及可靠性测试、二次侧集中式CDU功能及可靠性测试，再进行一次侧冷源功能及可靠性测试，最后进行全机房液冷负载满载情况下制冷效能和电气发热测试。

3.1负载安装和电气安全测试

按照项目建设方的要求，本次提供的液冷负载管路经过酸洗钝化和超声波清洗处理，防止液冷负载对二次侧管路冷却剂纯水的污染。如图5所示，将液冷负载进、出水口经卡箍式快速接头分别连接在二次侧环管的供水、回水支管上^[7]。安装时，先手动关闭环管上对应机柜支管的阀门，完成连接后再打开阀门，检查是否有漏水情况。

启动一次侧冷却塔和水泵、单台集中式CDU，系统稳定运行30 min,CDU供水温度达到设计温度范围的要求。负载上电并逐步加载至30 kW，对液冷机柜逐个上电测试，验证单机柜电气容量及安全性。经过本液冷负载安装和上电测试步骤，确认系统无液体泄漏以及满足安全试验要求。

3.2液冷系统测试

液冷系统测试的总原则是按照末端负载率由低到高逐级加载方式开展，先进行插框式CDU单机柜测试，再进行集中式CDU群控测试，最后进行冷源系统满载测试。包括如下关键测试过程。

3.2.1插框式CDU换热及控制测试

测试步骤：CDU二次侧供液温度、供回液压差已按照设计要求设置，设置水泵轮询时间，末端配置30 kW液冷负载，启动CDU；开启液冷负载，调节负载阻力阀，观察水泵频率变化；按25%、50%、75%、100%比例逐级提高负载率，每级停留观察一次侧比例阀变化；水泵轮询时间到，观察水泵切换过程和供水温度变化；按100%、50%、0比例逐级降低负载率，每级停留观察一次侧比例阀变化。记录测试期间水泵频率、比例阀开度和供液温度。按上述步骤逐台测试插框式CDU。

3.2.2集中式CDU换热及控制测试

测试步骤：CDU二次侧供液温度、供液压差按照设计要求设置，预设压差控制模式，末端配置240 kW液冷负载，启动CDU；开启液冷负载，单机柜30 kW，加载8个液冷负载，每2个液冷机柜为一级，按25%、50%、75%、100%比例逐级加载，每级停留观察一次侧比例阀开度变化。调节环管阀门，CDU供回液压差大于预设值，循环水泵降频到最小值，直至开大调节阀降压差；当CDU供回液压差小于预设值时，调节阀关至最小，直到增大循环泵频率增加压差，确认实际压差调整到预设压差。

图4 数据中心冷板式液冷验证测试过程

图5 液冷负载进出水管连接图

修改CDU为流量控制模式，并预设流量值。根据二次侧流量实际值和设定值比较进行控制运算。当实际值大于预设值时，循环泵降频直到最小值，直至开大调节阀降流量；当实际值小于预设值时，调节阀关到最小，直到增大循环泵频率增流量，确认实际流量调整到预设流量、记录供液温度；按100%、50%、0比例逐级降低负载率，每级停留观察一次侧比例阀变化。测试期间，记录一次侧比例阀、供液温度。

3.2.3集中式CDU群控测试

测试步骤：启动CDU群控模式（4用1备，冷备模式），设置1主4从，主机管理轮询时间（预设），从机根据轮询时间分别启机，保持4用1备运行，启动备机^[8]。末端共8个液冷机柜，单液冷机柜配置2个液冷负载（单液冷负载30 kW），单液冷机柜负载60 kW，总负载为480 kW，按0、25%、50%、75%、100%比例逐级加载，每级停留观察一次侧比例阀开度变化。保持100%负载情况下，切断1台主用CDU电源（模拟故障），观察系统水泵、阀门变化和备用CDU启动情况，稳定运行后观察供液情况，恢复故障CDU的供电电源，观察主用CDU根据预设的轮询时长进行CDU切换，确认停用最长使用时长的CDU，启动备用CDU；记录一次、二次侧水泵频率和一次侧阀门变化情况，测试期间记录供液温度。

3.2.4冷源主备切换控制测试

测试步骤：开启液冷负载，集中式CDU供冷12架机柜，每架30 kW；插框式CDU供冷10架，每架30 kW。集中式CDU按设计开启群控模式，10架插框式CDU全部满载，总负载为660 kW。冷却塔按设计配置主备模式（1主1备），系统稳定运行；模拟切断主用冷却塔电源，观察一次侧水泵、阀门，二次侧水泵、阀门动作变化。备用冷却塔启动，并投入运行，稳定运行30 min；模拟切断一次侧主用水泵电源，二次侧水泵、阀门动作变化。备用水泵启动，并投入运行，稳定运行10 min；测试期间，记录冷却塔风机频率、一次侧水泵频率、一次侧供回水温度、二次侧供水温度，确认达到预期设计要求。

3.2.5机房满载和温升试验

测试步骤：加载全部液冷负载，集中式CDU供冷12架，每架60 kW；插框式CDU供冷10架，每架30 kW。对一次侧、二次侧设备电气部分进行热成像扫描、对机房配电链路进行热成像扫描。观察一次侧供回水温度、流量，二次侧供回液温度、流量，各水泵运行频率、阀门开度。检查机房电气安全和通过红外扫描异常发热点，记录一次侧、二次侧设备运行参数及供液温度，确认达到设计要求。

对机房末端进行安全值守。切断一次侧水泵电源，切断供冷。观察一次侧供回水温度、流量、二次侧供回液温度、流量，水泵运行频率、阀门开度。当二次侧供液温度达到60℃时，恢复一次侧水泵供电运行。记录二次侧供液温度每升1℃的时间，直至60℃。恢复供冷后，记录每降5℃的时间，达到预期设计要求。

4、结语

随着数字经济的发展和人工智能在各领域的应用推广，数据中心作为数据存储、数据计算的关键基础设施，其建设质量和能效水平均受到社会普遍关注。本文借鉴传统风冷数据中心验证测试方法，设计开发了一款30 kW机架式液冷负载，并将其用于冷板式液冷数据中心项目的测试评估，达到了预期的测试目标。液冷是数据中心提高能效的关键技术，已经成为新建、改建数据中心制冷的重要技术方案，因此基于液冷负载的测试方法也会得到普遍推广。同时，该方法还可以用于液冷设备制造厂商开展产品性能验证测试，也为相关部门开展液冷数据中心能效审查提供技术手段。

参考文献