Search

How to Size and Integrate Modular Data Center Liquid Cooling for 100–150 kW AI Racks – 中文

modular data center liquid cooling

对于 100–150 kW 的 AI 机架,模块化数据中心液冷已不再是一项能效升级,而是一种容量需求。当单机架功率超过约 50 kW 时,空气已无法带走足够的热量;而当前 NVIDIA GB200 NVL72 机架的设计功耗为 120–132 kW,且按设计内置液冷。决定成败的关键决策在于:将冷量分配单元(CDU)、双回路管路和残余空气处理作为一个整体工程系统来匹配,而不是仅凭铭牌千瓦数购买一台 CDU。

对于 100 kW 机架,模块化数据中心液冷意味着什么?

模块化数据中心液冷的建设采用工厂预制的外壳或橇装模块,制冷系统在交付前即已完成集成。哥廷根大学在其 Emmy 超级计算机上采用了这一路线:STULZ 在不到两个月内交付了一座四机房模块化设施,容纳 1.5 MW 的计算能力,单机架约 100 kW。该项目 78% 的热量通过液冷带走,22% 通过空气排出。

这一部署展示了核心架构。冷板直接安装在 GPU、CPU 和交换芯片上。一条经过处理的工艺冷却回路将热量带至 CDU。在 CDU 内部,换热器将这部分能量传递给独立的设施水回路,后者通过干冷器、冷却塔或冷水机组将热量排出。两条回路永不混合,这种隔离正是整个设计的核心所在。

模块化数据中心液冷在 2025 年迈入主流。据 Data Center Dynamics 报道,Google 已在其约一半的全球数据中心中启用或部署了液冷,规模约为 2,000 个 TPU 模块上的 1 GW,同时实现了 99.999% 的可用性。Uptime Institute 的 2025 年冷却调查发现,约五分之一的运营商已在采用直接液冷,其余大部分运营商也在进行评估。

一个 120 kW 的机架,实际有多少热量进入液冷回路?

冷板并不能带走每一瓦热量。对当前 GPU 节点,厂商给出的液冷捕获率在 60% 到 90% 之间,其中 75% 至 85% 是实际的规划区间。Vertiv 给出的液体带走比例为 70% 至 75%。其余热量经电源、内存、网卡和硬盘散入机房空气。

将其套用到旗舰机架上。NVIDIA 将 GB200 NVL72 标定为约 120 至 132 kW,参考回路供水温度 25 °C、回水温度 45 °C。即使在捕获率的上限,仍有超过 25 kW 的热量进入机房。如果模块化数据中心液冷设计忽略了这部分空气侧负荷,即使芯片回路运转正常,机房也会过热。

流量计算同样有明确依据。在 10 K 温升下,液冷机架每千瓦约需要 1.5 升/分钟的流量。因此,一个 100 kW 的机架需要约 150 升/分钟,而 NVIDIA 公布的 NVL72 数值约为 2 升/秒。模块化数据中心液冷的管径、泵扬程和歧管尺寸都源自这些数字,而非通用的目录额定值。

如何为 CDU 选型,同时避免回路选得过小?

选型过小是最常见的部署错误,其症状显而易见:冷却液温度升高、GPU 降频、训练吞吐量下降。CDU 必须承担液侧峰值热负荷,而不是机架的总铭牌功率。计算方法为机架总功率乘以预期的液冷捕获率。

这是每排模块化数据中心液冷必须满足的液侧基线。一排十个机架、每个 100 kW、捕获系数 0.75,则计算结果为 10 × 100 × 0.75,即 750 kW。超过 500 kW 的生产集群随后需要带交叉互联歧管的 N+1 CDU 容量,因为 CDU 故障可能在 60 至 120 秒内让整排机架离线。两台机组都应通过带阀门的联通接口为排的两半供液。

模块化数据中心液冷

容量只是模块化数据中心液冷系统中的变量之一。CDU 还必须针对流量、长歧管两端的压降、过滤精度和接近温度进行选型。接近温差指的是低温的设施水与较温暖的二次供液之间的差值;CDU 无法提供比设施水温度加该差值更冷的冷却液。仅凭千瓦数选择模块化数据中心液冷机组,正是某些项目冬天运行良好、夏天却降频的原因。

随着机架功率上升,CDU 容量在 2025 年急剧提升。Data Center Dynamics 追踪到 2 MW 机组已成为常态:Schneider Electric 和 Motivair 发布了 2.5 MW 的 CDU,Flex 和 JetCool 则展示了可拼接至 1.8 MW 的模块化方案。这些更大的机组使预制化模块数据中心液冷系统能够匹配 AI 当前所需的兆瓦级机排。

设施水回路应瞄准哪个 ASHRAE 水等级?

水温的选择是影响整个模块化数据中心液冷系统形态的决策。ASHRAE 按最高供水温度定义设施水等级,从 W17 到 W45,以及 45 °C 以上的 W+。较低的等级意味着需要机械制冷机组。W27 适用于标准的直连芯片部署,W32 适合搭配冷却塔或干冷器的优化级 AI 冷板,而在温带气候下,W40 及以上基本可以全年依靠干式冷却运行。

当前大多数系统接受 W32 至 W45。反直觉的目标是让回路尽可能在冷板允许的范围内运行于较高温度。35 °C 的供水仍能让芯片温度低于其结温上限,同时通过屋顶干冷器散热,在大多数运行时段内绕开冷水机组。这正是模块化数据中心液冷赢取能效优势之处——它去掉了最大的非 IT 负荷。

任何模块化数据中心液冷设计中的设施水温度都必须尽早确定,并与 IT 供应商共同决定。它决定了屋顶是安装冷水机组还是干冷器、管路的尺寸以及建筑的能耗平衡。它还决定了热回收的方式:W45 及以上正是废热真正能对区域供热网络产生实用价值、而非流于宣传口号的范围。

气候会改变选型裕量。干冷器必须按峰值环境温度选型,而不是按年度平均值。当夏季高温推高设施水温时,二次回路也随之升高,GPU 便会降频。按峰值条件选定的散热能力,正是一套全年运行的系统与一套只在十月至三月运行的系统的分水岭。

为什么残余空气侧负荷是最常见的设计疏漏?

每一座模块化数据中心液冷机房都是混合机房。Schneider Electric 强调,可预见的未来设计总是兼顾空气与液冷两大组成部分,因为内存、硬盘、电源和网络交换机仍会向机房散热。哥廷根项目专门预留了第二个风冷模块,用于承载网络和存储设备。

实际的失败在于只规划液冷而忽略了每机架 15 至 25 kW 的机房热量。挂在同一二次回路上的背板式换热器是常见的解决方案,它能在残余机箱热量进入机房前将其捕获。背板换热器的换热能力随水温变化显著,且供水温度必须保持在露点以上,以避免冷凝。

在共享回路上,工作负载的隔离也很重要。如果将 1,000 W 的 GPU 机架与低密度存储接到同一条二次回路,就不得不进行温度折中,从而浪费免费冷却的余量。一个有章法的模块化数据中心液冷布局会按热等级对机架分组,并为每个等级提供经过调优的独立回路。

调试模块化数据中心液冷系统需要哪些工作?

模块化数据中心液冷中大多数首年故障是回路故障,而非芯片故障。在 IT 设备进场前,应以 1.5 倍工作压力对整个二次回路进行至少 24 小时的耐压测试。在开始通液前,还应抽取冷却液样本、进行水质化验并确认过滤精度。完整的 P&ID(管道仪表图)、阀门清单和隔离程序必须移交给内部运维团队。

模块化数据中心液冷

冷却液水质是模块化数据中心液冷的长期维护事项。水-乙二醇二次回路的目标 pH 值为 8.0 至 9.5,电导率低于 50 微西门子/厘米;去离子回路则要求更低,通常控制在 5 至 10 以下。不达标的冷却液会腐蚀冷板、滋生生物膜,并逐渐堵塞让直连芯片冷却得以运行的微通道。每月检测一次、每季度补充一次是标准做法。

防漏措施要靠建设而非假设。应在每个机架和歧管下方、每台 CDU 四周以及任何架空地板下方安装检漏线缆,并在检测到泄漏时自动停泵。盲插快速接头是最常见的维护故障点,而最常见的首年事故是调试后歧管排污阀未复位。通过严格的阀门排列表确认即可避免这一问题。

空气侵入是更隐蔽的故障。二次回路中若存在任何空气,都会大幅削弱局部冷板的换热能力,并诱发泵的气蚀。在 CDU 上配置自动排气装置、采用缓慢注液流程并在高点排气,可以保持回路充满液体。正是这些调试步骤,为你赢得让高密度集群安全运行的可靠性。

运维人员常忽略哪些结构与冗余风险?

一台满载并带机架内 CDU 的液冷机架可重达 1,400 至 1,800 kg。JLL 给出的高密度液冷设备楼面荷载为 20 kPa 或更高,而传统机房的设计荷载仅为 12 至 15 kPa。在改造项目中,这一点可能直接决定项目成败,因此必须在设计阶段验证楼板承载能力,而不是等机架到场后再验证。

模块化数据中心液冷的改造还面临散热能力缺口。一座从 8 kW 风冷机架向 80 kW 液冷机架升级的设施,制冷系统容量可能需要三到五倍于原有规模,这往往是项目中最主要的资本支出。一个 1 MW 的部署通常需要为每台 CDU 敷设六英寸的供回水主管道,而这种基础设施在风冷机房中根本不存在。

在模块化数据中心液冷中,冗余要沿着新的关键路径配置。泵和 CDU 需要与它们所取代的风机同等的 N+1 配置,并配备隔离阀,以便在不排空整排的情况下进行维护。随着机架功率向厂商路线图上 600 kW 的数字攀升,这些结构性、电气性及水力方面的制约会同步收紧,而非彼此割裂。

部署前的最终检查清单

模块化数据中心液冷项目的成败取决于集成。确认确切的机架型号和峰值功率,乘以 0.75 至 0.85 的实际捕获系数来确定 CDU 容量,并增加带交叉互联歧管的 N+1 机组。在建筑规划前选好 ASHRAE 水等级,按峰值环境温度选配干冷器,并为每个机架仍会产生的残余空气侧热量留出设计余量。

然后核验那些不起眼的项目:楼面荷载、管径、冷却液水质、泄漏检测,以及 24 小时耐压测试。当这一切共同落实,这些模块化数据中心液冷步骤就能实现哥廷根项目所证明的可能:高密度 AI 容量在数周而非数月内完成部署,年 PUE 接近 1.1,而非风冷平均的 1.5 或更高。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注