Search

Containerized Data Center Cooling: How Warm-Water Liquid Loops Remove the Chiller from AI Modules – 中文

containerized data center cooling

在集装箱数据中心冷却中,削减能耗的最快方式不是调校压缩机,而是直接去掉压缩机。对于单机柜功率超过约 20 kW 的 GPU 模块,采用 40 至 45 摄氏度的温水直触芯片回路,仅靠干冷器即可散热,无需冷冻水厂或机房管路,PUE 可维持在 1.1 至 1.2 左右。供水温度、CDU 选型和冷凝控制,决定了这种无冷水机组设计能否在现场可靠运行。

为什么集装箱数据中心冷却在单机柜 20 kW 左右遇到瓶颈?

空气是较差的热传导介质,而钢制集装箱几乎没有用空间体积来弥补的余地。在集装箱数据中心冷却中,这种体积约束比任何传统机房都更严格。传统风冷在单机柜约 15 kW 以内运行可靠,计入风机能耗和热点后,实际上限约在 20 至 25 kW。仲量联行报告指出,空气冷却仅在约 20 kW 以内保持高效,之后便由主动式后门换热器以及直接液体冷却接管。

集装箱数据中心冷却中的密度差距正在快速拉大。麦肯锡指出,AI 工作负载现在要求单机柜 60 至 120 kW,而 Nvidia 的 GB300 机柜峰值接近 163 kW。为 10 kW 风量设计的模块,靠增加风机无法冷却这类硬件;静压、噪音和风机能耗都会变得难以承受。在高密度风冷站点,风机可消耗总能耗的 15% 至 25%。

这正是集装箱数据中心冷却出现分化的原因。低密度边缘和存储模块仍采用直膨式或蒸发式空气系统,而 GPU 和 HPC 模块出厂时便以液体回路作为集装箱数据中心冷却的主要散热路径。Dell’Oro Group 预计,到 2029 年,领先级 GPU 的单芯片散热设计功耗将从如今的约 700 至 1,000 W 超过 4,000 W,从而将液冷锁定为结构性要求而非可选方案。

为什么温水直触芯片成为 AI 模块的默认方案?

直触芯片冷却在 GPU 和 CPU 上安装冷板,在热源处转移热量。这是目前大多数新型集装箱数据中心冷却设计为 AI 所采用的架构。液体比空气的散热效率高得多,因此一个紧凑的模块即可容纳原本需要大得多的风冷机房才能承载的机柜。在密封、工厂预制的箱体中,这一点尤为重要:它既缩减了所需风量,又把散热集中在紧凑的外部干冷器上。

温水运行正是从集装箱数据中心冷却中移除冷水机组的关键杠杆。机械式冷水机组主要用来产出冷水,通常为 7 至 15 摄氏度。如果芯片能接受 40 至 45 度的供水,环境空气便可在一年中的大部分或全部时间里直接冷却该回路,具体取决于气候。ASHRAE TC 9.9 定义了自 W17 起的液冷设备等级,其中 W32、W40 和 W45 等级对应现代服务器日益支持的温水工况。

效率提升是可量化的。Uptime Institute 的 2025 年调查显示,风冷设施的 PUE 为 1.55 至 1.67,而直触芯片系统可达 1.10 至 1.25。Dell’Oro 报告称,液冷市场在 2025 年几乎翻倍,达到约 30 亿美元,到 2029 年应接近 70 亿美元。在集装箱数据中心冷却中,这种效率无需中央机房即可实现。

厂商产品印证了这一趋势。台达的 AI 集装箱数据中心在标准的 20 英尺 ISO 集装箱内支持单机柜最高 60 kW,采用液转气系统,无需机房水管,PUE 低于 1.19。这种组合——高密度加上干式散热再加上一个停车位的占地面积——正是温水集装箱数据中心冷却如今遵循的模板。

哪种供水温度能让模块在无冷水机组的情况下散热?

集装箱数据中心冷却中的决定性数字是冷板处的冷却液供水温度,因为它决定了干冷器能跟上的最低环境温度。供水温度越高,无冷水机组的工作窗口就越宽。Nvidia 的 Vera Rubin NVL72 路线图以单机柜约 300 kW 为目标,采用 45 度温水直接液体冷却,正是为了让干冷器无需机械式冷水机组即可散热。

其中是温度逼近问题,而非猜测。干冷器要求进入其内部的冷却液温度高于环境温度,且存在有限逼近温差,带负载时通常为 8 至 15 度。使用 40 至 45 度的供水,在许多温带气候下,模块每年可无压缩机运行数千小时,仅在最热的高峰期使用小型辅助冷却器。这正是集装箱数据中心冷却维持无冷水机组状态的方式;更冷的水会缩小窗口,让冷水机组卷土重来。

供水温度推得过高也有其代价。芯片温度必须保持在制造商设定的节流点以下,而冷板两端的温升很小,几乎没有余量。早期 GPU 代际的现场设计通常将供水温度保持在 25 至 35 度之间,以在节流与冷凝之间取得平衡。务实的做法是让供水设定点与具体的 GPU 规格精确匹配,然后仅按当地气象数据所需的量增加辅助冷却。

集装箱数据中心冷却

集装箱内应如何为 CDU、歧管和干冷器选型?

集装箱数据中心冷却的选型应从芯片路线图出发,而非当前负载,因为每一代 GPU 都会提高热密度。冷却液分配单元(CDU)负责将热量从服务器次级回路转移到设施侧回路,并提供泵送、过滤和压力控制。1 MW 级别的列级或机柜级 CDU 可以服务十多个或更多高密度机柜,同时保持标准占地面积。

为下一个已验证平台规划回路,然后以工厂测试过的增量增加 CDU 容量。为未来泵预留完整管路的模块,可避免在现场切割密封箱体。干冷器按总排热量加上当地夏季峰值的逼近温差来选型,而非仅按铭牌 IT 功率;液体未捕获的余热仍会通过空气散出。

集装箱数据中心冷却中的冗余配置值得特别关注,因为泵一停止,冷却会在数分钟内中断。N+1 泵和 CDU、每个机柜处的隔离阀、带锁卡的快接头,都能让单个机柜在不排空整个模块的情况下进行维护。这种分层容量,正是一套保持无冷水机组状态的温水系统与一套在部件故障时跳入备用制冷的系统之间的差异所在。

冷凝和泄漏风险在何处进入回路?

温水回路在冷凝方面比冷却液回路更安全,但并非完全免疫,而冷凝是集装箱数据中心冷却中最被低估的风险之一。当表面温度降至周围露点以下时就会产生冷凝,因此系统中最冷的点——通常是供液歧管或冷板入口——必须保持高于露点并留有裕量。将供水温度提高到接近 40 度有所帮助,但潮湿的室外空气渗入受冷却的箱体,仍可能推高露点。

抑制露点首先从箱体完整性入手。经工厂压力测试的集装箱,配合密封的电缆引入口、机柜间隙和门密封条,可防止潮湿的环境空气进入并保护效率;即使很小的漏风也可能使冷却效率下降几个百分点。冷轨和歧管处的露点传感器与提高供水温度或降低制冷量联锁,可在水汽出现之前提供主动的兜底保护。

泄漏控制同时涉及水力与电气两方面。采用去离子水或电导率受控的被认可冷却液,可降低短路风险,而歧管和 CDU 下方的检漏线缆可及早发现滴漏。每个机柜入口处的阀门可隔离单个故障连接。在模块出厂前就规定好这些传感器和阀门,远比事后改造一个已密封带电的箱体便宜得多。

空气和液体能否共处同一个集装箱?

大多数 AI 模块是混合式设计,在集装箱数据中心冷却中,这种分工应是有意为之,而非顺其自然。液体捕获集中的 GPU 和 CPU 热量,通常占负载的绝大部分,而空气则处理网络设备、存储、电力电子以及冷板未捕获的余热。保留一条适度的风路,还能在液体回路性能下降时提供冗余。

好处在于让冷却投入与热量相匹配。高密度 GPU 机柜配冷板;低密度辅助机柜用空气,避免了过度配置液体。这样运维人员可以略微提高空气侧设定点,削减集装箱数据中心冷却中的风机能耗和制冷能耗。

风险在于未测得的余量。如果宣称的液体捕获率过于乐观,空气系统就必须散掉比设计更多的热量,交换机和后部线缆附近就会重新出现热点。因此,捕获率应根据真实服务器配置进行验证,而非按厂商的宣传数字臆断,风路也应按实际余量并留有既定裕度来选型。

GPU 模块出厂前,验收测试应测量哪些项目?

由于集装箱是作为成品出货的,工厂验收测试是在集装箱数据中心冷却中捕捉错误的最后一个低成本环节。测试应在代表部署 GPU 密度的负载(而非其一部分)下,测量从冷板到干冷器的整个散热路径。在满载状态下记录供回水温度、流量、压降和 CDU 功率,可及早暴露选型偏小的泵和被污堵的换热器。

有三项测量最为关键。其一,实测供水温度和逼近环境温差,确认模块在设计气候下是否真正实现无冷水机组运行。其二,各机柜流量和温差确认分配是否均衡以及真实的液体捕获率。其三,强制泵或 CDU 故障切换,证明冗余逻辑能在切换期间将温度保持在限值以内。

水耗和能耗数据应归于同一项测试。据 HyperFRAME Research 的数据,闭式循环液体系统的耗水量可低于每千瓦时 0.2 升,远低于蒸发式设计,而这一数字应被实测,而非仅作承诺。记录总输入、IT 负载和冷却功率,可将这一快照转化为运行基线。

集装箱数据中心冷却

集装箱数据中心冷却是否为下一代 GPU 做好准备?

方向已经明确,但就绪与否是一个设计选择。AI 机柜正从 120 至 163 kW 迈向 300 kW 及更高,Nvidia 的温水路线图使无冷水机组散热成为可预期的架构,而非一种试验。AFCOM 在 2025 年报告称,只有约 19% 的数据中心已实施液冷,不过有 36% 计划在两年内采用,因此产能和技能仍在追赶之中。

为明天的芯片构建回路,是最重要的一项决策。为如今 30 kW 负载设计的模块,在 4,000 W 加速器问世时会变成搁浅的机箱;而配备温水歧管、可扩展的 CDU 容量和正确选型的干冷器的模块,无需压缩机即可承接那一代硬件。Google 已证明,机器学习控制可将冷却能耗降低约 40%,这一逻辑如今已内置在模块化控制平台中。

对于评估集装箱数据中心冷却的规划者,务实的答案是:从第一天起就采用温水直触芯片,对照当地气象验证无冷水机组的工作窗口,并要求对整个回路进行满载工厂测试。如果你把干冷器视为可选件而非主要散热路径,压缩机就会悄然回归。做对了,压缩机就会从设计中消失,随之消失的还有大量能源成本和机房基础设施。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注