Для ИИ-стойки мощностью 100–150 kW жидкостное охлаждение модульного ЦОД — уже не повышение эффективности, а требование к вместимости. Выше примерно 50 kW на стойку воздух уже не способен отводить достаточное количество тепла, а современная стойка NVIDIA GB200 NVL72 потребляет 120–132 kW с жидкостным охлаждением, заложенным в конструкцию по проекту. Единственное решение, определяющее успех, — подобрать распределительный блок хладагента, двухконтурную трубную обвязку и обработку остаточного воздуха как единую инженерную систему, а не покупать CDU, ориентируясь только на номинальные киловатты.
Что означает жидкостное охлаждение модульного ЦОД для стойки на 100 kW?
Сборка жидкостного охлаждения модульного ЦОД использует заводские предварительно изготовленные корпуса или модули-салазки, в которые система охлаждения интегрируется ещё до поставки. Гёттингенский университет выбрал этот путь для своего суперкомпьютера Emmy: компания STULZ поставила четырёхзальный модульный объект менее чем за два месяца, разместив 1,5 MW вычислительной мощности при примерно 100 kW на стойку. В этом проекте через жидкость было отведено 78 процентов тепла, а через воздух — 22 процента.
Это развёртывание демонстрирует базовую архитектуру. Холодные пластины монтируются непосредственно на GPU, CPU и чипы коммутаторов. Подготовленный технологический контур охлаждения отводит тепло к CDU. Внутри CDU теплообменник передаёт эту энергию в отдельный контур воды объекта, который сбрасывает её через сухие охладители, градирню или чиллер. Два контура никогда не смешиваются, и именно эта изоляция и есть смысл всей конструкции.
Жидкостное охлаждение модульных ЦОД вышло в мейнстрим в 2025 году. Издание Data Center Dynamics сообщило, что Google включила или развернула жидкостное охлаждение примерно на половине своих объектов по всему миру — около 1 GW на 2 000 модулей TPU, — обеспечив при этом 99,999 процента аптайма. По итогам опроса о системах охлаждения, проведённого Uptime Institute в 2025 году, примерно каждый пятый оператор уже использует прямое жидкостное охлаждение, а большинство остальных рассматривают его внедрение.
Какая часть стойки на 120 kW действительно попадает в жидкостный контур?
Холодные пластины не улавливают каждый ватт. Для современных узлов с GPU производители оценивают долю отвода тепла через жидкость в 60–90 процентов, при этом реалистичный диапазон для планирования — 75–85 процентов. Компания Vertiv указывает 70–75 процентов через жидкость. Остаток уходит через блоки питания, память, сетевые карты (NIC) и накопители в воздух помещения.
Примените это к флагманской стойке. NVIDIA указывает для GB200 NVL72 мощность около 120–132 kW с эталонным контуром: подача 25 °C и обратка 45 °C. Даже при верхней границе диапазона улавливания более 25 kW всё равно поступает в помещение. Конструкция жидкостного охлаждения модульного ЦОД, игнорирующая эту воздушную нагрузку, перегреет зал, даже если контур чипов работает нормально.
Арифметика расхода столь же жёсткая. При перепаде температур в 10 K жидкостной стойке требуется примерно 1,5 литра в минуту на киловатт. Таким образом, стойке на 100 kW нужно около 150 л/мин, а опубликованный NVIDIA показатель для NVL72 составляет примерно 2 литра в секунду. Диаметр труб, напор насоса и расчёт коллекторов для жидкостного охлаждения модульного ЦОД выводятся именно из этих чисел, а не из общих каталожных характеристик.
Как подобрать CDU, не занижая контур?
Занижение — самая распространённая ошибка при развёртывании, и у неё очевидный симптом: температура хладагента растёт, GPU сбрасывают частоту, а пропускная способность обучения падает. CDU должен выдерживать пиковую тепловую нагрузку со стороны жидкости, а не суммарную номинальную мощность стойки. Расчёт: суммарная мощность стойки, умноженная на ожидаемый коэффициент улавливания тепла жидкостью.
Это базовый ориентир по жидкостной стороне, которому должен соответствовать каждый ряд жидкостного охлаждения модульного ЦОД. Ряд из десяти стоек мощностью по 100 kW при коэффициенте улавливания 0,75 даёт 10 × 100 × 0,75, то есть 750 kW. Производственным кластерам мощностью выше 500 kW затем требуется резервирование CDU по схеме N+1 с перекрёстно соединёнными коллекторами, поскольку отказ CDU может вывести ряд из строя за 60–120 секунд. Оба блока должны питать обе половины ряда через вентильные перемычки.
Мощность — лишь одна переменная в системе жидкостного охлаждения модульного ЦОД. CDU также должен подбираться по расходу, перепаду давления на длинных коллекторах, фильтрации и температурному напору. Температурный напор — это разница между холодной водой объекта и тёплой подачей вторичного контура; CDU не может выдавать хладагент холоднее, чем вода объекта плюс этот напор. Выбор установки жидкостного охлаждения модульного ЦОД только по киловаттам — вот почему одни объекты работают зимой, а летом сбрасывают частоту.
Мощность CDU резко выросла в 2025 году вместе с ростом мощности стоек. Data Center Dynamics отметила, что блоки на 2 MW становятся нормой: Schneider Electric и Motivair анонсировали CDU на 2,5 MW, а Flex и JetCool продемонстрировали модульное решение, наращиваемое до 1,8 MW. Эти более крупные блоки позволяют заводской установке жидкостного охлаждения модульного ЦОД соответствовать рядам мегаваттного класса, которые сегодня требуются для ИИ.
Какой класс воды по ASHRAE должен обеспечивать контур объекта?
Выбор температуры воды — это решение, которое определяет всю систему жидкостного охлаждения модульного ЦОД. ASHRAE определяет классы воды объекта по максимальной температуре подачи: от W17 до W45 и W+ выше 45 °C. Более низкие классы предполагают механические чиллеры. W27 подходит для стандартных развёртываний с прямым охлаждением чипов, W32 — для оптимизированных холодных пластин для ИИ с градирнями или сухими охладителями, а W40 и выше могут работать почти круглый год на сухом охлаждении в умеренном климате.
Большинство современных систем работают в диапазоне W32–W45. Неочевидная цель — вести контур как можно теплее, насколько допускают холодные пластины. Подача 35 °C по-прежнему позволяет держать кремний ниже предела температуры перехода, отводя тепло через кровельные сухие охладители и минуя чиллер большую часть часов работы. Именно здесь жидкостное охлаждение модульного ЦОД получает своё энергетическое преимущество, устраняя самую крупную нагрузку, не связанную с ИТ.
Температура воды объекта в любой конструкции жидкостного охлаждения модульного ЦОД должна выбираться заранее и совместно с поставщиком ИТ-оборудования. Она определяет, будут ли на крыше чиллеры или сухие охладители, диаметр трубопроводов и энергетический баланс здания. Она также определяет возможность повторного использования тепла: диапазон W45 и выше — это область, где отходящее тепло становится по-настоящему полезным для городской теплосети, а не просто маркетинговым заявлением.
Климат меняет запас при расчёте. Сухой охладитель должен подбираться под пиковую температуру окружающей среды, а не под среднегодовую. Когда летняя жара поднимает температуру воды объекта, вторичный контур растёт вместе с ней, и GPU сбрасывают частоту. Мощность теплоотвода, рассчитанная на пиковые условия, отличает систему, работающую круглый год, от системы, работающей только с октября по март.
Почему остаточная воздушная нагрузка — самая частая ошибка проектирования?
Каждый зал с жидкостным охлаждением модульного ЦОД — это гибридный зал. Компания Schneider Electric подчёркивает, что реалистичная конструкция всегда сочетает воздушные и жидкостные компоненты, поскольку память, накопители, блоки питания и сетевые коммутаторы по-прежнему отдают тепло в помещение. В проекте Гёттингена был предусмотрен второй модуль с воздушным охлаждением специально для сетевого оборудования и систем хранения.
Практическая ошибка — планировать только жидкость, игнорируя 15–25 kW тепла в помещение на каждую стойку. Заднедверные теплообменники на том же вторичном контуре — распространённое решение: они перехватывают остаточный воздух шасси до того, как он попадёт в зал. Производительность дверей сильно зависит от температуры воды, а подаваемая вода должна оставаться выше точки росы, чтобы не возникал конденсат.
На общем контуре важна сегрегация нагрузок. Работа стоек с GPU на 1 000 W и низкоплотных систем хранения на одном вторичном контуре вынуждает идти на компромисс по температуре, который растрачивает запас бесплатного охлаждения. Продуманная компоновка жидкостного охлаждения модульного ЦОД группирует стойки по тепловым классам и даёт каждому классу контур, настроенный под его потребности.
Что требуется при вводе в эксплуатацию системы жидкостного охлаждения модульного ЦОД?
Большинство отказов первого года эксплуатации жидкостного охлаждения модульного ЦОД — это отказы контура, а не чипов. Опрессуйте весь вторичный контур давлением в 1,5 раза выше рабочего в течение минимум 24 часов до установки любого ИТ-оборудования. Возьмите пробу хладагента, проведите химический анализ и подтвердите фильтрацию до начала циркуляции. Полная P&ID-схема, перечень клапанов и процедура изоляции должны быть переданы штатной эксплуатационной команде.
Химия хладагента — постоянный пункт технического обслуживания жидкостного охлаждения модульного ЦОД. Вторичный контур на водно-гликолевой смеси должен поддерживать pH в диапазоне 8,0–9,5 и проводимость ниже 50 микросименс на сантиметр, тогда как деионизованные контуры поддерживаются на гораздо более низких значениях, часто ниже 5–10. Несоответствующая жидкость вызывает коррозию холодных пластин, способствует образованию биоплёнки и постепенно забивает микроканалы, благодаря которым работает прямое охлаждение чипов. Стандарт — ежемесячные тесты и ежеквартальная доливка.
Защита от утечек строится, а не предполагается. Установите датчики протечки под каждой стойкой и коллектором, вокруг каждого CDU и под любым фальшполом, с автоматическим отключением насосов при обнаружении. Слёпые быстросъёмные разъёмы (blind-mate) — самое вероятное место отказа при обслуживании, а самый частый инцидент первого года — дренажный клапан коллектора, оставленный в неверном положении после пусконаладки. Подтверждение правильного положения клапанов предотвращает это.
Попадание воздуха — более тихая неисправность. Любой воздух во вторичном контуре резко снижает теплопередачу холодных пластин и провоцирует кавитацию насосов. Автоматические воздухоотделители на CDU, медленные процедуры заполнения и воздухоотводчики в верхних точках поддерживают контур заполненным. Именно на этих этапах пусконаладки вы закладываете надёжность, которая делает эксплуатацию плотного кластера безопасной.
Какие конструкционные риски и риски резервирования упускают операторы?
Полностью загруженная жидкостно охлаждаемая стойка со встроенным CDU может весить 1 400–1 800 kg. По оценке JLL, нагрузка на пол для высокоплотного жидкостного оборудования составляет 20 kPa и более, тогда как обычные залы проектировались под 12–15 kPa. При реконструкции это может решить судьбу проекта, и несущую способность перекрытия нужно проверять на этапе проектирования, а не после установки стоек.
Реконструкция под жидкостное охлаждение модульного ЦОД также сталкивается с дефицитом теплоотвода. Объект, переходящий от воздушных стоек на 8 kW к жидкостно охлаждаемым стойкам на 80 kW, может нуждаться в системе охлаждения в три-пять раз большей мощности, что часто становится самой крупной статьёй капитальных затрат в проекте. Развёртывание на 1 MW обычно требует подводящих и обратных магистралей диаметром шесть дюймов, проложенных к каждому CDU, — инфраструктуры, которой просто нет в зале с воздушным охлаждением.
Резервирование следует за новым критическим путём в жидкостном охлаждении модульного ЦОД. Насосы и CDU требуют того же резервирования по схеме N+1, что и вентиляторы, которые они заменяют, с запорными клапанами, позволяющими проводить обслуживание без слива ряда. По мере роста мощности стоек к показателям 600 kW на текущих дорожных картах производителей эти конструкционные, электрические и гидравлические ограничения ужесточаются совместно, а не по отдельности.
Финальный контрольный список перед развёртыванием
Проект жидкостного охлаждения модульного ЦОД принимается или отклоняется по качеству интеграции. Подтвердите точную модель стойки и пиковую мощность, умножьте на реалистичный коэффициент улавливания 0,75–0,85 для выбора CDU и добавьте блоки по схеме N+1 с перекрёстно соединёнными коллекторами. Выберите класс воды по ASHRAE до планировки здания, подберите сухие охладители под пиковые условия окружающей среды и предусмотрите рассеивание остаточного воздушного тепла, которое по-прежнему производит каждая стойка.
Затем проверьте неприглядные детали: нагрузку на пол, диаметры труб, химию хладагента, обнаружение утечек и 24-часовое испытание давлением. Выполненные вместе, эти шаги жидкостного охлаждения модульного ЦОД дают то, что, как показал Гёттинген, возможно: плотные ИИ-мощности, развёрнутые за недели, а не месяцы, с годовым PUE около 1,1 вместо средних 1,5 и выше при воздушном охлаждении.
发表回复