Самый быстрый способ сократить энергопотребление в охлаждении контейнерных ЦОД — это убрать компрессор, а не настраивать его. Для GPU-модулей мощностью выше примерно 20 кВт на стойку контур direct-to-chip с тёплой водой, работающий при температуре 40–45 градусов Цельсия, может отводить тепло только через сухой охладитель, удерживая PUE около 1,1–1,2 без чиллерной станции и заводских трубопроводов. Температура подачи, подбор CDU и контроль конденсации определяют, будет ли такая конструкция без чиллера работать на практике.
Почему охлаждение контейнерных ЦОД упирается в стену примерно на 20 кВт на стойку?
Воздух — плохая среда теплопередачи, а стальной контейнер оставляет мало места, чтобы компенсировать это объёмом. В охлаждении контейнерных ЦОД это ограничение объёма жёстче, чем в любом обычном машинном зале. Традиционное воздушное охлаждение работает надёжно примерно до 15 кВт на стойку и достигает практического потолка около 20–25 кВт с учётом энергии вентиляторов и горячих точек. По данным JLL, воздух остаётся эффективным лишь примерно до 20 кВт, после чего на смену приходят активные заднедверные теплообменники, а затем и прямое жидкостное охлаждение.
Разрыв по плотности в охлаждении контейнерных ЦОД быстро растёт. McKinsey отмечает, что ИИ-нагрузки теперь требуют от 60 до 120 кВт на стойку, а стойки Nvidia GB300 приближаются к 163 кВт. Модуль, рассчитанный на воздушный поток для 10 кВт, не сможет охладить такое оборудование, просто добавив вентиляторы: статическое давление, шум и энергопотребление вентиляторов становятся запретительными. На плотных воздушных объектах вентиляторы могут потреблять 15–25 % всей энергии.
Именно поэтому охлаждение контейнерных ЦОД разделилось на два направления. Модули edge и хранения с низкой плотностью по-прежнему используют системы прямого расширения или испарительного охлаждения воздуха, тогда как GPU- и HPC-модули поставляются с жидкостными контурами как основным путём отвода тепла в охлаждении контейнерных ЦОД. Dell’Oro Group ожидает, что к 2029 году расчётная тепловая мощность передовых GPU превысит 4 000 Вт на чип — по сравнению с примерно 700–1 000 Вт сегодня, — что закрепляет жидкостное охлаждение как структурное требование, а не опцию.
Почему direct-to-chip с тёплой водой становится выбором по умолчанию для ИИ-модулей?
Охлаждение direct-to-chip размещает холодные пластины на GPU и CPU, отводя тепло в самом источнике. Именно эту архитектуру сейчас принимает большинство новых конструкций охлаждения контейнерных ЦОД для ИИ. Жидкость отводит тепло значительно эффективнее воздуха, поэтому компактный модуль может вместить стойки, которые в противном случае потребовали бы гораздо более крупного зала с воздушным охлаждением. В герметичном заводском корпусе это важно вдвойне: он сокращает требуемый воздушный поток и концентрирует отвод тепла в компактный внешний сухой охладитель.
Использование тёплой воды — это тот самый рычаг, который убирает чиллер из охлаждения контейнерных ЦОД. Механические чиллеры существуют в основном для производства холодной воды, часто температурой 7–15 градусов Цельсия. Если чипы принимают воду подачи температурой 40–45 градусов, окружающий воздух может охлаждать этот контур напрямую большую часть или весь год — в зависимости от климата. ASHRAE TC 9.9 определяет классы оборудования жидкостного охлаждения начиная с W17, а классы W32, W40 и W45 описывают режимы тёплой воды, которые всё шире поддерживают современные серверы.
Результат по эффективности измерим. По опросу Uptime Institute за 2025 год объекты с воздушным охлаждением имеют PUE 1,55–1,67, тогда как системы direct-to-chip достигают 1,10–1,25. Dell’Oro сообщает, что в 2025 году рынок жидкостного охлаждения почти удвоился — до примерно $3 млрд — и должен приблизиться к $7 млрд к 2029 году. В охлаждении контейнерных ЦОД такая эффективность достигается без центральной станции.
Продукты производителей подтверждают эту траекторию. Контейнерный ЦОД для ИИ компании Delta вмещает до 60 кВт на стойку в стандартный 20-футовый контейнер ISO, использует систему «жидкость–воздух» без заводской водопроводной разводки и достигает PUE ниже 1,19. Это сочетание — высокая плотность, плюс сухой отвод тепла, плюс площадь, сопоставимая с парковочным местом, — и есть шаблон, которому теперь следует охлаждение контейнерных ЦОД с тёплой водой.
Какая температура подачи позволяет модулю отводить тепло без чиллера?
Решающая цифра в охлаждении контейнерных ЦОД — это температура подачи хладагента на холодной пластине: она задаёт минимальную температуру окружающего воздуха, при которой сухой охладитель успевает за отводом тепла. Более высокая температура подачи расширяет окно работы без чиллера. Дорожная карта Nvidia Vera Rubin NVL72 нацелена примерно на 300 кВт на стойку с прямым жидкостным охлаждением тёплой водой при 45 градусах — именно для того, чтобы сухие охладители могли отводить тепло без механических чиллеров.
Арифметика здесь — температурный напор, а не предположение. Сухому охладителю нужно, чтобы входящий хладагент был выше температуры окружающего воздуха на конечную величину напора — обычно на 8–15 градусов под нагрузкой. С водой подачи температурой 40–45 градусов модуль работает без компрессора во многих умеренных климатах тысячи часов в год, используя небольшой дополнительный охладитель лишь в самые жаркие пики. Именно так охлаждение контейнерных ЦОД остаётся без чиллера; более холодная вода сужает окно и возвращает чиллер.
Слишком высокая температура подачи несёт собственную цену. Температура чипов должна оставаться ниже порога троттлинга производителя, а небольшой перепад температур на холодной пластине оставляет мало запаса. Практические конструкции для ранних поколений GPU обычно держат воду подачи в диапазоне 25–35 градусов, балансируя между троттлингом и конденсацией. Практичный шаг — установить заданную температуру подачи точно по спецификации GPU, а затем добавить лишь столько дополнительного охлаждения, сколько требуют местные метеорологические данные.
Как подобрать размеры CDU, коллектора и сухого охладителя внутри контейнера?
Расчёт охлаждения контейнерных ЦОД должен исходить из дорожной карты чипов, а не из текущей нагрузки, потому что каждое поколение GPU повышает плотность тепловыделения. Распределительный узел хладагента (CDU) переносит тепло из вторичного контура сервера в контур со стороны объекта, обеспечивая прокачку, фильтрацию и контроль давления. CDU уровня ряда или стойки в классе 1 МВт могут обслуживать дюжину и более стоек высокой плотности, сохраняя стандартный занимаемый объём.
Планируйте контур под следующую проверенную платформу, а затем наращивайте мощность CDU проверенными на заводе приращениями. Модуль, полностью подготовленный к будущим насосам, избавляет от необходимости врезаться в герметичный корпус на месте. Сухой охладитель подбирается по суммарному отводу тепла плюс температурный напор в пик местного лета, а не по номинальной ИТ-мощности; остаточное тепло, не захваченное жидкостью, всё равно уходит через воздух.
Резервированию в охлаждении контейнерных ЦОД следует уделить особое внимание, потому что остановка насоса прерывает охлаждение в течение считанных минут. Насосы и CDU по схеме N+1, запорные клапаны на каждой стойке и быстроразъёмные соединения с фиксирующими защёлками позволяют обслуживать одну стойку без слива жидкости из модуля. Такая многоуровневая мощность — это разница между системой с тёплой водой, которая остаётся без чиллера, и системой, которая при отказе компонента переходит на резервное охлаждение.
Где в контур входят риски конденсации и утечек?
Контуры с тёплой водой безопаснее чиллерных с точки зрения конденсации, но и они не застрахованы от неё, а конденсация — один из самых недооценённых рисков в охлаждении контейнерных ЦОД. Конденсация образуется, когда поверхность опускается ниже окружающей точки росы, поэтому самая холодная точка системы — обычно подающий коллектор или вход холодной пластины — должна оставаться выше точки росы с запасом. Повышение температуры подачи ближе к 40 градусам помогает, но влажный наружный воздух, проникающий в охлаждаемый корпус, всё равно может поднять точку росы.
Сдерживание точки росы начинается с герметичности корпуса. Контейнер, прошедший заводское испытание давлением, с герметичными кабельными вводами, уплотнениями стоек и дверными прокладками не пропускает влажный окружающий воздух и защищает эффективность; даже небольшие утечки воздуха могут снизить эффективность охлаждения на несколько процентов. Датчики точки росы на холодной шине и коллекторе, связанные с повышением температуры подачи или снижением мощности охлаждения, служат активной подстраховкой до появления влаги.
Контроль утечек одновременно гидравлический и электрический. Деионизированная вода или одобренный хладагент с контролируемой проводимостью снижает риск короткого замыкания, а кабели или ленты обнаружения утечек под коллекторами и CDU выявляют капли на ранней стадии. Клапаны на входе каждой стойки изолируют отдельное неисправное соединение. Заложить эти датчики и клапаны до выхода модуля с завода значительно дешевле, чем дооснащать ими герметичный запитанный корпус.
Могут ли воздух и жидкость сосуществовать в одном контейнере?
Большинство ИИ-модулей гибридны, и в охлаждении контейнерных ЦОД разделение должно быть осознанным, а не случайным. Жидкость улавливает концентрированное тепло GPU и CPU — как правило, основную часть нагрузки, — тогда как воздух обслуживает сетевое оборудование, системы хранения, силовую электронику и остаточное тепло, которое не захватывают холодные пластины. Умеренный воздушный канал также обеспечивает резервирование на случай снижения эффективности жидкостного контура.
Преимущество — в соответствии инвестиций в охлаждение выделяемому теплу. Плотные GPU-стойки получают холодные пластины; стойки поддержки с низкой плотностью получают воздух, что позволяет избежать избыточного резервирования жидкости. Операторы могут затем немного поднять заданную температуру по воздушной стороне, сокращая энергию вентиляторов и охлаждения в контейнерных ЦОД.
Риск — в неизмеренном остатке. Если заявленный коэффициент улавливания тепла жидкостью оптимистичен, воздушная система должна отводить больше тепла, чем предусмотрено проектом, а у коммутаторов и задней кабельной разводки снова появляются горячие точки. Поэтому коэффициент улавливания следует сверять с реальной конфигурацией серверов, а не принимать по рекламным данным производителя, и рассчитывать воздушный канал на фактический остаток с заданным запасом.
Что должны проверять приёмочные испытания до выхода GPU-модуля с завода?
Поскольку контейнер поставляется как готовое изделие, заводские приёмочные испытания — это последнее недорогое место для выявления ошибок в охлаждении контейнерных ЦОД. Испытание должно измерять весь путь отвода тепла — от холодной пластины до сухого охладителя — при нагрузке, соответствующей реальной плотности GPU, а не её части. Запись температур подачи и обратки, расхода, перепада давления и мощности CDU при полной нагрузке выявляет насосы заниженной производительности и загрязнённые теплообменники на ранней стадии.
Наибольший вес имеют три измерения. Во-первых, достигнутая температура подачи и температурный напор относительно окружающего воздуха подтверждают, действительно ли модуль работает без чиллера в расчётном климате. Во-вторых, расход на стойку и дельта-T подтверждают сбалансированное распределение и реальный коэффициент улавливания тепла жидкостью. В-третьих, принудительное переключение насоса или CDU на резерв доказывает, что логика резервирования удерживает температуру в допустимых пределах во время переключения.
Данные по воде и энергии должны быть в одном испытании. По данным HyperFRAME Research, замкнутые жидкостные системы могут работать с расходом ниже 0,2 литра на киловатт-час — значительно ниже испарительных конструкций, — и эту цифру следует проверять, а не обещать. Логирование суммарного входа, ИТ-нагрузки и мощности охлаждения превращает мгновенный снимок в эксплуатационный базовый уровень.
Готово ли охлаждение контейнерных ЦОД к следующему поколению GPU?
Направление определено, но готовность — это вопрос проектирования. ИИ-стойки переходят с 120–163 кВт на 300 кВт и выше, а дорожная карта Nvidia по тёплой воде делает отвод тепла без чиллера ожидаемой архитектурой, а не экспериментом. AFCOM сообщила в 2025 году, что только около 19 % центров обработки данных внедрили жидкостное охлаждение, хотя 36 % планировали внедрить его в течение двух лет, поэтому мощности и компетенции всё ещё догоняют.
Прокладка контура под завтрашний чип — это самое важное решение. Модуль, рассчитанный на сегодняшнюю нагрузку 30 кВт, становится обречённым на выброс коробом, когда появятся ускорители на 4 000 Вт; модуль с коллекторами тёплой воды, поэтапно наращиваемой мощностью CDU и правильно подобранным сухим охладителем поглощает это поколение без компрессора. Google показала, что управление на основе машинного обучения может сократить энергию охлаждения примерно на 40 %, и эта логика теперь встроена в модульные платформы управления.
Для проектировщиков, оценивающих охлаждение контейнерных ЦОД, практичный ответ — закладывать direct-to-chip с тёплой водой с первого дня, проверять окно работы без чиллера по местной погоде и требовать заводских испытаний всего контура при полной нагрузке. Если относиться к сухому охладителю как к опции, а не как к основному пути отвода тепла, компрессор незаметно возвращается. При правильном исполнении компрессор исчезает из конструкции, а вместе с ним — значительная доля затрат на энергию и инфраструктуры объекта.
发表回复