Охлаждение для высокопроизводительных вычислений перешагнуло решающий порог. ИИ-ускорители, такие как NVIDIA H100 на 700 Вт и Blackwell B200 на 1 000 Вт, поднимают плотность стоек выше 100 кВт, тогда как воздушное охлаждение упирается в потолок около 25–30 кВт на стойку. Ответ индустрии — жидкостное охлаждение: по прогнозам Dell’Oro Group, к 2029 году этот рынок достигнет примерно 7 млрд долларов. Для операторов HPC вопрос больше не в том, внедрять ли жидкостное охлаждение, а в том, какая архитектура соответствует рабочей нагрузке, бюджету и ограничениям объекта.
Почему охлаждение для высокопроизводительных вычислений стало критическим узким местом в ИИ-кластерах?
Физика конвективного теплообмена устанавливает жёсткий потолок для воздушного охлаждения: вентиляторы и радиаторы не в силах его преодолеть. Мощность ускорителей стремительно растёт: H100 работает на 700 Вт, Blackwell B200 — на 1 000 Вт, а следующее поколение Rubin, по данным The Cooling Report, поднимется ещё выше. Плотный ИИ-кластер для обучения поднимает плотность стоек выше 100 кВт, а в некоторых конфигурациях — почти до 120 кВт. Проекты следующего поколения нацелены на 200–250 кВт на стойку, поэтому охлаждение для высокопроизводительных вычислений вышло на первое место в повестке проектирования.
AMD MI300X и Intel Gaudi 3 также выходят за пределы мощностей, которые способно выдержать воздушное охлаждение, так что это проблема не одного производителя. Ожидается, что к 2026 году глобальные ИИ-нагрузки достигнут около 44 ГВт, обогнав не-ИИ нагрузки примерно в 38 ГВт. Когда одна стойка потребляет больше энергии, чем небольшое офисное здание, охлаждение ограничивает плотность вычислений, стоимость энергии и время безотказной работы. Решения по охлаждению для высокопроизводительных вычислений теперь определяют, будет ли кластер работать на полную мощность или сбрасывать частоты под тепловой нагрузкой.
Какие основные технологии охлаждения для высокопроизводительных вычислений применяются сегодня?
В современных HPC-объектах доминируют три семейства технологий. Традиционное воздушное охлаждение использует кондиционеры машинных залов, вентиляторы и радиаторы для отвода тепла. Прямое жидкостное охлаждение чипов, также называемое охлаждением холодными пластинами, прогоняет теплоноситель через металлические пластины, установленные на CPU, GPU и модулях памяти. Иммерсионное охлаждение погружает целые серверы в диэлектрическую жидкость — в однофазной или двухфазной конфигурации. Каждое семейство закрывает свой диапазон требований к охлаждению для высокопроизводительных вычислений.
Данные о внедрении показывают, как быстро меняется ландшафт. Согласно опросу Uptime Institute о системах охлаждения 2024 года, основанному на ответах 964 респондентов, 22 процента уже используют прямое жидкостное охлаждение на своих объектах, а 61 процент рассматривают его в будущем. Почти половина пользователей DLC сообщают, что технологию применяют менее чем на 10 процентах их ИТ-стоек. Для охлаждения высокопроизводительных вычислений практический вопрос уже не в том, у какого вендора покупать, а в том, какую архитектуру стандартизировать по мере роста плотности.
Сколько тепла может отвести традиционное воздушное охлаждение для высокопроизводительных вычислений?
У воздушного охлаждения практический потолок — примерно 25–30 кВт на стойку; этот предел практически не сдвинулся за многие годы. Оптимизация не в силах пробить эту границу. Любой HPC-кластер с нагрузкой свыше примерно 30 кВт на стойку требует иной стратегии отвода тепла. Понимание этого потолка — первый шаг в любой стратегии охлаждения для высокопроизводительных вычислений.
Разрыв в эффективности столь же заметен в показателе PUE. По данным China Economic Net, традиционные центры обработки данных с воздушным охлаждением долгое время работали с PUE выше 1.8. На охлаждение обычно приходится от 30 до 40 процентов всей энергии дата-центра — больше только на само ИТ-оборудование, на долю которого приходится от 45 до 60 процентов. Объекты с жидкостным охлаждением могут опустить PUE ниже 1.1, а восемь национальных хаб-узлов Китая сейчас в среднем показывают около 1.25. Для охлаждения высокопроизводительных вычислений эта разница в эффективности напрямую конвертируется в эксплуатационные расходы, углеродный след и возможность наращивать вычислительные мощности в рамках существующего энергетического бюджета.
Прямое охлаждение чипов или иммерсионное: какую архитектуру охлаждения для высокопроизводительных вычислений выбрать?
Прямое жидкостное охлаждение чипов крепит холодные пластины к компонентам с наибольшим тепловыделением и отводит большую часть тепла в источнике. Иммерсионное охлаждение погружает сервер целиком в диэлектрическую жидкость и отводит практически всё тепло от каждого компонента. Выбор между двумя подходами определяет всю дорожную карту охлаждения для высокопроизводительных вычислений, поэтому решение заслуживает тщательного анализа.
По данным Dell’Oro Group, однофазное прямое жидкостное охлаждение укрепило свои позиции как доминирующая архитектура для ИИ-кластеров. Для большинства организаций прямое охлаждение чипов — самый быстрый путь к возможностям охлаждения для высокопроизводительных вычислений с наименьшими операционными перебоями. Иммерсионное охлаждение остаётся привлекательным там, где целевая плотность превышает возможности модернизации, или где операторы хотят полностью отказаться от воздушной обработки.
Сколько стоит модернизация охлаждения для высокопроизводительных вычислений и что она экономит?
Экономика охлаждения для высокопроизводительных вычислений улучшается по мере масштабирования рынка. Dell’Oro Group прогнозирует, что к 2029 году мировой рынок жидкостного охлаждения достигнет около 7 млрд долларов выручки производителей. В Китае рынок жидкостного охлаждения для центров умных вычислений в 2024 году составил 18.4 млрд юаней, показав рост на 66.1 процента год к году, а к 2029 году, по данным Китайской академии информационных и коммуникационных технологий, может достичь около 130 млрд юаней.
Экономия от охлаждения для высокопроизводительных вычислений определяется снижением PUE. Переход с PUE 1.8 на уровень ниже 1.2 позволяет сократить потребление энергии на охлаждение более чем вдвое. Национальные хаб-узлы сейчас в среднем показывают PUE от 1.2 до 1.3, а жидкостные конструкции продемонстрировали PUE ниже 1.1. Повторное использование тепла открывает дополнительный источник дохода: тёплый теплоноситель можно подавать в системы централизованного отопления, превращая отходящее тепло в актив. За пятилетний срок службы объекта экономия энергии от модернизации охлаждения для высокопроизводительных вычислений, как правило, превышает капитальные затраты на само оборудование.
Как перевести систему охлаждения для высокопроизводительных вычислений на жидкостную без простоев?
Миграция проходит поэтапно, защищая работающие нагрузки. Сначала проведите аудит фактической тепловой нагрузки каждой стойки на основе телеметрии, а не паспортных характеристик. Затем запустите пилот на одном ряду или секции, проверяя расход теплоносителя, обнаружение утечек и контроль температуры под производственной нагрузкой. Далее расширяйтесь постепенно, отдавая приоритет самым плотным стойкам, где воздушное охлаждение уже на пределе. Поэтапный план делает модернизацию охлаждения для высокопроизводительных вычислений предсказуемой.
Распределительный блок теплоносителя (CDU) — центральная точка интеграции: он изолирует воду объекта от серверного контура и управляет расходом и температурой. Коллекторы подают теплоноситель к каждому серверу, а быстроразъёмные соединения позволяют обслуживать систему без слива контура. Обнаружение утечек необходимо в каждом соединении, а мониторинг должен отслеживать температуру теплоносителя и температуру переходов чипов. Для смешанных поколений оборудования оставьте небольшую зону с воздушным охлаждением для устаревших серверов. Любая миграция охлаждения для высокопроизводительных вычислений должна быть обратимой на уровне стойки, чтобы неудачное развёртывание затронуло одну секцию, а не весь кластер.
Какие выгоды в надёжности и производительности даёт охлаждение для высокопроизводительных вычислений?
Жидкостное охлаждение устраняет тепловой троттлинг, от которого страдают ускорители с воздушным охлаждением. Стабильно низкие температуры позволяют GPU работать на полной тактовой частоте в течение длительного времени, сокращая время обучения и симуляций. Платформа Lenovo Neptune, размещающая холодные пластины непосредственно на GPU и модулях памяти, отмечает меньше замедлений и более долгий срок службы оборудования благодаря устранению тепловых пиков. Эти выгоды превращают охлаждение для высокопроизводительных вычислений в рычаг производительности, а не просто в инженерную инфраструктуру.
Операторы также используют цифровые двойники для настройки режимов охлаждения. Команда Ок-Риджской национальной лаборатории, создавшая экзафлопсный суперкомпьютер Frontier, построила цифровой двойник, который моделирует телеметрию энергопотребления и охлаждения, позволяя инженерам проверять изменения температуры охлаждающей воды и графиков до применения их на реальной машине. Это снижает риск экспериментов с системой, слишком ценной для прямого тестирования. Таким образом, охлаждение для высокопроизводительных вычислений эволюционирует из статичной инфраструктуры в активно управляемую подсистему, где надёжность, эффективность и производительность оптимизируются совместно.
Как будет развиваться охлаждение для высокопроизводительных вычислений к 2030 году?
До конца десятилетия охлаждение для высокопроизводительных вычислений будут определять три тенденции. Во-первых, однофазное прямое жидкостное охлаждение останется стандартом для ИИ-кластеров, тогда как двухфазные и иммерсионные подходы будут дозревать для нишевых сценариев. Во-вторых, плотность стоек продолжит расти: проекты на 200–250 кВт на стойку уже на досках проектировщиков, что поднимает температуры теплоносителя и делает повторное использование тепла привлекательнее. В-третьих, интеграция в инфраструктуру объекта углубится: жидкостное охлаждение будет закладываться в здания с самого начала, а рекуперация тепла станет стандартом в холодном климате.
Стратегический вывод очевиден: охлаждение для высокопроизводительных вычислений — теперь ключевое архитектурное решение, а не инфраструктурная доработка. Организации, которые стандартизируют стойки, готовые к жидкостному охлаждению, обучают команды и внедряют инструменты мониторинга, смогут осваивать каждое новое поколение GPU без перестройки объектов. А те, кто дождётся отказа воздушного охлаждения под нагрузкой, столкнутся со спешными миграциями и неизбежными простоями.
Заключение
Охлаждение для высокопроизводительных вычислений превратилось из необязательной меры эффективности в обязательное требование для кластеров ИИ-масштаба. Воздушное охлаждение останавливается примерно на 25–30 кВт на стойку, тогда как ускорители класса B200 поднимают стойки выше 100 кВт. Прямое жидкостное охлаждение чипов — доминирующий ответ на ближайшую перспективу. Данные Uptime Institute показывают, что 22 процента объектов уже используют DLC, Dell’Oro прогнозирует рынок в 7 млрд долларов к 2029 году, а объекты с жидкостным охлаждением регулярно достигают PUE ниже 1.2. Рамка практична: проведите аудит тепловой нагрузки, запустите пилот на одной секции, стандартизируйте стойки, готовые к жидкостному охлаждению, и масштабируйтесь под мониторингом. Каждое решение по охлаждению для высокопроизводительных вычислений, принятое сегодня, определит, какие организации смогут развернуть следующее поколение ускорителей на полную мощность.
发表回复