Вы заходите в машинный зал и замечаете, что стойка #14 снова работает с температурой на входе 42°C. Ваши периметральные блоки CRAC работают на полной мощности, но горячие точки не исчезают. Если это звучит знакомо, значит, архитектура кондиционирования воздуха в вашем ЦОД достигла предела по плотности. Разрыв между традиционным охлаждением на уровне помещения и современными стойками высокой плотности — это место, где живут простои, и ваша стратегия прецизионного охлаждения на уровне ряда — единственный мост через него.
Когда периметральное охлаждение подводит ваш ЦОД
Периметральные CRAC — кондиционеры для машинных залов, устанавливаемые вдоль стен и подающие холодный воздух через фальшпол, — десятилетиями были стандартным методом кондиционирования воздуха в ЦОД. Они работают. Пока не перестают.
Согласно полевым данным, собранным CRAC.services, эффективность периметрального охлаждения резко падает, как только плотность стоек превышает 10 kW на шкаф. Физика проста: путь воздуха от настенного блока до стойки, находящейся в 15 метрах, слишком длинный. Холодный воздух смешивается с горячим выхлопом, не успев дойти до входов серверов. Давление в пленуме под фальшполом нельзя поднять достаточно высоко, не рискуя выдуть плиты из пазов.
Теперь добавьте кластеры обучения AI, потребляющие 30–100 kW на стойку. Согласно отчёту Vertiv Data Center 2025, 41% отраслевых специалистов ожидают, что гибридная модель воздушно-жидкостного управления температурой станет новым стандартом. Ваша устаревшая периметральная схема никогда не была рассчитана на такую реальность. Это не постепенная проблема — это полное архитектурное несоответствие.
Как устроена архитектура прецизионного охлаждения на уровне ряда
Прецизионное охлаждение на уровне ряда размещает узкие охлаждающие блоки непосредственно внутри серверного ряда, между вашими стойками. Вместо того чтобы гнать воздух на 15 метров через помещение, путь воздуха сокращается примерно до 30–50 cm от охлаждающего блока до входа стойки. Каждый внутрирядный блок обеспечивает 10–50 kW охлаждающей мощности в зависимости от модели — Vertiv Liebert CRV является наиболее распространённой эталонной конструкцией в этом сегменте.
Ваш горячий коридор становится обратным путём. Холодный воздух поступает в переднюю часть стойки, забирает тепло серверов, выбрасывается в изолированный горячий коридор и возвращается прямо во вход внутрирядного блока. Контур замкнут. Рециркуляция — главный враг периметрального кондиционирования воздуха в ЦОД — практически исчезает.
Эта архитектура также решает дилемму модернизации. Если у вас устаревший машинный зал, где 80% стоек работают на 5 kW, но два ряда GPU-серверов требуют по 35 kW каждый, вы устанавливаете внутрирядные блоки в эти два ряда, а периметральные CRAC оставляете обслуживать остальное. Вы не выкорчёвываете существующую инфраструктуру — вы точечно добавляете мощность там, где этого требует ваша плотность.
Расчёт нагрузки системы кондиционирования воздуха ЦОД
Ошибки в расчёте нагрузки — коренная причина большинства отказов прецизионного охлаждения. Отраслевое исследование Airventec China показывает, что в 85% машинных залов заданные значения температуры ниже необходимых — это приводит к перерасходу 15–25% энергии компрессоров, при этом горячие точки так и не устраняются. Решение начинается с точного расчёта нагрузки.
Во-первых, рассчитывайте нагрузку ИТ-оборудования по фактическому потреблению, а не по номинальным характеристикам. Серверы редко потребляют 100% своей номинальной мощности. Реалистичный коэффициент нагрузки — 60–80% от номинала. Для стойки с 10 серверами номиналом 1,200 W каждый фактическая нагрузка ближе к 7.2–9.6 kW, а не к 12 kW. Завышение мощности системы кондиционирования воздуха ЦОД на основе номинальных значений растрачивает капитал и заставляет ваши компрессоры работать в неэффективном цикле частичной нагрузки.
Во-вторых, учтите тепло от потерь UPS, освещения и персонала — обычно это 5–10% нагрузки ИТ-оборудования. В-третьих, напрямую применяйте тепловые рекомендации ASHRAE TC 9.9: температура на входе серверов должна составлять 18–27°C, а относительная влажность — от минимальной точки росы 5.5°C до максимальных 60% RH. Если вы поддерживаете в холодном коридоре 18°C, тогда как ASHRAE допускает 25°C, каждый лишний градус охлаждения обходится вам примерно в 3–5% годового энергопотребления — по данным того же отраслевого исследования.
Изоляция горячего коридора и правила управления воздушными потоками
Прецизионное охлаждение на уровне ряда без изоляции горячего коридора — это выброшенные деньги. Эти два решения неразделимы. Если вы устанавливаете внутрирядные блоки, но оставляете горячий и холодный коридоры открытыми, подаваемый холодный воздух полностью минует входы серверов — замыкаясь обратно на вход охлаждающего блока, так и не совершив полезной работы.
Полная изоляция горячего коридора — с жёсткими панелями, дверями и потолочным барьером — заставляет каждый кубический метр горячего выхлопного воздуха возвращаться через ваши внутрирядные блоки. Альтернатива — изоляция холодного коридора: вы огораживаете холодный коридор, а остальное помещение становится обратной воздушной камерой для горячего воздуха. Выбор зависит от планировки вашего объекта. В любом случае изоляция обязательна. Согласно техническому анализу 51cps.net, правильно герметизированная изоляция горячего коридора сама по себе снижает энергопотребление охлаждения на 20–30% — независимо от модернизации оборудования.
Кроме того, каждый неиспользуемый U-слот стойки необходимо закрывать заглушками. Один-единственный зазор 1U в передней части стойки позволяет холодному воздуху полностью обходить серверы, создавая путь низкого сопротивления, который ухудшает охлаждение каждой последующей стойки. Заполнение заглушками должно превышать 95%.
Как выбрать решение для прецизионного охлаждения
Внутрирядные охлаждающие блоки бывают двух основных типов: с непосредственным расширением (DX) и с охлаждённой водой (CW). У каждого — свой жёсткий эксплуатационный профиль.
Блоки DX содержат собственный контур хладагента и компрессор. Они автономны — контур охлаждённой воды в здании не требуется. Это делает DX решением по умолчанию для небольших серверных, edge-площадок и модернизаций, где прокладка труб охлаждённой воды к конкретному ряду экономически нецелесообразна. Обратная сторона: эффективность при частичной нагрузке падает быстрее, чем у охлаждённой воды, а максимальная мощность одного блока обычно ограничивается примерно 30 kW.
Внутрирядные блоки с охлаждённой водой подключаются к центральной чиллерной установке здания. Они эффективно масштабируются — COP при частичной нагрузке остаётся высоким, поскольку компрессоры центральной установки работают с более крупной и стабильной нагрузкой. Для развёртываний с нагрузкой выше 30 kW на стойку или для многорядных установок охлаждённая вода почти всегда обеспечивает меньшую совокупную стоимость владения. Если вы боретесь за стабильность температуры при колебаниях нагрузки, использование инструмента мониторинга поможет отслеживать колебания температуры на входе в реальном времени по всем стойкам и определить, каким рядам требуется перебалансировка мощности, прежде чем горячие точки перерастут в простои.
Модернизация системы кондиционирования воздуха ЦОД
Внедрение высокоплотного охлаждения в работающий машинный зал звучит дорого — и может таким быть, если выбрать неверный подход. Теплообменники на задней двери (RDHx) — самый простой путь модернизации. Оребрённый теплообменник крепится на заднюю часть существующей стойки, подключается к контуру охлаждённой воды и удаляет 80–90% тепла стойки ещё на двери, до того как оно попадёт в помещение. Вашим периметральным CRAC остаётся справляться лишь с остаточными 10–20%. Никакой перенастройки всего объекта. Никаких изменений планировки рядов.
Модернизация с внутрирядным охлаждением требует чуть больше планирования — нужно выделить 30–60 cm пространства ряда на каждый охлаждающий блок, — но и прирост мощности пропорционально выше. Для стоек с нагрузкой 20–50 kW внутрирядное охлаждение — практическая золотая середина.
Экономика сходится, если учесть предотвращённые простои. Один внеплановый отказ из-за термической перегрузки обходится типичному колокейшн-оператору в сумму от $500,000 до $1 million в виде штрафов по SLA и оттока клиентов — по данным Uptime Institute о стоимости простоев. Ваша модернизация прецизионного охлаждения окупается уже при первом предотвращённом тепловом отключении.
Как избежать 5 самых распространённых ошибок прецизионного охлаждения
Задаёте слишком низкую температуру
Каждый градус ниже рекомендуемого диапазона ASHRAE обходится вам в 3–5% энергопотребления без единого выигрыша в надёжности.
Игнорируете контроль влажности
Кондиционирование воздуха в ЦОД должно управлять и явной, и скрытой тепловой нагрузкой. Точка росы ниже 5.5°C вызывает электростатический разряд — незаметный для вас до тех пор, пока DIMM таинственно не выйдет из строя. При влажности выше 60% RH растёт риск конденсации. Вашим прецизионным блокам нужны исправные увлажнение и осушение, а не обойдённые датчики.
Используете компрессоры с фиксированной скоростью
Исследование Airventec показало, что 44% ЦОД до сих пор используют охлаждение с постоянной скоростью. Частотные преобразователи адаптируют скорость компрессора к нагрузке в реальном времени, снижая энергопотребление на 30–50%. Если ваши компрессоры включаются и выключаются каждые несколько минут, вы платите за создание температурных колебаний.
Внедряете изоляцию без моделирования CFD
Моделирование вычислительной гидродинамики стоит несколько тысяч долларов и занимает неделю. Оно точно показывает, где находятся ваши мёртвые зоны, контуры рециркуляции и дисбалансы давления, — ещё до установки первой панели. Отказ от CFD — самый быстрый способ потратить шестизначную сумму на изоляцию, которая работает хуже ожидаемого.
Пренебрегаете графиком технического обслуживания
Внутрирядные фильтры забиваются. Змеевики охлаждённой воды загрязняются. Заряд хладагента медленно утекает месяцами. Каждый из этих факторов незаметно снижает мощность кондиционирования воздуха вашего ЦОД, пока очередная волна жары не переведёт вас за точку невозврата.
Регламент технического обслуживания кондиционирования воздуха вашего ЦОД
Вам нужен письменный и соблюдаемый график технического обслуживания. Внутрирядные воздушные фильтры: осмотр ежемесячно, замена раз в квартал — чаще, если ваш объект находится рядом со стройкой или в регионе с высокой запылённостью. Змеевики охлаждённой воды: химическая очистка ежегодно. Заряд хладагента DX: проверка давления каждые шесть месяцев. Поддоны для конденсата и линии отвода конденсата: осмотр раз в квартал, чтобы предотвратить повреждение водой стоек, между которыми установлены ваши внутрирядные блоки.
Датчики температуры на входе каждой стойки следует ежегодно калибровать по эталонному датчику. Если датчик показывает на 2°C меньше, ваша фактическая температура на входе на 2°C выше, чем отображает панель DCIM, — а 2°C — это разница между стабильной работой и термическим троттлингом современных CPU.
По данным DataString Consulting, рынок кондиционирования воздуха для ЦОД, как ожидается, вырастет с $2.1 billion в 2024 году до $5.8 billion к 2030 году — CAGR 18.3%, обусловленный почти полностью переходом от охлаждения на уровне помещения к прецизионному управлению температурой на уровне ряда. Ваш выбор инфраструктуры сегодня определяет, воспользуется ли ваш объект этой кривой роста или останется обслуживать стойки на 5 kW, пока отрасль переходит на 50.
发表回复