Если вам предложили решение для прецизионного охлаждения, а в спецификации просто указано «CRAC-агрегат», остановитесь. Архитектура вашей системы кондиционирования машинного зала — охлаждает ли она на уровне помещения, ряда или стойки — влияет на ваш счёт за электроэнергию и надёжность сильнее, чем марка или мощность. Ошибётесь с выбором — и вы будете годами бороться с горячими точками или платить за охлаждающую мощность, которая так и не доходит до ваших серверов.
Это руководство даёт вам практичную, без воды систему для принятия этого решения — с учётом фактической плотности мощности на стойку, ограничений планировки и траектории роста.
Плотность мощности — измеряемая в kW на стойку — единственная самая важная переменная при выборе топологии охлаждения. Всё остальное вытекает из неё. Рассчитайте её, прежде чем читать дальше: разделите общую мощность ИТ-оборудования (kW) на количество стоек в вашем помещении.
Главный вопрос: чем отличаются эти типы?
Все три подхода подают холодный воздух на горячее оборудование. Разница в том, какое расстояние должен пройти воздух и насколько точно он направляется.
Охлаждение помещения
- Путь воздуха: 10–20+ метров через помещение
- Зона охлаждения: всё помещение, а не отдельные стойки
- Оптимально при: средней плотности ≤ 5 kW/rack
- Главный риск: горячие точки в зонах высокой плотности
Рядное охлаждение
- Путь воздуха: 0.5–2 метра, от стойки до агрегата
- Зона охлаждения: один ряд стоек на агрегат
- Оптимально при: средней плотности 5–20 kW/rack
- Главный риск: больше агрегатов для управления и обслуживания
Стоечное охлаждение
- Путь воздуха: сантиметры — внутри стойки
- Зона охлаждения: одна стойка, точность уровня blade-сервера
- Оптимально при: > 15 kW/rack, до 60 kW/rack
- Главный риск: более высокая первоначальная стоимость на стойку
Охлаждение помещения (CRAC/CRAH) — когда это правильный выбор
Кондиционирование машинного зала на уровне помещения десятилетиями было отраслевым стандартом по умолчанию. Напольный CRAC-агрегат устанавливается по периметру помещения, подаёт холодный воздух через подпольное пространство фальшпола и забирает тёплый обратный воздух сверху. Если ваша среда соответствует проектным допущениям, такая система работает очень хорошо и остаётся самой простой в эксплуатации.
Охлаждение помещения
Охлаждение помещения отлично работает в традиционных средах с низкой и средней плотностью, где стойки потребляют в среднем 1–5 kW каждая — типично для серверов общего назначения, дисковых массивов и смешанного сетевого оборудования. Подпольное пространство фальшпола действует как напорная подача холодного воздуха, а перфорированные плитки направляют воздушный поток в холодный коридор.
Используйте охлаждение помещения, когда:
- У вас уже есть фальшпол (рекомендуется высота подпольного пространства не менее 300 mm)
- Ваша средняя плотность стоек стабильно ниже 5 kW/rack
- В вашей планировке есть место для CRAC-агрегатов по периметру (обычно зазор 0.5–1.0 m)
- Вам нужна единая централизованно управляемая система с минимальным числом агрегатов
- Ваша ИТ-команда предпочитает минимальную охлаждающую инфраструктуру в машинном зале
✅ Преимущества
- Минимальное число агрегатов — проще управлять
- Проверенная, хорошо изученная технология
- Более низкие капитальные затраты для малозаполненных помещений
- Простая схема резервирования N+1
- Широкая доступность — агрегаты от 7.5 kW до 300+ kW
⚠️ Ограничения
- Горячие точки неизбежны при плотности выше 5 kW/rack
- Требуется фальшпол (повышает стоимость и сложность)
- Эффективность охлаждения падает с ростом плотности
- Холодный воздух смешивается с горячим до того, как достигает серверов
- Единая точка отказа затрагивает всё помещение
Вы управляете серверной на 20 стоек в средней компании. В большинстве стоек установлены серверы Dell или HP форм-фактора 1U/2U со средним потреблением 2–3 kW каждая. Глубина вашего фальшпола — 400 mm. Два CRAC-агрегата по 30 kW в конфигурации N+1 с запасом справляются с этой нагрузкой, оставляя пространство для роста до 25–30 стоек, прежде чем потребуется пересмотреть топологию.
Если вы замечаете, что некоторые стойки заметно горячее других, хотя CRAC работает нормально, это классический признак того, что плотность превысила возможности равномерного распределения охлаждения помещения. Не просто добавляйте CRAC-агрегаты — подумайте, не станет ли адресное рядное охлаждение правильным следующим шагом.
Рядное охлаждение — когда плотность требует большего
Рядное охлаждение размещает выделенные охлаждающие агрегаты непосредственно между рядами серверных стоек. Вместо кондиционирования всего помещения каждый агрегат охлаждает только стойки по обе стороны от себя — это резко сокращает путь воздуха и повышает эффективность. Такой подход правильный, когда средняя плотность стоек превышает 5 kW или когда в большом помещении со смешанной плотностью есть зона высокой плотности.
Рядное охлаждение
Рядные агрегаты обычно имеют ту же ширину, что и стандартная 19-дюймовая стойка (600 mm), и занимают на полу один юнит стоечного пространства. Они подают холодный воздух горизонтально в холодный коридор, а воздух из горячего коридора возвращается напрямую в агрегат — без длинного пути под полом и без смешивания. Такая замкнутая циркуляция воздуха даёт гораздо больше контроля, чем охлаждение на уровне помещения.
Используйте рядное охлаждение, когда:
- Средняя плотность стоек находится в диапазоне 5–20 kW/rack
- У вас нет фальшпола или подпольное пространство слишком мелкое (< 250 mm)
- Вы разворачиваете blade-серверы, гиперконвергентные узлы или кластеры CPU с большим числом ядер
- Вам нужно добавить охлаждающую мощность в конкретную зону, не переделывая всё помещение
- Ваш центр обработки данных должен поддерживать будущий рост плотности без полного перепроектирования
✅ Преимущества
- Фальшпол не требуется — экономия затрат
- Экономия энергии вентиляторов 50%+ по сравнению с охлаждением помещения
- Локализация отказов — отказ одного агрегата затрагивает один ряд
- Масштабируется поэтапно по мере добавления стоек
- Работает с изоляцией горячего/холодного коридора
⚠️ Ограничения
- Больше агрегатов = больше точек обслуживания
- Каждый агрегат требует подключения труб с водой или хладагента DX
- Занимает площадь пола/стойки (обычно 1–2 юнита)
- Более высокая суммарная стоимость установки по сравнению с охлаждением помещения при низкой плотности
Вы расширяете свой центр обработки данных кластером высокопроизводительных вычислений на 10 стоек. Эти стойки будут потреблять в среднем по 12 kW каждая — заметно больше, чем способны обеспечить локально ваши существующие периметральные CRAC-агрегаты. Вы устанавливаете один рядный охлаждающий агрегат на каждые две HPC-стойки, создавая автономную зону охлаждения, которая не влияет на терморегулирование остальной части помещения и не зависит от него.
Стоечное охлаждение — решение для высокой плотности
Стоечное охлаждение размещает охлаждающий агрегат либо внутри стойки, либо сразу за ней (задний теплообменник). Путь воздуха измеряется в сантиметрах, а не в метрах. Это единственный жизнеспособный подход для узлов обучения ИИ, плотных blade-шасси или GPU-кластеров, которые пропускают 20–60 kW через одну стойку 42U.
Стоечное охлаждение
Самый распространённый подход на уровне стойки — задний теплообменник (RDHx) — водяная дверь, которая заменяет стандартную заднюю дверь стойки и поглощает тепло по мере прохождения через неё вытяжного воздуха. Во многих конструкциях вентиляторы не требуются: собственные вентиляторы сервера прогоняют воздух через теплообменник. Для ещё более высоких плотностей контуры прямого жидкостного охлаждения подводят хладагент непосредственно к CPU и GPU.
Используйте стоечное охлаждение, когда:
- Мощность отдельной стойки превышает 15–20 kW
- Вы разворачиваете ИИ-ускорители (NVIDIA H100/H200, AMD MI300) или плотные GPU-узлы
- Вы работаете с blade-шасси (например, 84 лезвийных сервера = ~28 kW от одного шасси)
- Вы работаете в colocation-среде, где контролируете только свои стойки
- Фоновое охлаждение помещения нельзя модернизировать, но вам нужно повысить плотность
✅ Преимущества
- Справляется с нагрузкой до 60 kW на стойку
- Полностью устраняет горячий вытяжной воздух (с RDHx)
- Минимальный риск горячих точек — охлаждение каждой стойки отдельно
- Работает в colocation-средах
- Снижает или устраняет потребность в охлаждении на уровне помещения
⚠️ Ограничения
- Самая высокая первоначальная стоимость на стойку
- Требует подвода охлаждённой воды или контура DX к каждой стойке
- Риск утечки ближе к оборудованию — обнаружение критически важно
- Сложность обслуживания растёт при масштабировании
- Неэффективно по стоимости ниже ~12 kW/rack
Вы разворачиваете кластер ИИ-инференса на 5 стоек. В каждой стойке 8× GPU NVIDIA H100 с шасси NVL, потребляющие 22 kW в установившемся режиме (с пиками до 28 kW во время пакетного инференса). Ни система уровня помещения, ни рядная система физически не смогут охладить эти стойки при такой плотности. Задние теплообменники на каждой стойке, питаемые выделенным контуром охлаждённой воды, — единственное практичное решение, и они окупаются в течение 18 месяцев только за счёт экономии энергии вентиляторов.
Блок-схема принятия решения
Проработайте эти вопросы по порядку. Ваш ответ на первый вопрос, дающий однозначный результат, и есть ваша рекомендация.
🧭 Какой тип кондиционирования машинного зала вам нужен?
→ ДА: Используйте стоечное охлаждение (RDHx или прямое жидкостное охлаждение). Агрегаты уровня помещения и ряда не справятся с такой нагрузкой надёжно.
→ НЕТ: Переходите к Q2.
→ ДА: Используйте рядное охлаждение. CRAC уровня помещения будет бороться с горячими точками при средней плотности выше 5 kW/rack.
→ НЕТ: Переходите к Q3.
→ ДА: Охлаждение помещения (CRAC) — сильный вариант. Убедитесь, что средняя плотность остаётся ниже 5 kW/rack.
→ НЕТ: Рассмотрите рядное охлаждение даже при более низкой плотности, поскольку оно не требует фальшпола.
→ ДА: Используйте гибридный подход — сохраните охлаждение помещения для зон низкой плотности и добавьте рядные агрегаты для плотного кластера. Не перепроектируйте всё помещение.
→ НЕТ: Скорее всего, достаточно охлаждения помещения с правильной изоляцией горячего/холодного коридора.
Сравнение бок о бок
| Фактор | Охлаждение помещения | Рядное охлаждение | Стоечное охлаждение |
|---|---|---|---|
| Оптимальный диапазон плотности | 1–5 kW/rack | 5–20 kW/rack | 15–60 kW/rack |
| Нужен ли фальшпол? | Желателен | Не нужен | Не нужен |
| Капитальные затраты (на охлаждаемый kW) | Низкие | Средние | Высокие |
| Энергоэффективность при высокой плотности | Низкая (>5 kW/rack) | Хорошая | Отличная |
| Экономия энергии вентиляторов по сравнению с охлаждением помещения | Базовый уровень | ~50% экономии | До 70% экономии |
| Локализация отказов | Затрагивается всё помещение | Затрагивается один ряд | Затрагивается одна стойка |
| Масштабируется поэтапно? | Ограниченно | Да — по рядам | Да — по стойкам |
| Работает в colocation-средах? | Редко | Иногда | Да |
| Сложность обслуживания | Низкая (меньше агрегатов) | Средняя | Высокая (обслуживание каждой стойки) |
| Подходит для нагрузок AI / GPU? | Нет | Условно (до ~20 kW) | Да — до 60 kW |
Гибридные подходы, которые действительно работают
Большинство реальных центров обработки данных не вписываются аккуратно в одну категорию. Хорошая новость: вам не обязательно выбирать один тип для всего зала. Грамотно спроектированная гибридная система даёт экономику охлаждения помещения для стандартных стоек и точность рядного или стоечного охлаждения именно там, где она нужна.
Схема 1: помещение + рядное охлаждение (самая распространённая)
Сохраните существующие периметральные CRAC-агрегаты для поддержания базовой температуры окружающей среды (около 22–24 °C). Затем разверните рядные агрегаты рядом с кластерами стоек высокой плотности. CRAC берёт на себя фоновую тепловую нагрузку, рядные агрегаты — пики. Это самый распространённый путь модернизации, когда команда добавляет гиперконвергентную инфраструктуру или новую HPC-зону в существующий объект.
Схема 2: рядное + стоечное охлаждение (лаборатории AI/GPU)
Если в вашем помещении смешанные нагрузки — в одних рядах стандартные серверы, в других плотные GPU-узлы — используйте рядное охлаждение для стандартных рядов и задние теплообменники на GPU-стойках. Это позволяет избежать затрат на подвод воды к каждой стойке в помещении, по-прежнему обслуживая оборудование самой высокой плотности.
Схема 3: охлаждение помещения + изоляция коридоров (бюджетная модернизация)
Если ваша плотность пока недостаточно высока, чтобы оправдать рядное оборудование, добавление изоляции горячего/холодного коридора к существующей системе охлаждения помещения может значительно продлить срок её службы. Изоляция предотвращает смешивание холодного приточного воздуха с горячим обратным, фактически повышая полезную мощность вашего CRAC на 20–40% без установки нового охлаждающего оборудования.
При смешивании типов охлаждения убедитесь, что ваша BMS (система управления зданием) управляет ими как единой тепловой системой, а не как изолированными агрегатами. Несогласованное охлаждение может привести к тому, что агрегаты будут бороться друг с другом: один нагревает, пока другой переохлаждает. Централизованный контроллер в таком сценарии быстро окупается.
3 ошибки выбора, которых стоит избегать
Ошибка 1: расчёт под сегодняшнюю нагрузку, а не под завтрашнюю
Самая распространённая и дорогостоящая ошибка. Вы устанавливаете систему охлаждения помещения, рассчитанную на текущую среднюю плотность 3 kW/rack, а через два года добавляете ряд blade-серверов, который поднимает среднюю плотность до 8 kW/rack, — и внезапно вам приходится бороться с горячими точками с помощью мобильных точечных охладителей. Всегда моделируйте траекторию роста на 3 года и выбирайте топологию, способную её вместить, даже если вы не разворачиваете всё оборудование в первый же день.
Ошибка 2: предположение, что рядное охлаждение в сумме дороже
Рядное охлаждение имеет более высокую первоначальную стоимость агрегатов, но совокупная стоимость владения (TCO) при плотности выше 5 kW/rack за 5-летний горизонт обычно ниже — потому что экономия энергии вентиляторов накапливается со временем. Прежде чем принимать решение, проведите сравнение TCO, а не только капитальных затрат.
Ошибка 3: игнорирование воздушного потока и немедленный переход к оборудованию
Прежде чем закупать любое новое оборудование для кондиционирования машинного зала, проведите аудит воздушного потока. Отсутствующие заглушки в стойках, пучки кабелей, перекрывающие перфорированные плитки, неверная ориентация горячего/холодного коридора — эти проблемы могут составлять 30–50% неэффективности охлаждения. Сначала исправьте воздушный поток, а затем пересмотрите, действительно ли вам нужно больше оборудования.
发表回复