Большинство отказов кондиционирования серверной — это не отказы мощности, а ошибки измерения. Технический комитет ASHRAE 9.9 устанавливает рекомендуемый диапазон от 18°C до 27°C на впуске воздуха в ИТ-оборудование, а не на настенном термостате или решётке обратного воздуха CRAC. Если управлять кондиционированием серверной по температуре обратного воздуха, панель может показывать комфортные 22°C, в то время как впуски на верху стоек и на концах рядов выходят за пределы диапазона.
Решение редко заключается в наращивании холодопроизводительности. Оно состоит в переносе точки управления на впуск стойки, а затем в повторной настройке заданных значений и расхода воздуха относительно этих показаний. В этой статье разбирается одна узкая проблема: как неправильное место установки датчика в системе кондиционирования серверной приводит к ложному соответствию нормам и во что обходится этот скрытый разрыв — в времени безотказной работы и энергопотреблении.
Правило 18–27°C относится к впуску стойки, а не к помещению
Рекомендуемый ASHRAE диапазон для корпоративного оборудования класса A1 составляет от 18°C до 27°C, измеренный на впуске воздуха серверов. Допустимые диапазоны расширяются по классам: A1 допускает от 15°C до 32°C, а A4 — от 5°C до 45°C. Влажность имеет отдельные пределы: от точки росы −9°C до точки росы 15°C при верхнем пределе относительной влажности 60%. Ни один из этих показателей не описывает среднее по помещению, и их правильное применение — первая задача проектирования кондиционирования серверной.
Это различие важно, потому что именно среднее по помещению выводят большинство панелей управления. Объект может показывать значение в пределах нормы на блоке CRAC, в то время как отдельные впуски, особенно в верхней части шкафов или на концах рядов, выходят за пределы диапазона. Показания не ошибочны — они отвечают на другой вопрос, чем тот, на который отвечал ASHRAE. Именно из-за этого разрыва кондиционирование серверной проходит проверку, одновременно подводя отдельную стойку.
Почему показания обратного воздуха заставляют кондиционирование серверной выглядеть соответствующим нормам
Блок CRAC выводит температуру обратного воздуха, которая отражает воздух после того, как он прошёл через помещение и поглотил тепло. По замыслу обратный воздух теплее приточного. Отраслевые рекомендации оценивают разницу между датчиком обратного воздуха CRAC и холодным проходом в диапазоне от 5°C до 8°C. Настенный термостат измеряет температуру окружающей среды на высоте головы человека — в том месте, где он установлен.
Разрыв действует в обе стороны. Датчик обратного воздуха, показывающий на 5°C–8°C выше температуры прохода, заставляет блок гнаться за более высоким значением, поэтому кондиционирование серверной переохлаждает проход ниже уровня, необходимого вашему оборудованию. Датчик рядом с источником тепла также может показывать высокие значения, пока дальние концы рядов остаются обделёнными. В любом случае отображаемое значение — лишь косвенный признак соответствия нормам, а не его доказательство.
Испытательные стандарты говорят о том же с другой стороны. ANSI/ASHRAE 127-2007 использует единую температуру обратного воздуха 75°F для любой конфигурации CRAC. Проект AHRI 1360, напротив, назначает 85°F для блоков с нижней и верхней подачей воздуха по воздуховодам, 95°F для горизонтальных блоков и 75°F для настенных и потолочных. Измените место измерения — и вместе с ним изменится номинальная эффективность. Любая характеристика кондиционирования серверной настолько же достоверна, насколько достоверна измеряемая точка.
Как герметизация проходов увеличивает разницу между приточным и обратным воздухом
Герметизация проходов не устраняет погрешность измерения — она её усиливает. Герметичные горячие проходы улавливают вытяжной воздух и возвращают его напрямую в охлаждающие блоки, поднимая температуру обратного воздуха до 35°C–46°C (95°F–115°F), в то время как холодные проходы удерживаются вблизи заданного значения. Одно число, характеризующее помещение, не описывает тогда ни один из проходов, однако именно его большинство панелей мониторинга выводят первым.
Два датчика в одном помещении могут находиться в двадцати градусах друг от друга, и оба будут правомерно показывать температуру окружающей среды. В этом и заключается ловушка. Операторы, просматривающие одно значение на панели, заключают, что пространство стабильно, тогда как число просто отражает место, где оказался датчик. Прибор не обманывает. Кондиционирование серверной, выдающее одно число, не может описать помещение с двумя различными климатическими зонами.
Где кондиционирование серверной незаметно перестаёт работать: порог плотности размещения
Именно плотность размещения, а не площадь пола, определяет, способно ли воздушное кондиционирование серверной по-прежнему контролировать помещение. Открытые схемы с горячими и холодными проходами выдерживают примерно от 5 kW до 8 kW на стойку. Герметизация холодного прохода увеличивает этот показатель до 10–15 kW. Герметизация горячего прохода — до 15–30 kW. При нагрузке свыше примерно 30 kW на стойку воздушное охлаждение становится физически недостаточным, и периметральное кондиционирование серверной необходимо дополнять или заменять.
Рециркуляция — это механизм, который первым нарушает картину. Отсутствующие заглушки или неаккуратная укладка кабелей позволяют вытяжному воздуху просачиваться обратно в зону впуска. Задокументированные локальные температуры впуска поднимаются при этом на 5°C–10°C, тогда как средняя температура помещения так и не фиксирует изменение на входе. К тому моменту, когда панель отреагирует, пострадавшая стойка уже неделями работает в перегретом режиме.
Почему решения о бесплатном охлаждении опираются на те же показания
Стратегии экономайзеров зависят от условий на впусках стоек по всему помещению, а не от единственного показания обратного воздуха. Умеренный климат обеспечивает примерно от 3000 до 5000 часов бесплатного охлаждения в год. В Великобритании объекты с ИТ-нагрузкой выше 30 kW могут использовать воздушные или жидкостные экономайзеры, чтобы удерживать PUE ниже 1,3 в течение шести и более месяцев в году. Системе управления кондиционированием серверной нужны те же данные о впуске, чтобы решать, когда наружный воздух может взять охлаждение на себя.
Оборудование, расположенное дальше всего от охлаждающего блока, первым выходит за пределы рекомендуемого диапазона при изменении заданного значения. Показатель обратного воздуха не покажет вам этот дрейф. Поэтому объекты, поднимающие заданные значения на основе данных обратного воздуха, обнаруживают отказ у стойки, а не на панели, — обычно во время тепловой аварии. Бесплатное охлаждение зависит от знания того, какой впуск является предельным.
Влажностная половина проблемы измерения
Соответствие по температуре может сосуществовать с несоответствием по влажности. Рекомендуемый диапазон охватывает точку росы от −9°C до +15°C при верхнем пределе относительной влажности 60%. Низкая влажность повышает риск статического разряда; высокая влажность повышает риск конденсации на любой поверхности с температурой ниже точки росы. Температурная сигнализация никогда не сообщит ни об одном из этих состояний — не сообщит о них и датчик кондиционирования серверной, измеряющий только температуру сухого термометра.
Помещение, комфортно находящееся внутри температурного диапазона, всё же может не соответствовать нормам по влажности. Измерение только температуры полностью упускает это из виду, а один усреднённый датчик влажности имеет ту же слепую зону, что и один усреднённый температурный датчик. Кондиционирование серверной, которое управляет одной переменной, предполагая, что другая стабильна, введено в эксплуатацию лишь наполовину.
Что опрос по PUE института Uptime Institute говорит о потерях на охлаждение
Глобальный опрос центров обработки данных Uptime Institute за 2023 год сообщил о среднем PUE 1,58 среди операторов. Основную часть этих накладных потерь формирует охлаждение. На обычном низкоэффективном объекте потери на охлаждение примерно в три раза превышают потери на электропитание и распределяются между холодильной установкой и фанкойлами. Такое соотношение делает охлаждение первым источником для поиска возвращаемой энергии.
Герметизация проходов и экономайзеры быстро закрывают разрыв. Центр обработки данных NSIDC перешёл со среднегодового PUE 2,01 на системе только с CRAC к 1,55 после добавления герметизации горячего прохода и испарительного охлаждения, а в холодные месяцы показатель опускался ниже 1,35. Научно-вспомогательный комплекс NREL достиг 1,16 за одиннадцать месяцев. Ни одному из этих объектов не понадобилась более мощная установка — только лучшая дисциплина воздушных потоков и более точная точка управления.
Как перенести точку управления с обратного воздуха CRAC на впуск стойки
- Устанавливайте датчики на впусках стоек в верхней части стойки и на концах рядов, а не только центральный датчик.
- Прежде чем что-либо менять, составьте карту того, какой блок кондиционирования серверной обслуживает какой ряд.
- Проверяйте каждое заданное значение по данным впуска после каждого обновления оборудования.
- Закрывайте неиспользуемые U-места заглушками и герметизируйте кабельные проёмы.
- Согласуйте площадь открытых перфорированных плит с соседней нагрузкой: 25% для низкой плотности, от 56% до 68% для плотных рядов.
- Удерживайте давление под фальшполом на уровне от 0,02 до 0,05 дюйма водяного столба.
- Проводите ввод герметизации в эксплуатацию до повышения любого заданного значения.
Порядок действий важнее любого отдельного шага. Повышение заданного значения до герметизации путей байпаса лишь уводит смешивание глубже в ряд. Охлаждающий блок тогда компенсирует воздух, который так и не прошёл через сервер, — экономия энергии исчезает, а риск сохраняется. Выполняйте работы последовательно, а затем выполните измерения снова тем же методом обследования.
Что на самом деле экономит исправление точки измерения
Довод о надёжности прост и жёсток. Отраслевые данные, на которые ссылаются подрядчики по инженерным системам, приписывают перегреву 55% отказов центров обработки данных, причём время простоя критически важных операций превышает $5,000 в минуту. Измерение на впуске стойки превращает этот риск в измеримую сигнализацию, а не в обнаружение в момент отказа. Профилактика здесь — это решение о размещении датчика.
Экономия не менее конкретна. Заглушки и герметизация кабельных проходов обычно сразу снижают расход энергии на охлаждение на 5–10%. Полная герметизация проходов сокращает его на 20–30%. Повышение заданных значений на 2°C–3°C, когда данные впуска это позволяют, экономит ещё 4–6% энергии охлаждения на каждый градус. Каждый выигрыш измеряется у стойки, а не выводится из панели, сообщающей статус кондиционирования серверной.
Почему высокие заданные значения у Google неприменимы к коммуникационной комнате на 40 kW
Гиперскейлеры поддерживают в помещениях более высокую температуру, потому что их программное обеспечение заранее предвидит отказы оборудования и перенаправляет нагрузку в обход него. Такой подход работает, когда тысячи серверов способны поглотить потерю одного. Коммуникационная комната на 40 kW, в которой работают критически важные для бизнеса системы, редко имеет такой резерв, поэтому верхний предел её заданных значений определяется последствиями, а не амбициями.
Правила подбора мощности также расходятся с интуицией многих операторов. Требуемая холодопроизводительность равна суммарной ИТ-нагрузке, умноженной на 1,1 с учётом освещения и утечек, плюс запас 5–10%. Таким образом, шкафу на 10 kW требуется примерно 12 kW охлаждения. Никогда не подбирайте мощность только по площади пола: комната площадью 6 м² может нести ИТ-нагрузку 40 kW и при этом нуждаться в точном кондиционировании серверной.
Полевой контрольный список для ввода в эксплуатацию кондиционирования серверной
Ввод в эксплуатацию должен завершаться доказательством того, что кондиционирование серверной удерживает диапазон на впуске, под нагрузкой, на самой неблагоприятной стойке. Сначала проверьте размещение датчиков, поскольку каждая последующая операция наследует их погрешность. Затем подтвердите воздушные потоки, затем герметизацию, затем заданные значения. Пропуск этапов даёт помещение, которое проходит инспекцию, но продолжает перегреваться.
- Записывайте температуру впуска на трёх высотах каждой стойки: внизу, в середине и вверху.
- Фиксируйте самую холодную и самую тёплую стойку в каждом ряду, а не среднюю температуру помещения.
- Подтверждайте точку росы и относительную влажность в тех же точках.
- Повторяйте обследование при пиковой нагрузке и ещё раз в самую тёплую неделю на улице.
- Перепроверяйте после любой замены стоек, поскольку изменение плотности делает предыдущее обследование недействительным.
Ложное соответствие нормам дешевле предотвратить, чем обнаружить. Переместите датчик на впуск, докажите путь воздушного потока и лишь затем смягчайте заданное значение. Помещение по-прежнему будет показывать на панели комфортные значения — на этот раз потому, что стойки с этим согласны. Кондиционирование серверной успешно тогда, когда число на экране совпадает с воздухом, которым на самом деле дышат серверы.
发表回复