Сначала уточним понятие «серверная» и разберёмся, в чём отличие серверной комнаты от центра обработки данных (ЦОД). Оба помещения предназначены для размещения серверного и сетевого оборудования, однако между ними есть существенные различия по масштабу, уровню инженерного оснащения и требованиям к надёжности. Серверная — это, как правило, отдельное помещение в офисе или здании компании, предназначенное для размещения серверов, коммутаторов, маршрутизаторов и другого сетевого оборудования. Основные задачи серверной — обеспечить хранение, обработку и передачу данных, поддержку локальных и корпоративных сетей, а также защиту оборудования от внешних угроз. В серверной обычно реализованы базовые инженерные системы: кондиционирования, вентиляции, резервного электропитания, пожаротушения и видеонаблюдения. Однако уровень резервирования, автоматизации и контроля микроклимата в серверной ниже, чем в ЦОД.

Центр обработки данных — это специализированное здание или комплекс помещений, где размещается не только серверное и сетевое оборудование, но и реализованы высоконадёжные инженерные системы [1], обеспечивающие бесперебойную работу критически важных сервисов (табл. 1).

Кондиционирование зданий ЦОД требует серьёзных решений с использованием систем центрального охлаждения, включающих чиллеры или прецизионные кондиционеры. Иногда в качестве источника холода используются наружные блоки VRF-систем. Однако в задачу данной статьи входит рассмотрение вариантов охлаждения именно небольших, но наиболее часто встречающихся серверных комнат с задачами обеспечения ИТ-процессов небольшого или среднего бизнеса.

Требования к микроклимату для серверных помещений

Согласно международному стандарту ASHRAE [2], микроклимат серверных помещений и ЦОД характеризуется следующими параметрами:

  • температура — от 18 до 27°C (идеальный диапазон — 20–24°C, более высокая температура может привести к перегреву серверов, а более низкая — к избыточному энергопотреблению систем охлаждения);
  • влажность — 40–60% (этот диапазон позволяет избежать как излишней сухости, приводящей к накоплению электростатических зарядов, так и повышенной влажности, несущей риски конденсации влаги и коррозии);
  • наличие пыли — не более 0,75 мг/м²;
  • скорость движения воздуха — оптимальная около 0,2 м/с (зимой — не более 0,3, летом — не более 0,5 м/с).

Однако в России нет единого нормативного документа для параметров внутреннего воздуха небольших серверных комнат, поэтому здесь обычно применяются локальные отраслевые стандарты либо технические условия эксплуатации конкретного оборудования.

Для серверных помещений наиболее важна именно температура внутреннего воздуха. Требуемая относительная влажность с помощью сплит-систем не поддерживается, но в летний период происходит осушка и удаление избыточной влаги из воздуха. Стандартный фильтр во внутренних блоках сплит-систем позволяет улавливать крупную пыль, которая может загрязнять вентиляторы серверов. Скорость движения воздуха, как правило, тоже не критична.

Поэтому важнейшей задачей системы кондиционирования серверной является именно задача отвода избыточного тепла, с чем отлично справляются сплит-системы.

Расчёт требуемой производительности

Для расчёта требуемой производительности систем охлаждения серверных помещений необходимо учитывать несколько ключевых факторов [3]:

1. Тепловыделение от оборудования. Основной источник тепла — серверы, ИБП и сетевое оборудование. Если есть данные о максимальных тепловыделениях оборудования, то необходимо использовать их. Если нет, то рассчитываем величину теплопоступлений как 80% от максимального энергопотребления устройств:

Qсерв = 0,8∑Pоборуд, кВт.

2. Тепловыделение от людей. Тепловыделения от людей зависят от многих факторов, а именно физической активности, пола, роста, величины мышечной массы и т. д. Однако люди не относятся к основным источникам тепловыделений в серверных. Поэтому достаточно оценить их укрупнённо по формуле:

Qл = 0,12N, кВт,

где 0,12 — полные теплоизбытки от одного человека, кВт; N — максимально возможное количество людей, находящихся в серверной.

3. Тепловыделение от освещения. Теплопритоки от освещения зависят от величины освещённости и типа применяемых световых приборов, но также не являются значительным фактором при расчёте теплоизбытков, особенно при использовании современного диодного освещения. Поэтому применяем упрощённую величину — 5 Вт/м² площади помещения серверной.

4. Теплопоступление от ограждающих конструкций. В первую очередь имеются в виду светопрозрачные конструкции, через которые может проникать достаточно большое количество тепловой энергии от солнца. Расчёт солнечной радиации достаточно сложен и выходит за рамки данной статьи. При необходимости можно воспользоваться нормативной документацией [4] или специальными онлайн-калькуляторами.

5. Теплопоступления от вентиляционного воздуха зависят от температуры приточного воздуха, его относительной влажности, а также организации воздухообмена в помещении (естественная вентиляция или механическая). В общем случае они рассчитываются по формуле:

Qвент = L(Iпр — Iвыт), кВт,

где L — расход вентиляционного воздуха, м³/с; Iпр — энтальпия приточного воздуха, кДж/м³; Iвыт — энтальпия вытяжного воздуха, кДж/м³.

6. Резерв производительности. Необходимо добавить минимум 20% запаса на нештатные ситуации и резерв на будущее расширение. Рекомендуем коэффициент запаса 1,5.

Корректировка производительности внутреннего блока

После расчёта теплоизбытков в серверной обычно по данным каталога выбирают кондиционер равной производительности — и это принципиальная ошибка. Дело в том, что проектировщики часто забывают, что данные в каталогах указаны при определенных стандартных условиях, то есть температуре воздуха внутри помещения +27°C, относительной влажности 50% и температуре наружного воздуха +35°C. Однако, как мы видим в нормативных требованиях к микроклимату помещений [2], оптимальный диапазон в серверной составляет +20…+24°C и совершенно не соответствует «каталожным» +27°C. Что будет происходить с внутренним блоком кондиционера, если температура циркуляционного воздуха снизится? Уменьшится разность температур между теплообменивающимися средами, то есть фреоном и воздухом, а значит снизится и количество энергии, переданной теплообменником. Что мы и видим в подробных технических мануалах производителей, которые рекомендуют увеличить типоразмер внутреннего блока при температуре +23°C на 15%, а при температуре +20°C — на 25%.

Варианты охлаждения серверных комнат

Существует два принципиально разных варианта охлаждения серверных — это прецизионные кондиционеры и сплит-системы (табл. 2):

1. Прецизионные кондиционеры оптимальны для крупных серверных, дата-центров и помещений с высокими требованиями к точности микроклимата. Они обеспечивают высокую надёжность, точность и возможность интеграции с системами мониторинга, но требуют значительных инвестиций и профессионального обслуживания.

Вопреки устоявшемуся мнению, прецизионные кондиционеры не обладают способностью точно поддерживать температуру внутреннего воздуха. Всему виной on/off-компрессор, который не может плавно регулировать свою производительность. Поэтому колебания температуры внутреннего воздуха при использовании прецизионного кондиционера неизбежны. Однако за счёт встроенного увлажнителя воздуха есть возможность поддерживать требуемую относительную влажность или, как минимум, её диапазон.

 


Рис.1. Схема охладения стоек серверов с помощью прецизионных кондиционеров

Подача охлаждённого воздуха может происходить в любом направлении, например, под фальшпол, как это показано на рис. 1. Это позволяет равномерно подавать охлаждённый воздух непосредственно к стойкам серверов.

Ещё один несомненный плюс прецизионных кондиционеров — это выносной конденсатор с возможностью байпасирования. При очень низкой наружной температуре −30°C и ниже управление скоростью вентилятора на конденсаторе уже не даёт требуемого переохлаждения фреона. Поэтому необходимо часть хладагента уводить мимо конденсатора (байпасировать) и смешивать с переохлаждённым фреоном после конденсатора. В результате температура смеси будет поддерживаться на требуемых величинах переохлаждения фреона.

К минусам прецизионных кондиционеров относится в первую очередь их цена, которая в два-три раза превышает цену сплит-систем аналогичной производительности. Во-вторых, сильный шум вентилятора внутреннего блока и компрессора, который находится непосредственно в обслуживаемом помещении. В-третьих, достаточно большие габариты и необходимость установки на пол помещения.

2. Сплит-системы подходят для небольших серверных комнат, где не требуется поддержание относительной влажности воздуха. Они дешевле, проще в установке и обслуживании, но менее надёжны при круглосуточной работе, поэтому требуют резервирования.

С точки зрения производительности и конструкции наружного блока сплит-системы делятся на два класса. Это бытовые сплит-системы (как правило настенного типа) с производительностью от 2 до 10 кВт по холоду, и полупромышленные (кассетного, потолочного, канального, колонного и т. д. типов) с производительностью от 5 до 15 кВт по холоду. Большие канальные модели производятся сегодня до 56 кВт по холоду. Чаще всего возможностей настенных сплит-систем достаточно для охлаждения типовых серверных (рис. 2).

Полупромышленные сплит-системы для охлаждения серверных комнат применяют при недостаточной производительности бытовых настенных сплит-систем, то есть свыше 10 кВт по холоду. К тому же не нужно забывать, что полупромышленные сплит-системы обладают увеличенной допустимой длиной трубопроводов — как правило, от 30 до 70 м. Поэтому часто из-за этого критерия выбор падает только на них (рис. 3).

Рис.3. Применение полупромышленной сплит-системы для охладдения серверной комнаты

 

Инверторная сплит-система или on/off?

При подборе сплит-системы для серверных инженерные компании сталкиваются с необходимостью выбора — использовать инверторную модель или on/off. Главное отличие инверторных кондиционеров — плавная регулировка оборотов компрессора (рис. 4). Плюсы инверторных кондиционеров очевидны: меньшее энергопотребление, отсутствие пусковых токов, повышенный КПД (в режиме неполной загрузки), увеличенная пиковая производительность, более точное поддержание температуры.

Рис.4. Производительность сплит-системы с инверторным и on/off – компрессором

Главный аргумент противников инверторных кондиционеров в серверных комнатах — их техническая сложность и потенциально меньшая надёжность.

С первым возражением нельзя не согласиться, но почему нужно считать это минусом? Больше контрольных функций, обратная связь со всевозможными датчиками для подстройки системы под изменения внешней среды — это как раз преимущества. Рост числа компонентов системы потенциально увеличивает риски — это верно. Но инверторные технологии уже давно отработаны, и у серьёзных производителей они не менее надёжны, чем устаревшие on/off-системы.

Ещё один аргумент в пользу применения инверторных сплит-систем для серверных — это стандартная комплектация наружного блока «зимним комплектом», то есть обеспечение возможности плавного регулирования скорости вентилятора наружного блока и подогрев картера компрессора. Однако необходимо уточнить, что некоторые производители инверторных кондиционеров до сих пор используют ступенчатое регулирование вентилятора со всеми вытекающими из этого последствиями.

Поэтому наша рекомендация — применять в серверных комнатах современные Full DC-инверторы.

У инверторных кондиционеров в серверной возможны отдельные проблемы именно с защитными функциями. Например, отказ системы включиться при температуре ниже −20…-15°C (по датчику уличной температуры), который, однако, можно доработать или «обойти» непосредственно на объекте.

Другая часть защитных функций в обычных условиях трудно отключаема, например, защита по датчику низкого давления или температуре испарителя. Если в регионе установки серверного кондиционера нередки температуры ниже −35°C, то лучше не рисковать серверной и выбрать вариант прецизионного кондиционера с выносным конденсатором либо в приточной вентиляции, в крайнем случае можно установить наружный блок сплит-системы в помещении (лестничный марш, чердак и т. д.).

Но, как правило, сегодня применение инверторных сплит-систем в помещениях серверных оправдано и необходимо.

Проблемы кондиционера зимой

При эксплуатации инверторных сплит-систем в холодный период можно столкнуться со следующим проблемами:

1. Замерзание масла компрессора. Даже полиэфирные масла, используемые с фреонами R410a и R32, при низких температурах будут застывать, их кинетическая вязкость и смазывающие свойства зимой ухудшаются. Соответственно, в момент запуска компрессора возникает увеличенный ток, повышенное трение частей компрессора, и в худшем случае компрессор может попросту заклинить.

2. Масло компрессора абсорбируется фреоном. Чем дольше кондиционер выключен, тем большее количество фреона будет растворено в масле. В момент запуска фреон в компрессоре вскипает и уходит в трубопровод вместе с частичками масла. Поэтому возможна ситуация, когда доля ушедшего в трассу масла будет настолько велика, что компрессору придётся работать вообще без масла.

3. У сплит-систем с on/off-компрессором вентилятор наружного блока работает на максимальной скорости вращения. В результате в холодный период года возникает переохлаждение хладагента, падение давления на всасывание компрессора, и уже при нулевой температуре на улице производительность серверного кондиционера падает на 30–40%. А при отрицательных температурах расход фреона уменьшится настолько, что может возникнуть перегрев компрессора, при этом холодопроизводительность кондиционера зимой упадёт до минимума.

4. Зачастую у сплит-систем отвод дренажа производится на улицу, а не во внутреннюю систему канализации. Соответственно, при работе кондиционера зимой дренажная трубка без подогрева просто замёрзнет, и вода попадёт из внутреннего блока на дорогостоящее оборудование серверной.

Чтобы избежать всех этих проблем при работе кондиционера зимой, устанавливают «зимний комплект кондиционера». В стандартный зимний комплект кондиционера входят три элемента:

1. Кабель подогрева картера компрессора. Обычно его длина составляет 0,5 м, а мощность — 30–50 Вт. Он монтируется в нижней части компрессора, и лучше всего устанавливать кабель примерно по границе масла и фреона, чтобы минимизировать их смешивание. Частая ошибка — подключение этого подогрева на клеммник питания компрессора. Но тогда подогрев будет включаться только одновременно с запуском компрессора, то есть когда он уже бесполезен. Поэтому подогрев компрессора должен включаться на отдельную, постоянно запитанную линию 220 В.

2. Кабель подогрева дренажа. Надевается на дренажную трубку (в случае, когда дренаж выведен наружу).

3. Регулятор давления конденсации. Представляет собой электронный блок, включаемый в разрыв питания вентилятора наружного блока. Его назначение — поддерживать постоянную температуру конденсации, регулируя обороты вентилятора от 0 до 100% по показаниям собственного датчика температуры, крепящегося обычно в середине конденсатора.

Бывают более сложные регуляторы конденсации, например, с подстраиваемой пользователем температурой либо регулирующие не температуру, а именно давление конденсации. Но ввиду высокой стоимости они мало распространены.

Место расположения внутреннего блока (блоков)

При выборе места расположения внутреннего блока необходимо учитывать наличие в нём конденсата, то есть воды. Имеется опасность, что при недобросовестном монтаже или обслуживании из внутреннего блока может потечь вниз дренаж. Следовательно, внутренний блок серверного кондиционера не должен располагаться непосредственно над сервером или любым электрическим устройством. Лучше всего, когда блок расположен немного в стороне, и поток холодного воздуха дует прямо на оборудование.

Второй фактор для выбора места установки внутренних блоков — это организация тёплых и холодных «коридоров», как это показано на рис. 5. Внутренний блок кондиционера должен подавать охлаждённый воздух именно в холодный коридор и забирать воздух из верхней зоны, куда горячий воздух меньшей плотности будет самостоятельно подниматься из тёплых коридоров.

Системы управления

Ротация кондиционеров

Даже самое лучшее оборудование может внезапно выйти из строя. Например, по причине скрытых дефектов монтажа, проблем с электроснабжением или вследствие человеческого фактора. Для минимизации рисков в серьёзных серверных (например, в банках) всегда ставят дополнительный резервный кондиционер. Обычно ставится два кондиционера, каждый из которых способен охладить серверную в одиночку, но работают они поочерёдно. В том случае, когда первый кондиционер не справляется с теплопритоками или вообще неисправен, автоматически включается второй.

Для ротации кондиционеров в процессе работы существуют два принципиально разных решения.

Первое решение — это стандартные функции, которые предусмотрены в проводных пультах управления некоторых производителей. Например, у кондиционеров производства Mitsubishi Heavy Industries функция ротации кондиционеров штатно поддерживается проводным пультом RC-EX1, который возможно подключить ко всем полупромышленным моделям, а также настенным инверторам бытовой серии [5].

Второе решение — это управление ротацией кондиционеров с помощью отдельного устройства, который так и называется «блок ротации кондиционера».

Универсальные блоки ротации делятся на две группы:

1. Управление производится «прерыванием фазы». Кабель электропитания заводится в блок ротации, а уже затем подключается к кондиционеру. Блок ротации по сигналам датчиков температуры и реле времени просто отключает или восстанавливает линию 220 В на резервном кондиционере. Соответственно, кондиционер должен поддерживать функцию «авторестарт».

2. Более изящное решение — имитация инфракрасного пульта кондиционера. Перед ИК-приёмником внутреннего блока крепятся компактные излучающие диоды ИК-диапазона, на которые по проводному или радиоканалу поступают команды с блока ротации. Обычно для сплит-системы имитируются только ИК-сигналы включения и выключения, соответственно, режим и температурные параметры нужно предварительно задать с пульта. В больших серверных таких кондиционеров может быть больше двух, и работать они могут по любому заданному циклу, например, «пять рабочих, три резервных», причём работающие и резервные чередуются в течение суток.

Удалённый мониторинг

Современные инверторные кондиционеры могут подключаться к Интернету в двустороннем режиме, принимать команды от пользователя и сообщать о состоянии работы и ошибках.

1. Эконом-вариант. Проводной пульт подключается через USB к компьютеру/серверу, устанавливается программа-драйвер, и ИТ-специалист может наблюдать за состоянием серверного кондиционера и управлять настройками. Соответственно, через удалённый рабочий стол он может следить за температурой в серверной откуда угодно. Такие возможности штатно предоставляет, например, проводной пульт RC-EX1 в кондиционерах Mitsubishi Heavy Industries [5].

2. Планшет или смартфон. В серверный кондиционер подключается отдельный Wi-Fi-модуль, который связывается с удалённым сервером производителя и передаёт данные о своей работе. ИТ-специалист устанавливает на свой гаджет специальное приложение (iOS или Android) и может, например, просматривать логи работы серверного кондиционера, менять его настройки (режим работы, температуру и т. д.), а также получать сообщения об авариях и ошибках.

3. BMS или SNMP. Если в здании имеется единая система управления инженерными коммуникациями («умный дом»), то серверные кондиционеры тоже могут стать её частью. Стандартные индивидуальные адаптеры Modbus, KNX, EnOcean есть у всех японских производителей. Интерфейсы LonWorks или BACnet подключить тоже возможно, но цена вопроса будет на порядок большей.

Также в больших серверных возможно организовать локальный сервер сбора данных по протоколу управления Simple Network Management Protocol (SNMP), блоки ротации серверных кондиционеров с его поддержкой имеются на рынке.

Выводы

Использование сплит-систем для кондиционирования небольших серверных помещений в условиях климата России уже давно отработано и показало себя хорошо. Если изначально применялись только модели с on/off-компрессорами, то сегодня именно инверторные кондиционеры обеспечивают более высокую надёжность эксплуатации и точное поддержание температуры в помещении. Полное резервирование систем соответствует требованиям надёжности и нормативной документации. Есть также стандартные возможности дистанционного контроля и управления через приложения к смартфону или через интерфейсы центральных систем управления зданием.