Максимальная безопасность хранимых данных в современном ЦОД обеспечивается с помощью систем вентиляции и охлаждения, поддерживающих необходимый микроклимат, несколькими системами подачи электроэнергии, обеспечивающими аварийное и бесперебойное питание, устройством брандмауэров на случай пожара, системами предотвращения вторжений, а также непрерывным контролем за работой систем, включая мониторинг микроклимата, вибрации и др.Согласно последнему отчету консалтинговой компании J’son & Partners до начала кризисных изменений в экономике отечественный рынок ЦОД демонстрировал резкий взлет. Показатели роста свыше 50 % в год формировались преимущественно за счет бурного строительства ЦОДов в Москве и области. Именно здесь были сосредоточены около 80 % таких проектов. Аутсорсинг ЦОД считался и продолжает считаться одним из наиболее перспективных направлений IT-рынка в России. Информации становится все больше, ценность ее увеличивается, быстро развиваются различные формы электронных коммуникаций (электронная и голосовая почта, IP-телефония, чаты, мгновенный обмен сообщениями и пр.), предлагаются разнообразные видеосервисы — эти и многие другие факторы способствуют росту числа и размеров ЦОД. При этом постоянный рост стоимости аренды в центральном регионе и нарастающий дефицит электроэнергии вынуждают к выведению вычислительных мощностей в регионы, а также к оптимизации их энергопотребления. Одним из ключевых событий, определяющих дальнейшее развитие технологии построения и оптимизации ЦОД, является ежегодно организуемый интернет-изданием о высоких технологиях CNews круглый стол «Рынок ЦОД в России: планы развития». В основном ЦОДы строят крупные сервиспровайдеры (Stack Group, WideXs, ISG и др.). В корпоративных ЦОД размещаются системы хранения и обработки собственных данных компаний, а также сетевое и телекоммуникационное оборудование, необходимое для функционирования корпоративных локальных и территориально распределенных сетей. В ЦОД сервиспровайдеров и операторов связи располагаются средства связи и другое оборудование, необходимое для предоставления услуг абонентам. Часть ресурсов ЦОД может выделяться для размещения оборудования и программных систем заказчиков на принципах аутсорсинга. Современные ЦОД, как правило, занимают целиком все отдельно стоящее здание. Для надлежащего функционирования установленного вычислительного и телекоммуникационного оборудования требуется поддерживать довольно жесткий режим температуры и влажности, поэтому в современных ЦОД система кондиционирования и вентиляции является обязательной. Кроме того, аппаратура требовательна к качеству электропитания, поэтому приходится устанавливать источники бесперебойного питания (ИБП) необходимой мощности и альтернативные источники электричества (аккумуляторные батареи, дизель-генераторные установки и пр.). Серверы, системы хранения и сетевые устройства размещаются в специальных монтажных стойках и шкафах, которые должны быть достаточно надежными и удобными для обслуживания находящихся в них устройств. Не менее важными для нормальной жизнедеятельности ЦОД являются система обеспечения безопасности (контроль доступа, видеонаблюдение и т.д.), а также система контроля и управления инженерными средствами. Комплекс этих средств должен быть предусмотрен еще на этапе проектирования таких объектов. При этом существенная роль систем кондиционирования и вентиляции определяется наблюдаемым ростом удельной энергетической нагрузки, характерной для современного IT-оборудования, что иллюстрируется по данным ASRAE на рис. 1.ЦОДы, являющиеся энергетически насыщенными объектами, принято характеризовать следующими показателями:1. Эффективность ЦОД (Data Center E? ciency): DCE = NIT/N?, где NIT — энергопотребление IT-оборудования; N? — общее энергопотребление оборудования.2. Эффективность использования энергии в ЦОД (Power Usage E? ciency): PUE = N?/NIT. Очевидно, что PUE = 1/DCE. Большинство существующих ЦОДов характеризуются значениями PUE > 3. С использованием вновь разрабатываемых сводов правил проектирования достижимым является значение PUE = 1,6.В состав телекоммуникационного оборудования входят следующие составляющие: серверы, устройства хранения информации и телекоммуникационные средства. В состав инженерного оснащения входят следующие составляющие: распределительные щиты питания, источники бесперебойного питания (UPS), коммутаторы/генераторы, освещение и климатическое оборудование. В свою очередь, климатическое оборудование включает следующие составляющие: чиллеры, кондиционеры точного контроля (Computer Room Air Conditioners, CRAC), увлажнители воздуха. На рис. 2 представлено типовое распределение энергетической нагрузки существующих ЦОД, из которой практически половина (45 %) приходится на климатическое оборудование. Отсюда очевидна роль систем вентиляции и кондиционирования в задачах построения энергетически эффективных ЦОД.ЦОДы разделяют по классам в соответствии со специальным стандартом США ANSI/EIA/TIA942 (www.tiaonline.org). Кроме того, имеется европейский стандарт EN 501735, а также базирующийся на нем международный стандарт ISO/IEC 24764, на основе которого формируется соответствующий российский ГОСТ. Однако, стандарт EN 501735 рассматривает только особенности построения кабельной системы. Значения основных параметров ЦОД в зависимости от присваиваемого ему в настоящий момент класса согласно ANSI/EIA/TIA942 сведены в табл. 1. Cледует указать, что резервирование по схеме N + 1, где N — число элементов, необходимых для обеспечения работоспособности, предусматривает наличие одного запасного элемента. Элементы подключаются таким образом, чтобы при выходе из строя одного из них суммарная нагрузка равномерно перераспределялась бы между оставшимися элементами. Указанное правило относится как к элементам электропитания, так и климатических систем. Резервирование по схемам 2N и 2(N + 1) означает организацию параллельного резервирования. В обозначении схемы параллельного резервирования символ «S» (systems) может иметь, в частности, значение (N + 1). Согласно ANSI/EIA/TIA942 «Рабочие параметры окружающей среды» (п. 5.3.5.3) в ходе эксплуатации ЦОД необходимо контролировать температуру и влажность в пределах указанных ниже рабочих диапазонов: температура по сухому термометру психрометра: от 20 °C (68 °F) до 25 °C (68 °F); относительная влажность: от 40 до 50 %; точка росы: не более 21 °C (69,8 °F); скорость изменения: не более 5 °C (9 °F) в час; в зависимости от местных условий окружающей среды может понадобиться оборудование для осушения и увлажнения воздуха. Температура и влажность окружающего воздуха должны замеряться после того, как оборудование запущено в работу. Измерения нужно проводить на высоте 1,5 м (5 футов) над уровнем пола с интервалами от 3 до 6 м (от 10 до 30 футов) вдоль оси холодных проходов и в любом месте, где происходит забор воздуха рабочим оборудованием. Температурные замеры следует проводить в нескольких местах у мест впуска воздуха любого оборудования с возможными проблемами охлаждения. Более подробные рекомендации по измерениям и оценке температур в машинном зале приведены в документах ASHRAE. Следует обеспечить некоторое избыточное давление по отношению к прилегающим зонам. Характерным для ЦОД является использование UFAD-систем вентиляции (Under Floor Air Distribution), предусматривающих размещение воздухораспределителей на поверхности фальшпола и приточных воздуховодов в подпольных каналах. Как видно из табл. 1, фальшполы (access fl oor) являются непременным элементом оснащения ЦОД и по существу служат составной частью систем вентиляции. Капитальные затраты на строительство UFAD-систем вентиляции, включая стоимость фальшпола, выше по сравнению с обычными системами, в зависимости от особенностей планировки, как правило, на величину от 33 до 55 USD/м2. Вместе с тем, фальшполы представляют собой удобный и доступный для обслуживания способ подводки всех инженерных сетей здания. Помимо воздуховодов, к ним также относятся трубопроводы отопления, холодного и горячего водоснабжения, силовые и слаботочные электрические кабели, система пожаротушения и водостоки. Из перечисленных инженерных сетей наибольшие трудности монтажа связаны с воздушным трактом. Если электрические кабели довольно легко протягиваются в подпольном пространстве и прокладка трубопроводов также не представляет особых затруднений, то монтаж воздуховодов или перегородок осуществляется гораздо сложнее, а для их перекладки требуется доступ на большом пространстве пола. В случаях, когда фальшпол сам по себе служит приточным каналом, особо жесткие требования предъявляются к допустимым пределам утечки воздуха. В этой связи фальшполы, используемые в ЦОД, по своим характеристикам отличаются от обычных фальшполов, предназначаемых для использования на объектах коммунального и производственного назначения, общие технические требовании к которым определены европейским стандартом EN 12825 и отечественными техническими условиями ТУ 528400147978434–2004. По сравнению с наиболее известными фирмами, специализирующимися на производстве фальшполов (Lindner, Mero, Jansen Products и др.), фирмы-производители климатического оборудования для ЦОДов в конструкции поставляемых ими фальшполов используют ряд специфических технических решений, обеспечивающих предотвращение и/или снижение утечек воздуха из подпольного пространства, а также между перегородками внутри него. Помимо этого повышенные требования предъявляются к следующим наиболее важным регламентируемым показателям: точность изготовления и механическая прочность (EN 12825); огнестойкость, а также состав продуктов горения и термического разложения (EN 13501–1/2); электрические свойства и склонность к накоплению статических зарядов (EN 1081); акустические характеристики (EN ISO 14012).Традиционной для ЦОД является организация воздухообмена по схеме «горячие» и «холодные» проходы (рис. 3). Шкафы и стойки в этом случае должны быть расположены по перемежающейся схеме с тем, чтобы передняя сторона шкафов/стоек в каждом ряду была обращена к передней же стороне другого ряда, создавая «горячие» и «холодные» проходы. «Холодными» называют различные проходы вдоль передней стороны шкафов/стоек. Если в «холодных» проходах устроен фальшпол, то здесь под полом, на плите перекрытия, укладываются силовые кабели. Плитки фальшпола в «холодных» проходах делаются съемными. «Горячими» называют проходы вдоль задней стороны шкафов/стоек. При наличии в «горячих» проходах фальшпола под ним прокладываются желоба (короба) с информационными кабелями для телекоммуникационной разводки. Оборудование в шкафах и стойках размещается так, чтобы «холодный» воздух всасывался с передней стороны шкафов, а «горячий» воздух выпускался с задней стороны (рис. 4). Если оборудование в стойке перевернуть, то тем самым нарушится правильное функционирование «горячих» и «холодных» проходов. В связи с этим, как правило, используется такое оборудование, которое работает по схеме охлаждения «спереди–назад». На месте неиспользуемых отделений стоек и шкафов устанавливаются глухие панели, чтобы улучшить функционирование «горячих» и «холодных» проходов. В «холодных» проходах, в отличие от «горячих», для фальшпола используются перфорированные плитки пола. Кроме того, под перфорированными плитками фальшпола в «холодном» проходе не устанавливаются кабельные лотки или какие-либо иные препятствия. Шкафы и стойки монтируются на фальшполах таким образом, чтобы они не мешали поднимать плитки пола с передней и задней стороны шкафов и стоек. Шкафы выравниваются либо по передней, либо по задней кромке ряда уложенных плиток пола. Стойки ставятся так, чтобы резьбовые стержни, которыми стойка крепится к плите перекрытия, не проходили сквозь стрингеры фальшпола. Вырезы в плитках пола размещаются под шкафами. Определенные модификации организации воздухообмена по схеме «горячие» и «холодные» проходы связаны, как описано в работе [3] с использованием вентилируемых IT-стоек, а также с дополнительным использованием потолочных «холодных балок». В работе [4] в рамках той же организации воздухообмена рассмотрены различные варианты и дана сравнительная экономическая оценка размещения используемых кондиционеров точного контроля (CRAC). К ним относятся расположение кондиционеров по периметру ЦОД (Computer Room Air Handler, CRAH); централизованная обработка воздуха (Central Air Handling Units, CAHU), а также размещение кондиционеров непосредственно в рядах IT-стоек, (InRow Air Handler, IRAH).Как указывалось ранее (рис. 1) имеет место динамичный рост удельной энергетической нагрузки, характерной для современного IT-оборудования и, соответственно, растущие потребности осуществляемого теплосъема. Более подробно тенденции изменений удельного энергопотребления для различных компонентов IT-оборудования рассмотрены в работе [3, рис. 1]. Отсюда следует необходимость в процессе жизненного цикла ЦОД определенной адаптации используемой схемы организации воздухообмена в соответствии с растущими потребностями теплосъема. Прогрессивным решением указанной проблемы является использование «активных» полов (active fl oor), представляющих собой модули размерами 600 ? 600 мм, заменяющие собой в необходимых местах обычные панели фальшполов. Принципиальная схема «активного» пола представлена на рис. 4.Базовым элементом модуля «активного» пола является электронно-коммутируемый (Electronically Commutated, EC) вентилятор с бесконтактным электродвигателем постоянного тока, в котором отсутствуют щетки. Ротор двигателя при этом является магнитом, а обмотки статора переключаются электронными схемами. Основные преимущества EC-вентиляторов заключаются в следующем: возможность плавной и точной регулировки производительности вентилятора в зависимости от сигналов датчика; высокий КПД, достигающий 90 %; ввиду отсутствия изнашиваемых щеток вентиляторы практически не требуют технического обслуживания и исключительно надежны в работе; низкий уровень шума и компактные размеры; малые пусковые токи и интегрированная защита двигателя. Отличительной особенностью современных ЦОД являются их значительные габариты, в связи с чем исключено использование кондиционеров точного контроля (CRAC) с непосредственным испарительным охлаждением, поскольку протяженность фреоновых линий, разделяющих между собой внешние и внутренние блоки, как правило, ограничена 15 м. В силу указанного обстоятельства вынужденным является использование воды в качестве промежуточного теплоносителя. Таким образом, неотъемлемыми элементами систем микроклиматического обеспечения ЦОД являются чиллеры, используемые в качестве генераторов холода, а также гидравлические системы, обеспечивающие его транспортировку к местам размещения кондиционеров точного контроля (CRAC) и потолочных «холодных балок», при их наличии. Классификация ЦОД, а также и стоимость предоставляемых в аренду (на условиях аутсорсинга) его рабочих площадей определяется, наряду с другими показателями, схемой резервирования (N + 1, 2(N + 1), S + S) используемых компонентов, в т.ч., входящих в состав микроклиматического обеспечения ЦОД. Отсюда возникает задача оптимизации дробления мощностей используемых чиллеров. Предпочтительным является использование чиллеров, зависимость стоимости которых от вырабатываемой холодильной мощности приближается к линейной. Кроме того, искусственный холод в системе микроклиматической поддержки ЦОД необходим круглогодично, но в количестве, которое существенно зависит от температуры наружного воздуха, инсоляции и внутренних тепловыделений. В указанных обстоятельствах значительными преимуществами обладают парокомпрессионные холодильные машины (чиллеры) на базе винтовых компрессоров со сдвоенным асимметричным золотниковым механизмом, обеспечивающие эффективную работу (COP) при полной (EER) и, что более важно, при частичной нагрузке (ESEER). При этом нелинейный (выпуклый) характер зависимости эффективности работы (COP) от степени загруженности чиллера в пределах 20–100 % способствует среднегодовой экономии электроэнергии. Вместе с тем, имеющийся практически повсеместно дефицит свободных электрических мощностей для подключения внешних пользователей, а также высокие тарифные ставки на установленную электрическую мощность независимо от единовременного ее потребления вынуждают в ряде случаев использовать вместо парокомпрессионных чиллеры абсорбционного типа. Чиллеры этого типа характеризуются чрезвычайно низкими значениями потребных электрических мощностей (порядка 20 кВт на 1000 кВт выработки холода), благодаря чему являются единственно возможным решением в условиях крайнего дефицита электроэнергии. Разветвленные гидравлические системы, а также необходимость высокоточного регулирования контролируемых параметров с практической точки зрения необходимым образом предполагают использование современной автоматически балансируемой запорно-регулирующей арматуры. Решение возникающих при этом сложных задач облегчают автоматические балансировочные и регулирующие клапаны (Pressure Independent Control Valve, PICV), в которых обе функции интегрированы в одном устройстве. Важным достоинством технологии PICV является возможность поддержания допустимых значений градиентов температур, что может быть проблематичным для гидравлических контуров с переменным расходом. Применение автоматически балансируемой запорно-регулирующей арматуры помимо поддержания заданных микроклиматических параметров приводит к значительной экономии потребляемой энергии. Применение стабилизаторов и регуляторов расхода в данных системах решает проблему сложной балансировки сети и исключает возможные перетоки теплоносителя путем автоматического уравновешивания циркуляционных колец. В результате удается полностью и оптимальным образом распределить установленную максимальную мощность по всем нагрузкам сети. Еще одним преимуществом технологии PICV является простота проектирования и последующей адаптации систем кондиционирования к возрастающим потребностям, обусловленным ростом удельных энергетических нагрузок, характерных для современного IT-оборудования. Обычно добавление новых потребителей в отлаженную схему требует переделки и новой наладки. При наличии функции автоматической балансировки новые модули не оказывают влияния на остальную систему, что позволяет быстро и эффективно модернизировать существующие решения. При этом вложения в балансировку (PICV + настройка расходов) обычно менее 1 % от стоимости всей инженерной системы. Без автоматических клапанов трудно обойтись в случае использования насосов с частотным приводом — одной из наиболее популярных энергосберегающих технологий. Такое комплексное решение приносит более чем двукратное сокращение электроэнергии, затрачиваемой на перекачку холодоносителя. Заключение Микроклиматическое обеспечение центров обработки данных представляет собой комплексное организационно-техническое решение, имеющее своей целью создание условий для высокопроизводительной и отказоустойчивой работы поддерживаемой IT-инфраструктуры в условиях минимизации финансовых, материальных и энергетических затрат. Помимо кондиционеров точного контроля (CRAC) или так называемых прецизионных кондиционеров в состав комплекса входят фальшполы, возможно «активные» полы и потолочные «холодные балки», парокомпрессионные или абсорбционные холодильные машины (чиллеры), а также элементы систем гидравлической обвязки. Особенности используемых проектных решений связаны с потенциальной необходимостью масштабирования IT-инфраструктуры, т.е. обеспечением возможности увеличения количества или качественного изменения, так называемого ландшафта, используемого вычислительного оборудования без перестройки инженерных и коммуникационных систем ЦОД. В этом отношении при сохранении общего принципа организации воздухообмена по схеме «горячие» и «холодные» проходы выбору подлежат способы расположения кондиционеров по периметру ЦОД (CRAH), централизованным образом (CAHU) или непосредственно в рядах IT-стоек (IRAH). Целесообразность использования «активных» полов, потолочных «холодных балок», а также выбор между чиллерами парокомпрессионного и абсорбционного типов, обоснование номенклатуры запорно-регулирующей арматуры и соответствующих схемных решений систем гидравлической обвязки определяются в каждом конкретном случае особенностями объекта проектирования. Комплекс предлагаемых технологических и технических решений приводит к существенному снижению стоимости владения и повышению коэффициента эксплуатационной готовности ЦОД. 1. Daly A. Системы вентиляции с воздухораспределителями в полу. Опыт применения (перевод из ASHRAE Journal) // АВОК, №6/2002. 2. Живов А.В. и др. Системы вентиляции с воздухораспределителями в полу. Температурная стратификация (перевод из ASHRAE Journal) // АВОК, №6/2002. 3. Kurkjian C., Glass J. Проектирование систем кондиционирования ЦОД (перевод из ASHRAE Journal) // Мир Климата, №44/2007. 4. Bean J. Энергетически эффективные центры обработки данных (ЦОД). Техническое решение с совмещенными рядами (перевод из ASHRAE Journal) // Мир Климата, №53/2009.