Ранее мы многократно рассматривали системы комфортного кондиционирования воздуха, то есть системы, направленные на человека как основного потребителя созданного микроклимата. Сегодня мы обратим внимание на системы охлаждения, которые имеют совершенно другие задачи, то есть системы технологического кондиционирования. Слово «технологического» обозначает в данном случае направленность на какие-либо технические процессы, требующие определённого количества холода при определённой температуре. Например, автор недавно встретился на реальном объекте с необходимостью охлаждения установки создания пластиковых изделий. Требуемая температура охлаждённой воды +20…+25°C отличается от классической температуры холодоносителя в чиллерах, применяемых в системах кондиционирования для охлаждения фанкойлов (+7…+12°C). Следовательно, основной вывод, который можно вынести из этого примера: технологическое охлаждение часто совсем не совпадает по параметрам и режиму работы с комфортным кондиционированием.

Сейчас мы сосредоточим внимание на системах охлаждения зданий центров обработки данных, поскольку именно эта область переживает в текущее время настоящий революционный рост. Изменения, происходящие в отрасли, настолько масштабны, что никто не может с уверенностью предсказать, как они повлияют на связанные с ней процессы. Оценки колеблются от «значительных» до «гигантских».

Что стало причиной таких перемен в развитии ЦОД?

Главный фактор — стремительное развитие технологий, известных как «искусственный интеллект». И поскольку ИИ действительно оказывает мощное влияние на современный мир, стоит подробнее разобраться, как именно он работает. Если смотреть исторически, то «умные» системы управления развивались следующим образом:

1. Механическое и аналоговое управление (регуляторы, релейная логика). Условный холодильник (точнее, компрессор в холодильнике) производства СССР управлялся регулятором температуры по такому принципу.

2. Цифровое управление — PLC/ПЛК (Programmable Logic Controller, программируемый логический контроллер). Как пример можно привести контроллер чиллера, который считывает входные сигналы от датчиков и переключателей (цифровые и аналоговые) и формирует выходные сигналы на исполнительные механизмы (пускатели, клапаны, приводы, реле и т. д.).

3. Компьютерные SCADA (Supervisory Control And Data Acquisition) — это программно-аппаратный комплекс для диспетчерского управления и сбора данных с объектов автоматизации в реальном времени. Он не заменяет PLC, а стоит «над» ними, обеспечивая оператору общую картину процесса на экране и средства вмешательства (сложные каскады, модельно-ориентированное управление, цифровые двойники).

4. И, наконец, ИИ-уровень — предиктивная аналитика (прогнозные модели). Алгоритмы оптимизации на основе машинного обучения (Machine Learning, ML) и его направления — глубокого обучения (Deep Learning, DL); автономные системы, которые сами вырабатывают действия в непрогнозируемых ситуациях. Алгоритмы автоматически находят закономерности в данных и учатся выполнять задачи (прогнозирование, классификация, управление) без жёсткого прописывания всех правил. То есть в управлении ИИ — это не «другой контроллер», а надстройка, которая делает систему самообучающейся и адаптивной: от простого автоматизма к автономности, когда машина сама подбирает стратегию, а инженер задаёт рамки, цели и ограничения. Это следующий шаг после «жёсткой» автоматизации: от фиксированных алгоритмов к системам, которые сами учатся и принимают решения на основе данных.


IXcellerate Moscow South — крупнейший проект в портфеле компании IXcellerate. Площадь кампуса свыше 15 га, проектная мощность объекта более 300 МВт, а инфраструктура машинных залов рассчитана более чем на 19 300 стоек.

Естественно, каждое решение, принимаемое искусственным интеллектом, требует анализа огромного количества данных. Следовательно, ИИ использует для этого вычислительные мощности, которые сегодня однозначно уходят на внешние серверы. Но стратегически многие эксперты приходят к единодушному мнению, что в ближайшие годы искусственный интеллект разделится на два «класса» — локальный (on-device/edge) и «облачный» (ЦОД):

1. Локальные устройства возьмут на себя все задачи, где критична скорость реакции (например, управление автомобилем или дроном), приватность (локальный перевод, диктовка, почта, документы) предсказуемая узкая задача (предиктивная диагностика, «умный дом», управление станком или компрессором).

2. Центральные устройства оставят лишь то, что требует огромных ресурсов, глобального контекста или частых обновлений. Например, гигантские рекомендательные системы; периодическое дообучение на новых данных (мир меняется, надо переучивать); запросы, требующие доступа к большим базам знаний и свежим данным; центральная координация флота роботов, «умного» города, энергосистемы.

В будущем ИИ-системы будут иметь гибридную архитектуру: локальное устройство делает то, что можно эффективно и безопасно решать «на месте», а ЦОД берёт на себя «тяжёлое» обучение и сложные запросы с глобальным контекстом.

Теперь попробуем оценить прошлый рост вычислительных мощностей и спрогнозировать будущее увеличение нагрузки на ИИ и, соответственно, на системы охлаждения серверов.

Our World in Data и другие обзоры показывают, что с 2012 года по 2022-й максимальное число параметров в ведущих ИИ-моделях возрастало примерно экспоненциально — на один порядок (то есть в десять раз) раз в один-два года:

  • 2012–2015 годы — сотни миллионов параметров (ImageNet-модели, первые крупные RNN/ConvNet);
  • 2018–2019 годы — десятки миллиардов (GPT-2, BERT-Large и их наследники);
  • 2020–2021 годы — сотни миллиардов (GPT-3, Megatron-Turing и др.);
  • 2022–2023 годы — модели в районе триллиона параметров (Mixture-of-Experts и гигантские LLM).

Сейчас рост замедлился по причинам:

  • экономика — обучение следующего поколения «ещё в десять раз больше» стоит уже не сотни, а миллиарды долларов;
  • возврат на масштаб (scaling laws) — полезность дополнительного масштаба падает, то есть часто выгоднее улучшать архитектуру, данные и обучение, чем просто множить параметры.

То есть мы уходим от «×10 ежегодно» к более сложной картине: рост есть, но через архитектуры (MoE, sparsity), качество данных, комбинирование моделей.

Энергопотребление ЦОД: статистика и прогнозы

Рост вычислительных мощностей сферы ИИ неизбежно влечёт за собой рост энергопотребления. По оценкам Международного энергетического агентства (IEA), в 2024 году глобальное потребление электроэнергии центрами обработки данных составило около 415 ТВт·ч, что соответствует примерно 1,5% мирового потребления электроэнергии. Для сравнения — это больше, чем потребляет вся Франция.

Аналитики Goldman Sachs Research прогнозируют рост глобального энергопотребления ЦОД на 50% к 2027 году и на 165% к 2030-му по сравнению с 2023-м. По данным консалтинговой компании S&P

Global Market Intelligence / 451 Research, суммарное глобальное энергопотребление центров обработки данных вырастет с 860 ТВт·ч в 2025 году до 1587 ТВт·ч к 2030-му (рис. 1).

В 2025 году глобальные инвестиции в ЦОД достигли $580 млрд (оценка IEA) — это больше, чем $540 млрд, которые мир тратит на годовую добычу нефти. Гиперскейлеры (hyperscalers), то есть крупные облачные провайдеры и компании (Amazon, Google, Microsoft и другие), которые строят и эксплуатируют гигантские масштабируемые дата-центры, планируют выделить совокупно более одного триллиона долларов на строительство ЦОД в период 2024–2026 годов.

Ожидается, что мощность глобального сектора ЦОД почти удвоится — со 103 до 200 ГВт — к 2030 году (рис. 2).

При этом более 85% нового роста ЦОД в ближайшее десятилетие будет сконцентрировано в США, Китае и Европе. По прогнозу консалтинговой компании Jones Lang LaSalle (JLL), доля ИИ-нагрузок в общей мощности ЦОД вырастет с примерно 25% в 2025 году до 50% к 2030-му.

Рост тепловыделения серверного оборудования

Ключевым фактором, определяющим требования к системам охлаждения, является тепловыделение серверного оборудования. Традиционные серверы на CPU потребляли 150–200 Вт на процессор. Однако современные ИИ-ускорители (графические процессоры, GPU) кардинально изменили картину (табл. 1).

 

Как видно из табл. 1, за период с 2017 по 2024 годы тепловыделение одного GPU выросло более чем в три раза — с 300 до 1000 Вт и более. Серверная стойка с GB200 NVL72 (72 GPU + 36 CPU Grace) потребляет 132 кВт. Следующее поколение GPU — Blackwell Ultra и Rubin — нацелено на 250–900 кВт на стойку (рис. 3).

Технологии охлаждения ЦОД

Рост плотности мощности серверных стоек ставит перед инженерами HVAC принципиально новые задачи. Рассмотрим основные технологии охлаждения, применяемые сегодня в ЦОД.

1. Воздушное охлаждение

Традиционное воздушное охлаждение с использованием прецизионных кондиционеров (CRAC/CRAH) и организацией горячих/холодных коридоров (hot aisle/cold aisle containment) по-прежнему является наиболее распространённой технологией. Однако его физический предел составляет примерно 40 кВт на стойку.

При плотности 50 кВт на стойку для воздушного охлаждения требуется расход воздуха около 13 тыс. м³/ч при перепаде температур +11°C. При удвоении до 100 кВт потребуется около 26 тыс. м³/ч, что создаёт потоки воздуха ураганной силы через серверные вентиляционные отверстия, имеющие площадь всего 13–26 см². При этом мощность вентиляторов растёт пропорционально кубу скорости: увеличение расхода на 10% требует на 33% больше мощности вентиляторов. Напомним, что современные серверные уже имеют потребляемую мощность 132 кВт на стойку, и это уже не предел.

Так что зафиксируем ещё один вывод: неизбежность перехода на системы прямого водяного охлаждения стоек, без подключения воздуха. Это на самом деле полностью сломает сложившуюся схему воздушного охлаждения.

2. Жидкостное охлаждение Direct-to-Chip

Жидкостное охлаждение вида Direct-to-Chip использует «холодные пластины» (cold plates) с микроканалами на процессорах и GPU. По данным CoolIT Systems, одного из лидеров в области систем жидкостного охлаждения, разработан прототип «холодных пластин» мощностью около 4 кВт. HPE представила безвентиляторную систему DTC, снижающую энергопотребление охлаждения на 37%.

Объёмная теплоёмкость воды в 3500 раз выше, чем у воздуха. Современные охлаждающие панели отводят более 300 Вт/см².

Системы DTC работают с температурой подающей воды +40°C и обратной +50°C. Фиксируем эти значения и делаем второй важный для нас вывод: для систем прямого водяного охлаждения нужна не привычная температура охлаждающей воды +7…+12°C, а много выше. Насколько выше? Для нас это очень важный параметр, так как от температуры охлаждающей воды зависит сезонная энергоэффективность её подготовки. Сейчас и в ближайшие годы ориентиры такие:

1. Типичный «холодный контур» TCS (Technology Cooling System) для чипов: подача примерно +30…+35°C, «обратка» — +40…+50°C при высокой нагрузке.

2. Многие испытания и пилоты HPC / AI-кластеров показали устойчивую работу при температуре охлаждающей воды до +60…+65°C на выходе из серверов без критичной потери энергоэффективности.

3. Производители инфраструктуры и серверов уже объявили поддержку прямого жидкостного охлаждения при температурах до +45°C на входе в контур, а часть решений и исследований смотрит на диапазон +50…+60°C для «горячей воды».

Для однофазной (single-phase) иммерсии серверы погружены не в воду, а в диэлектрический флюид, но с точки зрения выработки холода интересен диапазон температур:

1. Жидкость может работать при температурах +40…+50°C и всё равно эффективно снимать теплоту, снижая потребность в традиционных кондиционерах.

2. Исследования и пилоты для AI/HPC делают вывод, что при грамотном проектировании можно держать чипы в допустимых пределах даже при повышенных температурах охлаждающей среды, что снова открывает путь к рекуперации тепла и полному отказу от чиллеров.

3. Параллельно исследования по hot water cooling показывают, что при росте температуры воды от +19 до +65°C падение энергоэффективности серверов ограничивается 10–12%, зато существенно растёт потенциал утилизации тепла (эксергия).

Если смотреть на ближайшие 5–10 лет, для серверов/AI-кластеров реалистично ожидать такие целевые диапазоны (по подающей воде/хладагенту):

  • direct-to-chip — +30…+45°C (с возвратом +40…+60°C) как массовая практика, у «горячей воды» — до +60…+65°C по «обратке» в продвинутых решениях;
  • иммерсия — +40…+50°C и выше по жидкости с возможностью работы при ещё более высоких температурах в специально рассчитанных системах.

Системы подготовки охлаждённой воды

Опираясь на многочисленные исходные данные, которые нам, как исполнителям, будут диктовать современные ЦОД, мы можем сформировать некое техническое задание для охлаждения «серверной недалёкого будущего»:

1. Система охлаждения серверных стоек будет преимущественно с прямым охлаждением водой, без промежуточного охлаждения воздуха.

2. Температура воды для охлаждения будет выше. Как правило, +30…+40°C. Но возможны также высокотемпературные решения +50…+60°C.

3. Период охлаждения — круглый год. Работа «24 часа в сутки, 7 дней в неделю».

4. Мощность охлаждения практически не меняется в зависимости от погоды или температуры на улице (в отличие от систем охлаждения для комфортного кондиционирования).

Следующий вывод, который мы можем сделать из перечисленных требований: однозначно будут применяться системы охлаждения с фрикулингом. Фрикулинг (free cooling) — это метод охлаждения, использующий холод наружного воздуха для охлаждения хладоносителя без включения компрессора чиллера.

На практике сегодня применяются две следующие принципиальные схемы организации фрикулинга.

Схема 1: Чиллер со встроенным (интегрированным) фрикулингом

Фрикулинг-теплообменник и компрессорный контур размещены в одном корпусе чиллера. Контроллер автоматически переключает поток хладоносителя между компрессорным контуром и теплообменником фрикулинга посредством трёхходового клапана (рис. 4):

  • при определённой наружной температуре (например, менее +5°C) — полный фрикулинг (компрессор отключён);
  • при повышении наружной температуры (от +5 до +15°C) — смешанный режим (частичный фрикулинг + компрессор);
  • при наружной температуре > +15°C — только компрессорное охлаждение.

Преимущества: компактность, заводская оптимизация, единая система управления. Недостатки: ограниченная гибкость при масштабировании.

Схема 2: Обычный чиллер + отдельный драйкулер для фрикулинга

Моноблочный чиллер и драйкулер (dry cooler/сухая градирня) — раздельные агрегаты. Трёхходовой клапан на обратном трубопроводе направляет поток через драйкулер, через чиллер или частично через оба (рис. 5):

  • при наружной температуре до +5°C — весь поток идёт через драйкулер (чиллер выключен);
  • при наружной температуре в пределах +5…+15°C — поток делится между драйкулером и чиллером;
  • при наружной температуре > +15°C — весь поток идёт через чиллер (драйкулер выключен).

Преимущества: независимое обслуживание, гибкость масштабирования, свободный выбор производителей.

Недостатки: большая площадь, сложнее гидравлика.

 


При использовании фрикулинга энергопотребление системы охлаждения может снижаться на 40–95% в зависимости от наружной температуры. Это одна из причин, по которой многие крупные дата-центров строятся в северных регионах — в странах Скандинавии, в Ирландии, северной части США.

Влияние температуры холодоносителя на энергопотребление чиллера

Одним из ключевых преимуществ систем охлаждения ЦОД перед системами комфортного кондиционирования является возможность работы с повышенной температурой холодоносителя. Если для охлаждения фанкойлов в офисном здании требуется температура подачи +7°C, то серверное оборудование ЦОД допускает температуру подачи +25°C.

Чем выше температура подачи холодоносителя, тем меньше разница температур между испарителем и конденсатором чиллера, а следовательно, тем выше холодильный коэффициент EER и ниже потребляемая мощность. При повышении температуры с +7 до +18°C потребление чиллера снижается с 28,6 до 12,8 кВт (при нагрузке 100 кВт), то есть более чем в два раза. EER при этом возрастает с 3,5 до 7,8 (рис. 6).

Кроме того, повышение температуры холодоносителя значительно расширяет возможности фрикулинга. При подаче +7°C полный фрикулинг возможен лишь при температуре наружного воздуха ниже +2…+4°C. При подаче +18°C — фрикулинг доступен уже при +13…+15°C, что в климате Центральной Европы покрывает 60–70% годового времени.

Суммарная сезонная энергоэффективность

Совокупный эффект повышения температуры холодоносителя и расширения зоны фрикулинга наглядно проявляется в суммарной годовой экономии. Рассмотрим расчётный пример для ЦОД мощностью 1 МВт. ИТ-нагрузки в климате города Новосибирска.

В зимние месяцы (ноябрь — март) фрикулинг обеспечивает до 100% потребности в холоде. В летние месяцы (июнь — август) основную нагрузку по выработке холода несёт компрессор.

Проведём годовое сравнение четырёх вариантов:

1. Только компрессор (+7°C): 315 МВт·ч/год — базовый сценарий.

2. Компрессор + фрикулинг (+7°C) — 200 МВт·ч/год (экономия 36%).

3. Компрессор + фрикулинг (+12°C) — 145 МВт·ч/год (экономия 54%).

4. Компрессор + фрикулинг (+18°C) — 105 МВт·ч/год (экономия 67%).

Таким образом, переход от классической схемы (+7°C) к режиму охлаждения ЦОД (+18°C) с фрикулингом позволяет сократить энергопотребление системы охлаждения почти в три раза (табл. 2).

Европейский показатель ESEER (European Seasonal Energy Efficiency Ratio) для чиллеров учитывает именно такое распределение нагрузки по сезонам, взвешивая значение EER при различных режимах работы системы.

 



Энергоэффективность ЦОД: показатель PUE

PUE (Power Usage Effectiveness) — основной показатель энергоэффективности центра обработки данных, определяемый как отношение общего потребления электроэнергии объекта к потреблению ИТ-оборудованием. Идеальное значение PUE составляет 1,0. По данным Uptime Institute, среднеотраслевой PUE в 2025 году равен 1,54 (табл. 3, рис. 7).

Закон Германии об энергоэффективности (Energieeffizienzgesetz, EnEfG) устанавливает обязательные требования для ЦОД: с 1 июля 2027 года — PUE не более 1,5, с 1 июля 2030 года — не более 1,3. Для новых центров обработки данных после 1 июля 2026 года PUE должен составлять не более 1,2.


 

Тенденции и перспективы

Будущее индустрии охлаждения центров обработки данных:

1. Гибридное охлаждение — новая норма. Практически ни один новый ЦОД не будет полностью воздушным или полностью жидкостным. Гибридные системы становятся стандартом проектирования.

2. Рост рынка охлаждения. Рынок охлаждения ЦОД вырастет с $16,32 млрд до $40,72 млрд к 2030 году, совокупный среднегодовой темп роста CAGR (Compound Annual Growth Rate) составит 16,46%.

3. Перенос ЦОД в холодные регионы. В холодном климате энергопотребление воздушного охлаждения снижается на 95%. Закрытые контуры набирают популярность.

4. Утилизация излишнего тепла. Температура обратной воды в пределах +45…+50°C идеально подходит для дальнейшего использования в низкотемпературных тепловых сетях.

5. Искусственный интеллект в управлении охлаждением. Google/DeepMind добился снижения энергопотребления охлаждения на 40%. Современные системы на базе ИИ предсказывают нагрузки и оптимизируют чиллеры.

Заключение

Взрывной рост ИИ-технологий фундаментально трансформирует индустрию охлаждения ЦОД. Плотность мощности стоек выросла в 10–20 раз, физические ограничения воздушного охлаждения достигнуты. Жидкостное охлаждение — прежде всего Direct-to-Chip и гибридные системы — становится обязательным элементом проектирования.

Особого внимания заслуживает стратегия повышения температуры холодоносителя: переход с +7 на +18°C в сочетании с фрикулингом позволяет сократить годовое энергопотребление системы охлаждения до 67%. Это делает правильный выбор температурного режима и схемы фрикулинга одним из наиболее эффективных инструментов энергосбережения в современном ЦОД. Использование же высокотемпературных режимов охлаждения (+40…+60°C) позволяет полностью отказаться от компрессионного охлаждения и либо напрямую сбрасывать избыточное тепло в атмосферу драйкулерами, либо использовать его для отопления соседних зданий.

Масштаб изменений беспрецедентен: глобальные инвестиции в ЦОД уже превысили инвестиции в нефтедобычу, а потребление электроэнергии ЦОД утроится к 2035 году. Специалисты в области холодоснабжения будут находиться в центре этой революции.