Обеспечение требуемого уровня качества данных, таких как достоверность, целостность, актуальность и доступность, в условиях динамически изменяющихся неоднородных рабочих нагрузок, оказывающих разное влияние на информационно-технологическое оборудование (ИТО), является одной из первоочередных задач эксплуатации центров обработки данных (ЦОД) [1].
Под рабочей (вычислительной) нагрузкой на ИТО в контексте ЦОД принято понимать определённую совокупность задач, запросов и процессов, выполняющихся в информационно-технологическом оборудовании в течение определённого промежутка времени [2]. Данная совокупность состоит из неоднородных, разнообразных вычислительных операций, таких как обработка данных, моделирование, хранение, передача информации и т.д. [3].
Ежегодно создаются новые виды и модели информационных технологий, обработка, вычисление и хранение которых являются энергозатратными процессами. В связи с этим наблюдается ужесточение требований к инженерной инфраструктуре ЦОД, которая должна обеспечивать не только высокую производительность и надёжность работы ИТО, но и поддерживать рекомендуемый уровень энергоэффективности климатических систем жизнеобеспечения [4]. На рис. 1 показана шкала развития разнородных типов нагрузки на ИТО [5–8].
Рис. 1. Временная шкала развития типов нагрузки на ИТО в период с 2000 по 2024 годы [5–8]
Сохраняющиеся тенденции развития, использования цифровых технологий, включающие экспоненциальный рост криптовалютных операций и масштабное международное внедрение систем ИИ, детерминируют значительное увеличение энергопотребления ЦОД [9].
Согласно прогнозам Международного энергетического агентства (IEA), приведённым в отчёте «Энергетика и искусственный интеллект» [10], динамика глобального энергопотребления центров обработки данных характеризуется существенной сценарной вариативностью, обусловленной неопределённостью темпов внедрения технологий искусственного интеллекта, динамики повышения энергоэффективности климатических систем жизнеобеспечения ЦОД и инфраструктурных ограничений. Согласно траектории развития спроса на мировое энергопотребление ЦОД, по сценарию Lift-OFF к 2035 году значительно превысит показатели 2022 года, составлявшие примерно 460 ТВт·ч, пройдя отметку в 1700 ТВт·ч и достигнув 4,4% мирового спроса на электроэнергию.
Рис. 2. Глобальное энергопотребление центров обработки данных (в разбивке по степени чувствительности) с 2020 по 2035 годы [10]
При этом исследования показывают, что приблизительно 40% от общего среднего энергопотребления центров обработки данных приходятся на системы кондиционирования воздуха (СКВ) [11].
Существуют различные методы повышения энергоэффективности центров обработки данных: использование «свободного охлаждения» (free cooling), консолидация серверов и технологии виртуализации, линеаризованное управление нагрузкой на вычислительную технику и систем охлаждения, интеграция возобновляемых источников энергии и систем рекуперации бросового тепла.
Первый подход предполагает использование более холодной естественной среды (наружный воздух, вода из водоёмов или грунта) для охлаждения информационного технологического оборудования, вместо энергоёмких компрессорных чиллеров, при этом система автоматически переключается между режимами free cooling и «традиционного» механического охлаждения в зависимости от температуры наружной среды [12].
Второй метод предполагает размещение нескольких виртуальных машин на меньшем количестве физического оборудования при помощи технологий виртуализации, с целью отключения простаивающего серверного оборудования и повышения коэффициента полезного использования ИТО [13].
В третьем случае предлагается использование адаптивных алгоритмов управления и оптимизационных моделей для уменьшения потребления электроэнергии на системы охлаждения, в зависимости от рабочих нагрузок и температурных условий в режиме реального времени [14].
Четвёртое направление предлагает интеграцию гибридной системы электроснабжения с включением возобновляемых источников электроэнергии (ВИЭ) и использование систем возврата тепла, выделяемого в ходе функционирования ИТО, например, посредством теплового насоса [15].
Изложенные выше методы фокусируются на повышении эффективности отдельных компонентов и процессов, не учитывая разнородность типов нагрузки на ИТО, их динамический профиль и качество обрабатываемых данных. Целью данной работы является анализ качественных характеристик обрабатываемой информации с учётом разнородных типов нагрузки, оказывающих дифференцированное влияние на производительность и энергоэффективность информационно-технологического оборудования и климатических систем жизнеобеспечения.
Классификация типов нагрузок информационно-технологического оборудования
Для комплексного анализа взаимосвязи энергопотребления с последующим тепловыделением ИТО, в зависимости от обрабатываемых вычислительных задач, необходимо классифицировать типы вычислительных нагрузок по нескольким базовым критериям:
1. Доминирующий тип вычислительной операции, под которым следует понимать класс элементарных или составных операций, преобладающих в структуре вычислительного процесса и определяющих характер использования аппаратных ресурсов вычислительной системы. Именно данный тип операций в наибольшей степени влияет на производительность, энергопотребление и связанное с ним тепловыделение оборудования.
2. Доминирующий тип вычислительной нагрузки, под которым, в свою очередь, следует понимать определённый профиль функционирования вычислительной системы, при котором насыщение определённого аппаратного ресурса наступает раньше других и именно этот ресурс становится лимитирующим фактором, задающим предельные значения быстродействия, времени отклика, пропускной способности, энергопотребления и тепловыделения.
Таким образом, доминирующий тип вычислительной операции характеризует преобладающий вид выполняемых действий, тогда как доминирующий тип нагрузки отражает, какой именно ресурс системы оказывается критическим при реализации данного вычислительного процесса. Классификация по доминирующему типу вычислительной операции и соответствующему доминирующему типу нагрузки может быть представлена в виде табл. 1 [16].
Табл. 1. Классификация вычислительных нагрузок по доминирующему типу вычислительных операций и нагрузки
В действующих вычислительных системах отдельная задача может последовательно переходить из одного класса в другой, в зависимости от стадии выполнения, что требует учёта динамического характера профиля нагрузки при анализе энергопотребления и тепловых режимов [17].
С точки зрения временной динамики вычислительные операции и нагрузки различаются по характеру изменения интенсивности во времени, что служит основополагающим фактором для анализа нестационарного энергопотребления и прогнозирования тепловых режимов систем микроклимата ЦОД.
По временной динамике вычислительные нагрузки целесообразно подразделять на стационарные, импульсные, периодические и стохастические:
1. Стационарные нагрузки характеризуются относительно стабильным уровнем потребления вычислительных ресурсов во времени и, как правило, соответствуют сервисам с равномерным трафиком и предсказуемым режимом функционирования.
2. Импульсные нагрузки отличаются наличием кратковременных, но выраженных пиков активности, которые приводят к резкому увеличению энергопотребления и локальным тепловым скачкам.
3. Периодические нагрузки проявляются в виде регулярно повторяющихся циклов активности, формируемых суточными, недельными или иными временными интервалами, что характерно, в частности, для систем бизнес-аналитики, пакетной обработки данных и регламентных вычислений.
4. Стохастические нагрузки характеризуются случайным и трудно прогнозируемым изменением интенсивности во времени, что типично для облачных сред, публичных цифровых сервисов и многопользовательских распределённых платформ.
По степени приоритетности вычислительные нагрузки подразделяются на критические, приоритетные, фоновые и тестовые:
1. Критические нагрузки (latency-critical) включают процессы, для которых нарушение временных параметров выполнения, снижение доступности или потеря данных являются недопустимыми, поскольку могут привести к отказу ключевых сервисов, нарушению устойчивости функционирования системы или существенным эксплуатационным потерям.
2. Приоритетные нагрузки (best-effort/batch) охватывают задачи, имеющие высокую практическую значимость и требующие главным образом выделения вычислительных ресурсов, однако допускающие ограниченное снижение производительности без перехода системы в критическое состояние.
3. Фоновые нагрузки (production/non-production) представляют собой процессы, выполнение которых не требует немедленной обработки и может осуществляться с пониженным приоритетом, без существенного влияния на функционирование основных сервисов.
4. Тестовые нагрузки (development/test workloads) связаны с задачами проверки, отладки, моделирования и экспериментальной оценки программно-аппаратных средств и, как правило, реализуются в целях контроля работоспособности, верификации характеристик или анализа устойчивости системы.
По степени параллелизма вычислительные нагрузки подразделяются на последовательные, многопоточные и массово-параллельные, что позволяет оценить характер распределения вычислений между доступными аппаратными ресурсами и потенциал масштабирования вычислительного процесса. Данная классификация представлена в табл. 2.
Табл. 2. Классификация вычислительных нагрузок на ИТО по степени параллелизма
По энергетическому профилю вычислительные нагрузки можно классифицировать на линейные, нелинейные и термоинерционные, что позволит учитывать характер зависимости потребляемой мощности и теплового отклика оборудования от уровня (кластера) и динамики вычислительной активности:
1. Линейные нагрузки характеризуются приблизительно пропорциональной зависимостью энергопотребления от уровня вычислительной загрузки. При увеличении интенсивности обработки данных потребляемая электрическая мощность возрастает относительно равномерно, без выраженных скачков и пороговых эффектов. Нагрузки данного типа удобны для прогнозирования, поскольку их энергетический профиль допускает сравнительно простую аппроксимацию линейными моделями.
2. Нелинейные нагрузки характеризуются непропорциональным изменением энергопотребления при росте вычислительной активности. Для них типично наличие участков ускоренного увеличения потребляемой мощности, связанных с переходом оборудования в иные режимы функционирования, изменением тактовой частоты, напряжения питания, степени загрузки вычислительных компонентов или активацией дополнительных аппаратных ресурсов. Вследствие этого даже умеренное увеличение нагрузки может сопровождаться существенно более значительным ростом энергопотребления и тепловыделения.
3. Термоинерционные нагрузки характеризуются тем, что тепловой отклик вычислительного оборудования запаздывает относительно изменения вычислительной нагрузки и потребляемой мощности. В данном случае рост или снижение температуры элементов системы происходит не мгновенно, а с определённой временной задержкой, обусловленной тепловой ёмкостью материалов, конструктивными особенностями оборудования и инерционностью систем охлаждения. Учёт данного типа нагрузок является базисным при анализе нестационарных режимов работы ЦОД, поскольку мгновенные изменения энергопотребления не всегда непосредственно отражаются в текущем тепловом состоянии оборудования.
Необходимо сделать акцент на том, что в действующих вычислительных системах энергетический профиль нагрузки может сочетать признаки нескольких классов, вследствие чего его идентификация требует учёта как электрических, так и тепловых параметров оборудования. Следует подчеркнуть существенную вариабельность энергопотребления ИТО и последующие тепловыделения в зависимости от типа или класса вычислительной нагрузки.
Согласно актуальным исследованиям [18–21], наиболее энергоёмкими вычислительными операциями является глубокое машинное обучение (Deep Learning, DL) нейронных сетей на ускорителях класса NVIDIA H100, нормированное энергопотребление которых составляет порядка 0,018–0,024 Вт на CUDA-ядро в энергоэффективной области режимов и до 0,041 Вт на CUDA-ядро в верхней границе рабочего power budget. Для криптографических вычислений класса SHA-256, применяемых в вычислительных задачах майнинга, по данным многоканальной FPGA-реализации, характерны значения порядка 0,031–0,042 Вт на одно SHA-256 core. В свою очередь, для задач обработки статических изображений при выполнении инференса на GPU класса NVIDIA RTX 3070 нормированное энергопотребление составляет порядка 0,006–0,009 Вт на CUDA-ядро на ResNet-50 и MobileNetV2, в зависимости от программного стека и размера пакета, как демонстрируют исследования [18, 22, 23]. Следовательно, можно констатировать наличие зависимости потребления энергии с последующим тепловыделением от вида нагрузки на ИТО (рис. 3).
Рис. 3. Сравнительная диаграмма среднего энергопотребления и средней тепловой мощности ИТО для различных классов вычислительных нагрузок
Приведённые значения носят демонстрационный характер и предназначены для сравнительного анализа энергетического и теплового профиля различных типов вычислительных нагрузок при использовании репрезентативных аппаратных платформ, указанных в табл. 3.
Табл. 3. Репрезентативные аппаратные платформы для сравнительного анализа энергетического и теплового профиля типов вычислительных нагрузок
С целью обеспечения методологической определённости предлагается классифицировать вычислительные нагрузки по тепловыделению, основываясь на величине и временной структуре теплового потока, формируемого ИТО в процессе обработки вычислительных задач. В отличие от указанных выше классификаций, опирающихся на тип вычислительных операций или характер использования аппаратных ресурсов, данный подход ориентирован на тепловой эффект от вычислительной нагрузки, как на непосредственно ключевой параметр для анализа энергетической эффективности и управления климатическими системами жизнеобеспечения ЦОД. В качестве классификационных признаков целесообразно использовать среднюю тепловую мощность, пиковую тепловую мощность, локальную плотность тепловыделения, скорость изменения температуры во времени, а также наличие или отсутствие выраженных тепловых циклов.
С учётом указанных классификационных признаков вычислительные нагрузки предлагается подразделять на низкотепловыделяющие, умеренно тепловыделяющие, высокотепловыделяющие, пиково-тепловыделяющие и термоциклические:
1. Низкотепловыделяющими предлагается считать нагрузки, при которых формируемая тепловая мощность остаётся на сравнительно низком уровне, не приводит к существенному отклонению температурных параметров оборудования от стационарного режима и не вызывает образования локальных зон перегрева. Для данного класса характерны малые значения средней и пиковой тепловой мощности, а также низкая скорость изменения температуры во времени. К данному типу могут быть отнесены фоновые служебные процессы, задачи мониторинга, малонагруженные прикладные сервисы и иные режимы, при которых тепловое воздействие на инженерную инфраструктуру ЦОД является незначительным.
2. Умеренно тепловыделяющими предлагается считать нагрузки, для которых характерен устойчивый средний уровень тепловыделения без резких температурных скачков и без быстрого достижения критических температурных ограничений. В условиях данного режима тепловое состояние ИТО изменяется ожидаемо и может быть описано в рамках квазистационарного приближения. К указанному классу можно относить типовые серверные приложения, транзакционные системы, регулярную пакетную обработку и иные вычислительные процессы, формирующие стабильный и управляемый тепловой профиль.
3. Высокотепловыделяющими предлагается считать нагрузки, характеризующиеся значительной средней тепловой мощностью, высокой плотностью тепловыделения и устойчивой тенденцией к росту температуры вычислительных компонентов при продолжительном функционировании. Для данного класса ожидаемо приближение к температурным ограничениям оборудования, увеличение нагрузки на подсистемы охлаждения и повышение вероятности перехода вычислительных узлов в режимы температурного ограничения производительности. К этому типу относятся высокопроизводительные вычисления, интенсивные задачи CPU и GPU, функционирование моделей машинного обучения, масштабные матричные вычисления и иные режимы, сопровождающиеся длительным высоким тепловыделением.
4. Пиково-тепловыделяющими предлагается считать нагрузки, для которых определяющим признаком является кратковременно-динамичное, но существенное увеличение тепловой мощности, сопровождающееся высокой скоростью роста температуры и возможным формированием локальных точек тепловых перегрузок. В отличие от высокотепловыделяющих нагрузок, в этом случае критическое значение имеет не столько средний уровень тепловыделения, сколько наличие выраженных кратковременных тепловых максимумов. Такой тип нагрузки в контексте управления трафиком Quality of Service (QoS) характерен для burst-сценариев, кратковременных фаз интенсивной обработки данных, резких всплесков пользовательской активности и иных переходных режимов, при которых тепловой отклик системы имеет ярко выраженный нестационарный характер.
5. Термоциклическими предлагается считать нагрузки, вызывающие повторяющееся чередование фаз нагрева и охлаждения оборудования вследствие периодического или нерегулярного изменения интенсивности вычислений. Существенным признаком данного класса является не только величина тепловыделения, но и сам факт многократного повторения температурных циклов, способных оказывать влияние на эксплуатационные характеристики аппаратных компонентов.
К этому классу могут быть отнесены периодические аналитические задачи, регламентные вычисления, волнообразные облачные нагрузки и иные сценарии, при которых температурный режим оборудования изменяется циклически.
Вышеописанная классификация вычислительных нагрузок на ИТО по уровню тепловыделения носит аналитико-теоретический характер и используется в настоящем исследовании для установления взаимосвязи между профилем вычислительной нагрузки, тепловым состоянием информационно-технологического оборудования и режимами функционирования систем обеспечения параметров микроклимата ЦОД. При этом классы, основанные на уровне тепловыделения оборудования, и классы, базирующиеся на его временных характеристиках, имеют возможность частично пересекаться и образовывать определённые комбинированные категории.
Качество обрабатываемых данных ИТО, метрики энергоэффективности
Текущие исследования [24, 25] демонстрируют, что энергопотребление ИТО обуславливается не только типом вычислительной нагрузки, но и качеством обрабатываемых данных, показывая весомую корреляцию между качеством данных и энергетическими затратами. Наличие шумов, дублирующихся и устаревших, некорректных форматов и иных дефектов данных приводит к росту вычислительных затрат на их очистку и преобразование, увеличивает интенсивность операций хранения и ввода-вывода, а также может повышать сетевые издержки вследствие повторной передачи данных.
Согласно рекомендациям Google Cloud, указанным в отчёте по устойчивой архитектуре [24], решения, связанные с качеством, объёмом и размещением данных, способны существенно влиять на энергопотребление цифровой инфраструктуры. При этом низкокачественные, дублирующиеся и устаревшие данные не только занимают избыточные ресурсы хранения, но и приводят к дополнительному энергопотреблению при их последующем использовании в аналитике и обучении моделей искусственного интеллекта. В обзорах по энергоэффективной инженерии данных также отмечается [25], что вычислительно ёмкие операции очистки и преобразования данных, избыточные трансформации, неэффективные форматы хранения, повторные чтения с диска и чрезмерные операции ввода-вывода относятся к числу основных источников роста энергозатрат в пайплайнах обработки данных.
Кроме того, в сетевых системах потери пакетов и необходимость повторной передачи данных сопровождаются дополнительными энергетическими затратами, а их величина определяется параметрами трафика, характеристиками передачи и архитектурой вычислительной среды ИТО [26, 27].
На основании вышеизложенного на рис. 4 представлен график, иллюстрирующий зависимость относительного прироста энергопотребления от доли низкокачественных данных с раздельным учётом вклада дополнительной предобработки, хранения и операций ввода-вывода, а также сетевой передачи.
Рис. 4. Зависимость относительного прироста энергопотребления вычислительной системы от доли низкокачественных данных при выполнении различных операций
Построение зависимостей выполнено методом линейной интерполяции между значением энергопотребления в режиме холостого хода и экспериментально-исследовательском режиме, зафиксированном опорными значениями. Для компонентов предобработки использована прокси-оценка порядка 30%, полученная на основании данных [28], где уменьшение доли обучающих данных сопровождалось снижением энергопотребления примерно на 20–41% в зависимости от аппаратной конфигурации и режима обучения.
Суммарная зависимость представляет собой аддитивную агрегацию указанных компонентов, данная агрегация не является результатом единого натурного эксперимента и не учитывает потенциальные нелинейные эффекты взаимодействия компонентов.
Следовательно, качество информации в контексте функционирования центров обработки данных представляет собой многомерную метрику, связанную с надёжностью процессов обработки, передачи и хранения данных, влияющей в том числе на энергетический и, как следствие, тепловой баланс дата-центров.
В прикладной литературе качество данных и информации обычно характеризуется определёнными атрибутивными понятиями, такими как точность, полнота, своевременность, согласованность, контекстуальность и интерпретируемость [29]. Вместе с тем в рамках концепции [30] используется иная совокупность измерений, таких как информационные качества, включающие разрешающую способность данных, структуру данных, интеграцию данных, временную релевантность, экстраполируемость, хронологическую согласованность данных и цели, гранулярность, формализацию конструкта и коммуникацию. Параметр гранулярности может включать в себя многоуровневую детализацию данных об энергетических показателях: общую потребляемую мощность стойки, энергопотребление каждого сервера, энергетические затраты каждого компонента сервера (CPU, RAM, системы хранения и т.д.).
Использование взвешенной аддитивной свёртки предполагает сопоставимость и предварительную нормировку частных атрибутивных показателей качества, а также допускает частичную компенсацию снижения одних параметров качества повышением других.
На данный момент в качестве ключевого (общепринятого) метрического инструмента для оценки эффективности оптимизации энергопотребления ЦОД используется коэффициент Power Usage Effectiveness (PUE), отражающий отношение общей потребляемой энергии к энергопотреблению ИТ-оборудования [31].
В дополнение к PUE существует обратный показатель Data Center Infrastructure Efficiency (DCIE), определяемый как отношение энергопотребления ИТО к общему потреблению энергии дата-центра [31]. Данный параметр упоминается в международных экологических стандартах, например, в международной рейтинговой системе «зелёного» строительства Leadership in Energy and Environmental Design (LEED) [31], и применяется для оценки эффективности функционирования систем охлаждения.
Для проведения более детального анализа эффективности систем охлаждения на уровне отдельных серверных стоек используется Rack Cooling Index (RCI), имеющий две метрики оценивания — по максимальной (HI) и минимальной (LO) температурам, определяемых по следующим формулам [32]:
RCI(HI) = (1 − (tmax − trec)/(tmax − tsup)) × 100 %, (1)
RCI(LO) = (1 − (tmax − trec)/(tmax − tsup)) × 100 %. (2)
где tmax и tmin — максимально и минимально допустимые температуры согласно паспортным данным, °C; trec — фактическая температура на входе в стойку, °C; tsup — температура подаваемого холодного воздуха, °C.
Выявленная взаимосвязь между типами информационных нагрузок, качественными характеристиками обрабатываемой информации и энергопотреблением ИТО формирует методологическую основу для построения подхода, в рамках которого информационная энтропия рассматривается как количественная мера состояния и структуры обрабатываемых данных [33], а качество информации — как совокупность расчётных показателей её релевантности и пригодности для последующей обработки.
Теоретическим основанием данного подхода выступает энтропия Клода Элвуда Шеннона [33], выражаемая формулой:
H(x) = −Σi=1n Pi·log2(Pi), (3)
где H(x) — энтропия системы; Pi — вероятность i-го события или символа; n — число возможных событий.
Энтропия Шеннона характеризует степень неопределённости, структурной неоднородности и вариативности информационного потока. В условиях функционирования ЦОД увеличение энтропии обрабатываемых данных может быть интерпретировано как признак возрастания информационной сложности, сопровождающейся расширением множества возможных состояний системы и, как следствие, увеличением объёма операций сортировки, фильтрации, декодирования, преобразования, верификации, передачи и повторной обработки данных. Это приводит к росту загрузки вычислительных ядер, подсистем памяти, хранения и сетевого взаимодействия, что обусловливает увеличение потребляемой электрической мощности ИТО. Поскольку в установившемся режиме потребляемая электроэнергия в конечном счёте рассеивается в форме тепла, рост вычислительной активности, связанный с обработкой более энтропийно насыщенных и менее качественных данных, закономерно сопровождается увеличением тепловыделения и усилением нагрузки на системы обеспечения параметров микроклимата ЦОД. Дополнительное теоретическое обоснование указанной связи обеспечивается принципом Рольфа Ландауэра [34], в соответствии с которым логически необратимые операции обработки информации, прежде всего стирание и перезапись данных, обладают фундаментально обусловленной энергетической ценой.
Следовательно, информационная энтропия и интегральные показатели качества данных могут быть использованы в качестве расчётных предикторов изменения вычислительной активности, энергопотребления ИТО и связанного с ним теплового потока. Это создаёт методологическую основу для формирования подхода, заключающегося в динамической адаптации систем жизнеобеспечения ЦОД к изменяющимся параметрам информационных потоков, обеспечивая снижение энергопотребления за счёт более рационального распределения вычислительных ресурсов, сокращения избыточной обработки данных и повышения эффективности управления тепловым режимом ЦОД, исключая точки локального перегрева или переохлаждения.
