Электроснабжение ЦОД 5
От теории к практике... Один из наиболее крупных московских проектов по строительству центров обработки данных на Варшавском шоссе, 125 (дата-центр М1) реализовала «Группа компаний СТЕК» (Stack Group). Данный объект стал частью первой и единственной пока в России сети географически распределенных дата-центров под торговой маркой Stack Data Network. В настоящее время в сеть входят три дата-центра: основные вычислительные мощности расположены на столичных объектах, а площадка в Пущино (100 км от Москвы) предназначена главным образом для создания катастрофоустойчивых резервных комплексов.
Общая площадь сети дата-центров составляет более 3000 кв. м (вместе с инженерными системами — более 6000 кв. м). Все технологические площадки соединены с крупнейшими операторами связи и объединены между собой резервированным волоконно-оптическим кольцом. Только такое решение обеспечивает бесперебойное функционирование в аварийных и чрезвычайных ситуациях и дает наивысшую степень сохранности данных и их защиту от несанкционированного доступа. Дата-центры оборудованы резервированными системами климат-контроля, пожарной сигнализации, пожаротушения, бесперебойного электропитания, мощными генераторными установками, а также системами видеонаблюдения и авторизованного доступа.
На базе собственной сети дата-центров Stack Group предоставляет полный комплекс услуг по ИТ-аутсорсингу: оказывает услуги по размещению и сопровожению ИТ-систем клиентов, предоставляет в аренду серверное и телекоммуникационное оборудование, сервисы резервного копирования, специализированные решения в области защиты информации и многое другое. Один из наиболее ответственных участков работы по электроснабжению и кондиционированию Stack M1 осуществляет компания HeuHaus.
При проектировании системы электроснабжения объекта Stack M1 специалисты «НойХаус» руководствовались требованиями к безопасности и надежности ЦОД четвертого класса доступности. Все компоненты системы электроснабжения этого объекта взаимно дублируются — начиная с вводов от трансформаторных подстанций и заканчивая поддерживающими нагрузку системами бесперебойного электропитания.
Помещение ЦОД общей площадью серверного зала 1100 кв. м состоит из двух секций, одна их которых уже введена в эксплуатацию. Для обеспечения требуемого уровня доступности ЦОД его электропитание обеспечивают три независимых фидера от двух подстанций. Два рабочих фидера сходятся на одной подстанции, один резервный — на другой, при этом фидеры попарно коммутируются. Дублирование вводов между двумя подстанциями позволяет оперативно перебрасывать нагрузку между двумя секциями.
Каждая из двух секций ЦОД защищена собственной группой источников бесперебойного питания марки NeuHaus итальянского производства. Общая мощность всех агрегатов бесперебойного питания составляет 5,6 МВА. Первую группу формируют четыре ИБП по 600 кВА каждый, установленные в параллель по схеме резервирования 3+1. Вторая группа включает четыре ИБП по 800 кВА каждый, они также установлены в параллель по схеме 3+1. Каждая из групп ИБП размещается в отдельной щитовой комнате, где размещен главный распределительный щит (ГРЩ), к которому от фидеров проложены медные шины (ток достигает 4500 А) и автоматы ввода резерва (АВР). Помимо АВР, которые переключают нагрузку между фидерами, используется дополнительный АВР для подключения дизеля при переходе на автономное питание в случае аварии.
От ИБП к установленным в вычислительном зале распределительным шкафам идут специальные шинопроводы. На этом участке величина токов достигает 3600 А, поэтому использование шинопровода здесь более оправдано: в случае использования кабеля пришлось бы подбирать очень большое сечение. От распределительного шкафа кабели идут к стоечным шкафам PDU (Power Distribution Unit) и далее расходятся к серверным стойкам. К каждому ИБП подключены по четыре батарейных шкафа, в которых установлено по линейке из 40 аккумуляторов.
Суммарный вес аккумуляторов составляет 40 тонн, поэтому пришлось укрепить фундамент. Поскольку на серверные стойки подается «чистая синусоида», нет необходимости устанавливать ИБП внутри них. Это существенно экономит арендуемое пространство.
Валерий Суханов, эксперт компании НойХаус, поясняет: «Не существует такого ИБП, который бы сопротивлялся отключению питания бесконечно долго. Время, в течение которого этот агрегат способен держать нагрузку при полном отключении внешнего питания, в значительной степени зависит от используемых в ИБП аккумуляторных батарей. Применяемые в проекте аккумуляторные батареи рассчитаны на время автономной работы, необходимое для запуска резервных ДГУ».
Дизельная группа включает четыре электрогенератора производства компании Cummins из Великобритании общей мощностью около 8 МВА.
Два ДГУ мощностью по 1675 кВА соединены в параллель и подключены к группе ИБП 800 х 4. ДГУ 2250 кВА «держит» группу ИБП 4 х 600, а другой ДГУ, такой же мощности, обеспечивает автономное электроснабжение чиллеров и кондиционеров. Соотношение мощностей ДГУ и ИБП рассчитано, исходя из реальной мощности нагрузки. Например, в группе 800 х 4 реальная нагрузка составляет не более 2,4 МВА, к ней подключены ДГУ суммарной мощностью 3,3 МВА. Если же принять во внимание все компоненты и уровни резервирования нагрузки, окажется, что система из трех ИБП общей мощностью 2,4 МВА нагружена лишь на 60 %, что увеличивает время автономной работы системы.
Дизельные установки требуют своевременного проведения технического обслуживания (ТО). Обычно раз в полгода меняется масло, раз в год производится смена охлаждающей жидкости. С такой же периодичностью производится очистка топливных баков, проверка арматуры, после чего делаются пробные запуски установки. Даже если отсутствуют тревожные события, дизель-генератор раз в месяц включается на тестовый запуск на 2-3 часа. Ежедневно проверяется заряд аккумулятора, системы подогрева, ведется специальный журнал.
Дизели установлены на улице вблизи здания ЦОД и помещены в специальные контейнеры производства NeuHaus. Контейнер — это сложная шумо- и теплоизолированная конструкция с внутренней обвязкой. В ней используются система вентиляции — жалюзи, автоматически открывающиеся при запуске двигателя и закрывающиеся при его останове, и система отвода отработанных газов на уровне 6 этажа здания. Контейнер оснащен системой безопасности — пожарно-охранной автономной сигнализацией, аэрозольно-пожаротушением, системой подогрева антифриза от дизеля. Продумано и такое удобство как основное и резервное освещение.
Помимо энергоснабжения ЦОД проект включал также кондиционирование помещения, на которое расходуется до 40 % всей электроэнергии. Для обеспечения надлежащих климатических условий используются 34 прецизионных кондиционера Liebert-Hiross мощностью 120 кВА по холоду каждый, и три чиллера холодопроизводительностью 1,2 МВт каждый. В систему труб закачано около 60 тонн хладоагента, в качестве которого используется пропиленгликоль — требование американского стандарта. Охлажденный воздух в серверное помещение подается снизу вверх из-под фальшпола.
Каждый ИБП оборудован SNMP-адаптером, и по каналу SNMP информация выводится на пульт оператора, отвечающего за данный участок работы.
Система мониторинга собирает информацию с каждого шкафа. На распределительные шкафы установлены счетчики учета, выполняющие клиентскую тарификацию расхода электроэнергии.
