Электроснабжение ЦОД 2
Параллельные конфигурации При проектировании ЦОД приходится балансировать между взаимоисключающими требованиями, касающимися сдерживания растущих мощностей энергопотребления и обеспечения необходимого уровня бесперебойной работы. Вычислительные мощности центров обработки данных защищаются на нескольких энергетических рубежах: помимо входных фидеров бесперебойное и качественное питание обеспечивают дизель-генераторы и ИБП переменного тока. Для достижения требуемого уровня доступности ЦОД используют различные схемы дублирования компонентов защиты энергетической системы и путей подключения нагрузки. При полном резервировании вся энергетическая система состоит из двух частей, зеркально повторяющих друг друга (см. рисунок). Каждое «плечо» такой системы резервируется посредством параллельной схемы подключения ИБП, выбираемой в зависимости от класса доступности ЦОД: для III класса используется схема N+1 с одним активным и одним пассивным фидером, а для IV класса 2N с двумя активными фидерами.
Современная нагрузка, как правило, представляет собой вычислительные комплексы, у которых предусмотрены сдвоенные двухканальные блоки питания. Принцип работы таких систем — два блока работают параллельно, подключаясь к двум независимым линиям питания. При этом обеспечивается баланс нагрузки, так что суммарная потребляемая мощность делится пополам. Возможна и другая схема, когда один блок питания работает на полную мощность, а второй находится в горячем резерве.
Параллельная схема резервирования нагрузки подразумевает, что два или более ИБП с объединенными выходами, питающими единую нагрузку, включают в параллель, и после объединения выходов все ИБП разделят нагрузку поровну. Если к параллельной системе подключить нагрузку, мощность которой не превышает сумму номинальных мощностей всех ИБП без одного (схема N+1), то неисправность и отключение одного ИБП не приведут к проблемам с питанием нагрузки — один ИБП можно отключить от нагрузки, а остальные плавно возьмут на себя его часть. Для того чтобы заставить два или более ИБП работать в параллель, необходимо очень точно синхронизовать фазы выходного напряжения всех ИБП.
Традиционно параллельные системы с резервированием создавались путем установки блока управления работой всех ИБП. Этот компонент является узким местом параллельной схемы, в подавляющем числе систем он оказывается нерезервированным, а его отказ чреват переходом на байпас всех источников. Многие производители реализуют более надежные алгоритмы управления параллельной архитектурой с распределенной логикой управления, позволяющей, например, закрепить роль ведущего (master) за тем источником, который включается первым. Если с таким устройством что-либо происходит, то ближайший из оставшихся источников (slave) берет на себя функции ведущего. В случае неадекватного поведения одного из них право на его отключение имеют все оставшиеся устройства, при этом работоспособность системы сохраняется, если их мощность достаточна для поддержки питаемой нагрузки. Как и любая параллельная система, данная архитектура позволяет отключить на профилактику один из ИБП, не прекращая подачу «чистого» электропитания нагрузке. Недостаток архитектуры системы параллельного управления master-slave в том, что будучи единым блоком или распределенной по всем ИБП системой управления, он представляет собой выделенную нерезервированную систему управления, и ее выход из строя может привести к проблемам с нагрузкой.
Один из перспективных методов синхронизации и распределения нагрузки реализован в технологии Hot Sync, разработанной и запатентованной в Invensys Power Systems, унаследованной компанией Eaton (см. врезку «HotSync исключает точку отказа»). В отличие от параллельных систем других производителей, в этой технологии между источниками отсутствуют коммуникативные связи, и устройства не обмениваются друг с другом информацией, связанной с синхронизацией, управлением и поддержанием равномерности распределения нагрузки. В основе метода лежит алгоритм проверки любых отклонений выходной мощности ИБП, при этом каждое устройство работает независимо и в режиме полной синхронизации с остальными. В результате устройства автоматически делят нагрузку, и каждое из них, в случае отказа инвертора или какого-либо иного критического события, способно самостоятельно отключить себя от выходной шины, питающей нагрузку.
Монолиты против модулей Параллельная конфигурация взята за основу производителями модульных ИБП. Их удобство состоит в том, что модульная архитектура позволяет нести затраты только на необходимое на данном этапе оборудование и оставляет гибкие возможности постепенно наращивать мощности в будущем. Сторонники модульной архитектуры подчеркивают, что данный подход более приемлем для ЦОД, поскольку отказ одного из компонентов (модулей) не приведет к отказу всей системы. Такие решения представлены в продуктовых линейках компании АРС (Symmetra LX, PX, MW в составе InfraStruXure), Emerson (Liebert-Hiross Nfinity), Newave (Concept Power), Rittal (ИБП в составе RimatriX5), Socomec-Sicon (Modulys). Противники модульной архитектуры отмечают, что с функциональной точки зрения модульные системы предназначены, прежде всего, для повышения надежности, но сама идеология их построения — увеличение количества элементов с последующим их объединением на шине переменного тока — частично противоречит поставленной задаче. Узким местом может стать и точка управления, избежать которую позволяет установка двух контроллеров.
Подключение всех модулей к общему батарейному блоку по единой шине создает дополнительную уязвимость. Кроме того, серьезная авария (например, короткое замыкание) в одном из модулей такого массива никогда не происходит изолированно — кроме одного сгоревшего блока необходимо проверить (а возможно и заменить) и соседние, расположенные снизу и сверху.
Специалисты также указывают на необходимость выполнения чрезвычайно качественного разъема, посредством которого силовой модуль устанавливается в корзину. В монолитных системах, особенно там, где протекают высокие токи, для обеспечения хорошего контакта силовые кабели обычно привинчиваются к силовым шинам и затягиваются болтами с определенным усилием. В соответствии с отечественными нормами эксплуатации электротехнических систем, необходимо периодически проводить регламентные работы, связанные с проверкой контактов. Соблюдение этих требований тем критичнее, чем более высокие токи протекают в системе. Очевидно, в каждом конкретном случае надо рассматривать возможные варианты построения системы, учитывая не только надежность, но и системотехнические, технологические и экономические аспекты.
Эксперты Eaton Power Quality Oy приводят следующие расчеты: при использовании одиночного ИБП вероятность отказа системы «сеть-ИБП» составляет в среднем 2,4 %, включенного последовательно резервного ИБП — 1,2 %, модульной системы — 1,1 %, параллельной системы традиционной архитектуры 0,9 %, параллельной системы с поддержкой технологии Hot Sync — 0,1 %.
