Электроснабжение ЦОД 1
Закон Мура, описывающий темпы эволюции электронного мира, пока еще применим в отношении настольных систем, ноутбуков, карманных устройств, но перестает быть справедливым в мире крупномасштабных высокопроизводительных центров обработки данных (ЦОД). Лозунги типа «лучше, дешевле, быстрее, меньше», актуальные в потребительской электронике и вычислительной технике на протяжении нескольких десятков лет, к сегодняшнему ландшафту крупных ИТ-подразделений не применимы. Те новые тенденции, которые определяют облик ЦОД нового поколения на предстоящие пять лет, очерчивают весьма острые проблемы, связанные с безудержным ростом уровня их энергопотребления в условиях резко возрастающего дефицита энергомощностей. По оценкам аналитиков Uptime Institute, в ближайшие пять лет стоимость эксплуатации этих объектов возрастет от 5 до 15 раз.
Из-за огромных объемов энергопотребления центры обработки данных становятся фокусом нападок со стороны ратующих за бережное отношение к энергоресурсам общественных движений, а решение проблем диверсификации путей энергоснабжения переходит на общегосударственный и международный уровень. Муниципалитеты крупных городов просто ограничивают максимальную мощность для новых объектов, а в некоторых городах Европы (Амстердам) вообще запрещено создание новых объектов — потребителей электроэнергии, в том числе центров обработки данных. В прошлом году в московской энергосистеме был зафиксирован рекордный уровень нагрузки 16,2 тыс. МВт, и власти города даже были вынуждены ввести режим жесткой экономии электроэнергии. По оценкам самих энергетиков, дефицит энергомощностей в условиях динамично развивающейся экономики будет продолжать расти еще более быстрыми темпами и станет на предстоящее пятилетие одним из наиболее серьезных препятствий для развития бизнеса в нашей стране — дальше никто загадывать не берется.
Вместе с тем строительство ЦОД, являющихся крупными потребителями электроэнергии наряду с промышленными предприятиями, приобретает все более широкий размах. Причем наиболее активно этот процесс идет именно там, где развивается бизнес. Один из эффективных путей решения проблемы энергоснабжения ЦОД состоит в поиске конструктивных решений и технологий, позволяющих существенно снизить энергопотребление этих объектов и одновременно с этим обеспечить высокие требования к уровню их надежности.
По данным аналитического департамента АРС, структура потребления электроэнергии современного ЦОД выглядит следующим образом: системы охлаждения (чиллеры, прецизионные кондиционеры, системы вентиляции) потребляют 50 %, компьютерная нагрузка — 36 %, источники бесперебойного питания (ИБП) — 11 %, освещение, пожарная сигнализация — 3 %.
Исследования, проведенные экспертами Uptime Institute, показывают, что энергопотребление ЦОД может быть снижено на 50 %, если в компании надлежащим образом решаются вопросы выбора и размещения оборудования и устанавливаемых приложений, соотношения производительности и эксплуатационных затрат. По данным аналитического департамента АРС, резервы экономии электроэнергии кроются в следующих направлениях: до 40 % — при использовании методов виртуализации серверных мощностей, до 15 % — при выборе эффективной архитектуры кондиционирования помещения, до 12 % — при правильной планировке фальшпола, до 10 % — при выборе эффективного оборудования электропитания. Эти цифры справедливы для ЦОД с высоким уровнем резервирования (2N), которые обычно функционируют при нагрузке 30 %. Для ЦОД с низким уровнем резервирования показатели экономии могут составлять половину от приведенных выше.
Эволюция классов За последние 40 лет в эволюции дизайна инфраструктуры вычислительных центров можно выделить четыре этапа, которые нашли отражение в классификации этих объектов. Исторически вычислительные центры первого поколения стали строиться в начале 1960-х годов, второго — в 1970-х, третьего — в конце 1980-х — начале 1990-х. Появление центров обработки данных четвертого поколения датируется 1994 г.
Проектирование и планирование ЦОД регламентируется американским стандартом ANSI TIA/EIA-942 (TIA-942) «Telecommunications Infrastructure Standard for Data Center». Специалисты руководствуются также европейским стандартом CENELEC/EN 50173-5.200Х, принятие которого ожидается в этом году. Стандарт TIA-942 описывает общую структуру, основные элементы и топологию ЦОД и охватывает все разнообразие подсистем ЦОД, включая систему электроснабжения.
Одна из важнейших характеристик центров обработки данных — это уровень энергопотребления на единицу площади. Начальный уровень энергетической нагрузки на единицу площади для ЦОД класса I составляет 20-30 Вт/кв. фут(215-322 Вт/кв. м),в ЦОД II и III класса этот показатель равен соответственно 40-50 Вт/кв. фуг (430-537 Вт/кв. м) и 40-60 Вт/кв. фут (430-645 Вт/кв. м), в ЦОД IV класса — 50-80 Вт/кв. фут (537-860 Вт/кв. м). Максимальное удельное энергопотребление в центрах III класса достигает 100-150 Вт/кв. фут, а в центрах IV класса превышает 150 Вт/кв. фуг.
Проблема планирования плотности энергопотребления при строительстве ЦОД сегодня усугубляется тем, что для инфраструктуры современного ЦОД характерно большое количество циклов обновления, но при этом трудно прогнозировать реальную удельную потребляемую мощность в обозримом будущем. При строительстве ЦОД большой запас по мощности может привести к чрезмерным капитальным затратам и низкой операционной эффективности. Эксперты АРС уже сталкивались на практике со спецификацией плотности энергопотребления 600-1000 Вт/ кв. фут (6450-10750 Вт/кв. м) в ЦОД нового поколения.
По информации GE, в среднем электропотребление 1 стойки за последние 5 лет выросло с 3-5 кВт до 30 кВт. Решения АРС способны отвести сегодня от стойки до 60 кВт тепла. При проектировании ЦОД более правильной в настоящее время признается модель, в которой учитывается не только цена единицы занимаемой площади, но и стоимость потребляемой электроэнергии оборудования, размещенного на ней.
К сожалению, до сих пор не существует единого российского ГОСТа, где были бы определены требования к ЦОД. На практике при расчете системы энергоснабжения подобных объектов проектировщики руководствуются действующим на территории РФ регламентирующим актом «Правила устройства электроустановок (ПУЭ)». Этот документ выделяет категории надежности электроснабжения (объекты I, II категории и объекты особой группы первой категории) и дает общие рекомендации по обеспечению каждого из уровней.
Стандарт TIA-942 определяет четыре уровня бесперебойной работы ЦОД. Первый уровень составляет 99,67 %, что соответствует запланированному времени простоя не более 28,8 часов в год. Уровень надежности ЦОД IV класса составляет 99,995 %, что означает суммарный перерыв в работе не более 15 минут в год. В отличие от первого уровня четвертый предполагает полное резервирование. На практике даже при значительном улучшении дизайна компьютерного оборудования ЦОД, построенные за последние пять лет и заявляющие функциональность IV уровня, в действительности часто соответствуют I, II и III уровню. Центры первого и второго класса могут занимать часть какого-либо помещения, а объекты III и IV класса размещаются в отдельных зданиях.
Требования к энергетической системе ЦОД IV уровня надежности также предусматривают полное резервирование. Такой центр должен быть оснащен как минимум двумя полностью независимыми электрическими системами, начиная от фидеров электропитания и входных магистралей от провайдеров услуг связи и заканчивая дублированием блоков питания серверных лезвий. Более детально положения стандарта TIA 942 в части, касающейся энергоснабжения ЦОД, будут изложены в одном из ближайших номеров ВС.
