Создание гигантских центров обработки данных на Западе уже "поставлено на поток", и крупнейшим корпорациям остается только следовать разработанным стандартам и обеспечивать своевременное внедрение все более и более современных технологий. Россия, увы, пока не может похвастаться "бумом" ЦОДов, но и у нас в последнее время наметилась положительная динамика. Поучившись у западных гигантов, российские разработчики все активнее начинают реализовывать проекты отечественных дата-центров.
В последнее время происходит рост числа и масштабов Центров Обработки Данных (ЦОД). Известные корпорации – APC, IBM, HP, Microsoft и др. – запускают дата-центры один за другим. Между концернами развернулась настоящая гонка по созданию крупных ЦОД.
В конце июня появилась информация о том, что Google намерена построить крупный ЦОД в штате Айова, потратив на него колоссальную сумму в 600 млн долларов. Предполагается, что центр, занимающий площадь 22,3 Га, заработает уже весной 2009 года, а 200 сотрудников будут обеспечивать круглосуточную работу. В целом, компания сейчас строит параллельно несколько крупных центров. Для Google это возможность ощутимо увеличить объемы передаваемых данных и, как следствие, расширить функциональность интернет-сервисов.
В прошлом году корпорация Sun начала выпускать "ЦОД-в-коробке" - "Project Blackbox"
В погоне за Google Microsoft только что открыла новый ЦОД в Квинси, который уже назван одним из крупнейших в мире - центр занимает порядка 30,4 Га. Уже анонсировано строительство ЦОД Microsoft в Сан-Антонио, на который корпорация потратит 550 млн долл. Также будет построен центр в Дублине за 500 млн долларов. Корпорация объявила о том, что ежеквартально увеличивает количество серверов на 20 тыс. В основном это делается для нужд сервисов Microsoft Live (компания намерена серьезно конкурировать в этом направлении с Google и другими игроками рынка). Также Microsoft собирается увеличивать объем услуг по хостингу.
Стоит отметить, что гонка по созданию масштабных центров спровоцировала и обратную реакцию.
В прошлом году корпорация Sun начала выпускать "ЦОД-в-коробке" - "Project Blackbox". По мнению менеджеров компании, многих инвесторов не прельщает перспектива вкладывать сотни миллионов долларов в центры, строительство которых длится годами. Как результат, Sun покупает обычный контейнер с трейлера, размещает в нем серверы, подводит коммуникации и получает в кратчайшие сроки дешевый и миниатюрный ЦОД.
Затраты снижаются в десятки раз и ускоряется процесс инсталляции. Однако в то же время не соблюдаются и многие условия. Да и реализован проект может быть далеко не везде. Препятствием способны стать даже архитектурные особенности здания, где расположена компания-заказчик (слишком узкие дверные проемы, недостаточная грузоподъемность лифта и пр.).
ГОСТ для ЦОД
При построении ЦОД перед инженерами встает множество задач, которые связаны с широким спектром требований – от выбора места инсталляции и конструкции самих помещений до ПО, используемого в центре, так как ЦОД должен обеспечивать бесперебойную работу 24 часа в сутки и 365 дней в году,
На Западе перед проектировщиками ставятся несколько сотен условий, которые предполагают защиту на всех уровнях. В целом структуру ЦОД можно разделить на четыре основных составляющих – здание; инженерная инфраструктура; активное оборудование; программное обеспечение.
Для строительства зданий и помещений под ЦОД разработано множество стандартов, направленных в основном на обеспечение безопасности и удобства. В западных стандартах подчас встречаются весьма серьезные требования, например, здание должно располагаться на расстоянии минимум 90 метров от самой высокой точки, до которой доходила вода при наводнении за последние 100 лет. Существуют принятые на Западе требования к проектируемым помещениям, инженерной инфраструктуре, системам безопасности, которые применяются к дата-центрам: в США это стандарт EIA/TIA-942, в Европе – например, EN 50173-5 (пока находящийся в стадии проекта).
В зависимости от места постройки, а также функции ЦОД усиливаются противосейсмические и другие показатели. В целом здание должно обеспечивать бесперебойность работы центра при практически любых форс-мажорных ситуациях, будь то землетрясение, наводнение, пожар и т.д. Центры обеспечиваются противопожарными системами, средствами бесперебойного питания и охлаждения. Для повышения отказоустойчивости все системы жизнеобеспечения можно дублировать, в любом случае необходима какая-то степень резервирования оборудования. Перебои в работе ЦОД, связанные как с катаклизмами, так и с возможными неисправностями в оборудовании, могут иметь самые серьезные экономические последствия. Так, по расчетам корпорации АРС, час простоя ЦОД может обойтись компании-владельцу в сумму от 10 до 500 000 долларов.
Кроме того, дата-центр предполагает множество других инфраструктурных внедрений, таких, например, как специальный комплекс климатического оборудования, поддерживающего требуемую для работы систем температуру— +18-21 градус по Цельсию путем отвода тепла в соответствующих зонах ЦОДа.
Отдельного обсуждения заслуживает тема информационной безопасности. Доступ как в здание, где расположен ЦОД, так и в отдельные помещения и даже к персональным местам (к примеру, администратора) отслеживается службой охраны и системами видеонаблюдения, часто – с возможностью инфракрасного сканирования. Сегодня используются уже системы биометрического контроля, что позволяет свести практически к нулю возможность несанкционированного доступа к информации.
Основная проблема, которая сейчас стоит перед ЦОД – это энергетические ресурсы. По расчетам Gartner, уже в следующем году практически половина центров обработки данных будет испытывать кризис, связанный с нехваткой энергетических мощностей и проблемами охлаждения серверов и другого оборудования. К 2009 году в Gartner прогнозируют, что расходы на охлаждение займут второе место в бюджете дата-центров. В связи со стремлением использовать при проектировке центров аппаратуру, занимающую меньшие площади, происходит увеличение потребления электроэнергии. Так, по данным Gartner, если ранее на один квадратный метр ЦОД в среднем рассчитывалось потребление энергии максимум в 5-10 кВ, то теперь эти нормы возросли до 35 кВ. В связи с этим основные центры теперь строятся на территориях со сравнительно низкими тарифами на электроэнергию. Так, центр Microsoft, о котором говорилось выше, потребляет порядка 50 мегават энергии. Таким образом, энергетические расходы ЦОДов выходят на один уровень со средними городами.
Что касается используемого оборудования , то уже в зависимости от бизнес-задач и требований к ПО для обеспечения бизнес-процессов проектировщики выбирают серверы, стойки, сетевое оборудование, системы бесперебойного питания , кондиционеры и т.д. Так, если требуется создание масштабируемого дата-центра и запланировано расширение ЦОДа, то используется два подхода - вертикальное и горизонтальное масштабирование. В первом случае (например, в случае, когда центр обслуживает большой поток транзакций) часто используется высокоскоростное коммутирование серверных ресурсов, во втором – серверы кластеризуются, при этом для расширения могут быть использованы не самые мощные серверы. Сейчас все более популярными становятся модульные серверы (blade), позволяющие легче решать вопрос масштабирования центра.
При проектировке ЦОД особое внимание, естественно, уделяется эргономичности и удобству рабочих мест.
В связи с тем, что дата-центры оперируют критически важной информацией, особое место занимают системы резервного копирования данных. В целом сейчас принято использовать технологию сетей хранения данных (SAN) и ленточные системы копирования, а также системы Veritas NetBackup (Symantec) и Legato Networker (EMC).
Распределение бюджета на содержание одной стандартной стойки в ЦОД
Источник: АРС, 2005
Кроме того, внутренние сети предохраняются от несанкционированного доступа: брандмауэры, защищенные VPN-протоколы, системы обнаружения вторжений (Intrusion Detection System (IDS)).
Несмотря на столь жесткие требования к дата-центрам, спрос на них продолжает расти. Согласно опросам Gartner, 93% всех центров собираются в ближайшее время обновиться, расшириться, либо переместиться, в поисках мест с более дешевой электроэнергией. Данные говорят в пользу того, что эта сфера развивается весьма бурно и реагирует на изменения в технологиях.
Дата-центр по-русски
В России первые ЦОД стали появляться в 2000-ом году. После этого был реализован ряд крупных проектов. Основными клиентами первых ЦОД были банковские структуры, нефтяная отрасль и государственные органы. Еще в 1999 году заработал первый опытный российский ЦОД при одной из налоговых инспекций, который обрабатывал декларации и справки о доходах жителей Москвы и Московской области. Одним из первых крупных российских ЦОДов был центр Сбербанка. Позже, в 2003 году, при поддержке "Ростелекома" в Чувашии открылся первый в России республиканский центр обработки данных, который использовался для систематизации архивных данных, обеспечивал органы местной власти, а в 2006 году был открыт ЦОД при научном центре «Курчатовский институт» (РНЦ КИ).
Российские дата-центры сегодня переживают стадию роста (правда, пока серьезно отстают от западных гигантов). Так, в прошлом году был запущен центр "М1" стоимостью 15 млн долларов. Общая площадь этого ЦОД - 2500 кв.м. Интегратором центра является компания Stack Group, которая развивает распределенную сеть дата-центров, предоставляя широкий спектр услуг – business continuity & disaster recovery (непрерывность бизнеса), хостинг, аренда сервера, размещение сервера и т.д. За счет "М1" компания расширила "кольцо" соединенных друг с другом ЦОДов. "М1" стал третьим из них. Первыми двумя были расположенный в Москве ЦОД Stack и подмосковный PSN.
На днях в Москве открылся новый ЦОД компании "Тройка Диалог" площадью 200 кв. метров, рассчитанный более чем на 100 рабочих мест с возможностью дальнейшего расширения (это условие теперь все чаще ставится перед проектировщиками).
ЦОД, сумма инвестиций в который составила около 10 млн долл., предназначен для размещения удалённых рабочих станций, серверного парка компании и обеспечения рабочих мест трейдеров бесперебойным питанием.
В проектировании инженерной инфраструктуры участвовали специалисты компании АРС, которые в данном случае ориентировались на более передовые стандарты – европейские и американские, так как российские стандарты пока не успевают за развитием технологий в мире.
ЦОД использует существующие каналы связи через проложенные оптоволоконные линии, совокупная пропускная способность которых составляет 20 Гбит/с.
Система безопасности в ЦОД построена по стандартному принципу – видеонаблюдение ведется в ИТ-комнате, персонал может видеть каждую рабочую стойку в отдельности. Доступ к оборудованию обеспечивается с помощью магнитных карт (проектировщики решили отказаться от биометрических систем, так как они все еще очень дороги и не гарантируют необходимую степень надежности).
Помещения ЦОД и трейдингового центра, где работает порядка 100 трейдеров, спланированы таким образом, что в случае аварийной ситуации полная эвакуация сотрудников займет 200 секунд. Для автоматического пожаротушения используются водяные, пенные, порошковые, газовые средства.
Кроме источников бесперебойного питания, которые должны поддерживать работу энергосистемы в течение 40-60 минут, в ЦОД размещены два дизельгенератора с запасом топлива мощностью по 250 Квт каждый.
Управление ЦОДом осуществляется с помощью двух контрольных постов. Первый располагается в деловом центре "Романов Двор". Это пост управления всем интеллектуальным зданием, с которого помимо контроля основных параметров осуществляется контроль электропитания и целостности контура водяного охлаждения. Из ЦОДа "Тройки Диалог" сюда выведено управление всеми инженерными системами (чиллеры, газовое пожаротушение, оповещение о пожаре, вентиляция, энергоснабжение от главного распределительного щита до распределительных щитов ЦОДа). Второй пост управления отвечает за непрерывный мониторинг работы серверов и основных приложений. Отсюда ведется регулирование температуры в рабочих стойках и настройка параметров системы раннего оповещения о пожаре.
В России наметилась конкуренция в области технологических решений. Постоянно растущий объем использования ИТ в бизнесе компаний большинства отраслей стимулирует рост интереса к технологиям создания ЦОДов. Хотя российские дата-центры не могут пока конкурировать с мировыми гигантами, они становятся естественной составляющей информационного фундамента российского бизнеса.
Самвел Мартиросян / CNews
