Банку предстояло решить задачу организации дополнительного нового ЦОДа со сверхвысокой потребляемой мощностью стоек на ограниченной площади в условиях непрерывности работы существующего дата-центра и функционирования офиса.

«Принципиальным условием для банка было требование сдачи ЦОДа «под ключ», то есть комплексного построения всей инженерной инфраструктуры, а именно: помещения ЦОДа, системы кондиционирования, электропитания, включая систему бесперебойного и гарантированного электроснабжения, систем автоматического газового пожаротушения, фальш-полов, СКС и мониторинга — и это условие было выполнено», — поясняет Роман Смирнов, начальник управления эксплуатации информационных систем РосЕвроБанка.

По результатам проведенного тендера генеральным подрядчиком проекта по строительству ЦОДа в РосЕвроБанке была выбрана компания «Астерос». Договор на строительство дата-центра и создание его инженерной инфраструктуры был заключен с генеральным подрядчиком в декабре 2009 года. В ходе тщательной проработки требований было подготовлено техническое задание, в соответствии с которым проектная бригада начала проектирование инженерной инфраструктуры нового ЦОДа.

«Выбирая поставщика и само решение для создания инженерной инфраструктуры, мы посетили многие площадки, познакомились с опытом эксплуатации решений от самых разных поставщиков, — рассказывает Роман Смирнов. — Критерий отбора учитывал многие факторы, но выбор относительно систем бесперебойного электропитания и кондиционирования был сделан без колебаний в пользу APC by Schneider Electric».

В феврале 2010 года была представлена первая версия проектной документации, эскиз проекта. В окончательном варианте проект был готов к маю 2010 года, а реализован полностью и запущен в промышленную эксплуатацию в июне 2011 года.

«Основная сложность реализации проекта состояла в том, что мы строили дата-центр и его инфраструктуру в условиях функционирующего головного офиса и непрерывности вычислительной среды, включая все его ключевые и вспомогательные приложения», — рассказывает Роман Смирнов.

Система кондиционирования

Новый ЦОД решено было строить в том же здании, что и прежний. Выделенное помещение площадью 40 кв. м хотя и невелико, но позволяло развернуть систему кондиционирования с учетом высоко нагруженных стоек. Из возможных вариантов в существующих условиях единственным возможным решением была реализация системы изолированных «горячих» коридоров типа HACS (Hot Aisle Containment System) от APC by Schneider Electric. Заключение архитекторов здания о возможности сноса опоры в центре помещения позволило остановиться на варианте системы охлаждения HACS на базе межрядных кондиционеров производства АРС серии InRow RD и RP.

Для размещения технологического оборудования (вычислительных мощностей) в зале установлены 12 стоек производства APC by Schneider Electric. При проектировании максимальное потребление в расчете на одну стойку планировалось 10 кВт. Суммарная мощность потребления технологического оборудования зала составляет 120 кВт.

Стойки установлены в два ряда по 6 штук в каждом, и оба ряда обращены в противоположные стороны. Для охлаждения стоек используются системы внутрирядных кондиционеров: четыре InRow RD DX и два InRow RP DX с пароувлажнителем. Горячий отработанный воздух отводится в изолированный «горячий» коридор, который охлаждается системой кондиционеров. Холодный воздух при этом забирается из помещения. Резервирование системы кондиционирования реализовано по схеме N+2. В настоящее время один из кондиционеров InRow RP DX находится в холодном резерве. Климатические параметры зала анализируются системой датчиков и в режиме интеллектуального управления кондиционерами поддерживаются на заданном уровне.

«APC by Schneider Electric и системы, которые она предлагает, имеют очень хорошую репутацию на рынке. Их надежность и удельная мощность в расчете на единицу площади демонстрируют одни из лучших показателей на рынке»

Хотя проектируемая мощность нагрузки на стойку составляет 10 кВт, система кондиционирования и наличие блоков распределения питания APC PDU, рассчитанных на нагрузку до 15 кВт, позволяют нагружать стойку до 15 кВт (при условии, что соседние будут потреблять меньшую мощность, а суммарная мощность стоек не будет превышать 120 кВт).

Говоря о выборе оборудования APC by Schneider Electric, Роман Смирнов приводит следующие доводы: «APC by Schneider Electric и системы, которые она предлагает, имеют очень хорошую репутацию на рынке. Их надежность и удельная мощность в расчете на единицу площади демонстрируют одни из лучших показателей на рынке. Способность кондиционеров APC InRow решить задачу кондиционирования в условиях ограниченного пространства при невозможности поднять уровень фальш-пола выше 30 см не оставили нам иного выбора». К тому же, как отмечает Роман Смирнов, комплексное решение из одних рук обходится дешевле, а его эксплуатация осуществляется проще.

Система бесперебойного питания

Для обеспечения бесперебойным электроснабжением серверного оборудования выполнена установка параллельной системы 3x100кВА серии MGE Galaxy 5000. Система функционирует по схеме резервирования N+1.

Аккумуляторные батареи располагаются во внешних батарейных шкафах, время автономной работы каждого ИБП из системы —15 минут на нагрузку 60 кВт. При выходе из строя одного ИБП системы нагрузка на оставшиеся источники бесперебойного питания не превысит 85% (так как общая мощность двух ИБП — 200 кВА/160 кВт, а мощность нагрузки —120 кВт, то каждый из оставшихся ИБП системы будет нагружен на 60 кВт из 80 кВт его номинальной мощности).

Для обеспечения бесперебойным электроснабжением системы кондиционирования параллельно установлено два ИБП MGE Galaxy по 120 кВА. Система также построена по схеме N+1 со временем автономной работы не менее 15 минут. Каждая параллельная система ИБП оснащена внешним обходным переключателем производства Schneider Electric. Все щитовое оборудование по проекту выполнено на базе оборудования Schneider Electric.

Мониторинг климатических параметров помещения осуществляется службой эксплуатации с помощью системы APC Netbotz. Датчики установлены в каждой стойке, а кроме того, распределенный датчик протечек фиксирует возможные точечные протечки под фальшполом.

«Для банковских систем недопустимо работать в условиях сомнения в надежности и отказоустойчивости основных элементов инженерной инфраструктуры, отсутствия запаса технологических ресурсов, — подчеркивает Роман Смирнов. — В настоящее время эксплуатационные службы не озабочены проблемами отказов оборудования. Инженерная инфраструктура РосЕвроБанка сегодня работает как надежный часовой механизм».