Как сделать отказоустойчивый дата-центр

Когда попадается материал о качественно сделанном решении, всегда хочется узнать, как именно проходила работа: что нужно было учесть, что было непредсказуемым, а что – ожидаемым, что из задуманного удалось, а что – нет. В этом посте я хотел бы поделиться опытом работы над проектом, целью которого было создание «ЦОДа высокой надежности». Опыт этот во многом уникален: в России таких объектов единицы, поэтому в чем-то мы были первопроходцами.

Задумка и поиск площадки

Проект этого дата-центра задумывался еще пять лет назад, когда в КРОК только появилось направление аутсорсинговых центров обработки данных. Сразу после запуска своего первого небольшого АЦОДа («Волочаевская-1» в здании офиса КРОК) мы стали искать площадку для более масштабного проекта. Большая часть наших заказчиков – крупные компании, среди них много финансовых организаций, которые уделяют повышенное внимание безопасности. Поскольку мы изначально ориентировались на них, надежность объекта имела особое значение. Мы сразу рассчитывали, что будем сертифицировать дата-центр в Uptime Institute на соответствие уровню Tier III. Сертификация является существенным подспорьем для заказчиков: она позволяет компаниям сэкономить деньги и время при выборе дата-центра, избавляет от необходимости обращаться к сторонним аудиторам.

Макет дата-центра «Компрессор»

Особое внимание мы уделили выбору площадки: в итоге нашли ту, которая удовлетворяла нашим требованиям, на территории бывшего завода «Компрессор». Совпало много факторов: это и удобное расположение – к нам постоянно приезжают представители заказчиков, поэтому важна близость метро – и наличие на территории удобной парковки. Разумеется, было важно наличие электричества: нужны были две независимые линии питания из города и место для дизель-генераторов. Наконец, соответствовала нашим ожиданиям и сама площадка – раньше она была складом компрессоров, и фундамент рассчитывался на колоссальные нагрузки: 6 тонн на квадратный метр при норме 1,2 тонны.

Таким здание было за несколько лет до запуска ЦОДа

Надежность и безопасность

При создании ИТ- и инженерных систем мы придерживались того же принципа: надежность прежде всего. Внутри все системы полностью задублированы. Регулярно проводится тестирование запасного оборудования – это позволяет быть уверенными, что резерв всегда готов к работе. Например, раз в месяц проверяется дизель-генератор, причем сценарий аварии очень жесткий, маловероятный в реальной жизни – но лучше перестраховаться.

Дизель-генераторы

Даже микроволновки и холодильники зарезервированы (правда, последние – с недостатком, т.к. резервный меньше основного)

Также с целью повышения надежности мы разделили зоны ответственности заказчиков и сотрудников ЦОДа. Из этих соображений из машинного зала были вынесены кондиционеры Тернополь, электрощиты, и другие инженерные системы, чтобы, например, заказчики не могли случайно изменить режим охлаждения оборудования.

Особое внимание мы уделили вопросам безопасности. Снаружи дата-центра ведется круглосуточное видеонаблюдение, просматриваются камерами и все внутренние помещения — записи хранятся минимум 30 суток. Для того, чтобы попасть внутрь, нужно получить пропуск и пройти через КПП. В технологические помещения можно пройти только в сопровождении сотрудника ЦОДа. По желанию заказчика можно дополнительно ограничить доступ к его стойкам.

Удобство и индивидуальный подход

Второе важное требование к объекту – удобство. Например, мы позаботились о том, чтобы заказчикам было комфортно доставлять в дата-центр оборудование: до этого мы слышали немало историй о том, как в некоторых ЦОДах приходилось чуть ли не вручную переносить серверы массой больше тонны. У себя мы сделали зал для оборудования со специальным пандусом, высота которого совпадает с высотой фальшпола, там же стоит два погрузчика. Кстати, это важно не только из соображений удобства: некоторое дорогостоящее оборудование нельзя наклонять больше чем на десять градусов – автоматически теряется гарантия.

Зал, через который оборудование попадает в ЦОД, на погрузчике – сервер IBM

Наконец, нам было важно, чтобы системы в дата-центре можно было «подкручивать» под конкретного заказчика. В этом смысле нам помог опыт создания и эксплуатации своего первого аутсорсингового ЦОДа: например, мы поняли, что заказчикам удобно самостоятельно устанавливать и эксплуатировать системы физической безопасности для своего оборудования. Еще пример: машинные залы в ЦОДе «Компрессор» организованы как открытое пространство — мы решили не ограничивать заказчиков предустановленными стойками. Из инженерных систем в машинных залах размещена только система кабеленесущих конструкций. Лотки в свободной части зала заполняются по мере появления стоек заказчиков, ведь у компаний разные требования, и проложить универсальную СКС невозможно.

Машинный зал до размещения оборудования

Что в результате?

В результате этого масштабного проекта был создан центр обработки данных с коэффициентом отказоустойчивости 99,982% (это означает, что допустимое время простоя систем – менее двух часов в год). Он стал продолжением сети дата-центров КРОК: в нее также входят объекты «Волочаевская-1» и «Волочаевская-2», открытые в 2009 и 2011 году соответственно. Сеть дата-центров объединена собственным волоконно-оптическим кольцом передачи данных: это позволяет обеспечить прозрачную интеграцию ИТ-систем заказчиков друг с другом, даже если они расположены на разных площадках.

На базе сети дата-центров мы представляем заказчикам целый спектр услуг: это, разумеется, аренда ИТ-инфраструктуры или ее элементов, возможность разместить собственное оборудование. В дата-центре специально предусмотрены помещения, где могут работать сотрудники заказчика, в том числе круглосуточно. Кроме того, по желанию заказчика мы предоставляем такую услугу, как мониторинг его оборудования. Наконец, заказчики могут получать услуги из нашего «облака» на базе Виртуального дата-центра КРОК.

Руслан Заединов    http://i-business.ru/