Аварии в ЦОД и как их избежать

В марте 2021 года сгорел ЦОД SBG2 в Страсбурге, а в июне вышел из строя дата-центр «Курчатовский». Причины разные, а результат один — сервера недоступны, а некоторым проектам потребовалось восстанавливаться из бэкапов. Почему так случилось и как избежать аварии? Смотрим на чужие грабли, чтобы не наступить на свои.  

Причина аварии в ЦОД Курчатовского института

«Курчатовский» дата-центр (KIAEHOUSE) находится на территории Курчатовского института и является частью инфраструктуры MSK-IX. Основное электроснабжение обеспечивает ТЭЦ 16. От ТЭЦ питание подается на два трансформатора института, а от них уже делится на две магистрали до ЦОД. В день аварии в одну из подстанций попала молния и одновременно отключились высоковольтные кабели ТЭЦ 16. 

ТЭЦ 16

ТЭЦ 16

В результате из энергосистемы выпали оба входа — основной и резервный. ЦОД перешел на автономное питание, а это аккумуляторы и несколько ИБП в подвале здания. К сожалению, система автономного питания ЦОД «Курчатовский» оказалась не рассчитана на длительную работу. К середине дня аккумуляторы истощились и сервера один за другим стали отключаться. К тому моменту как восстановили подачу питания по одному из входов, из строя вышли несколько сетевых коммутаторов, оказались повреждены многие RAID-массивы и серверы клиентов дата-центра

Как обезопасить ЦОД от аварии на примере дата-центра «Курчатовский»

Одномоментный выход из строя высоковольтных кабелей и попадание молнии в трансформаторную подстанцию — экстраординарный форс-мажор. Однако, чтобы избежать подобных случайностей, пусть они и происходят раз в 10 лет, при проектировании ЦОД GreenBushDC мы постарались предусмотреть все возможные и большинство невозможных ситуаций. Для этого: 

  • Энергоснабжение ЦОД организовали по шести независимым лучам от трех подстанций ОЭЗ. Даже если из строя выйдут две подстанции из трех или повредятся два ввода из трех, у ЦОД останется один работающий луч.

  • При выходе из строя сразу трех лучей, нагрузка переключится на 16 ДИБП суммарной мощностью 1670 кВА. По 8 ДИБП на основную и резервную подсистемы.

  • Через две минуты после включения ДИБП в работу включится одна из дизель-генераторных установок. В ЦОД GreenBushDC их две, по 1620 кВт каждая. Одна основная и одна резервная.

  • В баках ДГУ постоянно поддерживается запас топлива на 6 часов работы. Это 6 часов работы инфраструктуры всего дата-центра, от серверов до системы охлаждения. За 6 часов планируется восстановить хотя бы один луч, но даже если этого не произойдет...

  • ДГУ будут работать на топливе из топливохранилища, которое находится на территории центра обработки данных. Запас рассчитан на 12 часов полноценной работы всей инфраструктуры.

  • В течение нескольких часов после перехода на автономный режим, запас топливохранилища пополнит один из двух поставщиков. Если что-то сорвется с поставкой, есть резервный вариант.

Площадка ДГУ и ДДИБП

Площадка ДГУ и ДДИБП

Большинство аварий в ЦОД связано именно с обесточиванием, однако корневые причины форс-мажоров разные. Предусмотреть все невозможно, но можно по-максимуму защитить самые уязвимые участки и застраховаться от большинства глобальных рисков. Мы использовали обе возможности: тщательно зарезервировали энергосетевую инфраструктуру и заключили договор комплексного страхования центра обработки данных. Правда надеемся, что у дата-центра не будет случая проверить надежность системы и ответственность страховщика.

Читать еще
Внутренний аудит информационной безопасности 18.06.2021
В копилку службы ИБ: методы, подходы и чек-листы для внутреннего аудита информационной безопасности.
Читать подробнее
Как разобраться с логированием: гайд для начинающих 25.06.2021
Зачем оно нужно, это логирование и как упростить процесс сбора, анализа и хранения логов.
Читать подробнее
Когда нужен внешний аудит информационной безопасности 09.07.2021
Про объекты, результаты и периодичность внешнего аудита информационной безопасности для операторов ПДн, объектов критической информационной инфраструктуры, субъектов НПС и других компаний.
Читать подробнее
Что такое тикет-система и как она применяется в ЦОД 16.07.2021
Чем тикет-система лучше телефонной поддержки и как ЦОД использует тикеты для улучшения работы.
Читать подробнее
Введение нового порядка госаккредитации ИТ-компаний в РФ 30.07.2021
Как изменится госаккредитация ИТ-компаний с 1 августа 2021 года? Делаем обзор изменений и нововведений.
Читать подробнее
В GreenBushDC началось строительство нового модуля А1 23.08.2024
В Центре обработки данных стартовало строительство модуля А1, который предоставит клиентам больше возможностей для масштабирования и оптимизации их ИТ-инфраструктуры.
Читать подробнее
Оставить заявку
После отправки заявки ожидайте звонка нашего менеджера.
* Поля, обязательные к заполнению.
Спасибо!
Данные вашего заказа будут переданы в отдел продаж.
После чего ожидайте звонка вашего личного менеджера.
контакты компании
Адрес компании
124460, Москва, Зеленоград, ул. Конструктора Лукина, д. 14А, офис 501
Поддержка 24/7
8 495 784 60 80
ПОЧТИ готово!
Спасибо, данные вашего заказа будут переданы в отдел продаж.
После чего ожидайте звонка вашего личного менеджера.
* Поля, обязательные к заполнению.