Крупный пожар в ДЦ
Сегодня ночью на одной из наших площадок в Европе произошел пожар. Возгорание произошло в ДЦ части SBG2. Наше оборудование находится в части SBG3. Но из-за крупного возгорания упала вся сеть, в результате которой многие клиентские сайты, в том числе и наш стал недоступен. В связи с тем, что нам не известны сроки восстановления сети, наша команда мобилизируется на предмет аварийного восстановления серверов. В частности установка нового оборудования на другой площадке и восстановления сайтов из бекапов.
UPD 10:36 – По информации из ДЦ, пожар локализован. Но пожарные продолжают остужать уцелевшие здания водой. Сегодня уцелевшие корпуса ДЦ SBG1, SBG3, SBG4 включаться не будут. Таким образом мы приняли правильное решение не дожидаться решения проблемы и заниматься восстановлением клиентских сайтов в другом ДЦ.
UPD 11:36 - Восстановлен наш рабочий сайт и система биллинга. (из-за восстановления, часть данных по биллингу за несколько часов будет не актуальной. Эту информацию обновим в ближайшее время). Ожидаем активацию новых серверов чтобы начать восстановление из системы удаленных бекапов.
UPD 11:52 - В актуальное состояние приведена информация в биллинге (счета, оплаты). Ожидаем установку нового серверного оборудования.
UPD 13:23 – По последним данным из ДЦ, пожарные уехали. В данный момент специалисты изучают сервера на площадке SBG3. Разрабатывается план по запуску сети на площадках SBG3 и SBG4 и возможно SBG1 который частично пострадал. Напомним, что наше оборудование находится в корпусе SBG3. Также имеются задержки по развертыванию новых серверов – на них возник ажиотаж со стороны многих IT-компаний мира, которые пострадали так-же как и мы. Мы подали заявку одни из первых, но пока нет точной информации когда нам выдадут новые сервера.
UPD 14:19 – Корпус SBG3 осмотрен, по словам сотрудников ДЦ, все сервера ОКey. Напоминаем, именно в этом корпусе находится наше оборудование. Сейчас прорабатывается план восстановления сети для этого корпуса и запуска серверов. Мы по-прежнему ожидаем наши новые сервера, которые были заказаны утром после того как мы узнали о пожаре. Вариантов развития событий два – или будет восстановлена работа в ДЦ корпуса SBG3, или мы начнем восстановление сайтов из наших бекапов (они хранятся на удаленной машине в другой стране). Но восстановление мы сможем запустить после того как нам выдадут новые сервера. Как мы писали ранее, многие IT-компании как и мы для быстрого восстановления своих сервисов бросилась приобретать новые сервера. Мы не можем сказать точное время когда нам смонтируют новые сервера в стойку. Пострадали многие крупные IT-компании.
UPD 15:11 – Исследована сетевая комната SBG1 на которую были завязаны и других корпусы дата-центра. По словам специалистов они тоже в порядке. Есть шанс что получится оперативно запустить работу серверов на текущей локации а не восстанавливать бекапы на новых машинах. Новые сервера нам пока еще не выдали.
UPD 16:36 – К сожалению, по последней информации сотрудников ДЦ SBG1, SBG3 и SBG4 сегодня запускать не будут. Ждем новое оборудование для оперативного развертывания сайтов из бэкапов.
UPD 19:28 – По текущей информации от сотрудников ДЦ, перезапуск сети в SBG1 и SBG4 запланирован на 15 марта. Площадку в SBG3 (там находятся наши сервера) планируют на 18 марта. Уже сейчас понятно, что данные сроки нас никак не устраивают и мы будем добиваться скорейшей выдачи новых серверов чтобы запустить восстановление сайтов из наших удаленных резервных копий. Но из-за аварии возникли проблемы с новыми серверами, поставку 10.000 новых серверов обещают в течение 1-3 недель. Напомним, авария привела к проблемам на Google, Youtube а также многих российских крупных сайтов.
UPD 20:51 – Нам установили несколько серверов в других дата-центрах с которыми мы сотрудничаем. Сейчас идет настройка ПО. Это резервный вариант для переезда, если нам в адекватное время так и не предоставят новые сервера в ДЦ компании где произошел пожар (у них 15 ДЦ по всеми миру). Дело в том, что в другом ДЦ у нас не будет возможности забрать наши IP-адреса, что для большинства клиентов критично. Мы продолжаем работать над проблемой.
UPD 23:59 – В связи с тем, что со стороны ДЦ мы так и не получили вразумительного ответа по срокам “разворачивания” новых серверов на другой локации, запущено восстановление первого сервера S8 в рамках стороннего ДЦ. В течении ночи и утра постараемся восстановить работу всех сайтов которые в данный момент не доступны. И будем прорабатывать план восстановления работы старых IP-адресов.
