1 июн. 2010 г.

Что такое невезёт?

Прошу прощения что давно не писал. Компания, на которую я работаю, в конце марта перенесла все свои сервера в новый датацентр в Манчестере. Тому были свои причины, но пост не об этом. Переезд занял около 5 дней напряженки с физическим перемещением части серверов и полной переустановки одного из них на новое оборудование. Но как оказалось - это только цветочки! Приключения только начались ...

...спустя пару дней после переезда основной сервер для клиентского доступа и на котором расположен веб-магазин были подвергнуты хакерской атаке :( А после латания дыр в безопасности была повторная атака (кстати, ребятам хочется сказать спасибо - СТОЛЬКО узнал нового). Хорошо что в результате этих манипуляций компания получила только простой веб-магазина/клиентского раздела и данные не были разрушены или потеряны. У нас конечно же есть резервные копии, но это совсем не то что живые данные.

Казалось бы, куда уж более? Хватит неприятностей. Так нет, 16 апреля на почтовом сервере компании вылетает Blue Screen of Death (BSOD). Там установлен Microsoft Exchange (ВСЯ почта компании) и Active Directory в нагрузку. После перезагрузки сервер продолжает работать, но работает нестабильно. Иногда раз в пару часов или в пару суток выскакивает синий экран смерти и приходится перегружать сервер при помощи IPKVM. В процессе выясняется что причиной вылетов сервера являются физические проблемы с одной из планкой памяти. Сервер старенький и попытки найти замену планке памяти не увенчались успехом. Принимается решение про миграцию всей этой байды на новый сервер. "А теперь пристегнитесь и мы со всей этой хренью попытаемся взлететь..." (с)

Забыл сказать что во время хакерской атаки и падения почтового сервера владелец компании и мой непосредственный босс находился во Флориде (проводил отпуск с семьей) и не мог вернуться в Англию чтобы помочь организационно. В то время перелеты были прерваны из-за вулкана с трудным названием. Зато мы часто общались по скайпу и я "совсем не был обделен общением".

Ну и напоследок, чтоб уж совсем жизнь малиной не казалась, решили переместить виндовые сервера под виртуальные машины под Ubuntu (потому что виндовс стал вдруг ненадежным). Так что пришлось в спешном порядке искать новый хостинг, ставить виртуальные машины, опять всё перегонять/переустанавливать. В процессе ещё одно падение главного сервера на 8 часов (кстати сразу после возвращения босса и после фразы "почему еще не сделано"). Еще бессонная ночка на 30 с лишним часов.

И вот всё уже работает (т-т-т постучал по дереву). Всплывают какие-то мелкие глюки связанные со сменой IP, сертификатов, но по сравнению с последними двумя месяцами это вообще фигня. Получена ЗДОРОВЕННАЯ КУЧА опыта по переносу, установке, настройке серверов (хотя вроде и раньше был).  Добавочный опыт по борьбе с хакерскими атаками, а также опыт по восстановлению Microsoft Exchange. Появилась новая любовь - Ubuntu (уже серьезно подумываю про переход в Линуксоиды). Убито УЙМА времени и нервов. Вдобавок Семья мягко говоря НЕДОВОЛЬНА частым/долгим моим отсутствием. И вот как только выдался первый спокойный день, сижу и пытаюсь сделать выводы для себя из всего случившегося (следующий пост).

Комментариев нет: