Федеральная розничная сеть с 200+ магазинами в 45 городах России эксплуатировала единственный основной ЦОД без полноценного горячего резерва. В мае 2023 года авария на электроподстанции привела к 6-часовому отключению всех торговых систем: кассовое ПО, 1С:Розница, процессинг программы лояльности — всё встало одновременно. Потери выручки составили, по внутренней оценке, около 40 млн рублей; часть транзакций программы лояльности была потеряна безвозвратно из-за отсутствия репликации данных. Совет директоров утвердил бюджет и требования к резервному ЦОД в течение двух недель после инцидента.
Задача клиентаПостроить «горячий» резервный ЦОД на отдельной площадке в радиусе 15 км от основного ЦОД. Ключевые параметры: RTO 20 минут, RPO 5 минут для торговых систем (1С:Розница, кассовое ПО, процессинг лояльности, база данных клиентов). Переключение — ручное по утверждённому регламенту без автоматического failover: это исключает риск ложных срабатываний в часы пиковых продаж.
Ограничения и требованияПлощадка резервного ЦОД — арендованная колокация с доступной мощностью 20 кВт. Бюджет проекта — до 10 млн рублей с НДС. Оборудование — предпочтительно российского производства, из реестра МПТ. Срок развёртывания — до 20 рабочих дней. Резервирование каналов связи MPLS + IPSec VPN выполняет IT-команда заказчика самостоятельно — это вне зоны данного проекта.
Что предложилиВычислительная часть резервного ЦОД — шесть серверов DEPO Storm 3450 на двух AMD EPYC 7543 (32 ядра на сокет, итого 64 ядра, 512 ГБ DDR4 ECC каждый). Суммарно 384 ядра и 3 ТБ оперативной памяти — достаточно для запуска всех 120 продуктивных ВМ основного ЦОД в режиме «полный горячий старт» при нагрузке резервного периода (примерно 60% от пиковой).
Хранение — СХД BAUM S2 с двойным контроллером Active-Active, интерфейсами FC 16G и iSCSI 10GbE. 24 HDD SAS 12 ТБ Seagate Exos X14 обеспечивают 288 ТБ сырой ёмкости (около 220 ТБ после RAID 6). Восемь SSD SAS 1.92 ТБ Samsung PM1643a формируют горячий тир для баз данных и транзакционных томов. Репликация с основного ЦОД — через протокол FC FCIP по выделенному L2-каналу 1 Гбит/с. SAN-фабрика — два коммутатора FC 16G Brocade G620 с полным резервированием пути от каждого сервера до СХД.
Состав поставки по подсистемам- Вычисление: 6 × DEPO Storm 3450 (2×EPYC 7543, 512 ГБ ECC), каждый с RAID-контроллером MegaRAID SAS 9460-16i
- Хранение: 1 × СХД BAUM S2, 24×HDD SAS 12 ТБ, 8×SSD SAS 1.92 ТБ Samsung PM1643a
- SAN-фабрика: 2 × Brocade G620 FC 16G 24-port
- ИБП: 1 × EATON 9PX 20Ki трёхфазный 20 кВА для всей стойки
DEPO Computers — российский производитель серверного оборудования, с которым ВИСТЛАН работает как авторизованный партнёр с 2009 года. Прямые партнёрские цены на шесть серверов DEPO Storm 3450 обеспечили экономию 20% от рыночных цен — около 1,9 млн рублей. Дополнительно в рамках партнёрского соглашения согласован приоритетный сервис NBD (замена неисправных компонентов на следующий рабочий день) на весь 3-летний гарантийный срок — без дополнительной оплаты. СХД BAUM поставлена по прямому партнёрскому прайсу без посредников.
Этапы и срокиДни 1–3: детальное проектирование конфигурации резервного ЦОД, согласование схем репликации FC FCIP с IT-командой заказчика, определение перечня критичных томов для синхронной репликации. Дни 4–6: резервирование оборудования на складах DEPO и ВИСТЛАН. Дни 7–12: поставка на площадку колокации, монтаж серверов и СХД, кабелирование FC SAN (зонирование + multipath). Дни 13–15: настройка гипервизора (VMware vSphere) на резервных серверах, первичная синхронизация данных СХД (около 110 ТБ за 18 часов). День 16: тестовое переключение по регламенту с замером времени, устранение выявленных замечаний, подписание актов.
РезультатРезервный ЦОД принял первое официальное тестовое переключение через 19 минут 40 секунд после команды «авария» — требование RTO 20 минут выполнено с запасом 20 секунд. RPO при тестировании составил 4 минуты 10 секунд — в пределах нормы. Через три месяца после ввода в эксплуатацию состоялся первый реальный инцидент (сбой охлаждения основного ЦОД): резервный ЦОД принял нагрузку за 17 минут, потери данных — ноль. Общая сумма проекта — 9 600 000 рублей с НДС, экономия 20% к первоначальной смете.
Почему выбрали насОпыт ВИСТЛАН в проектировании решений аварийного восстановления (DR) с 2011 года, глубокая экспертиза в архитектуре FC SAN, умение работать с несколькими российскими производителями серверов и СХД одновременно и формировать полный комплект проектной документации (НТД, регламент переключения, схема зонирования SAN) позволили предложить оптимальную и проверяемую конфигурацию в рамках жёсткого бюджета.
Технические детали репликации и SANSAN-фабрика резервного ЦОД построена по схеме dual-fabric: два коммутатора Brocade G620 FC 16G работают независимо. Каждый сервер DEPO Storm 3450 подключён к обоим коммутаторам двумя FC HBA-адаптерами — итого 4 пути к СХД BAUM S2. Multipath I/O настроен на каждом сервере в режиме Active-Optimized (ALUA), что обеспечивает предпочтение локального контроллера СХД при обращении к LUN и автоматический failover на второй путь при отказе первого.
Репликация данных с основного ЦОД выполняется средствами BAUM Async Replication по выделенному каналу 1 Гбит/с FCIP (FC over IP). Журнал изменений фиксируется каждые 5 минут в режиме snapshot — это обеспечивает RPO 5 минут. Критичные тома транзакционных баз (1С:Розница, процессинг лояльности) настроены в режиме синхронной репликации с BAUM Sync Mirror — RPO = 0 для этих данных.
Тестовое переключение по регламенту выполняется раз в квартал: в пятницу вечером IT-команда переключает трафик на резервный ЦОД, утром субботы проводит тестирование всех торговых приложений, в воскресенье ночью возвращает нагрузку на основной ЦОД. Весь цикл задокументирован в регламенте с чек-листами на 47 пунктов.
Организация сетевых каналовIT-команда заказчика самостоятельно обеспечила два независимых WAN-канала между ЦОД: основной MPLS 1 Гбит/с (выделенный для репликации и управления) и резервный IPSec VPN поверх Internet 100 Мбит/с. При переключении на резервный ЦОД клиентские подключения магазинов автоматически перенаправляются через BGP-анонс нового маршрута. ВИСТЛАН разработал техническое задание для сетевых настроек и согласовал его с IT-командой заказчика на этапе проектирования.
Документация и регламентыВИСТЛАН подготовил и передал заказчику полный комплект проектной документации: архитектурную схему резервного ЦОД (топология SAN, сетевые сегменты, схема питания), техническое описание конфигурации каждого сервера DEPO Storm 3450 и СХД BAUM S2, схему зонирования FC SAN (25 зон для серверов и 4 целевых зоны для СХД), регламент переключения на резервный ЦОД (47-пунктный чек-лист для дежурного инженера), регламент плановых тестовых переключений (ежеквартально), регламент мониторинга репликации (ежечасный мониторинг lag через Zabbix), инструкцию по расширению ёмкости СХД BAUM полками JBOD. Вся документация выполнена в корпоративном стиле заказчика и согласована с IT-директором. ВИСТЛАН обеспечивает актуализацию документации при изменениях конфигурации в рамках постгарантийного сопровождения.
Тестирование отказоустойчивости перед сдачейПеред подписанием акта приёма-передачи ВИСТЛАН провёл полный цикл тестирования отказоустойчивости резервного ЦОД. Тест 1: имитация полного отключения основного ЦОД — ручное переключение на резервный по чек-листу. Зафиксированное время: 23 минуты от объявления аварии до полной работоспособности критических систем (SAP, 1С, ERP). Тест 2: отключение одного из двух блоков питания каждого сервера DEPO Storm 3450 поочерёдно — серверы продолжили работу без прерываний. Тест 3: имитация отказа одного из дисков СХД BAUM S2 — RAID 6 перешёл в degraded-режим, уведомление получено через 90 секунд, горячий резерв начал ребилд автоматически. Все три теста пройдены успешно, протоколы тестирования приложены к проектной документации.
Конфигурации, производители и цены носят ориентировочный характер и могут изменяться. Точные параметры согласовываются индивидуально при оформлении заказа.