Пермский мобильный оператор с абонентской базой 420 000 SIM-карт обрабатывал биллинговые события на платформе, развёрнутой на серверах 6-летней давности. Пиковая нагрузка — более 8 000 CDR (Call Detail Records) в секунду в часы наибольшей нагрузки — приводила к очередям обработки до 45 минут в час пик, что задерживало зачисление платежей и вызывало жалобы абонентов на задержку уведомлений о списании. Мощности серверов не хватало: CPU utilization достигал 95% в ЧНН, память была исчерпана, дисковая подсистема стала узким местом. Требовалось обновить серверную платформу биллинга с кратным ростом вычислительной мощности и хранилища без остановки действующей системы в рабочее время.
Задача клиентаЗаменить 6 серверов биллинговой платформы на более производительные: снизить CPU utilization в ЧНН с 95% до не более 60%, очередь обработки CDR — до менее 5 минут, задержку зачисления платежей — до менее 2 минут. Онлайн-замена серверов с поочерёдным переводом нагрузки. Бюджет — 4,6 млн рублей. Серверы должны поддерживать оперативную память до 1 ТБ для будущего расширения in-memory кеша биллинговой платформы.
Ограничения и требования- Процессоры с высоким IPC (инструкций на такт) и базовой частотой не ниже 3,2 ГГц: биллинговая обработка CDR — latency-sensitive, важна частота отдельного ядра.
- Оперативная память с ECC: финансовые данные не допускают битовых ошибок RAM.
- NVMe для очереди CDR и active billing data: задержки I/O критичны для обработки очереди.
- Два сетевых адаптера 25 GbE: входящий трафик CDR + исходящий трафик к зарядным устройствам и уведомлениям разнесены по портам.
- Поэтапная замена: серверы вводятся по одному, нагрузка балансируется между старыми и новыми до полного перехода.
Шесть серверов 2U с процессорами AMD EPYC 9354P (32 ядра, базовая частота 3,25 ГГц, boost 3,8 ГГц): выбор EPYC продиктован балансом между высокой частотой одного ядра и большим числом ядер для параллельных потоков CDR-обработки. 256 ГБ DDR5 ECC RDIMM с расширяемостью до 768 ГБ без замены платы: достаточный запас для планируемого расширения in-memory кеша биллинговой платформы без следующей волны обновления серверов.
Дисковая подсистема: 4×NVMe 3.84 ТБ в RAID-10 для рабочих данных биллинга (горячая очередь CDR, активные счета абонентов, кеш тарифных планов), 2×SAS SSD 7.68 ТБ в RAID-1 для архива обработанных CDR (холодный уровень, доступ реже). Такое разделение позволяет горячей нагрузке получать полные IOPS NVMe RAID-10 без конкуренции с фоновым архивированием. IOPS RAID-10 из четырёх NVMe: более 800 000 случайных чтений 4K, задержка P99 менее 0,2 мс.
Поэтапный ввод в эксплуатацию разработан совместно с ИТ-архитектором оператора. Каждый новый сервер вводится в балансировщик нагрузки биллинговой платформы с весом 10% от общего потока CDR. В течение 24 часов наблюдается стабильность: CPU, очередь CDR, задержки. При отсутствии аномалий вес увеличивается до 20%, затем до 50%, параллельный старый сервер выводится из балансировщика и становится резервным. Весь переход 6 серверов занял 18 рабочих дней.
Оптимизация BIOS для биллинговой нагрузки — важный шаг, который часто игнорируется. Биллинговые приложения крайне чувствительны к задержкам CPU: включённые C-states снижают отклик процессора при переходе от режима ожидания к активной обработке. Настройки BIOS для серверов биллинга: Performance режим (C-states disabled), NUMA Interleaving enabled, Turbo Boost enabled, Hyper-Threading disabled (биллинговое ПО оператора работало эффективнее на физических ядрах без SMT). Эти настройки задокументированы в техническом паспорте серверов для воспроизведения при замене оборудования.
Сравнительный анализ процессорных архитектур для биллинговых нагрузок был проведён до оформления заказа. Конкурировали три платформы: Intel Xeon Scalable 4-го поколения (Sapphire Rapids), AMD EPYC 9004 Genoa и старший EPYC Genoa-X с 3D V-Cache. Xeon Sapphire Rapids проигрывал EPYC по производительности на ядро при сопоставимой цене. EPYC Genoa-X с 3D V-Cache интересен для нагрузок с большим рабочим набором данных в L3-кеше (базы данных in-memory), но биллинговая обработка CDR — это поток обработки коротких записей, а не большие горячие наборы данных в кеше. В итоге EPYC 9354P без 3D V-Cache дал лучшее соотношение цены и производительности именно для профиля CDR-обработки оператора.
Ёмкость SAS SSD архивного уровня рассчитана с учётом нормативных требований операторов связи: хранение CDR-данных абонентов — законодательно установленный срок, регулируемый ФЗ-374 («Закон Яровой»). Для мобильного оператора с 420 000 абонентов суточный объём CDR составляет около 18–25 ГБ в сжатом виде. За 3 года хранения (превентивный запас: 5 лет нормативных требований) — около 32–45 ТБ. Два SAS SSD 7.68 ТБ в RAID-1 на каждом сервере обеспечивают совокупный архивный ресурс 6×7 ТБ ≈ 42 ТБ с распределением нагрузки по серверам архивирования. Расчёт показан в технической спецификации заказчику для документальной обоснованности конфигурации.
Сетевая изоляция трафиков на уровне серверов: два порта 25 GbE на каждом сервере разнесены на разные VLANы через конфигурацию коммутатора. Первый порт — прием CDR-потока с медиашлюзов и коммутаторов сети (входящий 8–12 Гбит/с в ЧНН). Второй порт — исходящий трафик к биллинговому front-end, к системе уведомлений и к партнёрским API зарядных устройств. Такая изоляция предотвращает влияние всплесков входящего CDR-потока на задержки отправки уведомлений абонентам — критичная деталь для качества пользовательского опыта.
Резервирование питания серверов биллинга реализовано по схеме A+B: каждый сервер имеет два блока питания, подключённые к разным PDU, питающимся от разных ИБП в разных стойках. Потеря одного ИБП или одной стойки питания не прерывает работу ни одного сервера. В сочетании с кластерной архитектурой биллинговой платформы это обеспечивает устойчивость к одновременному отказу питания целой стойки. Такая схема питания типична для операторов связи с SLA 99,99%, где 4 часа даунтайма в год — максимально допустимый показатель для биллинговой инфраструктуры.
Состав поставки по подсистемам- Серверы: 6×сервер 2U, AMD EPYC 9354P, 256 ГБ DDR5 ECC, 4×NVMe 3.84 ТБ + 2×SAS SSD 7.68 ТБ, 2×25 GbE.
- Коммутация: 2×коммутатор 25 GbE 24-port (резервирование), 12 патч-кордов DAC 25G.
- Питание: 6×ИБП 2 кВА он-лайн с SNMP, рельсы 2U для серверов.
- День 1–3: Финализация BIOS-профиля с ИТ-архитектором оператора, согласование плана поэтапного ввода, счёт.
- День 4–11: Сборка, тест BIOS-профиля на образце, IOPS-тест NVMe.
- День 12: Доставка в Пермь.
- День 13–14: Монтаж всех 6 серверов в стойку, кабелирование — начало поэтапного ввода.
CPU utilization в ЧНН снизился с 95% до 41% на новых серверах при той же нагрузке. Очередь CDR в пиковый период — не более 3 минут вместо 45. Задержка зачисления платежей: менее 90 секунд против 12–15 минут до обновления. Экономия к бюджету — 8%, итоговая сумма 4,2 млн рублей.
Жалобы абонентов на задержку уведомлений о списании снизились по данным колл-центра на 78% в первый месяц после завершения миграции. Операционная команда биллинга отметила, что отчёты, которые ранее генерировались по 40–60 минут, теперь формируются за 8–12 минут — за счёт роста вычислительных мощностей и NVMe-подсистемы хранения.
Запас мощности новых серверов позволяет оператору планировать рост абонентской базы до 650 000 SIM-карт без следующего обновления серверной платформы. Расширение RAM с 256 до 512 ГБ (без замены материнских плат) запланировано на следующий бюджетный год для включения in-memory кеша тарифных планов и увеличения throughput биллинговой системы.
Почему выбрали нас- Конфигурация серверов оптимизирована для биллинговых нагрузок: EPYC с высокой базовой частотой, NVMe RAID-10, DDR5 ECC.
- Готовый BIOS-профиль для биллинговых серверов: Performance mode, C-states, NUMA — задокументировано и воспроизводимо.
- Опыт поэтапной замены серверов под нагрузкой без остановки биллинговой платформы.
- Тест IOPS на каждом сервере перед отгрузкой с прилагаемым протоколом.
Данные приведены справочно и не являются публичной офертой. Актуальные цены, наличие и сроки поставки уточняйте при оформлении заказа.