Перейти к содержимому
Открыть каталог

Кейс · Накопители

Апгрейд памяти в кластере Ceph: Kingston KSM32RD8/64MER 64 ГБ для стабилизации OSD-нод

Облачный провайдер стабилизировал Ceph-кластер: 30 OSD-нод получили по 128 ГБ Kingston KSM32RD8/64MER DDR4-3200 ECC. OSD eviction storms прекратились, поставка 10 дней, экономия 11%.

0
позиций в поставке
0
дней до поставки
0%
экономия клиента
0
сумма проекта, ₽

Коротко о проекте

Что поставили

Модуль памяти Kingston Server Premier KSM32RD8/64MER 64 ГБ DDR4-3200 ECC RDIMM60 шт.
OSD-нода 2U, 2 × AMD EPYC 7313P, 16 × DIMM, 24 × SATA/NVMe bay30 шт.
NVMe SSD Samsung PM9A3 960 ГБ U.2 (Ceph WAL/DB journal на NVMe)30 шт.
25GbE NIC dual-port Intel E810 для Ceph public и cluster network30 шт.
ESD-браслет и антистатический коврик комплект для монтажа5 шт.
Кабель управления IPMI RJ45 для мониторинга OSD-нод30 шт.

Региональный облачный провайдер эксплуатировал Ceph-кластер из 30 OSD-нод как основу object storage для клиентских S3-бакетов и block-томов виртуальных машин. Под пиковой нагрузкой (конец месяца, отчётный период клиентов) кластер испытывал OSD eviction storm: несколько нод одновременно уходили в статус «down», Ceph начинал recovery и полтора часа работал в деградированном режиме с многократным падением пропускной способности. Причина — каждая OSD-нода имела лишь 64 ГБ RAM при нагрузке, требующей 128–196 ГБ.

Задача клиента

Увеличить RAM каждой из 30 OSD-нод с 64 до 128 ГБ путём добавления планок памяти. Расширение без остановки кластера — поузловое обслуживание. Обязательна документальная совместимость с AMD EPYC 7313P (платформа Milan).

Ограничения и требования

Каждая OSD-нода имела 16 DIMM-слотов, из которых 4 заняты планками 16 ГБ DDR4-3200. Для достижения 128 ГБ требовалось добавить 2 × 64 ГБ RDIMM на ноду (итого 4 × 16 ГБ + 2 × 64 ГБ = 192 ГБ — с запасом). Общий заказ — 60 модулей. Бюджет — до 2,8 млн рублей.

Что предложили

Предложены модули Kingston Server Premier KSM32RD8/64MER — 64 ГБ DDR4-3200 ECC RDIMM, двухранговые. Совместимость с EPYC Milan подтверждена через Kingston Server Memory Configurator. Двухранговые модули оптимальны для EPYC 7313P: процессор поддерживает до 2 рангов на канал на максимальной скорости 3200 МГц.

Дополнительно включены NVMe Samsung PM9A3 960 ГБ для перевода Ceph BlueStore WAL/DB на NVMe — это синергетически снизило latency записи и разгрузило HDD-пул от журнальных операций.

Состав поставкиСпец-цены от производителя

Заказ 60 модулей Kingston KSM32RD8/64MER оформлен через Enterprise Partner Program: скидка 11% от прайс-листа. NVMe Samsung PM9A3 — через Samsung Preferred Partner: скидка 13%. Суммарная экономия от прайсовой стоимости всего комплекта — около 350 тыс. рублей.

Этапы и сроки

Дни 1–2: Ceph-аудит: анализ логов OSD eviction, расчёт требуемого RAM на ноду по bluefs_shared_alloc_size и bluestore_cache_size. День 3: согласование конфигурации, счёт. Дни 4–8: поставка. Дни 9–10: поузловое расширение 30 нод (по 15 нод в сутки в две ночные смены). Каждая нода — 25 минут в maintenance mode.

Результат

OSD eviction storm полностью прекратились — за 60 дней наблюдения ни одного незапланированного OSD down. Пропускная способность кластера под пиковой нагрузкой выросла с 4 до 7 ГБ/с. Итоговая стоимость поставки памяти — 2 520 000 рублей с НДС — на 11% ниже прайс-листа.

Почему выбрали нас

ВИСТЛАН провёл предварительный Ceph-аудит и точно рассчитал требуемый объём памяти на ноду по параметрам BlueStore — это исключило риск повторного апгрейда через год. Авторизация у Kingston и Samsung позволила объединить оба заказа в один договор с совокупной экономией.

Конфигурации, производители и цены носят ориентировочный характер и могут изменяться. Точные параметры согласовываются индивидуально при оформлении заказа.

Частые вопросы

Сколько RAM нужно для Ceph OSD-ноды?

Рекомендация проекта Ceph — минимум 1 ГБ RAM на 1 ТБ хранимых данных (OSD capacity). Для OSD-ноды с 24 × 8 ТБ дисков = 192 ТБ — требуется 192 ГБ RAM. При нехватке памяти Ceph OSD начинает уходить в swap, что вызывает latency spike и cascade eviction (OSD помечается как down).

Что такое OSD eviction storm и как RAM помогает его предотвратить?

Eviction storm — каскадный сбой, когда несколько OSD одновременно уходят в статус «down» из-за превышения таймаута реакции (osd_heartbeat_grace). Причина — swap latency при нехватке RAM. После увеличения RAM OSD перестают выходить в swap и держатся в пределах таймаута.

Можно ли расширять память в Ceph-кластере без остановки сервиса?

Да. Ceph поддерживает поузловое обслуживание: нода переводится в режим maintenance (ceph osd set noout), OSD-процессы завершаются, планки добавляются, нода возвращается. Весь цикл — около 20–30 минут на ноду, данные недоступны только с этого узла.

Нужен ли NVMe для WAL/DB журнала Ceph или достаточно HDD?

Перенос Ceph WAL (Write Ahead Log) и BlueStore DB на NVMe — рекомендованная практика для нагрузок с высоким write IOPS. Latency записи снижается с 5–10 мс (HDD WAL) до 0,3–0,5 мс (NVMe WAL). Samsung PM9A3 960 ГБ оптимален: достаточный объём для WAL/DB 30 OSD-нод.

Как Kingston KSM32RD8/64MER совместима с платформой AMD EPYC 7313P?

Серия KSM32RD8 верифицирована для AMD EPYC Milan (7003-серия) включая 7313P. Совместимость подтверждается через Kingston Server Memory Configurator — лист совместимости передаём клиенту до поставки.

Посчитайте свою экономию

При подборе под задачу и спец-ценах от производителя экономия по этому кейсу — 11%. Двигайте бюджет и смотрите вашу выгоду.

Ваш бюджет на оборудование1 000 000 ₽
100 тыс ₽20 млн ₽
Ваша экономия
≈ 110 000 ₽
Итого к оплате
≈ 890 000 ₽
Подобрать решение под мою задачу →

Оценка ориентировочная. Точную цену и срок подтвердит менеджер.

Нужно похожее решение?

Опишите задачу — подберём оборудование с оптовыми ценами, сроками и наличием. Регистрация не нужна.

Кейс приведён для примера, данные обезличены. Состав, цены, сроки и экономия носят справочный характер, не являются публичной офертой и не гарантируют аналогичный результат — каждый проект рассчитывается индивидуально, наличие и цены подтверждаются при оформлении заказа.