Перейти к содержимому

Кейс · Накопители

NVMe-накопители под платформу аналитики больших данных в Казани

IT-подразделение нефтехимического холдинга в Казани перевело кластер Spark на NVMe PCIe 4.0. Скорость ETL-пайплайнов выросла в 3.5 раза, стоимость инфраструктуры снизилась на 18%.

0
позиций в поставке
0
дней до поставки
0%
экономия клиента
0
сумма проекта, ₽

Коротко о проекте

Что поставили

NVMe SSD PCIe 4.0 x4 U.2 7.68 ТБ, DWPD 1, корп. класс24 шт.
Адаптер U.2 → PCIe 4.0 x4 Half-Height Half-Length24 шт.
Кабель U.2 SFF-8639 — SFF-8643 1 м24 шт.
Термопрокладка для U.2 в серверном корпусе48 шт.
Монтажная скоба Half-Height для адаптеров PCIe24 шт.
Стяжки кабельные нейлоновые, комплект 100 шт.2 шт.

IT-подразделение нефтехимического холдинга в Казани запускало платформу аналитики больших данных на базе Apache Spark. Существующие узлы кластера были оснащены SAS SSD 1.9 ТБ, которые стали узким местом: ETL-пайплайны занимали по 4–6 часов, а ночные отчёты не успевали завершаться к открытию рабочего дня руководства.

Задача клиента

Архитектор платформы принял решение заменить хранилище каждого из 8 узлов кластера: вместо трёх SAS SSD на узел — три NVMe PCIe 4.0 U.2 7.68 ТБ. Итого 24 накопителя. Требования: DWPD ≥ 1, поддержка PCIe 4.0 x4, производительность последовательного чтения не менее 6 ГБ/с, корпоративный класс с PLP (защита при потере питания).

Ограничения и требования

Серверы не имели встроенного U.2 backplane, поэтому каждый накопитель подключался через PCIe-адаптер. Закупка проходила через корпоративную тендерную процедуру — срок выбора поставщика 3 рабочих дня, поставка не позже 10 рабочих дней. Счёт с НДС, УПД, гарантийные талоны — обязательны.

Что предложили

ВИСТЛАН предложил 24 × NVMe U.2 7.68 ТБ PCIe 4.0 корпоративного класса с DWPD 1 и PLP. В комплект вошли 24 адаптера U.2 → PCIe 4.0 HHHL (Half-Height Half-Length для серверных корпусов 1U/2U), кабели U.2 длиной 1 м и термопрокладки. Предложение оказалось выигрышным по цене на 18% при соответствии всем техническим требованиям тендера.

Состав поставкиЭтапы и сроки

День 1–3: тендерная процедура, согласование спецификации и цены. День 4: выставление счёта, оплата. День 5–6: комплектование и отгрузка. День 7–10: доставка ТК в Казань. День 10 (суббота): монтаж и настройка, миграция Spark shuffle volume. Итого — 10 рабочих дней.

Результат

После замены накопителей скорость shuffle в ETL-пайплайнах выросла в 3.5 раза. Ночные отчёты стали завершаться за 1.5–2 часа вместо 5–6. Суммарная полезная ёмкость хранилища кластера составила 184 ТБ (24 × 7.68 ТБ с учётом резервирования). Стоимость обработки 1 ТБ данных в пересчёте на инфраструктуру снизилась на 18% относительно варианта с наращиванием числа серверов на SAS SSD.

Почему выбрали нас

В тендере участвовали три поставщика. ВИСТЛАН выиграл за счёт нижней цены, наличия нужного стока (24 штуки в наличии — конкуренты запрашивали срок поставки 3–4 недели) и комплектного предложения с адаптерами и кабелями. Техническая служба холдинга высоко оценила проверку совместимости с конкретной серверной платформой, которую ВИСТЛАН провёл самостоятельно по серийным данным узлов.

Оговорка: конкретные марки и модели оборудования, сроки и цены определяются индивидуально на этапе согласования спецификации и могут отличаться от приведённых в кейсе.

Частые вопросы

Почему NVMe лучше SAS SSD для Apache Spark?

Spark активно использует локальный диск для shuffle и spill. NVMe PCIe 4.0 обеспечивает 6–7 ГБ/с последовательного чтения против 2 ГБ/с у SAS SSD — разница в скорости shuffle непосредственно влияет на время выполнения джобов.

Нужны ли NVME-диски с DWPD > 1 для аналитических нагрузок?

Для типичного Spark shuffle — нет. DWPD 1 достаточно для аналитических задач с умеренной записью. DWPD 3+ нужен для OLTP-нагрузок с интенсивной случайной записью.

Как подключить U.2 NVMe к серверу без U.2 backplane?

Через адаптер U.2 → PCIe x4, устанавливаемый в обычный PCIe-слот. Мы подбираем совместимый адаптер и кабели под вашу серверную платформу.

Сколько NVMe можно установить в один сервер?

Зависит от числа свободных PCIe-слотов и топологии PCIe-шины. Как правило, 2U-серверы Xeon поддерживают 8–24 NVMe. Уточним под вашу модель.

Какие документы нужны для ввода NVMe в баланс как ОС?

Счёт-фактура с НДС, УПД или ТОРГ-12, технический паспорт на каждый накопитель. Все документы предоставляем в день отгрузки.

Посчитайте свою экономию

При подборе под задачу и спец-ценах от производителя экономия по этому кейсу — 18%. Двигайте бюджет и смотрите вашу выгоду.

Ваш бюджет на оборудование1 000 000
100 тыс ₽20 млн ₽
Ваша экономия
180 000
Итого к оплате
820 000
Подобрать решение под мою задачу

Оценка ориентировочная. Точную цену и срок подтвердит менеджер.

Нужно похожее решение?

Опишите задачу — подберём оборудование с оптовыми ценами, сроками и наличием. Регистрация не нужна.

Кейс приведён для примера, данные обезличены. Состав, цены, сроки и экономия носят справочный характер, не являются публичной офертой и не гарантируют аналогичный результат — каждый проект рассчитывается индивидуально, наличие и цены подтверждаются при оформлении заказа.