Технический университет располагал вычислительным кластером на базе серверов IBM Power Systems, приобретённых в 2016 году. После прекращения официальных поставок IBM в Россию получить запчасти и продлить поддержку стало невозможным. Кафедры прикладной математики и аэрогидродинамики испытывали дефицит вычислительных мощностей: очереди на расчётные задачи достигали 5–7 дней. Руководство университета приняло решение о построении нового кластера на российской платформе с использованием средств федерального финансирования НИР.
Задача клиентаПостроить вычислительный кластер из 12 узлов на серверах российского производства для научных расчётов (CFD, конечно-элементный анализ, молекулярное моделирование). Кластер должен работать под Astra Linux SE 1.7 — требование безопасности университета. Хранилище кластера — общая СХД с параллельным файловым доступом. Всё оборудование из реестра МПТ для принятия по федеральному финансированию НИР.
Ограничения и требованияОграниченное место в серверной: не более трёх стоек 47U. Требование InfiniBand-интерконнекта для обеспечения низкой латентности между узлами (MPI-задачи). Бюджет — 16 млн рублей. Срок поставки ограничен: грант закрывался в конце квартала, оборудование должно было быть введено в эксплуатацию не позднее 16 рабочих дней с момента оплаты.
Что предложилиВычислительные узлы — Аквариус Server T50 D212RF в формате 2U с двумя процессорами Intel Xeon Gold 6354 и 256 ГБ DDR4 ECC на узел. Модель включена в реестр МПТ, поддерживает PCIe 4.0 для карт InfiniBand и GPU. 12 узлов обеспечили суммарную производительность 192 физических ядра — в три раза больше, чем старый кластер IBM.
Интерконнект кластера — InfiniBand HDR 100G через коммутатор Mellanox MQM8700. Управляющая сеть — Eltex MES5324 24×10G из реестра МПТ. Общая СХД — YADRO TATLIN.Unified 5230 с 12 дисками NVMe 7.68 ТБ, обеспечивающая параллельный NFS-доступ всех узлов.
Состав поставки- 12 × Аквариус Server T50 D212RF (2×Xeon Gold 6354, 256 ГБ, 2×960 ГБ NVMe)
- 1 × InfiniBand HDR 100G Mellanox MQM8700 40-port
- 2 × коммутатор Eltex MES5324 24×10G+4×100G
- 1 × СХД YADRO TATLIN.Unified 5230 (12×7.68 ТБ NVMe)
- 2 × ИБП On-Line 20000 ВА
- 3 × стойка 47U 800×1200 мм с PDU
Как авторизованный партнёр Аквариус и YADRO, ВИСТЛАН применил программные скидки для образовательных учреждений. Итоговая стоимость на 18% ниже каталожных цен — экономия составила 3,3 млн рублей по сравнению с НМЦК, рассчитанной проректором по АХЧ. Это позволило добавить в кластер СХД YADRO TATLIN.Unified, которая изначально не входила в бюджетный запрос.
Этапы и срокиДни 1–3: финализация конфигурации, согласование сетевой схемы кластера, счёт. Дни 4–10: резервирование, заводская сборка, тестирование HPL-бенчмарком. Дни 11–14: доставка, монтаж в стойки, коммутация IB и Ethernet. Дни 15–16: развёртывание Astra Linux, настройка OpenMPI, запуск тестового расчёта, акт.
РезультатКластер введён в эксплуатацию за 16 рабочих дней. HPL-бенчмарк показал производительность 18,4 TFLOPS — в 4 раза выше, чем у заменённого IBM-кластера. Очередь расчётных задач сократилась с 7 до 1,5 дней. Итоговая стоимость — 15 400 000 рублей с НДС. Документы приняты Минобрнауки, оборудование поставлено на баланс университета в рамках гранта.
Почему выбрали насКафедра прикладной математики выбирала между двумя поставщиками. Второй предложил сборные кластеры на неотечественных процессорах ARM без реестровой позиции МПТ. ВИСТЛАН предоставил подтверждённую спецификацию из реестра, техническое обоснование для грантового отчёта и инженера с опытом запуска HPC-кластеров под Astra Linux. Работаем с вузами с 2006 года.
Конфигурации, производители и цены носят ориентировочный характер и могут изменяться. Точные параметры согласовываются индивидуально при оформлении заказа.