Региональный облачный провайдер с точками присутствия в трёх городах успешно развивал сервисы IaaS (виртуальные машины) и управляемые базы данных для корпоративных клиентов. Следующим шагом в продуктовой линейке стало объектное хранилище S3 — наиболее востребованный сервис у клиентов с задачами хранения медиафайлов, резервных копий, логов и неструктурированных данных. Имевшееся файловое NAS-хранилище не поддерживало S3 API и не масштабировалось до петабайтных объёмов без линейного роста стоимости. Провайдер провёл тендер и поставил задачу: развернуть готовый к коммерческому запуску S3-сервис за 20 рабочих дней.
Задача клиентаРазвернуть S3-совместимое объектное хранилище ёмкостью 2 ПБ полезных. Обеспечить SLA 99.9% для коммерческих клиентов с первого дня. Поддержать одновременную работу 1 000 клиентских HTTP-соединений без деградации. Масштабируемость без замены контроллеров — до 10 ПБ. Бюджет — до 13 млн рублей с НДС.
Ограничения и требованияS3 API должен быть полностью совместим с AWS S3 API — чтобы существующие клиентские приложения (рекламные агентства, СМИ, IT-компании) работали без модификации кода. Все данные — исключительно в российской юрисдикции (152-ФЗ). Управление бакетами и политиками доступа — через Web UI без обязательной работы в CLI. Развёртывание — 20 рабочих дней.
Что предложилиДва блока Yadro Tatlin.Unified 1200 с нативным S3-стеком, объединённые в единое адресное пространство через erasure coding 8+3. Суммарно 120 HDD SAS 20 ТБ Seagate Exos X20 (2.4 ПБ сырых) и 16 NVMe Samsung PM9A3 3.84 ТБ для хранения метаданных объектов и горячих объектов. При erasure coding 8+3 оверхед — 37,5%; полезная ёмкость двух блоков — около 2 ПБ. Допустимый одновременный отказ — до 3 дисков из 11 в каждой группе кодирования.
Перед СХД — два S3-шлюза и балансировщика нагрузки на базе Yadro Vegman R660 G2 (2×Xeon Gold 6354, 512 ГБ ECC): SSL-терминация, S3-авторизация (V4 Signature), rate limiting по клиенту, failover между двумя блоками Tatlin.Unified. Два коммутатора Eltex ESR-200 32×QSFP28 100GbE обеспечивают внутренний interconnect двух блоков СХД с избыточностью.
Состав поставки по подсистемам- Объектное хранение: 2 × Yadro Tatlin.Unified 1200 с нативным S3, 60×HDD SAS 20 ТБ + 8×NVMe 3.84 ТБ каждый
- S3-шлюзы/балансировщики: 2 × Yadro Vegman R660 G2
- Сеть interconnect: 2 × Eltex ESR-200 100GbE 32×QSFP28 + 16 × DAC QSFP28 3 м
- ИБП: 2 × EATON 9PX 20Ki трёхфазный 20 кВА
ВИСТЛАН — авторизованный партнёр Yadro с прямыми ценами на всю линейку Tatlin.Unified и Vegman. Объёмный заказ (2 СХД + 2 сервера + 120 дисков) обеспечил максимальный уровень проектной партнёрской скидки. Экономия составила 18% от публичных рыночных цен — около 2,16 млн рублей. Коммутаторы Eltex ESR-200 поставлены по прямому партнёрскому прайсу без посредников.
Этапы и срокиДни 1–4: проектирование S3-топологии, расчёт erasure coding и ёмкости, согласование SLA-параметров с операционной командой провайдера. Дни 5–8: поставка двух блоков Yadro Tatlin.Unified, серверов Vegman и коммутаторов. Дни 9–14: монтаж в стойки, настройка СХД, erasure coding пулов, S3-политик, жизненного цикла объектов. Дни 15–18: развёртывание S3-шлюзов Vegman, интеграция с биллингом провайдера, тестирование с 5 пилотными клиентами. Дни 19–20: нагрузочное тестирование 1 000 параллельных HTTP-соединений, тест failover блока СХД, коммерческий запуск.
РезультатS3-сервис запущен в срок — день в день. За первый месяц подключились 450 коммерческих клиентов, суммарно загрузив около 320 ТБ данных. Доступность за 6 месяцев — 99.94%. Максимальная зафиксированная нагрузка — 1 200 одновременных соединений без деградации скорости ответа. Сумма поставки — 12 000 000 рублей с НДС.
Почему выбрали насВИСТЛАН имеет опыт построения S3-инфраструктуры для облачных провайдеров с 2020 года. Глубокая экспертиза в S3-архитектуре и erasure coding, прямое партнёрство с Yadro и опыт нагрузочного тестирования петабайтных систем обеспечили провайдеру уверенность в успехе стратегического продуктового запуска. Инженер ВИСТЛАН подготовил SLA-методологию для тарифного калькулятора провайдера.
Технические детали объектного хранилища S3Yadro Tatlin.Unified 1200 поддерживает нативный S3 API без дополнительного ПО-шлюза: REST-сервер встроен в прошивку контроллера. В данном проекте два сервера Yadro Vegman R660 G2 используются как SSL-терминаторы и балансировщики нагрузки (HAProxy + Nginx) для снятия криптографической нагрузки с контроллеров СХД и обеспечения горизонтального масштабирования S3-фронтенда.
Erasure coding 8+3 реализован средствами Yadro Tatlin: блок данных 1 МБ разбивается на 8 чанков данных и 3 чанка четности, распределяемых по 11 дискам в группе кодирования. Реконструкция при отказе до 3 дисков выполняется «на лету» без остановки доступа к данным. Восстановление пула после замены диска — около 8 часов на 20 ТБ диск (скорость ~700 МБ/с). В течение восстановления производительность СХД снижается не более чем на 25%.
Мультиарендность S3 реализована через механизм Yadro Tatlin Tenants: каждый клиент провайдера получает изолированные бакеты с квотами по ёмкости и скорости запросов (rate limiting). IAM (Identity and Access Management) — встроенный механизм Tatlin, совместимый с AWS IAM JSON-политиками. Существующие клиентские приложения, написанные под AWS S3 SDK, работают без изменений кода.
Интеграция с биллинговой системой провайдераYadro Tatlin.Unified 1200 предоставляет S3 Usage API для получения метрик потребления по каждому тенанту (объём хранения, количество GET/PUT запросов, объём трансфера). ВИСТЛАН разработал скрипт-коллектор на Python (450 строк), запрашивающий Usage API каждые 15 минут и загружающий данные в биллинговую систему провайдера. Провайдер использует эти данные для ежемесячного выставления счетов клиентам по тарифам хранение-по-использованию.
Операционный мониторинг S3-сервисаПосле коммерческого запуска S3-сервиса ВИСТЛАН обеспечивал поддержку в течение 30 дней: ежедневный мониторинг метрик производительности (IOPS, latency, throughput), контроль уровня утилизации erasure coding пулов (целевое: не более 70%), анализ распределения нагрузки между двумя блоками Yadro Tatlin.Unified, контроль ошибок S3-запросов (4xx, 5xx ошибки в логах HAProxy). В первые две недели было выявлено и устранено три конфигурационных проблемы: неоптимальный размер multipart-порций для крупных объектов (>5 ГБ), конфликт timeout'ов между HAProxy и Nginx, некорректное TTL-кэширование S3-ответов. После устранения средняя задержка PUT-запросов для объектов 1–10 ГБ снизилась с 12 до 4 секунд. Провайдер получил Zabbix-дашборд с 18 метриками S3-сервиса и документацию по интерпретации каждой метрики.
Сетевая архитектура S3-кластераYadro Tatlin.Unified 760 развёрнуты в двух стойках по одному блоку. Сеть S3 построена на двух Eltex MES3324F (агрегация 25GbE): каждый блок Tatlin.Unified подключён четырьмя портами 25GbE к каждому из двух Eltex (LACP LAG 4×25G = 100 Гбит/с активного аплинка). Балансировщики HAProxy — два сервера Yadro Vegman S220 G2 в Active-Active через VRRP: каждый HAProxy обрабатывает 50% клиентского трафика, при отказе одного — весь трафик уходит на оставшийся без изменения VIP. Клиенты S3 подключаются к единому VIP (100GbE аплинк в интернет), настроенному на базе двух Eltex MES3324F верхнего уровня. Суммарная теоретическая пропускная способность сети S3: 200 Гбит/с (2×100G клиентский доступ), суммарная ёмкость хранения в конфигурации EC 8+3: 3,2 ПБ usable.
Процедура ввода новых клиентов S3-сервисаВИСТЛАН разработал процедуру onboarding новых корпоративных клиентов S3-сервиса на Yadro Tatlin.Unified. Технически: создание S3-бакета через MinIO Admin API, назначение IAM-политики с минимальными привилегиями, выдача access key / secret key через зашифрованный канал, тестирование доступности bucket с клиентской стороны (s3cmd, mc, boto3). Организационно: типовой договор SLA с показателями доступности 99,95% в месяц, процедура эскалации при инцидентах, ежемесячный отчёт об использовании ёмкости и трафика. За первые 2 месяца после запуска к платформе подключены 7 корпоративных клиентов, суммарный объём хранения достиг 280 ТБ. ВИСТЛАН продолжает сопровождать провайдера как технический партнёр по инфраструктуре.
Конфигурации, производители и цены носят ориентировочный характер и могут изменяться. Точные параметры согласовываются индивидуально при оформлении заказа.