Крупная строительная компания в Уфе с 15-летней историей накопила гигантский архив проектной документации: BIM-модели, рабочие чертежи, исполнительная документация, фотофиксация ходя строительства — суммарно около 280 ТБ данных на различных сетевых дисках, USB-накопителях и в облачных хранилищах нескольких провайдеров. Отсутствие единой системы хранения создавало регулярные проблемы: нужный файл искался часами, версионность отсутствовала, при переходе на новую облачную платформу в 2022 году часть данных оказалась недоступна на 3 недели. Требование по сроку хранения проектной документации в строительстве — до 20 лет. Принято решение построить собственное объектное S3-хранилище с единым пространством имён, версионностью и API-интеграцией с BIM-платформой.
Задача клиентаРазвернуть on-premise S3-хранилище MinIO на собственных серверах: ёмкость 500 ТБ raw (с учётом erasure coding 4+2 — около 333 ТБ полезных), API-совместимость с Amazon S3 для интеграции с BIM-платформой и системой документооборота, версионность объектов, 10 GbE для быстрой загрузки и выгрузки больших файлов (BIM-модели 2–15 ГБ). Бюджет — 5,4 млн рублей. 3 года без расширения ёмкости.
Ограничения и требования- MinIO требует идентичные диски на всех узлах кластера: разнородные диски — частая причина нестабильности кластера MinIO.
- Erasure coding 4+2: переносит выход из строя до 2 дисков без потери данных, полезная ёмкость 66% от raw.
- 10 GbE между узлами MinIO и клиентами: BIM-файлы 2–15 ГБ нужно загружать за разумное время (target: 15 ГБ файл — не более 3 минут).
- On-premise: данные не должны покидать корпоративную сеть — требование ИТ-политики компании.
- Монтаж в существующую стойку 42U в серверной офиса Уфы.
Четыре сервера 4U (высокоплотная дисковая конфигурация) с 24 отсеками LFF 3,5" каждый: итого 96 дисков HDD 8 ТБ SAS = 768 ТБ raw. Erasure coding 4+2 обеспечивает 512 ТБ полезных — с запасом над требованием 333 ТБ, что дает 3+ лет роста без расширения. HDD 8 ТБ SAS выбраны против NL-SAS: SAS обеспечивает двойную полосу пропускания (12G vs 6G) и более высокий IOPS для одновременных загрузок больших файлов несколькими пользователями, при стоимости несущественно выше NL-SAS в данной конфигурации.
Сетевая архитектура: 10 GbE на каждом узле MinIO, коммутатор 10 GbE 24-port, все 4 узла подключены по 2 порта 10 GbE (bonding active-passive для отказоустойчивости). Клиентский доступ: сервер балансировщика нагрузки HAProxy принимает S3-запросы на виртуальный IP и распределяет между 4 узлами MinIO. HAProxy выполняет health check узлов MinIO и автоматически исключает нездоровый узел из ротации — без ручного вмешательства при отказе одного из четырёх серверов.
MinIO erasure coding 4+2 в четырёхузловом кластере: каждый объект разбивается на 6 чанков (4 данных + 2 четности), распределяется по 6 дискам на 4 узлах. При выходе из строя любых 2 дисков или даже одного полного узла данные восстанавливаются из оставшихся чанков без потери. Минимальный кворум: 3 из 4 узлов должны быть доступны для чтения; 4 из 4 — для записи. Резервное копирование данных S3 выполняется репликацией на второй MinIO-кластер в другом здании через mc mirror.
Миграция 280 ТБ существующих данных на новое S3-хранилище спланирована через инструмент rclone: параллельная многопоточная копирование из всех источников (сетевые диски, облачные хранилища). Скорость переноса данных по 10 GbE: около 800 МБ/с при копировании крупных файлов — 280 ТБ перенесено за 4 суток непрерывной работы rclone. После миграции все исходные хранилища переведены в режим «только чтение» на 30 дней для верификации полноты переноса, затем удалены.
Тестирование MinIO на стенде перед отгрузкой включало специфический тест на деградацию: один из четырёх серверов-узлов отключался физически, после чего проверялась доступность ранее загруженных объектов. MinIO в режиме erasure coding 4+2 обеспечил полную доступность данных на чтение при трёх работающих узлах. Запись новых объектов в режиме деградации также работала. При восстановлении четвёртого узла MinIO автоматически восстановил недостающие чанки erasure coding без ручного вмешательства — процесс занял 40 минут для 2 ТБ тестовых данных. Протокол теста передан заказчику как документальное подтверждение отказоустойчивости системы.
Права доступа в MinIO настроены через политики IAM: для каждого проектного отдела создан отдельный bucket с изолированными правами доступа. Генеральный проектировщик имеет доступ только к своим проектам, BIM-координатор — ко всем проектам в режиме чтения, системный администратор — к административному консолю без доступа к данным. Аудит-лог MinIO фиксирует каждый доступ к объектам: кто, когда, какой файл скачал или загрузил. Для строительной компании это важно при судебных спорах о версионности проектной документации — полная история доступа к чертежам юридически значима.
Мониторинг здоровья кластера MinIO реализован через встроенный Prometheus-endpoint: метрики по каждому узлу (используемая ёмкость, IOPS, количество активных соединений, статус erasure coding healing), алерты при снижении ёмкости до 80% и при деградации кластера. Дашборд в Grafana позволяет ИТ-администратору видеть распределение нагрузки между узлами и планировать расширение ёмкости заблаговременно — за 6–8 месяцев до исчерпания, когда есть время на бюджетирование и закупку без аварийных решений.
Сравнение on-premise S3 с облачными альтернативами проводилось заказчиком в ходе предпроектного анализа. Рассматривались: Яндекс Объектное хранилище, VK Cloud Storage, Selectel Object Storage. Облако предлагало удобство без начальных инвестиций, но стоимость хранения 280 ТБ данных с нарастающим итогом на 3 года превышала on-premise решение уже в первые 13 месяцев. Кроме того, облачные провайдеры не гарантируют хранение данных в пределах России без отдельного соглашения — важный аспект для проектной документации объектов с государственным участием. On-premise решение выиграло по совокупности финансового и регуляторного факторов.
Состав поставки по подсистемам- Серверы S3: 4×сервер 4U 24×LFF, 2×Xeon Silver 4310, 128 ГБ DDR4 ECC, 24×HDD 8 ТБ SAS, 2×10 GbE.
- Балансировщик: 1×сервер 1U (HAProxy), 2×10 GbE, 32 ГБ DDR4.
- Сеть: 1×коммутатор 10 GbE 24-port, 10 патч-кордов DAC 10G, 2 патч-корда 10G SFP+.
- Питание: 4×ИБП 2 кВА он-лайн с SNMP, рельсы 4U для серверов.
- День 1–3: Согласование топологии MinIO, плана миграции данных, счёт с НДС.
- День 4–13: Сборка 5 серверов, тест дисков (badblocks), предварительный тест кластера MinIO на стенде.
- День 14: Доставка в Уфу.
- День 15–16: Монтаж, кабелирование, запуск кластера MinIO и HAProxy.
Объектное S3-хранилище запущено через 3,5 недели после оплаты. Миграция 280 ТБ завершена за 5 суток, BIM-платформа переключена на новый S3-endpoint за 2 часа (изменение одной строки конфигурации — S3 API-совместимость обеспечила бесшовную интеграцию). Экономия к бюджету — 11%, итоговая стоимость 4,8 млн рублей.
Загрузка BIM-модели 12 ГБ теперь занимает 2,1 минуты по 10 GbE — против 18–25 минут через облачное хранилище на тарифе с ограниченной пропускной способностью. Проектировщики и BIM-координаторы отметили принципиальное улучшение работы с крупными файлами: «открывается как файл с локального диска». Версионность объектов MinIO позволяет восстановить любую предыдущую версию файла без отдельной системы резервного копирования.
Расчёт окупаемости: облачное хранилище 280 ТБ стоило компании около 420 000 рублей ежемесячно. On-premise хранилище окупилось за 11 месяцев только на разнице стоимости хранения, а через 3 года экономия составит около 10 млн рублей. Кроме экономии, компания устранила зависимость от внешних провайдеров, получила гарантированную доступность и полный контроль над данными.
Почему выбрали нас- Опыт подбора оборудования под MinIO кластеры: требования к идентичности дисков, сетевой топологии, erasure coding схеме.
- Предварительный тест MinIO-кластера на стенде до отгрузки: проверка erasure coding, стресс-тест на деградацию при отключении узла.
- Полный комплект поставки: серверы, диски, коммутатор, балансировщик — единый счёт с НДС.
- Рекомендации по плану миграции данных через rclone с оценкой времени переноса.
Данные приведены справочно и не являются публичной офертой. Актуальные цены, наличие и сроки поставки уточняйте при оформлении заказа.