S3 Архипелаг – объектное хранилище для Data Lakehouse

быстрое и надежное S3-совместимое объектное хранилище с мгновенным доступом через API и веб-интерфейс

S3 Архипелаг — это высокопроизводительное, масштабируемое и безопасное объектное хранилище, построенное на базе форка SeaweedFS, адаптированное под российские требования. Оно обеспечивает совместимость с AWS S3 API, поддерживает экзобайтные объемы данных, гарантирует сильную согласованность и эффективно работает как с мелкими файлами, так и с большими данными. Решение идеально подходит для построения Data Lakehouse, микросервисных архитектур, хранения датасетов ML, бэкапов и документооборота

Боли клиента

Компании сталкиваются с выбором между дорогими проприетарными западными решениями, сложными в поддержке open-source системами (Ceph, MinIO) и необходимостью соблюдать требования регуляторов (КИИ, ИСПДн, ГИС). Существующие решения либо требуют высоких затрат на железо и персонал, либо не обеспечивают стабильности и производительности на больших объемах данных.
Продукт как решение проблемы пользователя
S3 Архипелаг сочетает простоту развертывания, высокую производительность и низкие эксплуатационные расходы. Он работает на российском ПО (Astra Linux, РЕД ОС), поддерживает работу в изолированных контурах, соответствует требованиям импортозамещения и безопасности, при этом не требует дорогого железа и высокой квалификации администраторов.
Полная совместимость с AWS S3 API
Поддержка интерфейсов: S3, FUSE, WebDAV, HDFS, gRPC
Erasure Coding для эффективного использования места
Версионирование объектов
Lifecycle Policies для автоматического управления данными
Шифрование данных в покое и при передаче
Cross-Region Replication для катастрофоустойчивости
Bitrot Protection для защиты от повреждения данных
Поддержка «теплых» и «холодных» данных через TTL
«Горячая» репликация и перебалансировка
Функционал продукта

Преимущества решения

  • Высокая производительность: более 100К IOPS на узел
  • Линейная масштабируемость до экзобайт
  • Сильная согласованность данных
  • Низкие требования к ресурсам: в 2−3 раза экономичнее Ceph
  • Эффективная работа с мелкими файлами
  • Отказоустойчивость без единой точки отказа (SPOF)
  • Простота администрирования, не требует отдельной команды экспертов
  • Соответствие российским стандартам безопасности и импортозамещения
HDFS
S3

Работают с хранилищем через единый API без дополнительных интеграций:

Аналитические системы

Trino
Spark
Микросервисы
Бизнес-приложения

Автоматическое распределение системой данных по томам

Удаление
Архивация
Перемещение
на холодное хранение

Управление жизненным циклом

Erasure Coding
FUSE

Поступление данных в S3 Архипелаг через стандартные интерфейсы

Бизнес-процесс, по которому работает решение

Архитектура S3 Архипелага

Интерфейсы
Filer REST
gRPC
WebDAV
FUSE mount S3
S3 Gateway
Сервера хранения
Горячие данные

NVME
Теплые данные

SSD
Холодные данные

HHD
Файловый менеджер
Управление метаданными
Мастерноды
Метаданные
Digital Q.DataBase
Архитектура хранилища с многоуровневым хранением данных и разделением слоев обеспечивает независимое масштабирование метаданных и данных, высокую доступность и гибкость хранения в зависимости от класса данных:
Запросите демо-версию S3 Архипелаг и протестируйте бесплатно
На основе тестов, проведенных на идентичном железе (6 серверов, 12 NVMe дисков на каждом, 10GbE сеть):

Быстродействие S3 Архипелага

Сравнение потребления ресурсов на 1 TB данных:
S3 Архипелаг показывает стабильную производительность даже при заполнении кластера до 80% (деградация всего -8,6%), что выгодно отличает его от аналогов.

Потребление ресурсов

S3 Архипелаг потребляет в 2–3 раза меньше ресурсов, чем Ceph, что позволяет использовать более дешевое железо или хранить больше данных на существующей инфраструктуре.
новости и публикации
Остались вопросы?

Оставьте заявку на презентацию Digital Q.DataFactory, получение записи вебинара или консультацию руководителя решения

ОБРАТНАЯ СВЯЗЬ

Продолжая использовать и/или оставаясь на сайте, вы соглашаетесь с Политикой конфиденциальности сайта, включая использование сайтом файлов «cookie».
ОК