Data Lakehouse
Единое хранилище для аналитики с поддержкой Apache Iceberg и Apache Hudi
Резервное копирование
Надежное хранение бэкапов с Erasure Coding и защитой от удаления
Микросервисы
Масштабируемое хранилище для контейнерных приложений с S3 API
ML/AI платформы
Хранение датасетов, моделей и артефактов машинного обучения
Документооборот
Версионирование файлов и защита от случайного удаления
Импортозамещение
Замена Amazon S3, Ceph, MinIO
с соответствием требованиям КИИ
с соответствием требованиям КИИ
Решаемые задачи
Подробно о решении
S3 Архипелаг — российское S3-совместимое объектное хранилище для построения Data Lakehouse, хранения больших объемов данных, резервного копирования и AI/ML-инфраструктуры. Решение обеспечивает масштабируемое и отказоустойчивое хранение с поддержкой Amazon S3 API, позволяя заменить зарубежные object storage-платформы и построить современную корпоративную инфраструктуру для работы с данными.
Объектное хранилище S3 Архипелаг предназначено для компаний, которым требуется надежная S3-платформа для аналитических систем, Kubernetes-кластеров, backup-инфраструктуры, видеоархивов, AI/ML-сервисов и Data Lake. Решение поддерживает горизонтальное масштабирование без ограничений по объему хранения и подходит для построения распределенной enterprise-инфраструктуры.
В отличие от традиционных файловых систем и NAS-хранилищ, объектный подход позволяет эффективно работать с петабайтными объемами данных, обеспечивая высокую отказоустойчивость, гибкое управление жизненным циклом объектов и оптимизацию стоимости инфраструктуры. Поддержка Erasure Coding помогает значительно снизить затраты по сравнению с классической репликацией, сохраняя высокий уровень доступности и надежности.
S3 Архипелаг поддерживает совместимость с Amazon S3 API, что упрощает миграцию существующих приложений и сервисов без необходимости переработки архитектуры. Решение может использоваться как альтернатива Amazon S3, MinIO, Ceph и другим object storage-системам в проектах импортозамещения и построения независимой IT-инфраструктуры.
Платформа оптимизирована для сценариев Data Lakehouse и современных аналитических систем. Поддержка Apache Iceberg, Apache Hudi и других форматов позволяет использовать объектное хранилище как основу для аналитики, машинного обучения, BI-платформ и AI-инфраструктуры. Решение подходит для хранения массивов данных, потоковой обработки и построения высокопроизводительной аналитической среды.
Корпоративное объектное хранилище S3 Архипелаг обеспечивает высокий уровень безопасности благодаря поддержке Object Lock, versioning, lifecycle policies, multi-tenancy и механизмов репликации. Решение может использоваться в инфраструктуре банков, государственных организаций, телеком-компаний, промышленных предприятий и других компаний с высокими требованиями к отказоустойчивости, безопасности и соответствию требованиям регуляторов.
S3 Архипелаг подходит для:
- построения корпоративных Data Lake и Data Lakehouse;
- хранения резервных копий и архивов;
- AI/ML и Big Data-проектов;
- Kubernetes и cloud-native инфраструктуры;
- хранения медиа- и видеоархивов;
- импортозамещения зарубежных S3-хранилищ;
- распределенного хранения больших объемов данных.
Благодаря S3-совместимости, высокой производительности и поддержке современных аналитических платформ S3 Архипелаг позволяет компаниям создать масштабируемую инфраструктуру хранения, снизить зависимость от зарубежных решений и обеспечить надежную основу для цифровой трансформации и AI-driven сервисов.
S3 API
полная совместимость с AWS S3, работа с aws-cli, boto3, стандартными SDK
Множество интерфейсов
S3, FUSE, WebDAV, HDFS, gRPC для любых сценариев интеграции
Erasure Coding
эффективное использование дисков, накладные расходы 40% вместо 200%
Версионирование
сохранение предыдущих версий объектов с возможностью восстановления
Lifecycle Policies
автоматическое управление жизненным циклом: архивирование, перемещение, удаление
Шифрование данных
AES-256 в покое, TLS 1.3 при передаче, ключи хранятся отдельно от данных
Cross-Region Replication
асинхронная репликация в резервный ЦОД для катастрофоустойчивости
Object Lock
защита от удаления на заданный срок, соответствие требованиям регуляторов
Bitrot Protection
периодическая проверка контрольных сумм и автоматическое восстановление данных
Функциональность продукта
Хранить любые
объемы данных
Линейное масштабирование до экзобайт
Эффективная работа с миллионами мелких файлов
Поддержка горячих, тёплых и холодных данных
Автоматическое распределение по узлам кластера
Интегрироваться с любыми системами
Полная совместимость с AWS S3 API
Монтирование как файловая система (FUSE)
Интеграция с Hadoop-экосистемой (HDFS)
Работа со Spark, Trino, Apache Iceberg, Apache Hudi
Соответствовать требованиям регуляторов
Работа на российских ОС (Astra Linux, РЕД ОС, Alt Linux)
Соответствие КИИ, ИСПДн, ГИС
С S3 Архипелаг вы сможете:
Линейная
масштабируемость
Архитектура Master-Volume-Filer позволяет хранить сотни миллиардов файлов без деградации
Горячее
масштабирование
Инфраструктурные компоненты, обеспечивающие выполнение процессов фабрики данных
Консолидация
хранилищ
Замена объектного и файлового хранилища одной платформой — экономия CAPEX и OPEX
Гибридная отказоустойчивость
Репликация для горячих данных, Erasure Coding для холодных — экономия до 50% дисков
Многоуровневая безопасность
Шифрование, LDAP/AD, Kerberos, защита от удаления — соответствие требованиям регуляторов
Простота
эксплуатации
Не требует команды экспертов, веб-интерфейс администрирования, готовые Grafana-дашборды
Ключевые преимущества
Архитектура S3 Архипелага
Интерфейсы
Filer REST
gRPC
WebDAV
FUSE mount S3
S3 Gateway
Сервера хранения
Горячие данные
NVME
Теплые данные
SSD
Холодные данные
HHD
Файловый менеджер
Управление метаданными
Мастерноды
Метаданные
Digital Q.DataBase
Архитектура хранилища с многоуровневым хранением данных и разделением слоев обеспечивает независимое масштабирование метаданных и данных, высокую доступность и гибкость хранения в зависимости от класса данных:
Запросите демо-версию S3 Архипелаг и протестируйте бесплатно
На основе тестов, проведенных на идентичном железе (6 серверов, 12 NVMe дисков на каждом, 10GbE сеть):
Быстродействие S3 Архипелага
Сравнение потребления ресурсов на 1 TB данных:
S3 Архипелаг показывает стабильную производительность даже при заполнении кластера до 80% (деградация всего -8,6%), что выгодно отличает его от аналогов.
Потребление ресурсов
S3 Архипелаг потребляет в 2–3 раза меньше ресурсов, чем Ceph, что позволяет использовать более дешевое железо или хранить больше данных на существующей инфраструктуре.
КЕЙСЫ ИСПОЛЬЗОВАНИЯ
Data Lakehouse для аналитики
Цели и задачи:
Построить единое хранилище для аналитических данных:
- Консолидировать данные из разных источников в одном месте
- Обеспечить работу Apache Spark, Trino, Apache Impala, StarRocks без переписывания кода
- Поддержать форматы Apache Iceberg и Apache Hudi для ACID-транзакций
- Снизить затраты на хранение при росте объёмов до петабайт
Какие возможности даёт S3 Архипелаг?
- Полная совместимость с S3 API — MPP-системы работают через стандартный S3A-коннектор без доработок.
- Оптимизация для Iceberg и Hudi — доработанный механизм работы
с метаданными обеспечивает предсказуемую latency при транзакционных операциях. - Lifecycle Policies — автоматическое перемещение старых партиций на Erasure Coding экономит до 50% дискового пространства.
- Линейное масштабирование — добавление узлов увеличивает ёмкость
и производительность без миграции данных.
Резервное копирование и архивы
Цели и задачи:
Организовать надёжное хранение резервных копий и архивов:
- Хранить бэкапы баз данных, виртуальных машин, файловых серверов
- Защитить данные от случайного или злонамеренного удаления
- Снизить стоимость хранения архивных данных
- Обеспечить катастрофоустойчивость с репликацией в резервный ЦОД
Какие возможности даёт S3 Архипелаг?
- Object Lock — блокировка объектов на заданный срок, удаление невозможно даже администратором. Соответствует требованиям регуляторов.
- Erasure Coding — накладные расходы 40% вместо 200% при репликации. На 100 ТБ данных экономия составляет 60 ТБ дискового пространства.
- Cross-Region Replication — асинхронная репликация в резервный ЦОД
для защиты от катастроф. - Bitrot Protection — периодическая проверка контрольных сумм и автоматическое восстановление повреждённых блоков.
ML-платформа
Цели и задачи:
Создать хранилище для платформы машинного обучения:
- Хранить датасеты, модели, артефакты экспериментов
- Обеспечить быстрый доступ к данным при обучении моделей
- Поддержать версионирование датасетов и моделей
- Интегрироваться с MLflow, Kubeflow, JupyterHub
Какие возможности даёт S3 Архипелаг?
- Высокая производительность — более 8 GB/s на запись крупных объектов, latency p50 около 2 ms для мелких файлов.
- Версионирование — сохранение всех версий датасетов и моделей
с возможностью отката к любой точке. - S3 API — стандартная интеграция с boto3, MLflow, DVC и другими инструментами ML-пайплайнов.
- Эффективная работа с мелкими файлами — архитектура оптимизирована
для миллионов объектов без деградации.
Импортозамещение S3
Цели и задачи:
Заменить зарубежное объектное хранилище на отечественное решение:
- Уйти от зависимости от Amazon S3, Azure Blob, Google Cloud Storage
- Соответствовать требованиям КИИ, ИСПДн, ГИС
- Работать в изолированном контуре без доступа в интернет
- Сохранить совместимость с существующими приложениями
Какие возможности даёт S3 Архипелаг?
- Полная совместимость с AWS S3 API — приложения работают без изменений, достаточно поменять endpoint.
- Российские ОС — поддержка Astra Linux (включая «Смоленск»), РЕД ОС, Alt Linux.
- Работа в закрытом контуре — on-premise развёртывание без внешних зависимостей.
- Безопасность — шифрование AES-256, интеграция с LDAP/AD и Kerberos, аудит всех операций для SIEM.
Организации
Банки и финтех — хранение транзакционных логов, бэкапов, данных для антифрод-аналитики
Ритейл и e-commerce — каталоги товаров, изображения, аналитика поведения покупателей
Телеком — CDR-записи, логи сетевого оборудования, данные биллинга
Госсектор — архивы документов, данные для межведомственного обмена, соответствие КИИ
Производство — для хранения данных IoT-датчиков и недропользователей
Роли
Архитекторы данных — проектирование Data Lakehouse и интеграция с аналитическими системами
DevOps и SRE — развертывание, мониторинг, автоматизация через Helm и Kubernetes
Инженеры ML — хранение датасетов и моделей, интеграция с MLflow и DVC
Специалисты ИБ — настройка шифрования, политик доступа, аудита для SIEM
Кому подходит
новости и публикации
Часто задаваемые вопросы
S3-совместимое объектное хранилище — это платформа для хранения больших объемов данных с поддержкой Amazon S3 API. Такой подход позволяет работать с файлами как с объектами, обеспечивая высокую масштабируемость, отказоустойчивость и совместимость с современными приложениями, аналитическими платформами и cloud-native инфраструктурой.
Традиционные NAS-системы подходят для файлового доступа и ограниченных объемов информации. Объектное хранилище оптимизировано для распределенной инфраструктуры, петабайтных объемов данных, резервного копирования, Data Lake, AI/ML и аналитических систем. Оно проще масштабируется и эффективнее работает в высоконагруженных enterprise-средах.
Да. S3 Архипелаг поддерживает совместимость с Amazon S3 API, благодаря чему существующие приложения, backup-системы, аналитические сервисы и cloud-native платформы могут быть интегрированы без переработки архитектуры.
Да. Платформа подходит для замены зарубежных object storage-решений и может использоваться в проектах импортозамещения. S3 Архипелаг обеспечивает enterprise-функциональность, поддержку распределенной инфраструктуры и совместимость с современными экосистемами хранения и обработки данных.
Да. S3 Архипелаг оптимизирован для построения Data Lake и Data Lakehouse-инфраструктуры. Решение поддерживает интеграцию с Apache Iceberg, Apache Hudi, Spark, Trino и другими аналитическими инструментами для работы с большими объемами данных.
Да. Объектное хранилище подходит для AI/ML-инфраструктуры, аналитических платформ, обучения моделей машинного обучения, хранения датасетов и обработки потоковых данных. Высокая масштабируемость позволяет эффективно работать с большими массивами информации.
Да. S3 Архипелаг может использоваться в Kubernetes-кластерах и cloud-native средах как масштабируемая S3-платформа для приложений, аналитики, резервного копирования и микросервисной архитектуры.
Решение поддерживает механизмы репликации и Erasure Coding, которые позволяют обеспечить высокую доступность данных и устойчивость к отказам оборудования. Использование Erasure Coding помогает снизить требования к инфраструктуре по сравнению с классической репликацией.
S3 Архипелаг поддерживает Object Lock, versioning, lifecycle policies, multi-tenancy и разграничение доступа. Это позволяет использовать платформу в инфраструктуре организаций с высокими требованиями к безопасности и надежности.
Платформа может использоваться в банках, государственных организациях, телеком-компаниях, промышленности, ритейле и других enterprise-компаниях, которым требуется масштабируемое объектное хранилище для работы с большими объемами данных и критически важными сервисами.
Остались вопросы?
Оставьте заявку на презентацию Digital Q.DataFactory, получение записи вебинара или консультацию руководителя решения
Оставьте заявку на презентацию Digital Q.DataFactory, получение записи вебинара или консультацию руководителя решения
ОБРАТНАЯ СВЯЗЬ
Продолжая использовать и/или оставаясь на сайте, вы соглашаетесь с Политикой конфиденциальности сайта, включая использование сайтом файлов «cookie».
Связаться с поддержкой бесплатной версии S3 Архипелаг
Заполните форму
и скачайте дистрибутив
и скачайте дистрибутив
В скачанном архиве также находится инструкция INSTALL.txt
Консультация специалиста