Видео недоступно для предпросмотра
Смотреть в Max
Как современный S3 защищает, сжимает и реплицирует данные
Simple Storage Service долго использовали довольно прямолинейно: хранили в нем бэкапы, архивы и данные для Data Lake, обращаясь к ним через единый API. Но чем важнее становились данные в объектном хранилище, тем больше требований стало предъявляться к самому S3.
1️⃣ Простого копирования уже недостаточно. Если объект удалили или зашифровали, версионирование позволяет вернуться к предыдущей версии, а Object Lock дает возможность заранее запретить изменение и удаление данных на заданный срок. Даже для администратора.
2️⃣ Параллельно оптимизируется и физическое хранение — сжатие уменьшает объем отдельных объектов, а дедупликация не дает повторно записывать одинаковые данные. Это может сократить занимаемое место примерно на 20%.
3️⃣ Следующий уровень — отказоустойчивость. Записи можно синхронно распределять между дисками, серверами и удаленными ЦОДами. А чтобы такой кластер оставался согласованным при сбоях, используются Raft, etcd.
Быстрое и надежное S3-совместимое объектное хранилище с высокой степенью защиты данных есть у VK Cloud.
Про место S3 в современной корпоративной архитектуре читайте на Хабре VK Tech.
Simple Storage Service долго использовали довольно прямолинейно: хранили в нем бэкапы, архивы и данные для Data Lake, обращаясь к ним через единый API. Но чем важнее становились данные в объектном хранилище, тем больше требований стало предъявляться к самому S3.
1️⃣ Простого копирования уже недостаточно. Если объект удалили или зашифровали, версионирование позволяет вернуться к предыдущей версии, а Object Lock дает возможность заранее запретить изменение и удаление данных на заданный срок. Даже для администратора.
2️⃣ Параллельно оптимизируется и физическое хранение — сжатие уменьшает объем отдельных объектов, а дедупликация не дает повторно записывать одинаковые данные. Это может сократить занимаемое место примерно на 20%.
3️⃣ Следующий уровень — отказоустойчивость. Записи можно синхронно распределять между дисками, серверами и удаленными ЦОДами. А чтобы такой кластер оставался согласованным при сбоях, используются Raft, etcd.
Быстрое и надежное S3-совместимое объектное хранилище с высокой степенью защиты данных есть у VK Cloud.
Про место S3 в современной корпоративной архитектуре читайте на Хабре VK Tech.