В К2 Облаке для размещения большого количества произвольных данных (документов, резервных копий и т. д.) используется сервис объектного хранилища, совместимый по программному интерфейсу с Amazon Simple Storage Service (S3).

S3 — это масштабируемый сервис хранения данных, основанный на технологии объектного хранения. Он обеспечивает высокую доступность, надёжность и отличную производительность. К данным можно обращаться из любой точки через интернет с помощью веб-интерфейса или мощного API-интерфейса S3.

Основные особенности хранилища S3

Бакеты. Данные хранятся в бакетах. Каждый бакет может хранить неограниченный объём неструктурированных данных.

Превосходная масштабируемость. У S3 нет ограничений на объём хранимых данных, но отдельные объекты могут иметь размер до 5 ТБ.

Гибкая структура данных. Каждый объект идентифицируется уникальным ключом, а для гибкой организации данных можно использовать метаданные.

Загрузка данных. Данными можно обмениваться с кем угодно внутри организации или за ее пределами, а еще данные можно загружать через интернет.

Разрешения. Разрешения можно назначать на уровне бакета или объекта, чтобы доступ к ним был только у пользователей с соответствующими правами.

API-интерфейс. Предоставляется в вариантах REST и SOAP. API S3 уже стал отраслевым стандартом и интегрирован со многими существующими инструментами.

Пять вариантов использования S3

1. Резервное копирование и архивирование

В основном хранилище S3 используют для резервного копирования и архивирования. Благодаря высокой надежности и доступности S3 гарантирует компаниям безопасность и сохранность данных в течение неограниченного времени. Резервирование компонентов и распределённая архитектура S3 позволяют хранить критически важные данные и обеспечивать быстрый и безопасный доступ к ним.

Кроме того, S3 хорошо интегрируется с различным ПО резервного копирования и архивирования. Это позволяет автоматизировать соответствующие процессы, что снижает влияние человеческого фактора и обеспечивает комплексную защиту данных. Возможности S3 по управлению версиями дают возможность сохранять несколько версий файлов и в случае необходимости откатываться на более ранние.

2. Хостинг контента

Хранилище S3 прекрасно масштабируется, позволяя справляться с пиками трафика без провалов в производительности. Это делает S3 идеальным инструментом для хостинга статических веб-сайтов, где контент подаётся прямо из бакетов S3. Благодаря тому что S3 поддерживает пользовательские доменные имена и SSL-сертификаты, компании могут создавать надёжную и безопасную среду веб-хостинга.

3. Аварийное восстановление

Репликация между зонами доступности К2 Облака обеспечивает автоматическое сохранение данных в разных зонах, что гарантирует их защиту от серьёзных сбоев. В случае аварии данные быстро восстанавливаются из размноженных копий, которые хранятся в S3. Тем самым время простоя и потери данных сводятся к минимуму.

В силу своей надёжности и доступности S3 прекрасно подходит для хранения резервных копий особо важных систем и баз данных. Если компания регулярно выполняет резервное копирование данных в S3, то она сможет быстро восстановить свои системы после сбоя, тем самым уменьшив его влияние на бизнес.

4. Большие данные и аналитика

Благодаря невысокой стоимости объекта хранения сервис подходит для хранения больших объёмов необработанных данных. Компании могут выгружать в S3 данные из различных источников, включая файлы журналов, данные с датчиков и ленты активности в социальных сетях. Интеграция S3 с фреймворками обработки больших данных (Apache Hadoop, Apache Spark и т. д.) позволяет компаниям обрабатывать и анализировать огромные объёмы таких данных.

Кроме того, S3 поддерживает архитектуры озёр данных, а значит, компании могут хранить структурированные и неструктурированные данные в их изначальном формате. То есть преобразование данных уже не требуется, что также упрощает и ускоряет их обработку.

5. Распространение ПО и объектов

Компании часто используют S3 для предоставления пакетов ПО, обновлений прошивок и других цифровых активов пользователям, заказчикам или сотрудникам. S3 поддерживает политики управления доступом и подписанные URL-адреса (presigned URLs), а значит, компании могут быть уверены, что доступ к файлам получат только авторизованные пользователи. Это создает еще один слой защиты и предотвращает несанкционированное распространение или подделку пакетов ПО.

Советы эксперта: как эффективнее работать с S3

Евгения Тарашкевич

инженер K2 Cloud

Используйте политики жизненного цикла объектов для управления затратами. С их помощью можно автоматически удалять устаревшие версии объекта по заданной конфигурации.

Присваивайте объектам теги для более эффективной организации данных. Не полагайтесь на одни только ключи, используйте теги объектов для категоризации данных и управления ими. Это особенно полезно, если вам нужно устанавливать точечные разрешения, настраивать автоматизированные рабочие процессы или оптимизировать затраты исходя из паттернов доступа.

Включите для бакетов шифрование по умолчанию. Тогда все хранимые данные будут шифроваться автоматически. Не надейтесь на то, что клиент сам задаст параметры шифрования для отдельных объектов.

Применяйте управление версиями с осторожностью. Версионирование помогает отслеживать изменения объекта и позволяет при необходимости откатиться на предыдущую версию, но из-за него могут сильно вырасти затраты на хранение. Чтобы держать разрастание хранилища под контролем, используйте политики жизненного цикла для удаления старых версий по истечении заданного времени.

Используйте политики блокировки версий объекта Object Lock. Механизм блокировки версий Object Lock защищает от случайного или преднамеренного удаления или перезаписи объекта. Он реализует принцип Write Once, Read Many (WORM): объект можно записать только один раз, а читать неограниченное количество раз. Подробнее об этом можно почитать здесь.

Не включайте анонимный доступ к бакету без крайней необходимости. Анонимный доступ к бакету позволяет любому человеку получить доступ к бакету и его содержимому. Вместо этого можно использовать гибкие политики доступа к бакетам или напрямую к объектам с помощью инструментов Bucket Policy, bucket ACL, presigned URLs.

Как организована работа S3

В S3 данные хранятся в виде объектов, благодаря чему облачное хранилище прекрасно масштабируется. Объекты могут размещаться на различных физических дисках, распределенных по всему дата-центру. В дата-центрах K2 Cloud используется специализированное оборудование, ПО и распределенные файловые системы для гибкого масштабирования хранилища.

Методы блочного хранения обеспечивают резервирование и контроль версий. Данные автоматически распределяются по трем зонам доступности. Сервис S3 периодически проверяет целостность данных по контрольному значению хэша. В случае их повреждения объект восстанавливается из резервных данных.

Бакеты

Бакеты — это логические контейнеры, в которых хранятся данные. S3 предлагает пользователям неограниченную масштабируемость, нет никаких официальных ограничений на объём данных и количество объектов, которые можно хранить в бакете S3. Предельный размер объектов в бакете составляет 5 ТБ.

Имя бакета S3 должно быть уникальным на всем множестве пользователей S3, поскольку пространство имен бакета является общим для всех учетных записей облака.

Какой объём данных можно хранить в S3?

Любой. Однако есть некоторые ограничения:

максимальный размер объекта 5 ТБ
выгрузка до 5 ГБ за одну операцию PUT
для объектов размером больше 100 МБ рекомендуется использовать многопоточную выгрузку

Ключи

При выгрузке в бакет объект получает уникальный ключ. Это строка, имитирующая иерархию каталогов. Зная ключ, вы можете обратиться к объекту в бакете.

Имя бакета, ключ и идентификатор версии однозначно идентифицируют каждый объект. S3 предлагает две структуры URL-адресов, и обе можно использовать для прямого доступа к объекту:

{BUCKET-NAME}.s3.k2.cloud/{OBJECT-KEY} s3.k2.cloud/{BUCKET-NAME}/{OBJECT-KEY}

Для организации объектов также можно использовать метаданные и функцию тегирования S3 Object Tagging.

Зоны доступности

В регионе ru-msk К2 Облака — три зоны доступности, которые представляют собой отдельные и не зависящие друг от друга дата-центры. Данные S3 реплицируются в несколько зон доступности для защиты от сбоев оборудования в конкретном дата-центре.

S3 на практике

На онлайн-митапе разобрали, как избежать типовых ошибок в работе с S3 в К2 Облаке

Смотреть запись

S3 — с чего начать

Шаг 1. Создайте бакет S3

Чтобы начать работу с S3, прежде всего нужно создать бакет — контейнер для хранения объектов в S3. Для этого выполните следующие действия.

Перейдите в раздел Объектное хранилище Бакеты и нажмите Создать.
Задайте имя бакета. Оно должно быть уникальным в рамках пространства имён S3. Если имя недоступно, бакет с таким именем, вероятно, был создан другим пользователем облака.
Если необходимо включить версионирование, отметьте соответствующий флаг.
Для включения мониторинга бакета отметьте соответствующий флаг.
Задайте необходимые права доступа.
Нажмите Создать ещё раз.

Как только бакет создан, можно начать выгружать в него объекты.

Шаг 2. Выгрузите объект в бакет

Выгружать объекты в бакет S3 не сложно. Можно выгружать файлы, изображения, видео и данные любых других типов. Выгрузить объект в бакет S3 можно следующим образом.

Перейдите в раздел Объектное хранилище Бакеты.
Найдите бакет, куда необходимо загрузить объект/объекты, и перейдите на страницу бакета.
Нажмите Загрузить.
В открывшемся окне добавьте файлы для загрузки или перетащите их в область загрузки. Имена объектов должны быть уникальными в пределах бакета.
Задайте права доступа к загружаемым объектам. По умолчанию доступ разрешён только владельцу.
Нажмите ещё раз Загрузить.

Вы можете следить за ходом выгрузки, и, как только она завершится, объект станет доступен в вашем бакете S3. После этого вы сможете обращаться к объекту по уникальному URL-адресу, который предоставит S3.