Руководство по дополнительным ресурсам AWS S3 для новичков

Дополнительные ресурсы AWS S3, часть 2: Управление версиями S3 | MFA Удалить | S3 Копирование объектов | Управление жизненным циклом | Хостинг веб-сайтов | Теги | Уведомление | Policy & ACL | CORS | Ведение журнала

В Amazon Web Services (AWS) ресурс - это объект, с которым вы можете работать. Подресурсы S3 подчинены объектам; то есть они не существуют сами по себе, они всегда связаны с какой-либо другой сущностью, такой как объект или корзина.

Подресурс S3 существует только в контексте определенного сегмента или объекта. S3 Subresource обеспечивает поддержку для хранения и управления информацией о конфигурации корзины и информацией об объектах. S3 поддерживает различные параметры для настройки корзины f или, например, корзину можно настроить для хостинга веб-сайтов, добавить конфигурацию для управления жизненным циклом объектов в корзине и для регистрации всего доступа к корзине.

Субресурсы корзины

Управление жизненным циклом объекта S3

• Жизненным циклом объекта S3 можно управлять с помощью конфигурации жизненного цикла, которая определяет, как S3 управляет объектами в течение их жизненного цикла.
• Конфигурация жизненного цикла позволяет упростить управление жизненным циклом объекта, например, перемещение объектов с менее частым доступом, резервное копирование или архивирование данных в течение нескольких лет или безвозвратное удаление объектов.
• S3 автоматически контролирует все переходы.
• Управление жизненным циклом объекта S3 допускает 2 типа поведения.

→ Переход, при котором изменяется класс хранения объектов.

→ Срок действия: объекты истекают и удаляются безвозвратно.

• Для управления жизненным циклом можно настроить управление версиями, что позволяет хранить одну текущую версию объекта и ноль или более нетекущих версий объекта.
• Управление жизненным циклом объекта применяется как к сегментам без поддержки версий, так и к сегментам с поддержкой версий.
• Для сегментов без версий

→ Переходный период считается с даты создания объекта

• Для сегментов с версией

→ Переходный период для текущего объекта рассчитывается на дату создания объекта.

→ Переходный период для нетекущего объекта рассчитывается на дату , когда объект стал не текущим версионным объектом.

→ S3 использует количество дней с момента создания его преемника как количество дней, в течение которых объект не является текущим.

• S3 вычисляет время, добавляя количество дней, указанное в правиле, ко времени создания объекта и округляя полученное время до следующего дня, полуночи по всемирному координированному времени , например, если объект был создан 15.01.2016 в 10:30 AM UTC, и вы указываете 3 дня в правиле перехода, в результате чего 18.01.2016 10:30 AM UTC и округляется до полуночи следующего дня 19.01.2016 00:00 UTC
• Конфигурация жизненного цикла для сегментов с поддержкой MFA не поддерживается.
• Для каждой корзины можно настроить 1000 правил жизненного цикла.

Лаборатория жизненного цикла: https://aws.plainenglish.io/migrate-data-between-amazon-s3-buckets-db9c37d81708

Управление версиями S3 Bucket

• Управление версиями сегмента - это подресурс сегмента S3, используемый для защиты от случайного удаления или перезаписи объекта / данных.
• Управление версиями также может использоваться для хранения и архивирования данных.
• После включения управления версиями для сегмента его нельзя отключить, но можно приостановить.
• Когда включено, Bucket Versioning будет защищать существующие и новые объекты и поддерживать их версии по мере их обновления.
• Обновление объектов относится к действиям PUT, POST, COPY, DELETE над объектами.
• Когда управление версиями включено, и вы пытаетесь удалить объект, на объект помещается маркер удаления.

→ Вы по-прежнему можете просматривать объект и маркер удаления.

• Если вы повторно решите удалить объекты, вы можете удалить «Удалить маркер», и объект снова станет доступным.

• С вас будет взиматься плата за хранение S3 для всех сохраненных версий объекта.
• Вы можете использовать управление версиями с политиками жизненного цикла S3 для удаления старых версий или переместить их в более дешевое хранилище S3 (или Glacier).
• Состояние управления версиями сегмента -

→ Включено

→ Приостановлено

→ Без версии

• Управление версиями применяется ко всем объектам в корзине и не применяется частично.
• Объект, существующий до включения управления версиями, будет иметь «ID версии» или «NULL».
• Если у вас есть корзина, для которой уже установлено управление версиями, то вы приостанавливаете управление версиями, объекты и их версии остаются без изменений. Однако они не будут обновляться / поддерживаться версиями с будущими обновлениями, пока управление версиями ведра приостановлено.

• Новые объекты (загруженные после приостановки) у них будут иметь идентификатор версии «null», если тот же ключ (имя) используется для хранения других объектов, он заменит существующий.
• Удаление объекта в сегментах приостановленного управления версиями приведет к удалению только объектов с идентификатором «null».

Управление версиями сегмента S3 → Удалить MFA

Удаление многофакторной аутентификации - это возможность управления версиями, которая добавляет еще один уровень безопасности в случае взлома вашей учетной записи.

Это объявление еще один уровень безопасности для следующих:

→ Изменение состояния управления версиями сегмента.

→ Окончательное удаление версии объекта.

Требуется удаление MFA

→ Ваши учетные данные.

→ Код, отображаемый на утвержденном физическом или программном устройстве аутентификации. например Приложение Google Authenticator.

Статический хостинг веб-сайтов

• S3 можно использовать для размещения статических веб-сайтов со скриптами на стороне клиента.
• S3 не поддерживает сценарии на стороне сервера
• S3 в сочетании с Route 53 поддерживает размещение веб-сайта в корневом домене, который может указывать на конечную точку веб-сайта S3.
• Конечные точки веб-сайта S3 не поддерживают HTTPS.
• Для веб-сайта S3, на котором размещается контент, следует сделать общедоступным, что может быть предоставлено с помощью политики сегмента или ACL для объекта.
• Пользователь может настроить индекс, документ об ошибке, а также настроить условную маршрутизацию по имени объекта.
• Политика сегмента применяется только к объектам, принадлежащим владельцу сегмента. Если корзина содержит объекты, не принадлежащие владельцу корзины, то общедоступное разрешение READ для этих объектов должно быть предоставлено с помощью объектного ACL.
• Корзины, которые запрашивают оплату или DevPay, не разрешают доступ через конечную точку веб-сайта. Любой запрос к такой корзине получит ответ 403 -Access Denied.

Bucket Policy и ACL (список контроля доступа)

• Политику корзины можно использовать для предоставления доступа между аккаунтами других учетных записей AWS или пользователей IAM в других учетных записях для корзины и объектов в ней.
• Политики сегментов обеспечивают централизованный контроль доступа к сегментам и объектам на основе различных условий, включая операции S3, инициаторов запросов, ресурсы и аспекты запроса (например, IP-адрес).
• Если учетная запись AWS, владеющая корзиной, хочет предоставить разрешение пользователям в своей учетной записи, она может использовать либо политику корзины, либо политику пользователя.
• Разрешения, прикрепленные к сегменту, применяются ко всем объектам в этом сегменте, созданным и принадлежащим владельцу сегмента.
• Политики могут либо добавлять, либо запрещать разрешения для всех (или подмножества) объектов в сегменте.
• Только владелец сегмента может связывать политику с сегментом.
• С каждым сегментом и объектом связан ACL.

• ACL - это список грантов с указанием получателя и предоставленных разрешений.
• ACL используются для предоставления базовых разрешений на чтение и запись ресурсов другим учетным записям AWS.
• ACL поддерживает ограниченный набор разрешений и

→ не может предоставить условные разрешения, и вы не можете явно запретить разрешения

→ не может использоваться для предоставления разрешений для подресурсов корзины.

• Разрешение может быть предоставлено учетной записи AWS по адресу электронной почты или каноническому идентификатору пользователя (это просто скрытый идентификатор учетной записи). Если указан адрес электронной почты, S3 все равно найдет канонический идентификатор пользователя для пользователя и добавит его в ACL.
• Рекомендуется использовать канонический идентификатор пользователя, поскольку адрес электронной почты не будет поддерживаться.

Bucket ACL

• Единственный рекомендуемый вариант использования ACL сегмента - предоставить группе доставки журнала S3 разрешение на запись для записи объектов журнала доступа в сегмент.
• ACL сегмента поможет предоставить разрешение на запись в сегменте группе доставки журналов, если в ваш сегмент требуется доставка журнала доступа.
• Предоставить необходимые разрешения группе доставки журналов можно только с помощью ACL сегмента

CORS (совместное использование ресурсов из разных источников)

• Все браузеры реализуют политику одинакового происхождения из соображений безопасности, когда веб-страница из домена может запрашивать ресурсы только из того же домена.
• CORS позволяет клиентским веб-приложениям, загруженным в одном домене, запрашивать доступ к ограниченным ресурсам из другого домена
• Благодаря поддержке CORS, S3 обеспечивает доступ к ресурсам S3 из разных источников.
• Правила конфигурации CORS определяют источники, которым разрешен доступ к корзине, операции (методы HTTP), которые будут поддерживаться для каждого источника, и другую информацию, специфичную для операции.

Ведение журнала - журналы доступа S3

• Ведение журнала, отключенное по умолчанию, позволяет отслеживать запросы доступа к корзине S3.
• Каждая запись журнала доступа содержит сведения об отдельном запросе доступа, такие как инициатор запроса, имя сегмента, время запроса, действие запроса, статус ответа и код ошибки, если таковой имеется.
• Информация журнала доступа может быть полезна при проверке безопасности и доступа, а также поможет узнать о клиентской базе и понять счет S3.
• S3 периодически собирает записи журнала доступа, консолидирует записи в файлах журнала, а затем выгружает файлы журнала в целевой сегмент в качестве объектов журнала.
• Если ведение журнала включено для нескольких исходных сегментов с одним и тем же целевым сегментом, у целевого сегмента будут журналы доступа для всех этих исходных сегментов, но каждый объект журнала будет сообщать о записях журнала доступа для определенного исходного сегмента.

Добавление тегов

• S3 предоставляет подресурс тегов для хранения тегов в корзине и управления ими.
• Теги распределения затрат могут быть добавлены в корзину для категоризации и отслеживания затрат AWS.
• AWS может создавать отчет о распределении затрат с агрегированием использования и затрат по тегам, примененным к корзинам.

Место нахождения

• При создании корзины необходимо указать регион AWS, в котором будет создана корзина S3.
• S3 хранит эту информацию в подресурсе местоположения и предоставляет API для получения этой информации.

Уведомление

• Функция уведомлений S3 позволяет запускать уведомления, когда в вашей корзине происходят определенные события.
• Уведомления включены на уровне сегмента
• Уведомления можно настроить для фильтрации по префиксу и суффиксу ключевого имени объектов. Однако правила фильтрации не могут быть определены с перекрывающимися префиксами, перекрывающимися суффиксами или перекрытием префиксов и суффиксов.
• S3 может публиковать следующие события:

1. Событие создания новых объектов

→ Может быть активирован для операций PUT, POST или COPY.

→ Вы не будете получать уведомления о событиях из-за неудачных операций

2. Событие удаления объекта

→ Могут ли общедоступные события удаления для удаления объекта, удаления версии объекта или вставки маркера удаления

→ Вы не будете получать уведомления о событиях при автоматическом удалении из политик жизненного цикла или при неудачных операциях.

3. Событие потери объекта с уменьшенным резервным хранилищем (RRS)

→ Может использоваться для воспроизведения / воссоздания объекта

• S3 может публиковать события по следующему адресу

→ Тема в соцсетях

→ Очередь SQS

→ AWS Lambda

• Чтобы S3 мог публиковать события в место назначения, субъекту S3 должны быть предоставлены необходимые разрешения.

Подресурсы объекта

ACL объекта

• Списки управления доступом к объектам управляют только разрешениями на уровне объекта
• ACL объекта - это единственный способ управлять разрешениями на объект в сегменте, не принадлежащий владельцу сегмента, т. Е. Если владелец сегмента разрешает загрузку объектов между учетными записями и если владелец объекта отличается от владельца сегмента. , единственный способ для владельца объекта предоставить разрешения для объекта - через Object ACL
• Если сегмент и объект принадлежат одному и тому же аккаунту AWS, для управления разрешениями можно использовать политику сегмента.
• Если объект и пользователь принадлежат одной и той же учетной записи AWS, политика пользователя может использоваться для управления разрешениями.

Restore

Поддерживает временное восстановление заархивированного объекта (см. Восстановление объекта POST). Объект в классе хранилища S3 Glacier - это заархивированный объект. Чтобы получить доступ к объекту, вы должны сначала инициировать запрос на восстановление, который восстанавливает копию заархивированного объекта. В запросе вы указываете количество дней, в течение которых восстановленная копия должна существовать. Дополнительные сведения об архивировании объектов см. В разделе «Управление жизненным циклом объекта».

Бонусные концепции

Многокомпонентная загрузка (параллельная обработка)

• Используется для загрузки объекта по частям.
• Детали загружаются независимо и параллельно в любом Заказе.
• Рекомендуется для объектов размером 100 МБ или больше.
• Вы должны использовать его для объектов размером более 5 ГБ.
• Это делается через S3 Multipart Upload API.

Копирование объектов S3

Перейдите по ссылке для лабораторной и практической работы: https://aws.plainenglish.io/migrate-data-between-amazon-s3-buckets-db9c37d81708

• Операция копирования создает копию объекта, который уже хранится в Amazon S3.
• Вы можете создать копию своего объекта размером до 5 ГБ за одну атомарную операцию.
• Однако, чтобы скопировать объект размером более 5 ГБ, необходимо использовать API многокомпонентной загрузки.
• При копировании в другой регион взимается плата.
• Используйте операцию копирования, чтобы -

→ Создайте дополнительные копии темы.

→ Переименование объекта (Скопировать на новое имя).

→ Изменить класс хранения копии или зашифровать ее в состоянии покоя.

→ Больше объекта в локации / регионе AWS.

→ Изменить метаданные объекта.

Заключение

Я надеюсь, что этот блог поможет и сэкономит ваше время и деньги, чтобы вы могли проводить их со своими близкими. Продолжайте улыбаться и проявляйте немного любви!

Ссылки:

Https://aws.amazon.com/premiumsupport/knowledge-center/s3-empty-bucket-lifecycle-rule/

Https://aws.amazon.com/blogs/storage/how-to-use-aws-datasync-to-migrate-data-between-amazon-s3-buckets/

Http://d1.awsstatic.com/whitepapers/aws_pricing_overview.pdf

Автор LinkedIn:

Другие блоги:

Подпишитесь на нас, чтобы узнать больше.

Ознакомьтесь с AWS in Plain English, чтобы узнать больше о AWS.

Больше контента на plainenglish.io.