#aws_s3 — Public Fediverse posts

S3 и зачем вообще городить ещё один клиент…

Вы нормально знаете Ceph, пулы, RGW, где смотреть логи и почему внезапно полезли 403. Вопрос в другом: вокруг кластера живут люди, которым нужен не Ceph, а S3 как диск в облаке . Им нужно залить билд, вытащить дамп, перекинуть префикс между стендами, выдать временную ссылку, проверить, что объект реально лежит и какой у него размер. Без чтения ceph -w s3cmd rados etc, без объяснений про placement groups и без вашего участия в каждой мелочи. CLI и скрипты вы держите для себя и для пайплайнов. Консоль облака у вас может быть про другой контур. А типичный пользователь упирается в простую вещь: хочу окно с таблицей, перетаскиванием и понятной ошибкой , а не пятнадцать шагов «спроси админа». Отсюда и смысл отдельного десктопного клиента под S3 API: не заменить вам эксплуатацию, а снять с вас поток однотипных ручных запросов и дать людям самообслуживание в рамках выданных ключей и политик.

https://habr.com/ru/articles/1023538/

#S3 #ceph #minio #client #s3cmd #aws #aws_s3 #aws_sdk

Platform API в Рег.облаке: унификация протокола доступа и архитектурная база для публичных и приватных облаков

Привет, Хабр! Меня зовут Игорь Шишкин, я руковожу отделом разработки облачной платформы Рег.облака. Несколько лет назад, пока облако росло, у нас сложилась предсказуемая ситуация. Несколько лет назад, пока облако росло, интеграционный слой между сервисами и брендами естественным образом усложнялся. Каждый новый сценарий требовал отдельного решения — и со временем стало понятно, что нужен общий подход. В этой статье расскажу, какие решения мы приняли, от чего отказались и где сознательно не стали усложнять систему.

https://habr.com/ru/companies/runity/articles/1004424/

#регоблако #platform #api #kaas #terraform #aws #aws_s3 #sdk #go #openstack

[Перевод] Архитектура корпоративных данных: AWS + Snowflake

Одна из самых больших проблем, с которой, как мы видим, сталкиваются дата‑инженеры и инженеры‑аналитики, — это то, что они тратят слишком много времени на поддержание устаревшей инфраструктуры, не имея при этом четкой наблюдаемости сбоев в работе конвейера. Это приводит к тому, что они постоянно находятся в состоянии тушения пожара и не могут сосредоточиться на решении более важных задач. И хуже всего то, что из‑за этого бизнес теряет доверие к данным.

https://habr.com/ru/companies/otus/articles/929890/

#Корпоративная_архитектура #моделирование_данных #AWS #snowflake #архитектура_данных #Облачные_технологии #data_engineering #Data_Mining #AWS_S3

[Перевод] Приключение по перереносу аналитики из Oracle в Iceberg

Мы начали с простой цели: разобраться в небольших операционных данных из нашей среды Oracle E-Business Suite (OEBS). Сначала всё казалось несложным. У нас был классический data warehouse: пакетная обработка, массовые загрузки и привычная реляционная СУБД. Но по мере того как мы углублялись в проект, казалось бы рутинная задача превратилась в исследование и эксперименты с неожиданными поворотами и поиском чего-то действительно универсального.

https://habr.com/ru/articles/878764/

#iceberg #oracle #oracle_database #postgresql #snowflake #athena #aws_s3