#s3 — Public Fediverse posts

Инфраструктура данных 2052: что, если у данных больше не будет «прода» и «истории»?

Если мысленно вернуться в 1980-е , аналитика во многом находилась буквально над production Данные появлялись в операционных системах, затем из них строились отчёты, выгрузки и аналитические витрины. Постепенно мы начали выносить аналитику подальше от production: появились отдельные хранилища, ETL, data warehouse, затем data lake, lakehouse и, наконец, огромный набор специализированных систем для streaming, batch, realtime и research Каждый раз мы решали вполне реальные проблемы своего времени. Но вместе с этим постепенно привыкли к довольно странной модели: production хранит настоящее, data lake - прошлое, Kafka - поток, а research живёт где-то ещё И вот здесь мне стало интересно немного заглянуть вперед... А что, если в 2052 году мы перестанем воспринимать всё это как разные сущности? Опираясь не на фантазии, а на то, что смог найти в технических блогах - не концепты, а реальные прототипы Если не хотите много читать, в конце статьи вся суть одной картинкой

https://habr.com/ru/articles/1070482/

#инфраструктура #data #lakehouse #kafka #redis #s3

Enfin réussi ! Mais quoi ? Stocker les fichiers échangés dans XMPP sur S3.

Pourquoi faire ? Parce que c'est mieux que de stocker ça sur un SSD de serveur qui a des limites que le S3 n'a pas. Et ça me permet de ne plus faire de backup, le S3 assurant ça.

Exploitant Ejabberd, je me suis dit que j'allais utiliser mod_s3_upload des modules contrib. Pas réussi à le faire fonctionner malgré une après-midi passée dessus, problème d'ACL qui ne sont pas mis à public-read comme il le faudrait pour pouvoir lire le fichier. Finalement hier j'abandonne.

Je change mon fusil d'épaule aujourd'hui en découvrant qu'il existe des applications qui montent un bucket S3 comme un file system linux. Quelques réglages à faire, mais ça marche du feu de Dieu et Ejabberd n'y voit que couik, il pense toujours stocker ça en local avec mod_http_upload. Autre avantage : les fichiers existants peuvent être déplacés dans le même bucket, tous ces fichiers anciens restent ainsi accessibles au même lien sans avoir à bricoler avec Nginx.

Si ça fonctionne, c'est aussi parce que chaque fichier se voit générer un nom unique et qu'il n'est jamais modifié ni supprimé par l'application par la suite. C'est une des limites de ce montage S3 comme système de fichiers. Il faut faire son ménage soi-même depuis le S3 directement.

Bref, ça marche désormais. Mais vous n'y verrez rien non plus de votre côté.

Et voilà comment on occupe ses vacances.

#XMPP #Ejabberd #S3

Обзор технологий S3-хранилища: как изменился подход к хранению данных и обеспечению их безопасности

Объектные хранилища, работающие по протоколу S3, уже давно стали де-факто стандартом для работы с неструктурированными данными — от бэкапов корпоративных систем до наполнения озёр данных (Data Lake) для аналитики. Однако переход от простого использования API к построению на базе S3 отказоустойчивой и безопасной инфраструктуры часто оказывается сложнее, чем кажется на первый взгляд, а многие встроенные механизмы остаются невостребованными. И связано не столько с отсутствием бизнес-потребности, сколько с недостаточным пониманием того, как именно эти функции работают. Чтобы устранить подобные «слепые зоны», в статье разберём, как с помощью объектных хранилищ решаются ключевые задачи обеспечения безопасности, катастрофоустойчивости и эффективности хранения.

https://habr.com/ru/companies/vktech/articles/1071120/

#vk_cloud #s3 #object_storage #объектное_хранилище #хранение_данных #data_lake #резервное_копирование #object_lock #защита_данных #s3_api

The fact that #AWS #S3 is simple to use doesn’t mean it’s simple to implement: “S3 today is composed of hundreds of microservices” https://www.allthingsdistributed.com/2023/07/building-and-operating-a-pretty-big-storage-system.html#:~:text=S3%20today%20is%20composed%20of%20hundreds%20of%20microservices

Soo what's the hottest s3 compatible storage to selfhost right now? We tried garage, since it seemed interesting, but they have no official helmchart and we're seeing problems with a single node/pod deployment.
Next on our list would be seaweed.
Minio is completely off the rails in slop I've heard, so we ignored it from the start.

Any other recommendations?

#selfhosting #s3 #kubernetes

Июльский дайджест — сервер за 30 секунд, новые модели и токены на агента

Вместо долгого начала про июльские отпуска и шуток про жару просто похвастаемся цифрами. Тридцать секунд — столько теперь занимает создание сервера. 2,7 миллиарда — столько объектов лежит в нашем S3. До 12,5 миллионов — столько токенов начисляем на первого AI-агента. А если серьезно, за месяц у нас: два новых провайдера AI-моделей, обновления в S3, сертификаты Минцифры, приватные агенты, новая площадка для Амстердама и многое другое. Не сбавляем темп — насыщенный на события июль ниже ↓

https://habr.com/ru/companies/timeweb/articles/1068750/

#timeweb_дайджест #aiагенты #s3 #облачные_технологии #ams #бэкапы #сетевые_технологии #сервер

Is it normal for FreeBSD sleep (suspend) or wake (resume) to fail with virtual hardware that should support sleep?

hdac0: Unexpected unsolicited response from address 0: 00000000

The second screenshot here shows me preparing to run:

zzz

First run: a glimpse of ttyv0, and then Plasma reappeared at ttyv8. I can't recall whether it reappeared in response to keyboard input.

Second run: a screen full of the hdac0 lines at ttyv0

16.0-CURRENT, AMD64.

#FreeBSD #Linuxulator #audio #S3 #sleep #suspend #wake #resume #bug

Silo – S3-compatible object storage, a maintained fork of MinIO

https://silo.pgsty.com

Comments: https://news.ycombinator.com/item?id=49198572

#HackerNews #Silo #S3 #storage #MinIO #fork #objectstorage #technews

Wiedzieliście, że możecie postawić sobie serwer S3 u siebie? No cóż, może niekoniecznie ten amazonowy S3, ale coś, jest z nim kompatybilne i pozwoli lepiej testować czy utrzymywać choćby wersje testowe aplikacji. Oto pełny tutorial.

#s3 #storage #OpenSource #MinIO

https://www.freecodecamp.org/news/how-to-self-host-an-s3-compatible-object-store-with-minio-on-your-staging-server/

Релиз DataSafeS3 v1.3.0

Что делать, если Docker Desktop и L2 multicast живут в разных мирах, а доказать failover кластера перед тегом v1.3.0 всё равно нужно? Под капотом: SSH-контейнеры, unicast keepalived, 9 PASS / 0 SKIP и пара неожиданных багов с Alpine и CRLF. Заглянуть под капот

https://habr.com/ru/articles/1066236/

#s3 #s3server #datasafes3 #объектное_хранилище #решение #opensourse #доступность #installsh

Apache Iceberg: Индиана Джонс и Каталог судьбы

parquet - данные лежат в открытом формате - казалось бы, бери кто хочешь. Но есть неприметный артефакт, от которого зависит, увидите вы таблицы или мусор из файлов и кого вообще к ним подпустят. Это каталог. Разбираю просто, что такое Apache Iceberg, зачем ему каталог - и почему новость про Polaris важнее, чем кажется. В продолжение анонса новостей…

https://habr.com/ru/articles/1065864/

#iceberg #trino #lakehouse #database #базы_данных #s3 #lakehouseплатформа_данных #clickhouse #ducklake #dremio

Yo, peeps: I need to replicate data from one S3-compatible object store to another. Is #rclone really the only good option?

#S3 #DevOps

Not sure if that is stock colour for #Audi #S3 - could be one of those wraps which are fashionable nowadays - Lad wasn't also charged for TWOC (taking without consent) so he hadn't nicked #car - doesn't appear to have previous, nor crop up on social media where those into #hooning congregate.

Which begs the question of why so many people were enabling him to drive without valid #insurance and to ignore traffic laws (parents? siblings?)

There's this fucked up double standard in British society where taking hard drugs or getting into a fight is viewed as #crime - but anything in a car is overlooked, even though it can lead to injuries and fatalities..

#RoadSafety #Peterborough

https://www.itv.com/news/anglia/2026-07-31/teen-driver-narrowly-misses-pedestrians-as-he-crashes-into-shop

И еще немного извращений из мира прокси и VPN

Жизнь диссидента-экспериментатора не сидит на месте, а копилка безумных находок пополняется быстрее, чем успеваешь про них написать. Продолжаем то, на чем остановились в прошлый раз - туннели через ICMP, DNS и serverless-функции это, конечно, хорошо, но вот вам еще три свежие находки: туннель через что угодно, что умеет хранить файлы, туннель через почтовый ящик, и реанимация древней технологии обхода через CDN и не только, которую почему-то все забыли.

https://habr.com/ru/articles/1065064/

#meek #imap #ntp #s3 #webdav #ftp #прокси #vpn #туннели #cdn

Is scaleway.com a good option to host some images that I want to link to from other places/blogs (img src-stuff)? Or is that overkill, and if yes on that last one, what would be a good 🇪🇺 alternative that won't break the bank?

(I'm talking about a few megabytes per year.)

#S3

How to Host a Static Site on AWS for the Price of a Domain, by @atomicobject.bsky.social:

https://spin.atomicobject.com/host-static-site-aws/?ref=frontenddogma.com

#howtos #hosting #aws #cloudfront #s3 #economics

#SBahnBerlin:

#S3, #S5, #S7, #S9: Wegen einer ärztlichen Versorgung eines Fahrgastes im Zug in #Hauptbahnhof bitte mit Verspätungen und einzelnen Zugausfällen rechnen.

#öpnv_berlin_bot

src: x/SBahnBerlin/status/2081737033962193196
27.07.2026 15:42

Где в облачном бэкапе теряется контроль над данными — и как его вернуть

Заказывая бэкап облака, компания незаметно отдаёт наружу три вещи: доступ к данным, ключи шифрования и место хранения. Разбираю по пунктам, как вернуть контроль над каждой - end-to-end шифрование с закрытым ключом только у клиента, запись копий в свой S3, NAS или СХД на территории РФ, запирание выпуска сертификатов на роль owner - и как эта архитектура закрывает требования ФЗ-152. В конце - чек-лист, по которому имеет смысл проверять любой такой инструмент. Читать разбор

https://habr.com/ru/articles/1063382/

#резервное_копирование #endtoend_шифрование #управление_ключами #S3 #ФЗ152 #персональные_данные #Яндекс_360 #MongoDB

MinIO es la alternativa open source compatible con Amazon S3.

✨ Puntos clave:
• Alto rendimiento y baja latencia
• Nativo de Kubernetes y multi-cloud
• Cifrado enterprise y seguridad
• Control total de tus datos (self-hosted)

Ideal para IA, analítica y backups. 💻

#MinIO #OpenSource #S3 #CloudStorage #DevOps #Kubernetes #SelfHosted

Viele Funktionen nutzte ich in der Nextcloud ja nicht. Deshalb habe ich mich ja für andere Wege entschieden. Cryptomator und Joplin mit einem S3 Speicher, Kalender und Kontakte nutze ich mit Mailcow.

Jetzt bekam ich vor kurzem auf der Arbeit eine Datei zugeschickt. Zu groß für das Postfach, also per Link um diese bei swissfiles in den nächsten 30 Tagen herunterzuladen. Die eine oder andere Datei hatte ich auch hin und wieder per Nextcloud geteilt. Dies fällt ja aber nun auch weg. Also musste eine Lösung her: Pingvin.

Abgesichert mit Authelia als OIDC und die Registrierung deaktiviert, weil ich ja nicht will, das Gott und die Welt unbekannte Dateien über meinen Server verbreitet. Das kann ja mal schnell nach hinten losgehen. Fehlte nur noch ein Virenscanner, falls ich mal einen Link erstelle, über den andere User auch Dateien für mich hochladen können.

Für mich immer noch sinnvoller als eine Nextcloud zu betreiben und zu warten.

#pingvin #selfhosting #nextcloud #mailcow #authelia #cryptomator #joplin #s3 #bucket #alternativen #swissfiles

Today I'm completely removing the #Hetzner Object Storage service from my account, marking a month of successful hosting of object storage for my #GlitchySocial #Mastodon instance myself.

#Garage cluster is so good, I don't even remember I have it. It's just sitting there doing its work of storing and serving almost 200 000 objects already.

#selfHosted #selfhosting #selfHost #S3 #ObjectStorage #GarageS3 #homelab #GlitchySocialMediaMigration

iRODS Development Update: July 2026

https://irods.org/2026/07/irods-development-update-july-2026/

#irods #cpp #s3 #http #globus

Dear #MastoAdmin for anyone using #S3 storage I would highly recommend disabling S3 multipart uploads for a day (or forever) to see if you notice any improvements.

Pre-existing issues with Mastodon and S3, plus some recent regressions in the #AWS S3 library can cause a variety of issues, notably in the ingress #sidekiq worker, such as:

- infinite disk usage in /tmp
- higher outbound bandwidth use (2-4x)
- higher cpu and memory use by sidekiq
- higher costs on providers like Wasabi that have minimum duration charges for incomplete multipart uploads

You can do this by setting S3_MULTIPART_THRESHOLD=1073741824 (any sufficiently high value that all processed media will fit below).

Note that setting S3_FORCE_SINGLE_REQUEST=true is not sufficient, as this only impacts reading files from S3 to disk, and not uploading to S3. Increasing S3 timeouts and retries may help, but doesn't solve the issues entirely.

The results will depend on your environment and specific S3 provider, but are significant and worth testing to see if they affect you.

https://github.com/mastodon/mastodon/issues/39863

https://github.com/aws/aws-sdk-ruby/issues/3408

https://github.com/mastodon/mastodon/pull/30610

Ответ разработчика на статью про «бизнес-схему»

Разбираем технические замечания к старой версии Telegram-бота: что действительно требовало исправления, как устроен текущий продукт и чем публичные анкеты отличаются от приватных данных.

https://habr.com/ru/articles/1060732/

#Mimolet #информационная_безопасность #IDOR #S3 #скрейпинг #CVSS #API #Laravel #OWASP #фактчек

Посмотрел, как современные дейтинг приложение обращаются с данными и нежелательным контентом

У сервиса знакомств есть не только кнопка жалобы. Фотографии очищаются от EXIF перед хранением, публичные изображения проверяются до отправки, основной API и база находятся в России, а для звонка не требуется передавать номер. В статье разобраны семь решений, которые выглядят удачно, и два вопроса, которые стоит объяснить лучше: сроки хранения данных и апелляция после блокировки. Читать разбор

https://habr.com/ru/articles/1060652/

#Mimolet #мимолет #безопасность_данных #приватность #модерация #хранение_данных #S3 #мобильные_приложения #социальные_сети