#sre — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #sre, aggregated by home.social.
-
Lorenz and Little: How Much Does Your Tail Cost? - Marc's Blog
https://brooker.co.za/blog/2026/07/29/lorenz-and-little.html
-
The mean means nothing | Farid Zakaria’s Blog
-
Site Reliability Engineering, 2nd Edition
by Betsy Beyer, Chris Jones, Christof Leng, David Huska, Jennifer Petoff, Niall Richard Murphy
Seems to be available!https://www.oreilly.com/library/view/site-reliability-engineering/9798341607675/
-
Site Reliability Engineering, 2nd Edition
by Betsy Beyer, Chris Jones, Christof Leng, David Huska, Jennifer Petoff, Niall Richard Murphy
Seems to be available!https://www.oreilly.com/library/view/site-reliability-engineering/9798341607675/
-
Another great post from Brent on on-call fatigue https://greatcircle.com/blog/2026/07/28/respecting-fatigue-isnt-coddling
Too many places expect you to be working and fully functional again at 9am when you got paged after midnight.
-
Another great post from Brent on on-call fatigue https://greatcircle.com/blog/2026/07/28/respecting-fatigue-isnt-coddling
Too many places expect you to be working and fully functional again at 9am when you got paged after midnight.
-
Мы чинили инциденты всё быстрее — а недовольство клиентов росло. Почему MTBF важнее MTTR
Инцидентов стало в два раза больше. Время восстановления сократилось вдвое. Uptime сервисов держался в норме. По всем ключевым метрикам мы становились лучше. А обращения в саппорт росли, аккаунт-менеджеры передавали жалобы, и в клиентском чате всё чаще писали, что сервис нестабилен. Эта статья о том, как метрики надёжности могут хором врать о клиентском опыте, почему установка «чините быстрее» — ловушка, которая сжигает дежурных инженеров и прячет настоящую причину проблем, и как мы развернули фокус с MTTR на MTBF, сократили количество инцидентов вдвое и вернули поток обращений клиентов к норме.
https://habr.com/ru/articles/1064948/
#mtbf #mttr #sre #надежность #метрики #инциденты #управление_разработкой
-
Заменили ноду в кластере RabbitMQ — и через месяц потеряли регион OpenStack
Короткая история про то, как штатная замена ноды оставила quorum-очереди с двумя членами вместо трёх, и почему cluster_status этого не показывает. Стенд: OpenStack Caracal (2024.1), развёрнут kolla-ansible. RabbitMQ — кластер из трёх нод, quorum-очереди.
https://habr.com/ru/articles/1064916/
#rabbitmq #openstack #quorum_queues #kollaansible #отказоустойчивость #кластеризация #cinder #постмортем #sre #инцидент
-
«Eric Tschetter on Decoupling Observability» • Software Engineering Radio Interesting takes about the log aggregation systems mainly #Podcasts #o11y #SRE https://podcasts.apple.com/es/podcast/software-engineering-radio-the-podcast-for/id120906714?l=en-GB&i=1000763163739
-
«Eric Tschetter on Decoupling Observability» • Software Engineering Radio Interesting takes about the log aggregation systems mainly #Podcasts #o11y #SRE https://podcasts.apple.com/es/podcast/software-engineering-radio-the-podcast-for/id120906714?l=en-GB&i=1000763163739
-
🌐🤝 #Noticias | Acercamiento diplomático: la Cancillería mexicana entabló diálogo con la presidencia de Perú para explorar vías que permitan restablecer formalmente las relaciones entre ambos países. 🇲🇽🇵🇪 #México #Perú #SRE #Diplomacia #PolíticaExterior
https://zurl.co/W3EWj -
🌐🤝 #Noticias | Acercamiento diplomático: la Cancillería mexicana entabló diálogo con la presidencia de Perú para explorar vías que permitan restablecer formalmente las relaciones entre ambos países. 🇲🇽🇵🇪 #México #Perú #SRE #Diplomacia #PolíticaExterior
https://zurl.co/W3EWj -
Hacia la normalización de lazos. 🕊️ México y Perú inician conversaciones de alto nivel para reanudar de manera gradual la relación diplomática bilateral. Conoce los detalles de la agenda de la SRE aquí. 👇 #NoticiasInternacionales #AméricaLatina #SRE
https://zurl.co/4hURk -
Hacia la normalización de lazos. 🕊️ México y Perú inician conversaciones de alto nivel para reanudar de manera gradual la relación diplomática bilateral. Conoce los detalles de la agenda de la SRE aquí. 👇 #NoticiasInternacionales #AméricaLatina #SRE
https://zurl.co/4hURk -
Saldo blanco para la comunidad mexicana en Japón. 🚨 Tras el fuerte movimiento telúrico en Kumamoto, la Secretaría de Relaciones Exteriores descartó daños a ciudadanos mexicanos. Consulta los números de emergencia aquí. 👇 #Noticias #SRE #EmbajadaDeMéxico
https://zurl.co/fftLi -
Saldo blanco para la comunidad mexicana en Japón. 🚨 Tras el fuerte movimiento telúrico en Kumamoto, la Secretaría de Relaciones Exteriores descartó daños a ciudadanos mexicanos. Consulta los números de emergencia aquí. 👇 #Noticias #SRE #EmbajadaDeMéxico
https://zurl.co/fftLi -
🌏🇯🇵 #Noticias | Tras el sismo de magnitud 7.1 registrado en Kumamoto, Japón, la Cancillería (SRE) informó que no se reportan connacionales afectados. La Embajada de México mantiene activos los canales de atención. 🇲🇽🤝 #Japón #SRE #México #NoticiasInternacionales
https://zurl.co/Pw9mq -
🌏🇯🇵 #Noticias | Tras el sismo de magnitud 7.1 registrado en Kumamoto, Japón, la Cancillería (SRE) informó que no se reportan connacionales afectados. La Embajada de México mantiene activos los canales de atención. 🇲🇽🤝 #Japón #SRE #México #NoticiasInternacionales
https://zurl.co/Pw9mq -
we build a kubernetes dashboard. our CEO made the strongest case he could that AI agents will make it obsolete, then published it.
the bear case is real: an agent reading structured cluster state beats a human clicking through screens.
what changed his mind is what the agent companies ship. datadog's incident agent renders an investigation page, not a transcript.
-
we build a kubernetes dashboard. our CEO @nadaverell made the strongest case he could that AI agents will make it obsolete, then published it.
the bear case is real: an agent reading structured cluster state beats a human clicking through screens.
what changed his mind is what the agent companies ship. datadog's incident agent renders an investigation page, not a transcript.
-
There’s a runbook running against your production right now.
You didn’t write it. You didn’t review it. You can’t see it.
Your vendor shipped it as an AI agent skill - their opinion of what’s broken and what to do about it, executing on your infra. It came with an install command, not a pull request.
I read what a dozen vendors shipped. Six ways it breaks in prod. Six questions to ask before you turn it on.
https://devops.pink/the-runbook-you-didnt-write-vendor-ai-agent-skills/
-
There’s a runbook running against your production right now.
You didn’t write it. You didn’t review it. You can’t see it.
Your vendor shipped it as an AI agent skill - their opinion of what’s broken and what to do about it, executing on your infra. It came with an install command, not a pull request.
I read what a dozen vendors shipped. Six ways it breaks in prod. Six questions to ask before you turn it on.
https://devops.pink/the-runbook-you-didnt-write-vendor-ai-agent-skills/
-
#Canopsis 26.04 🤖 Le chatbot IA est là !
Décrivez votre besoin en langage naturel, obtenez un filtre prêt à l'emploi... Le tout sans module externe, ni formation technique.
✅ Création et correction de patterns en langage naturel
✅ Compatible avec votre propre #LLM hébergé en interne
✅ Canopsis 26.10 prévoit déjà le MCP et le multi-LLM🔗 https://www.canopsis.fr/chatbot-canopsis-lassistant-ia-qui-change-lhypervision/
#Canopsis #Hypervision #IA #OpenSource #ITOps #SRE #Capensis #LLM
-
#Canopsis 26.04 🤖 Le chatbot IA est là !
Décrivez votre besoin en langage naturel, obtenez un filtre prêt à l'emploi... Le tout sans module externe, ni formation technique.
✅ Création et correction de patterns en langage naturel
✅ Compatible avec votre propre #LLM hébergé en interne
✅ Canopsis 26.10 prévoit déjà le MCP et le multi-LLM🔗 https://www.canopsis.fr/chatbot-canopsis-lassistant-ia-qui-change-lhypervision/
#Canopsis #Hypervision #IA #OpenSource #ITOps #SRE #Capensis #LLM
-
502 на ingress, 302 в приложении: как я учил инфраструктурного LLM-агента не врать
Я делаю внутреннего read-only LLM-агента для инфраструктурных расследований. Инженер задаёт вопрос обычным языком, а агент собирает доказательства из Kubernetes, метрик, логов, GitLab, Grafana и других эксплуатационных источников. Один реальный кейс показал, почему «умного промпта» недостаточно: edge вернул 502, хотя приложение для того же request_id записало успешный редирект 302. Чтобы найти причину и не придумать удобное объяснение, агенту пришлось научиться связывать источники, удерживать время и scope, различать факты, гипотезы и отсутствующие данные. В статье разбираю архитектуру агента на Go, DeepSeek, Qwen и MCP: планирование по evidence, контракты tools, память треда, подключение командных skills через n8n и evaluation на реальных сценариях. В последнем полном прогоне прошли 44 из 45 сценариев, включая все 29 обязательных.
https://habr.com/ru/articles/1063404/
#LLMагенты #SRE #DevOps #MCP #Go #Qwen #DeepSeek #Kubernetes #evaluation #observability
-
Periodic git-extra-commands announcement
https://github.com/unixorn/git-extra-commands is a collection of #git helper scripts and other git-related resources I've accumulated over the years.
You don't need a ZSH framework to use it - the framework code just adds the repo's bin directory to your PATH automatically.
-
Periodic git-extra-commands announcement
https://github.com/unixorn/git-extra-commands is a collection of #git helper scripts and other git-related resources I've accumulated over the years.
You don't need a ZSH framework to use it - the framework code just adds the repo's bin directory to your PATH automatically.
-
Особенности SRE в мобильном банкинге: подходы, вызовы и специфика
Привет, Хабр! Я Степан Аксенов, SRE-инженер в Т-Банке. Эта статья — часть проекта «20 в 20», приуроченного к 20-летию компании: в рамках проекта специалисты из разных городов рассказывают о своей работе, инженерной культуре и о том, как устроены распределенные команды внутри большого бигтеха. Однажды мы отключили проблемные функции на Android с помощью конфигурационной заглушки. Через 15 минут система зафиксировала резкий рост крашей — но уже на iOS. Оказалось, что решение, безопасное для одной платформы, сломало приложение на другой. Этот случай еще раз подтвердил, что mobile SRE не классический SRE и в нем нельзя полагаться на привычные практики. Нет ни отката, ни новых логов задним числом, ни полного контроля над средой. В статье — как мы адаптируем SRE-подходы под мобильный банкинг, где фронт работает на миллионах устройств, которые мы не контролируем.
-
An AI-Driven SRE System Automates Incident Resolution with Minimal Human Intervention
📰 Original title: Building an AI SRE That Doesn't Just Detect Incidents
🤖 IA: It's clickbait ⚠️
👥 Users: It's clickbait ⚠️ -
Canop'Tips 💡 Règles de récurrence dans #Canopsis
Les comportements périodiques ne se limitent pas au quotidien ou à l'hebdomadaire.
Avec les règles #RRULE (norme iCalendar RFC 5545), définissez des calendriers ultra-précis :
✅ Maintenance hebdomadaire
✅ Fermeture annuelle
✅ Mise en production trimestrielle
✅ ...🔗 https://doc.canopsis.net/latest/guide-utilisation/interface/pbehaviors/
#ITOps #SRE #OpenSource #Automatisation #RRULE #iCalendar #Canopsis #Hypervision #DevOps #Supervision #Monitoring
-
Canop'Tips 💡 Règles de récurrence des comportements périodiques dans #Canopsis
Les comportements périodiques ne se limitent pas au quotidien ou à l'hebdomadaire.
Avec les règles #RRULE (norme iCalendar RFC 5545), définissez des calendriers ultra-précis :
✅ Maintenance hebdomadaire
✅ Fermeture annuelle
✅ Mise en production trimestrielle
✅ ...🔗 https://doc.canopsis.net/latest/guide-utilisation/interface/pbehaviors/
#ITOps #SRE #OpenSource #Automatisation #RRULE #iCalendar #Canopsis #Hypervision #DevOps #Supervision #Monitoring
-
I got tired of searching GitHub, GitMoji cheat sheets, and old commit messages every time I wanted the "right" commit emoji.
So I built EmoCommits: a searchable commit emoji handbook for developers, DevOps engineers, SREs, and platform teams.
https://github.com/carvilsi/emocommits
✅ 800+ curated commit intents
🐳 Docker
☸️ Kubernetes
🌱 Terraform
📊 Observability
💾 Databases
☁️ Cloud
🌐 Networking
🤖 CI/CD
🔒 Security
…and much more.Search from your terminal:
emo -a docker kubernetes
emo tracing
emo security cveFeedback and contributions are welcome!
#commit #opensource #devops #kubernetes #docker #terraform #sre #programming
-
I got tired of searching GitHub, GitMoji cheat sheets, and old commit messages every time I wanted the "right" commit emoji.
So I built EmoCommits: a searchable commit emoji handbook for developers, DevOps engineers, SREs, and platform teams.
https://github.com/carvilsi/emocommits
✅ 800+ curated commit intents
🐳 Docker
☸️ Kubernetes
🌱 Terraform
📊 Observability
💾 Databases
☁️ Cloud
🌐 Networking
🤖 CI/CD
🔒 Security
…and much more.Search from your terminal:
emo -a docker kubernetes
emo tracing
emo security cveFeedback and contributions are welcome!
#commit #opensource #devops #kubernetes #docker #terraform #sre #programming
-
128-GPU LLM training stalled at 3 AM? 🛑 Escape the hardware telemetry trap.
100% GPU metrics lie during deadlocks. Our guide fixes it:
• Monitor power draw to expose collective deadlocks
• Catch thermal stragglers early via Prometheus
• Secure Ray dashboards using encrypted tunnelsDeploy on ServerMO GPU Dedicated Servers for unthrottled multi-node performance. ⚡
🔗 https://www.servermo.com/blogs/distributed-llm-training-slurm/
#Slurm #DevOps #SysAdmin #SRE #Linux #LLM #Telemetry #ServerMO
-
128-GPU LLM training stalled at 3 AM? 🛑 Escape the hardware telemetry trap.
100% GPU metrics lie during deadlocks. Our guide fixes it:
• Monitor power draw to expose collective deadlocks
• Catch thermal stragglers early via Prometheus
• Secure Ray dashboards using encrypted tunnelsDeploy on ServerMO GPU Dedicated Servers for unthrottled multi-node performance. ⚡
🔗 https://www.servermo.com/blogs/distributed-llm-training-slurm/
#Slurm #DevOps #SysAdmin #SRE #Linux #LLM #Telemetry #ServerMO
-
70B LLM download crashed your root OS? 🛑 Escape the classic Hugging Face storage trap.
Default cache routing fills hidden home directories, choking small boot drives. Our production guide fixes it:
• Route via HF_HOME (skip deprecated vars)
• Declare paths before Python imports
• Fix read-only container crashes via HF_HUB_OFFLINEDeploy on ServerMO GPU Dedicated Servers for unthrottled storage arrays.
🔗 https://www.servermo.com/howto/fix-huggingface-no-space-left-on-device/
-
70B LLM download crashed your root OS? 🛑 Escape the classic Hugging Face storage trap.
Default cache routing fills hidden home directories, choking small boot drives. Our production guide fixes it:
• Route via HF_HOME (skip deprecated vars)
• Declare paths before Python imports
• Fix read-only container crashes via HF_HUB_OFFLINEDeploy on ServerMO GPU Dedicated Servers for unthrottled storage arrays.
🔗 https://www.servermo.com/howto/fix-huggingface-no-space-left-on-device/
-
Сократили цикл разработки на 20% — и получили вдвое больше инцидентов
В продуктовой B2B-компании, где я отвечал за надёжность, поставили амбициозную цель: сократить цикл разработки (dev cycle time) на 20%. Забегая вперёд, скажу: к концу года цель достигли. Но уже через несколько месяцев после старта я смотрел на график инцидентов и не верил своим глазам: рост в два раза год к году. Эта статья — о том, почему так происходит почти всегда, когда компания оптимизирует одну метрику, как мы это починили и — главное — как продать решение руководству. Именно на продаже всё обычно и умирает.
https://habr.com/ru/articles/1059894/
#контрметрики #sre #метрики #надёжность #управление_разработкой #инциденты #dev_cycle_time
-
Radar v1.8 is out - the open-source single-binary Kubernetes UI I work on.
New: an Applications view that groups your workloads into the apps they form (inferred from Helm/Argo/Flux/labels), rebuilt navigation + global search, Helm upgrade tracking, and large-cluster performance work.
One Go binary, no account, no in-cluster agent. Apache-2.0.
-
Radar v1.8 is out - the open-source single-binary Kubernetes UI I work on.
New: an Applications view that groups your workloads into the apps they form (inferred from Helm/Argo/Flux/labels), rebuilt navigation + global search, Helm upgrade tracking, and large-cluster performance work.
One Go binary, no account, no in-cluster agent. Apache-2.0.
-
SRE Next 2026に参加してきました（特に心に残った2つのセッションの個人的まとめ）
https://qiita.com/monochro-photo/items/a0bc8673ecfa493465bd?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items -
🚀🚨 IncidentRelay: O nouă platformă open-source promite să revoluționeze managementul incidentelor și serviciul on-call
Pentru echipele de DevOps și inginerii de site reliability (SRE), gestionarea alertelor și a programului de permanență (on-call) este adesea o sursă majoră de stres. Piața actuală este dominată de soluții comerciale proprietare scumpe, precum PagerDuty sau Opsgenie. În acest context, lansarea IncidentRelay vine ca o gură de aer proaspăt pentru comunitatea open-source, oferind o platformă modernă, puternică și complet transparentă pentru managementul incidentelor critice.
IncidentRelay își propune să unifice fluxul de alerte dintr-o infrastructură și să se asigure că persoana potrivită este notificată la momentul potrivit, fără bătăi de cap legate de licențiere.
Iată principalele caracteristici și avantaje introduse de IncidentRelay:
🔹 Gestionarea inteligentă a programului On-Call (Rotations & Schedules):
Inima platformei este motorul său flexibil de planificare. IncidentRelay permite administratorilor să creeze calendare complexe de permanență, rotații automate între membrii echipei și reguli stricte de escaladare. Dacă o alertă critică nu primește răspuns de la inginerul de serviciu într-un interval stabilit de minute, platforma o trimite automat către următorul nivel de suport.🔹 Integrare nativă cu uneltele de monitorizare:
Platforma acționează ca un hub centralizat pentru toate sistemele tale de monitorizare. IncidentRelay vine cu suport pentru recepționarea alertelor prin Webhooks de la utilitare populare precum:Prometheus și Grafana
Zabbix și Datadog
Alerte din infrastructuri cloud (AWS, Google Cloud, Azure)
🔹 Canale de notificare flexibile:
Când serverele pică la ora 3 dimineața, notificarea trebuie să fie eficientă. IncidentRelay oferă opțiuni multiple pentru a alerta inginerii: de la mesaje instantanee pe platforme de chat precum Slack, Discord sau Matrix, până la trimiterea de SMS-uri sau apeluri telefonice automatizate, asigurându-se că nicio alertă critică nu este trecută cu vederea.🔹 Control total și independență (Self-Hosting):
Spre deosebire de alternativele SaaS, IncidentRelay poate fi auto-găzduită în totalitate în propria infrastructură securizată. Acest lucru oferă companiilor un control absolut asupra jurnalelor de incidente și a datelor sensibile despre infrastructură, eliminând totodată riscul ca instrumentul de alertare să devină indisponibil din cauza unei pene de curent din cloud-ul public extern.Lansarea IncidentRelay marchează un pas important către democratizarea uneltelor de tip Enterprise DevOps, oferind companiilor de toate dimensiunile o soluție gratuită, extrem de robustă și personalizabilă pentru a menține sistemele online și funcționale.
#OpenSource #IncidentRelay #DevOps #SRE #OnCall #IncidentManagement #SysAdmin #TechNews #Linuxiac
-
Atlassian по приколу уволила инженера который занимался инфрой... вот...
Чел 40 минут не нарушая НДА (моё почтение гению), рассказывает как устроена инфра у Atlassian 😁
https://www.youtube.com/watch?v=55pTFVoclvE#Atlassian #ІТ #Програмування #SoftwareEngineering #DevOps #Infrastructure #CloudComputing #SystemDesign #Backend #Kubernetes #AWS #EnvoyProxy #LoadBalancing #OpenSource #SRE #PlatformEngineering #CloudNative #TechTalk #YouTube #КарєраВІТ #Layoffs #AI #Jira #Confluence #Bitbucket
P.S. Попри гучні заголовки, у відео колишній інженер не порушує NDA та не розкриває конфіденційних даних. Це радше якісний розбір архітектурних рішень і досвіду побудови масштабної інфраструктури Atlassian, що підтверджують і технічна спільнота, і сам автор. https://bastyon.com/post?s=ee66225ee4b62985089ed1fc562da39ef8c751f0c3740a33d4971847844bbc6b&ref=PJ51iZCUEtcVrCj4Wof8Am7FbKLgbAJ7PS
-
Possibly controversial take: I like when the InfoSec team is very active/present and breathes down my neck. Gives me the confidence that I'm either doing something right, or they can stop me from doing something wrong. Of course it doesn't remove my responsibility of doing the appropriate research.
-
`sudo atlantis apply -auto-approve`