#etcd — Public Fediverse posts

IP не валяй, или как я переобувал кластер kubernetes на ходу

В статье рассматривается опыт миграции сети Kubernetes-кластера на новый IP-пул (Pool IP) с использованием CNI Cilium. Особое внимание уделено процессу смены IP-адресов для Pod'ов и Service'ов в работающем кластере без длительной остановки, а также подводных камнях, с которыми пришлось столкнуться при обновлении до версии 1.20.0. Материал будет полезен инженерам по эксплуатации Kubernetes использующих уже Cilium, а так же желающим познакомиться с этим инструментом.

https://habr.com/ru/articles/1068158/

#cilium #cni #kubernetes #сеть #etcd #cidr

[Перевод] Может ли Kubernetes выдержать миллион узлов? Эксперимент, графики, выводы

Часто первое, что хочется сделать при неполадках в кластере, — уменьшить его и надеяться, что всё решится само. Получается, большой кластер = куча проблем? Автор статьи решил зайти максимально далеко: поднять Kubernetes-кластер с миллионом узлов и посмотреть, что будет. Спойлер: получился вовсе не выстрел в ногу, а серьёзный эксперимент — много подготовки, обход ограничений, графики производительности и, конечно, ценные выводы. И даже инструкция в конце для желающих повторить.

https://habr.com/ru/companies/flant/articles/1064962/

#kubernetes #etcd #kubeapiserver #кластер_на_миллион_узлов #TxnPut #lease #inmemory_etcd #resourceVersion #watchзапросы #gomemlimit

We've released #etcd v3.7.0! The new version includes RangeStream, multiple performance improvements, and runs entirely from v3store, and more: https://etcd.io/blog/2026/announcing-etcd-3.7/

#kubernetes #cloudnative #databases

We've released #etcd v3.7.0! The new version includes RangeStream, multiple performance improvements, and runs entirely from v3store, and more: https://etcd.io/blog/2026/announcing-etcd-3.7/

#kubernetes #cloudnative #databases

Latest etcd patch release is out. Aside from updating a few dependencies, mainly it fixes upgrades for folks with old custom v2store data.

https://etcd.io/blog/2026/july-patch-release/

#etcd #kubernetes #cloudnative

Latest etcd patch release is out. Aside from updating a few dependencies, mainly it fixes upgrades for folks with old custom v2store data.

https://etcd.io/blog/2026/july-patch-release/

#etcd #kubernetes #cloudnative

IP подов кончились, а обычные решения не подошли: как мы расширили сеть на проде, не пересоздавая кластер (кейс + гайд)

Штатная ситуация оказалась задачей со звёздочкой: кластер кинул алерт о том, что заканчивается сеть подов, но ни одно решение «из методички» не подходило, а вытаскивать кластер из прода было нельзя. В статье расскажу, как мы не просто расширили подсеть подов, но сделали это на работающем кластере и не потеряли при этом данные. Что важно — трюк сработает на любом дистрибутиве Kubernetes и CNI.

https://habr.com/ru/companies/flant/articles/1045872/

#kubernetes #cilium #сеть #cidr #etcd

Проект Cozystack представил переработанный etcd-operator с новым API

В рамках проекта etcd-operator сообщество развивает оператор для развёртывания и сопровождения кластеров etcd в Kubernetes. На днях он был передан проекту Cozystack (CNCF Sandbox). Перед этим команда опубликовала написанную с нуля реализацию оператора с новой версией API — etcd-operator.cozystack.io/v1alpha2 . Эта версия пришла на смену etcd.aenix.io/v1alpha1 . Вместо управления узлами через StatefulSet новый оператор напрямую задействует штатный Membership API etcd (операции MemberAdd, MemberPromote и MemberRemove), что позволяет ему полностью контролировать состав кластера. Автор новой реализации — Тимофей Ларкин , один из мейнтейнеров прежнего оператора (старый код остался в ветке v1alpha1 ). Проект написан на Go и распространяется под лицензией Apache 2.0.

https://habr.com/ru/companies/aenix/articles/1047170/

#aenix #cozystack #devops #etcd #cncf #open_source #kubernetes #kubernetes_operator #kubernetes_cluster

Как строить отказоустойчивые кластеры Kubernetes: краткий разбор от команды VK Cloud

Миграция в облако и переход к микросервисной архитектуре сделали Kubernetes (k8s) де-факто стандартом для управления контейнерами. По данным 2025 года, технологию уже применяют 60% крупных российских компаний, а ещё 15% планируют внедрение в будущем. Причем 59% компаний называют отказоустойчивость ключевым критерием при выборе Kubernetes, но лишь единицы реализуют его на практике. Проблема кроется в недооценке системных рисков — от отсутствия резервирования control plane до некорректных таймингов readiness-проб, пропускающих «полуживые» поды в балансировщик. В этой статье мы кратко разберем ключевые принципы проектирования и эксплуатации отказоустойчивых кластеров, типовые сценарии сбоев и рекомендации по исключению рисков на всех уровнях.

https://habr.com/ru/companies/vktech/articles/1042084/

#vk_cloud #kubernetes #отказоустойчивость #high_availability #devops #etcd #storage #statefulset #gitops #backup

Friends don't let friends run production etcd on SATA disks (or basically anywhere other than local NVMe)!

I was deploying 50 kubernetes virtual clusters (with vcluster) on top of a bare metal cluster running Talos.

All the nodes had NVMe disks, except one, which had SATA SSD... And it did not go well at all.

I was expecting to see a difference, but not that big. The SATA disks were saturated while the NVMe were hovering between 1-5% of I/O load.

The SATA disks were so overloaded, that I had to kick out their node from the etcd cluster (because the API server was extremely slow).

Oh well, it'll be 100% NVMe on this cluster from now on!

#etcd #kubernetes #vcluster #ssd #nvme #homelab

Friends don't let friends run production etcd on SATA disks (or basically anywhere other than local NVMe)!

I was deploying 50 kubernetes virtual clusters (with vcluster) on top of a bare metal cluster running Talos.

All the nodes had NVMe disks, except one, which had SATA SSD... And it did not go well at all.

I was expecting to see a difference, but not that big. The SATA disks were saturated while the NVMe were hovering between 1-5% of I/O load.

The SATA disks were so overloaded, that I had to kick out their node from the etcd cluster (because the API server was extremely slow).

Oh well, it'll be 100% NVMe on this cluster from now on!

#etcd #kubernetes #vcluster #ssd #nvme #homelab

Ваш Kubernetes упал: найдёте root cause за 15 минут?

Вторник, 14:00. Кластер Kubernetes перестал отвечать, команда в панике, а вам нужно за 15 минут найти первопричину. В этой статье пройдём диагностику реального отказа вместе с SRE: увидим логи, манифест etcd и ошибки, которые совершают даже опытные инженеры. Попробуйте сначала решить задачу сами, а потом сверьтесь с пошаговым разбором и проверьте, насколько вы готовы к такому инциденту.

https://habr.com/ru/companies/otus/articles/1031260/

#Kubernetes #etcd #kubelet #SRE #DevOps #productionинцидент #отказ_кластера #root_cause #control_plane #runbook

We've released #etcd v3.7.0-beta.0!

https://etcd.io/blog/2026/etcd-370-beta/

This release includes RangeStream queries and more.

It also represents several milestones for our project: second regular annual release, our first beta in years, and the addition of long-requested user-visible features instead of just focusing on stability.

Please test it out and let us know how it works for you!

#kubernetes #CloudNative #database

We've released #etcd v3.7.0-beta.0!

https://etcd.io/blog/2026/etcd-370-beta/

This release includes RangeStream queries and more.

It also represents several milestones for our project: second regular annual release, our first beta in years, and the addition of long-requested user-visible features instead of just focusing on stability.

Please test it out and let us know how it works for you!

#kubernetes #CloudNative #database

Распределенное KV-хранилище на базе etcd

Я постараюсь, не углубляясь в технические дебри, в научно-популярном ключе рассказать о распределенных KV-хранилищах: что это вообще такое, где применяется и почему мы выбрали именно etcd.

https://habr.com/ru/articles/1025994/

#etcd #KVхранилища #инфраструктура

etcd operator 0.2 has been released!

https://etcd.io/blog/2026/announcing-etcd-operator-v0.2.0/

This now makes the operator useful for production, or at least staging, use-cases, and brings it up to the functionality of the old operator -- plus better handling of TLS.

Take a look!

#kubernetes #etcd #operators

etcd operator 0.2 has been released!

https://etcd.io/blog/2026/announcing-etcd-operator-v0.2.0/

This now makes the operator useful for production, or at least staging, use-cases, and brings it up to the functionality of the old operator -- plus better handling of TLS.

Take a look!

#kubernetes #etcd #operators

⚠️ NEW: Kubernetes Swap & etcd Stability!

Prevent control plane hangs with proper swap configuration. etcd performance tuning & swapfile best practices for production K8s.

📖 Read: https://devopstales.github.io/kubernetes/k8s-swap-etcd-stability/?utm_source=twitter&utm_medium=social

#Kubernetes #etcd #Performance #SRE #K8s

Swap on K8s nodes? Containers hang instead of OOM-killing—etcd suffers, control plane cascades. 2 fixes: resource limits + etcd HAProxy LB. Protect your cluster! 👇

https://devopstales.github.io/kubernetes/k8s-swap-etcd-stability/

#Kubernetes #etcd #SRE #DevOps #CloudNative #Stability

What reason would there be to seperate etcd out of the Kubernetes manifests of the control plane nodes but keep it as a native service installed on the same machines running the control plane?

There's nothing to gain in terms of high availability there.

You still have X amount of control plane nodes that also run etcd as cluster nodes.

I'm trying to figure out what my predecessor thought while building this Kubernetes environment.

The two etcd topologies mentioned in official K8S docs are:

- integrated etcd (etcd as a Kubernetes Manifest, started as containers together with coredns, kube-apiserver and so on)

- seperated etcd nodes (X amount of machines that host etcd as a native service on the OS and the control plane is configured to use them.

#kubernetes #devop #k8s #etcd

What reason would there be to seperate etcd out of the Kubernetes manifests of the control plane nodes but keep it as a native service installed on the same machines running the control plane?

There's nothing to gain in terms of high availability there.

You still have X amount of control plane nodes that also run etcd as cluster nodes.

I'm trying to figure out what my predecessor thought while building this Kubernetes environment.

The two etcd topologies mentioned in official K8S docs are:

- integrated etcd (etcd as a Kubernetes Manifest, started as containers together with coredns, kube-apiserver and so on)

- seperated etcd nodes (X amount of machines that host etcd as a native service on the OS and the control plane is configured to use them.

#kubernetes #devop #k8s #etcd

In my (short) dad time this morning, I've tried to install mgmt [1] to run a distributed hello world on my main machine running on Ubuntu LTS. The built-in binaries depend on augeas which was easy to fix. But also libvirt which is surprisingly old on Ubuntu compared to Debian (latest). I tried to build it myself but I couldn't install nex (the lexer). I then built the binary using Docker thanks to the quick start guide.

I first started to run mgmt in standalone mode. It's nice to see etcd embedded in the binary (at least for testing). Then I tried to deploy multi mgmt nodes with a standalone etcd using docker-compose. I've lost a lot of time trying to override the command because I didn't remember the expected syntax.

I was trying to make etcd listen to all interfaces so mgmt could connect when my daughter showed up.

[1] https://github.com/purpleidea/mgmt (@purpleidea)

#mgmt #homelab #selfhosting #etcd #docker #libvirt #ubuntu #debian

In my (short) dad time this morning, I've tried to install mgmt [1] to run a distributed hello world on my main machine running on Ubuntu LTS. The built-in binaries depend on augeas which was easy to fix. But also libvirt which is surprisingly old on Ubuntu compared to Debian (latest). I tried to build it myself but I couldn't install nex (the lexer). I then built the binary using Docker thanks to the quick start guide.

I first started to run mgmt in standalone mode. It's nice to see etcd embedded in the binary (at least for testing). Then I tried to deploy multi mgmt nodes with a standalone etcd using docker-compose. I've lost a lot of time trying to override the command because I didn't remember the expected syntax.

I was trying to make etcd listen to all interfaces so mgmt could connect when my daughter showed up.

[1] https://github.com/purpleidea/mgmt (@purpleidea)

#mgmt #homelab #selfhosting #etcd #docker #libvirt #ubuntu #debian

Эволюция сбора flow-статистики в Яндексе: архитектура, грабли и оптимизации

Привет, Хабр! На связи Саша Лопинцев, SRE в группе разработки сетевой инфраструктуры и мониторинга Yandex Infrastructure. Я очень люблю мониторинг — а когда дело касается видимости сетевого трафика, нам не обойтись без анализа flow‑данных. Сегодня расскажу, как и почему мы переехали с устаревшего flow‑коллектора на GoFlow2, реализовали запись в БД и через etcd решили проблемы с шаблонами. Новая система обрабатывает 85 тысяч пакетов статистики в секунду, обеспечивает отказоустойчивость и помогает создавать отчёты. Если вам интересно узнать чуть больше об архитектуре, экспериментах, ошибках и решениях, полезных для инфраструктурного мониторинга в продакшн‑среде, читайте далее.

https://habr.com/ru/companies/yandex/articles/1000520/

#flowметрики #goflow #goflow2 #etcd #ipfix #sflow #netflow

Finally completed the upgrade of all of the five @midgaard #Kubernetes nodes to what I colloquially refer to as midgaard-v3.

Same standard #Hetzner nodes with a couple of #NVMe sticks and around 10TB of spinning metal for bulk storage. Much simplified partition layout. NVMes used for caching. Scheduled backups of #etcd. Continuous SMART disk testing and reporting.

The four other nodes have been running smoothly for about a month so I don't expect any surprises at this point. Distro is #Debian Trixie. Kubernetes is version 1.33.

All is well.

So far.

Finally completed the upgrade of all of the five @midgaard #Kubernetes nodes to what I colloquially refer to as midgaard-v3.

Same standard #Hetzner nodes with a couple of #NVMe sticks and around 10TB of spinning metal for bulk storage. Much simplified partition layout. NVMes used for caching. Scheduled backups of #etcd. Continuous SMART disk testing and reporting.

The four other nodes have been running smoothly for about a month so I don't expect any surprises at this point. Distro is #Debian Trixie. Kubernetes is version 1.33.

All is well.

So far.

This time I’m back, and for GOOD !
All of those IO throttled Pis have been replace by beefy’sh m920q*3, that should make everything more stable, maybe even etcd stops timing out ?
At least, now Longhorn will have ample space to work with, and bandwidth to consume without affecting performance

#selfhosting #selfhosted #homelab #k3s #kubernetes #longhorn #lenovo #cluster #raspberrypi #io #etcd

This time I’m back, and for GOOD !
All of those IO throttled Pis have been replace by beefy’sh m920q*3, that should make everything more stable, maybe even etcd stops timing out ?
At least, now Longhorn will have ample space to work with, and bandwidth to consume without affecting performance

#selfhosting #selfhosted #homelab #k3s #kubernetes #longhorn #lenovo #cluster #raspberrypi #io #etcd

etcd-walker: TUI-проводник по etcd для ленивых (и не только?)

Привет Хабр! Если вам тоже доводилось разбирать незнакомый проект, сопровождать прод или помогать QA, вы знаете, как быстро начинаешь ненавидеть однообразные команды etcdctl: копировать ключ, вбивать get, ловить в терминале многострочные значения, скроллить историю… Особенно если ключей сотни, а половина из них — конфиги или JSON’ы на несколько экранов. Мне хотелось чего-то попроще: запустил один бинарь в терминале и спокойно ходишь по дереву ключей etcd , как по файловой системе, подобно mc . Без браузера, без копипаста, с нормальным просмотром и редактированием многострочных значений. Так появился etcd-walker . Под катом расскажу, как он устроен, почему в etcd v2 внезапно пропадают ключи, которые начинаются с подчеркивания, как их всё-таки увидеть, зачем понадобилась “инъекция” узлов, и как решить боль с большими многострочными ключами, например JSON или yaml. А также покажу, как этот инструмент помогает разбираться с локами, которые создает python библиотека для работы c etcd. Если вы хоть раз пробовали разгрести чужое хранилище в etcd, то поймёте, почему без подобного инструмента жить уже не хочется.

https://habr.com/ru/companies/hstx/articles/973628/

#etcd #etcdctl #etcd_v2 #etcd_v3 #TUI #консольный_интерфейс #файловый_менеджер #DevOps #системное_администрирование #конфигурация_сервисов

kubernetes Deep Dive (etcd + Raft)
https://qiita.com/Plath/items/6a07fbbda5b443b4079a?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #etcd #raft #kubernetes

Hmm my services are running fine as far as I can tell, but my #Rancher/#RKE2 #Kubernetes cluster is acting up - possibly #etcd related?

Biggest tell being how the control plane/API server not being the most responsive, and some essential pods failing/restarting including #cert-manager, cloud-controller-manager, csi-smb-controller, kube-apiserver, kube-scheduler, rke2-snapshot-controller, csi-provisioner + -resizer, -snapshotter, yadda yadda.

Not sure what could be causing it just yet.

Hmm my services are running fine as far as I can tell, but my #Rancher/#RKE2 #Kubernetes cluster is acting up - possibly #etcd related?

Biggest tell being how the control plane/API server not being the most responsive, and some essential pods failing/restarting including #cert-manager, cloud-controller-manager, csi-smb-controller, kube-apiserver, kube-scheduler, rke2-snapshot-controller, csi-provisioner + -resizer, -snapshotter, yadda yadda.

Not sure what could be causing it just yet.

Bringing #etcd to the database with #Rust and pgrx https://www.cybertec-postgresql.com/en/bringing-etcd-to-the-database-with-rust-and-pgrx/ #postgresql

Bringing #etcd to the database with #Rust and pgrx https://www.cybertec-postgresql.com/en/bringing-etcd-to-the-database-with-rust-and-pgrx/ #postgresql

А кто у вас отвечает за kube-api? Безопасность Kubernetesпри помощи CIS Benchmark

Kubernetes в IT-инфраструктуре — это не просто про удобство деплоя. Это критическая часть сервиса. Одна неправильная настройка kube-apiserver или etcd — и вместо кластера вы получите бублик с дыркой, через который утекут и данные, и бизнес-процессы. В этой статье разберем, какие стандарты защищают контейнерные среды, почему CIS-бенчмарк часто становится первой точкой опоры, какие практики дополняют его и как

https://habr.com/ru/companies/selectel/articles/963560/

#selectel #kubernetes #managed_kubernetes #настройка_kube #etcd #mastermind #worker #policy #control_plane #CIS_Benchmark

А кто у вас отвечает за kube-api? Безопасность Kubernetes при помощи CIS Benchmark

Kubernetes в IT-инфраструктуре — это не просто про удобство деплоя. Это критическая часть сервиса. Одна неправильная настройка kube-apiserver или etcd — и вместо кластера вы получите бублик с дыркой, через который утекут и данные, и бизнес-процессы. В этой статье разберем, какие стандарты защищают контейнерные среды, почему CIS-бенчмарк часто становится первой точкой опоры, какие практики дополняют его и как

https://habr.com/ru/companies/selectel/articles/963562/

#selectel #kubernetes #managed_kubernetes #настройка_kube #etcd #mastermind #worker #policy #control_plane #CIS_Benchmark

One of the main things that annoy me in the #Golang package ecosystem. A patch update of a dependency brings in a requirement of a new compiler version. What are the chances that #etcd folks sincerely believe they're following semver?

The reason given is usually "because the old version is EOL", and this is a well-meant but also 100% wrong. If you're bumping a compiler version in go.mod for a reason that is not "I need new compiler features/behaviour", you don't understand what you're doing.

One of the main things that annoy me in the #Golang package ecosystem. A patch update of a dependency brings in a requirement of a new compiler version. What are the chances that #etcd folks sincerely believe they're following semver?

The reason given is usually "because the old version is EOL", and this is a well-meant but also 100% wrong. If you're bumping a compiler version in go.mod for a reason that is not "I need new compiler features/behaviour", you don't understand what you're doing.

[Перевод] MySQL в Uber

Как поддерживать свыше 2300 кластеров MySQL без заметных простоев? В Uber это решают разделением на плоскости данных, управления и обнаружения и строгим приведением фактического состояния к desired state. В материале — анатомия control plane (Odin, Cadence, контроллер с правилами), как устроены плавные и аварийные переключения primary, замена узлов и онлайн-изменения схемы; как discovery на etcd и реверс-прокси даёт стабильный VIP; как наблюдаемость, CDC (Storagetapper→Kafka→Hive) и бэкапы закрывают эксплуатацию. ФВ фокусе — инженерные решения, которые позволяют удерживать 99,99% доступности без ручной магии. К архитектуре

https://habr.com/ru/companies/otus/articles/957296/

#кластер_MySQL #плоскость_управления #алансировка_нагрузки #наблюдаемость #CDC #kafka #Cadence #etcd

I've been doing things I shouldn't with #Kubernetes. We're using a replicated #MinIO cluster as the storage backend on #mstdndk, which requires a boat load of storage, especially if you forget to specify any kind of retention. So far, the quick workaround for a full disk, was just to expand the filesystem. Since we're replicating across nodes, we're using #OpenEBS #LVM for local storage. Poor partitioning means we're running out of storage on the volume group, but even worse - PVCs sizes were increased before checking if we had space for it. Kubernetes is now stuck in a most unfortunate situation - it can't grow the local filesystem, as the volume group is full and you're not allowed to decrease the size request. What then? Cue https://github.com/etcd-io/auger - a tools that allows you to edit #K8s resources directly in #etcd. Obviously you should never do this, but with steady hands and clinical precision, you can get yourself out of a pickle like mine. Size was reverted and PVCs were unstuck.

Figured out some more of the homelab Kubernetes fun tonight: I probably need an etcd operator on the cluster, responding on some-hostname:2379 so that the external-dns service can find what it needs. I don't have this setup yet so nothing is running on :2379.

I didn't see this mentioned in the docs so tomorrow I'll design something and see if I can get it working.

I also really should take some better notes, if only for my own documentation. Then I should probably redeploy my original infrastructure.

#homelab #kubernetes #etcd #dns #externaldns

So now I have unroutable messages in #RabbitMQ for the first time ever, and other weird as #fuck other network glitches. Like the spike in the graph only showing up after 40 seconds instead of right away. Often #ETCD leader changes, so terraforming updates it going to be fun.

Thanks to a trivial patch I made, the #etcd README now has working links to the actual API docs.

https://github.com/etcd-io/etcd#documentation

Small victories.

#etcd 3.6.0, the first feature release in 4 years, is out today!

Highlight include memory/performance improvements, v3store, downgrade support, and livez/readyz endpoints.

Try it out, and get ready to upgrade to 3.6 for all your #kubernetes workloads!

https://etcd.io/blog/2025/announcing-etcd-3.6/

Documenting stuff is really great, because you figure out that a lot of people seem to be doing it wrong.

Or can anybody tell me a valid use case for having an #etcd certificate have IP/DNS SANs of *all* cluster members? Assuming that they're all distinct and do not share load-balanced addresses between them?

From my reading, neither the `server` certificate nor the `peer certificate` need to be aware of the other cluster nodes and are completely node-focused.