#etcd — Public Fediverse posts

Распределенное KV-хранилище на базе etcd

Я постараюсь, не углубляясь в технические дебри, в научно-популярном ключе рассказать о распределенных KV-хранилищах: что это вообще такое, где применяется и почему мы выбрали именно etcd.

https://habr.com/ru/articles/1025994/

#etcd #KVхранилища #инфраструктура

etcd operator 0.2 has been released!

https://etcd.io/blog/2026/announcing-etcd-operator-v0.2.0/

This now makes the operator useful for production, or at least staging, use-cases, and brings it up to the functionality of the old operator -- plus better handling of TLS.

Take a look!

#kubernetes #etcd #operators

What reason would there be to seperate etcd out of the Kubernetes manifests of the control plane nodes but keep it as a native service installed on the same machines running the control plane?

There's nothing to gain in terms of high availability there.

You still have X amount of control plane nodes that also run etcd as cluster nodes.

I'm trying to figure out what my predecessor thought while building this Kubernetes environment.

The two etcd topologies mentioned in official K8S docs are:

- integrated etcd (etcd as a Kubernetes Manifest, started as containers together with coredns, kube-apiserver and so on)

- seperated etcd nodes (X amount of machines that host etcd as a native service on the OS and the control plane is configured to use them.

#kubernetes #devop #k8s #etcd

In my (short) dad time this morning, I've tried to install mgmt [1] to run a distributed hello world on my main machine running on Ubuntu LTS. The built-in binaries depend on augeas which was easy to fix. But also libvirt which is surprisingly old on Ubuntu compared to Debian (latest). I tried to build it myself but I couldn't install nex (the lexer). I then built the binary using Docker thanks to the quick start guide.

I first started to run mgmt in standalone mode. It's nice to see etcd embedded in the binary (at least for testing). Then I tried to deploy multi mgmt nodes with a standalone etcd using docker-compose. I've lost a lot of time trying to override the command because I didn't remember the expected syntax.

I was trying to make etcd listen to all interfaces so mgmt could connect when my daughter showed up.

[1] https://github.com/purpleidea/mgmt (@purpleidea)

#mgmt #homelab #selfhosting #etcd #docker #libvirt #ubuntu #debian

Эволюция сбора flow-статистики в Яндексе: архитектура, грабли и оптимизации

Привет, Хабр! На связи Саша Лопинцев, SRE в группе разработки сетевой инфраструктуры и мониторинга Yandex Infrastructure. Я очень люблю мониторинг — а когда дело касается видимости сетевого трафика, нам не обойтись без анализа flow‑данных. Сегодня расскажу, как и почему мы переехали с устаревшего flow‑коллектора на GoFlow2, реализовали запись в БД и через etcd решили проблемы с шаблонами. Новая система обрабатывает 85 тысяч пакетов статистики в секунду, обеспечивает отказоустойчивость и помогает создавать отчёты. Если вам интересно узнать чуть больше об архитектуре, экспериментах, ошибках и решениях, полезных для инфраструктурного мониторинга в продакшн‑среде, читайте далее.

https://habr.com/ru/companies/yandex/articles/1000520/

#flowметрики #goflow #goflow2 #etcd #ipfix #sflow #netflow

Эволюция сбора flow-статистики в Яндексе: архитектура, грабли и оптимизации

Привет, Хабр! На связи Саша Лопинцев, SRE в группе разработки сетевой инфраструктуры и мониторинга Yandex Infrastructure. Я очень люблю мониторинг — а когда дело касается видимости сетевого трафика, нам не обойтись без анализа flow‑данных. Сегодня расскажу, как и почему мы переехали с устаревшего flow‑коллектора на GoFlow2, реализовали запись в БД и через etcd решили проблемы с шаблонами. Новая система обрабатывает 85 тысяч пакетов статистики в секунду, обеспечивает отказоустойчивость и помогает создавать отчёты. Если вам интересно узнать чуть больше об архитектуре, экспериментах, ошибках и решениях, полезных для инфраструктурного мониторинга в продакшн‑среде, читайте далее.

https://habr.com/ru/companies/yandex/articles/1000520/

#flowметрики #goflow #goflow2 #etcd #ipfix #sflow #netflow

Эволюция сбора flow-статистики в Яндексе: архитектура, грабли и оптимизации

Привет, Хабр! На связи Саша Лопинцев, SRE в группе разработки сетевой инфраструктуры и мониторинга Yandex Infrastructure. Я очень люблю мониторинг — а когда дело касается видимости сетевого трафика, нам не обойтись без анализа flow‑данных. Сегодня расскажу, как и почему мы переехали с устаревшего flow‑коллектора на GoFlow2, реализовали запись в БД и через etcd решили проблемы с шаблонами. Новая система обрабатывает 85 тысяч пакетов статистики в секунду, обеспечивает отказоустойчивость и помогает создавать отчёты. Если вам интересно узнать чуть больше об архитектуре, экспериментах, ошибках и решениях, полезных для инфраструктурного мониторинга в продакшн‑среде, читайте далее.

https://habr.com/ru/companies/yandex/articles/1000520/

#flowметрики #goflow #goflow2 #etcd #ipfix #sflow #netflow

Эволюция сбора flow-статистики в Яндексе: архитектура, грабли и оптимизации

Привет, Хабр! На связи Саша Лопинцев, SRE в группе разработки сетевой инфраструктуры и мониторинга Yandex Infrastructure. Я очень люблю мониторинг — а когда дело касается видимости сетевого трафика, нам не обойтись без анализа flow‑данных. Сегодня расскажу, как и почему мы переехали с устаревшего flow‑коллектора на GoFlow2, реализовали запись в БД и через etcd решили проблемы с шаблонами. Новая система обрабатывает 85 тысяч пакетов статистики в секунду, обеспечивает отказоустойчивость и помогает создавать отчёты. Если вам интересно узнать чуть больше об архитектуре, экспериментах, ошибках и решениях, полезных для инфраструктурного мониторинга в продакшн‑среде, читайте далее.

https://habr.com/ru/companies/yandex/articles/1000520/

#flowметрики #goflow #goflow2 #etcd #ipfix #sflow #netflow

Finally completed the upgrade of all of the five @midgaard #Kubernetes nodes to what I colloquially refer to as midgaard-v3.

Same standard #Hetzner nodes with a couple of #NVMe sticks and around 10TB of spinning metal for bulk storage. Much simplified partition layout. NVMes used for caching. Scheduled backups of #etcd. Continuous SMART disk testing and reporting.

The four other nodes have been running smoothly for about a month so I don't expect any surprises at this point. Distro is #Debian Trixie. Kubernetes is version 1.33.

All is well.

So far.

This time I’m back, and for GOOD !
All of those IO throttled Pis have been replace by beefy’sh m920q*3, that should make everything more stable, maybe even etcd stops timing out ?
At least, now Longhorn will have ample space to work with, and bandwidth to consume without affecting performance

#selfhosting #selfhosted #homelab #k3s #kubernetes #longhorn #lenovo #cluster #raspberrypi #io #etcd

etcd-walker: TUI-проводник по etcd для ленивых (и не только?)

Привет Хабр! Если вам тоже доводилось разбирать незнакомый проект, сопровождать прод или помогать QA, вы знаете, как быстро начинаешь ненавидеть однообразные команды etcdctl: копировать ключ, вбивать get, ловить в терминале многострочные значения, скроллить историю… Особенно если ключей сотни, а половина из них — конфиги или JSON’ы на несколько экранов. Мне хотелось чего-то попроще: запустил один бинарь в терминале и спокойно ходишь по дереву ключей etcd , как по файловой системе, подобно mc . Без браузера, без копипаста, с нормальным просмотром и редактированием многострочных значений. Так появился etcd-walker . Под катом расскажу, как он устроен, почему в etcd v2 внезапно пропадают ключи, которые начинаются с подчеркивания, как их всё-таки увидеть, зачем понадобилась “инъекция” узлов, и как решить боль с большими многострочными ключами, например JSON или yaml. А также покажу, как этот инструмент помогает разбираться с локами, которые создает python библиотека для работы c etcd. Если вы хоть раз пробовали разгрести чужое хранилище в etcd, то поймёте, почему без подобного инструмента жить уже не хочется.

https://habr.com/ru/companies/hstx/articles/973628/

#etcd #etcdctl #etcd_v2 #etcd_v3 #TUI #консольный_интерфейс #файловый_менеджер #DevOps #системное_администрирование #конфигурация_сервисов

Hmm my services are running fine as far as I can tell, but my #Rancher/#RKE2 #Kubernetes cluster is acting up - possibly #etcd related?

Biggest tell being how the control plane/API server not being the most responsive, and some essential pods failing/restarting including #cert-manager, cloud-controller-manager, csi-smb-controller, kube-apiserver, kube-scheduler, rke2-snapshot-controller, csi-provisioner + -resizer, -snapshotter, yadda yadda.

Not sure what could be causing it just yet.

Bringing #etcd to the database with #Rust and pgrx https://www.cybertec-postgresql.com/en/bringing-etcd-to-the-database-with-rust-and-pgrx/ #postgresql

А кто у вас отвечает за kube-api? Безопасность Kubernetesпри помощи CIS Benchmark

Kubernetes в IT-инфраструктуре — это не просто про удобство деплоя. Это критическая часть сервиса. Одна неправильная настройка kube-apiserver или etcd — и вместо кластера вы получите бублик с дыркой, через который утекут и данные, и бизнес-процессы. В этой статье разберем, какие стандарты защищают контейнерные среды, почему CIS-бенчмарк часто становится первой точкой опоры, какие практики дополняют его и как

https://habr.com/ru/companies/selectel/articles/963560/

#selectel #kubernetes #managed_kubernetes #настройка_kube #etcd #mastermind #worker #policy #control_plane #CIS_Benchmark

А кто у вас отвечает за kube-api? Безопасность Kubernetes при помощи CIS Benchmark

Kubernetes в IT-инфраструктуре — это не просто про удобство деплоя. Это критическая часть сервиса. Одна неправильная настройка kube-apiserver или etcd — и вместо кластера вы получите бублик с дыркой, через который утекут и данные, и бизнес-процессы. В этой статье разберем, какие стандарты защищают контейнерные среды, почему CIS-бенчмарк часто становится первой точкой опоры, какие практики дополняют его и как

https://habr.com/ru/companies/selectel/articles/963562/

#selectel #kubernetes #managed_kubernetes #настройка_kube #etcd #mastermind #worker #policy #control_plane #CIS_Benchmark

One of the main things that annoy me in the #Golang package ecosystem. A patch update of a dependency brings in a requirement of a new compiler version. What are the chances that #etcd folks sincerely believe they're following semver?

The reason given is usually "because the old version is EOL", and this is a well-meant but also 100% wrong. If you're bumping a compiler version in go.mod for a reason that is not "I need new compiler features/behaviour", you don't understand what you're doing.

[Перевод] MySQL в Uber

Как поддерживать свыше 2300 кластеров MySQL без заметных простоев? В Uber это решают разделением на плоскости данных, управления и обнаружения и строгим приведением фактического состояния к desired state. В материале — анатомия control plane (Odin, Cadence, контроллер с правилами), как устроены плавные и аварийные переключения primary, замена узлов и онлайн-изменения схемы; как discovery на etcd и реверс-прокси даёт стабильный VIP; как наблюдаемость, CDC (Storagetapper→Kafka→Hive) и бэкапы закрывают эксплуатацию. ФВ фокусе — инженерные решения, которые позволяют удерживать 99,99% доступности без ручной магии. К архитектуре

https://habr.com/ru/companies/otus/articles/957296/

#кластер_MySQL #плоскость_управления #алансировка_нагрузки #наблюдаемость #CDC #kafka #Cadence #etcd

Тени секретов в etcd: удалил ≠ уничтожил

Привет, Хабр! Сегодня мы рассмотрим ту историю, когда удалённый секрет вдруг оказазывается вовсе не уничтоженным. Разберёмся, что происходит с вашими конфиденциальными данными внутри etcd, и почему простого удаления секрета недостаточно, чтобы навсегда вычеркнуть его из истории. Узнать, куда исчезают секреты

https://habr.com/ru/companies/otus/articles/955290/

#kubernets #безопасность #etcd #secrets #Kubernetes_Secrets #безопасность_Kubernetes

I've been doing things I shouldn't with #Kubernetes. We're using a replicated #MinIO cluster as the storage backend on #mstdndk, which requires a boat load of storage, especially if you forget to specify any kind of retention. So far, the quick workaround for a full disk, was just to expand the filesystem. Since we're replicating across nodes, we're using #OpenEBS #LVM for local storage. Poor partitioning means we're running out of storage on the volume group, but even worse - PVCs sizes were increased before checking if we had space for it. Kubernetes is now stuck in a most unfortunate situation - it can't grow the local filesystem, as the volume group is full and you're not allowed to decrease the size request. What then? Cue https://github.com/etcd-io/auger - a tools that allows you to edit #K8s resources directly in #etcd. Obviously you should never do this, but with steady hands and clinical precision, you can get yourself out of a pickle like mine. Size was reverted and PVCs were unstuck.

Figured out some more of the homelab Kubernetes fun tonight: I probably need an etcd operator on the cluster, responding on some-hostname:2379 so that the external-dns service can find what it needs. I don't have this setup yet so nothing is running on :2379.

I didn't see this mentioned in the docs so tomorrow I'll design something and see if I can get it working.

I also really should take some better notes, if only for my own documentation. Then I should probably redeploy my original infrastructure.

#homelab #kubernetes #etcd #dns #externaldns

[Перевод] etcd в Kubernetes: разбираемся с задержками

Эта статья будет полезна DevOps-инженерам, SRE-специалистам и всем, кто работает с Kubernetes и хочет глубже понять его внутренние механизмы. Если вы настраиваете, масштабируете или устраняете неполадки в кластере K8s, важно разобраться в etcd — распределенном key-value-хранилище, которое лежит в основе отказоустойчивости Kubernetes. Надо отметить, что etcd обеспечивает консистентность и надежное хранение критически важных данных: состояния нод, конфигураций, секретов и другой информации кластера. Без него Kubernetes не мог бы гарантировать высокую доступность и согласованность данных. В этой статье мы разберем распространенные мифы о etcd, а также дадим практические рекомендации по его настройке и эксплуатации. В основе материала — перевод опубликованных исследований инженеров Red Hat. Примечание редактора: Нам показалось, что авторы хорошо знакомы с механизмами etcd, но мало разбираются в работе СХД, поэтому мы дополнили перевод своими комментариями.

https://habr.com/ru/companies/chislitellab/articles/934526/

#etcd #отказоустойчивость #kubernetes #k8s #базы_данных #администрирование #штурвал

DNS-хаос, зомби-поды и майнеры в кластере: самые невероятные случаи при работе с Kubernetes

Kubernetes — мощный и одновременно сложный инструмент, работа с которым неизбежно порождает… инциденты. И на практике DNS виновата далеко не всегда. Иногда всё ломает слишком длинное имя деплоймента, протухший CA-сертификат или сбой сетевой карты, из-за которого TCP-пакеты просто отбрасываются. В статье вас ждут самые интересные и поучительные инженерные истории с Reddit.

https://habr.com/ru/companies/flant/articles/931902/

#kubernetes #dns #майнеры #зомбиподы #cni #kubedns #stickyсессии #etcd #argo_cd #инциденты

What's that phenomenon where the mate withers and becomes a parasite on the other's body?

#etcd

#k8s #kubernetes #kh8s

So now I have unroutable messages in #RabbitMQ for the first time ever, and other weird as #fuck other network glitches. Like the spike in the graph only showing up after 40 seconds instead of right away. Often #ETCD leader changes, so terraforming updates it going to be fun.

Thanks to a trivial patch I made, the #etcd README now has working links to the actual API docs.

https://github.com/etcd-io/etcd#documentation

Small victories.

The #s390x open source software team at IBM confirms the latest versions of various software packages run well on #Linux on #IBMZ & #LinuxONE

In February 2025 validation was maintained for over 3 dozen projects, including the #Apache HTTP server, #Bazel and #etcd

Plus, community CI and docs were added to go-mysql, and fastfetch added CI & began releasing binaries with v2.36.0!

Full report + how your project can apply for a s390x VM: https://community.ibm.com/community/user/ibmz-and-linuxone/blogs/elizabeth-k-joseph1/2025/03/18/linuxone-open-source-report-february-2025

Автоматические резервные копии etcd и миграции master-узлов: дайджест обновлений Deckhouse Kubernetes Platform 1.65–1.67

Узнайте о ключевых изменениях в Deckhouse Kubernetes Platform за последние три релиза. Поддержка МОС ОС и OpenSuse, автоматическое создание резервных копий базы etcd, поддержка Kubernetes 1.31, новый вид активной балансировки и другие изменения, которые помогут улучшить управление кластерами.

https://habr.com/ru/companies/flant/articles/883082/

#dkp #deckhouse #deckhouse_kubernetes_platform #devops #kubernetes #отечественное_по #j #обновления #etcd #миграция

Построение отказоустойчивого кластера 1С Предприятие 8.3. Требования назначения функциональности. MythBusters

Одна из завершающих публикаций цикла «В облако на работу:… Рецепты от Капитана» в ходе которых был собран полнофункциональный рабочий контур 1С в сети на отечественной Ред ОС. С веб-серверами, доменной авторизацией, архивированием и прочая прочая… На закуску разбираемся с отказоустойчивостью. В этой публикации для серверов 1С, заодно попробуем подобно сериалу «Разрушители легенд» подтвердить или опровергнуть пару устойчивых мифов о требованиях назначения функциональности.

https://habr.com/ru/companies/serverspace/articles/851598/

#1С_Предприятие #vipmanager #patroni #etcd #HAProxy #Alt_Linux #Astra_Linux #Ред_ОС #Kylin #рабочее_место_пользователя_1С #active_directory #авторизация_ОС

🚀 Die August-Ausgabe vom Linux-Magazin ist da! 🎉

Wir tauchen tief in die Welt der NoSQL-Datenbanken ein und zeigen Ihnen, wo ihre Einsatzgebiete liegen und welche Vorteile sie bieten. 🌐💡

🔍 Highlights:

- CouchDB und MongoDB: Dokumentenorientierte NoSQL-Datenbanken
- Qdrant: KI-fähige, vektororientierte Datenbank
- Key-Value-Stores: Einblicke in Etcd (Kubernetes) und RocksDB (Ceph)

📘 Zum Heft https://www.linux-magazin.de/magazine/2024/08/

#LinuxMagazin #NoSQL #Datenbanken #CouchDB #MongoDB #Qdrant #Etcd #RocksDB