home.social

#kafka — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #kafka, aggregated by home.social.

  1. Надёжная асинхронная коммуникация: повторы, дубликаты и dead letter queues

    Представим обычную обработку заказа. Сервис заказов публикует событие order.created . Сервис склада получает его и резервирует товар в PostgreSQL. После успешной транзакции обработчик должен отправить RabbitMQ подтверждение ( Ack ), чтобы broker удалил сообщение из queue. Но процесс может остановиться после записи в PostgreSQL и до отправки Ack . RabbitMQ не знает, успел ли сервис зарезервировать товар. Broker видит только неподтверждённое сообщение, поэтому доставляет его ещё раз. С точки зрения доставки это правильное поведение. С точки зрения бизнеса один заказ теперь может зарезервировать товар дважды. Другой сбой возникает раньше: PostgreSQL временно недоступен, и обработчик не может начать работу. Если сразу вернуть сообщение в queue через отрицательное подтверждение Nack(requeue=true) , RabbitMQ почти немедленно доставит его снова. Пока база не восстановилась, все попытки будут бесполезными. Нужны задержка и ограничение числа повторов. При этом отложенное сообщение может пропустить вперёд более новые события, поэтому отдельно придётся решить вопрос порядка. Так одна операция превращается в несколько независимых участков: запись события, публикация, хранение в broker, обработка и подтверждение. Между соседними участками остаются моменты, когда одна сторона уже выполнила действие, а другая ещё не получила подтверждение. В статье разберём эти моменты по всему пути сообщения. Затем построим практическую схему для RabbitMQ и Go: добавим ограниченные повторы через retry queues, время жизни сообщения ( TTL ) и dead letter exchange, сделаем обработчик идемпотентным и определим, куда отправлять сообщения, которые не удалось обработать автоматически. В конце сравним этот подход с Kafka, NATS JetStream и Amazon SQS.

    habr.com/ru/articles/1062002/

    #rabbitmq #golang #go #kafka #архитектура #асинхронность #микросервисы #broker #queue #resilience

  2. Эволюция Kafka as a Service: от факапа до чилаута

    Я Анастасия, ведущий SRE-инженер РСХБ.Цифра. В этой статье я расскажу о том, как мы в App.Farm, PaaS-платформе Россельхозбанка, перешли от одной «большой» Kafka до реализации услуги «Kafka as a Service» c индивидуальными кластерами под ключ. Звучит просто, но за этим кроется сложный путь проб и ошибок.

    habr.com/ru/companies/rshb/art

    #kafka #infrastructure #development #appfarm #integration #paas

  3. Миграция MariaDB → PostgreSQL без даунтайма: почему обычные утилиты не подошли и как мы сделали это через Debezium CDC

    Перед командой, выросшей на MySQL/MariaDB, встаёт вопрос перехода на PostgreSQL: лицензии, экосистема расширений, более предсказуемое поведение при конкурентных нагрузках - причин достаточно. Проблема в другом: как перенести боевую базу, которая не останавливается ни на минуту, без часов простоя и без риска потерять данные, записанные во время переноса. В этой статье - как мы решали эту задачу для интернет-магазина на MariaDB, почему готовые консольные конвертеры не годятся для «живой» миграции, и как выглядит рабочая схема на Debezium + Kafka Connect, включая Ansible-роль для повторяемого запуска.

    habr.com/ru/articles/1061438/

    #mysql #postgresql #devops #debezium #kafka

  4. DoorDash's new Entity Cache runs on Envoy and Valkey, caching over 100 endpoints across 50 services at 1.5M requests/sec with 99.99999% availability.

    Using Kafka-driven invalidation and the XFetch algorithm, it reduces cache stampedes and cuts P99 latency spikes by up to 80%.

    Read the full story on InfoQ 👉 bit.ly/45jwGvi

  5. DoorDash's new Entity Cache runs on Envoy and Valkey, caching over 100 endpoints across 50 services at 1.5M requests/sec with 99.99999% availability.

    Using Kafka-driven invalidation and the XFetch algorithm, it reduces cache stampedes and cuts P99 latency spikes by up to 80%.

    Read the full story on InfoQ 👉 bit.ly/45jwGvi

    #Caching #Envoy #Valkey #Kafka #DistributedSystems #InfoQ

  6. "A Dramatic Irony." (by Team.ACHV)

    "A Dramatic Irony." (by Team.ACHV) #kafka #animeart #NotMyArtSeePostBodyForCredits

    kbin.earth/m/[email protected]

  7. New talk: the Kafka ecosystem in 2026.
    Kafka has become a protocol with several implementations behind it. I'll look at the drop-in alternatives (Redpanda, WarpStream, AutoMQ, Bufstream), what the diskless, object-storage-first designs really trade away and gain, client libraries that add retries and other missing pieces, proxies and gateways for scale-to-zero setups, and two KIPs worth knowing: 932 (queues) and 1150 (diskless topics).
    #kafka #eda #streaming #softwarearchitecture

  8. New talk: the Kafka ecosystem in 2026.
    Kafka has become a protocol with several implementations behind it. I'll look at the drop-in alternatives (Redpanda, WarpStream, AutoMQ, Bufstream), what the diskless, object-storage-first designs really trade away and gain, client libraries that add retries and other missing pieces, proxies and gateways for scale-to-zero setups, and two KIPs worth knowing: 932 (queues) and 1150 (diskless topics).
    #kafka #eda #streaming #softwarearchitecture

  9. New talk: the Kafka ecosystem in 2026.
    Kafka has become a protocol with several implementations behind it. I'll look at the drop-in alternatives (Redpanda, WarpStream, AutoMQ, Bufstream), what the diskless, object-storage-first designs really trade away and gain, client libraries that add retries and other missing pieces, proxies and gateways for scale-to-zero setups, and two KIPs worth knowing: 932 (queues) and 1150 (diskless topics).
    #kafka #eda #streaming #softwarearchitecture

  10. 📢 Data Prepper 2.16 is out!
    It's got some highlights around , , pull-based ingestion and more:
    ▶️ scrape Prometheus metrics with pull-based ingestion
    ▶️ direct time-series (metrics) data ingestion for the TSDB engine
    ▶️ support for pull-based ingestion (using Apache topic or similar)
    ▶️ support for logs & traces in the OTLP sink

    release blog:
    lnkd.in/d4StMYDP
    @OpenSearchProject

  11. 📢 #OpenSearch Data Prepper 2.16 is out!
    It's got some highlights around #OpenTelemetry, #Prometheus, pull-based ingestion and more:
    ▶️ scrape Prometheus metrics with pull-based ingestion
    ▶️ direct time-series (metrics) data ingestion for the TSDB engine
    ▶️ support for pull-based ingestion (using Apache #Kafka topic or similar)
    ▶️ #OpenTelemetry support for logs & traces in the OTLP sink

    release blog:
    lnkd.in/d4StMYDP
    @OpenSearchProject #ingestion #Observability #OpenSearchAmbassador

  12. 📢 #OpenSearch Data Prepper 2.16 is out!
    It's got some highlights around #OpenTelemetry, #Prometheus, pull-based ingestion and more:
    ▶️ scrape Prometheus metrics with pull-based ingestion
    ▶️ direct time-series (metrics) data ingestion for the TSDB engine
    ▶️ support for pull-based ingestion (using Apache #Kafka topic or similar)
    ▶️ #OpenTelemetry support for logs & traces in the OTLP sink

    release blog:
    lnkd.in/d4StMYDP
    @OpenSearchProject #ingestion #Observability #OpenSearchAmbassador

  13. 📢 #OpenSearch Data Prepper 2.16 is out!
    It's got some highlights around #OpenTelemetry, #Prometheus, pull-based ingestion and more:
    ▶️ scrape Prometheus metrics with pull-based ingestion
    ▶️ direct time-series (metrics) data ingestion for the TSDB engine
    ▶️ support for pull-based ingestion (using Apache #Kafka topic or similar)
    ▶️ #OpenTelemetry support for logs & traces in the OTLP sink

    release blog:
    lnkd.in/d4StMYDP
    @OpenSearchProject #ingestion #Observability #OpenSearchAmbassador

  14. 📢 #OpenSearch Data Prepper 2.16 is out!
    It's got some highlights around #OpenTelemetry, #Prometheus, pull-based ingestion and more:
    ▶️ scrape Prometheus metrics with pull-based ingestion
    ▶️ direct time-series (metrics) data ingestion for the TSDB engine
    ▶️ support for pull-based ingestion (using Apache #Kafka topic or similar)
    ▶️ #OpenTelemetry support for logs & traces in the OTLP sink

    release blog:
    lnkd.in/d4StMYDP
    @OpenSearchProject #ingestion #Observability #OpenSearchAmbassador

  15. 𝐕𝐄𝐑𝐖𝐀𝐍𝐃𝐋𝐔𝐍𝐆 𝐈𝐍 𝐕𝐄𝐑𝐖𝐀𝐍𝐃𝐋𝐔𝐍𝐆

    Premiere ★ Franz Kafkas Erzählung »Die Verwandlung« ist ab der Spielzeit 2026/27 in Augsburg und Winterthur als Oper zu erleben. Die deutsch-schweizer Koproduktion verwandelt die »Verwandlung« in Musiktheater.

    auxlitera.de/2026/07/12/kafkao

    @augsburg
    @winterthur
    @kafka
    #augsburg #winterthur #kafka #oper

  16. [Перевод] Масштабирование Java-систем реального времени

    Событийно-ориентированная архитектура красиво выглядит на схеме — пока не встречается с требованиями реального времени. В переводе от команды Spring АйО разбирается опыт масштабирования Java-платформы контакт-центра: почему локальные кеши начали расходиться, как повторное воспроизведение Kafka-событий почти сделало бесполезным автомасштабирование, откуда взялось получасовое отставание потребителей и почему часть критических путей пришлось вернуть к синхронному взаимодействию. Без войны с Kafka и без универсальных рецептов — только архитектурные компромиссы, которые становятся видны под рабочей нагрузкой.

    habr.com/ru/companies/spring_a

    #kafka #java #kotlin #system_design #performance #performance_optimization

  17. [Перевод] Масштабирование Java-систем реального времени

    Событийно-ориентированная архитектура красиво выглядит на схеме — пока не встречается с требованиями реального времени. В переводе от команды Spring АйО разбирается опыт масштабирования Java-платформы контакт-центра: почему локальные кеши начали расходиться, как повторное воспроизведение Kafka-событий почти сделало бесполезным автомасштабирование, откуда взялось получасовое отставание потребителей и почему часть критических путей пришлось вернуть к синхронному взаимодействию. Без войны с Kafka и без универсальных рецептов — только архитектурные компромиссы, которые становятся видны под рабочей нагрузкой.

    habr.com/ru/companies/spring_a

    #kafka #java #kotlin #system_design #performance #performance_optimization

  18. [Перевод] Масштабирование Java-систем реального времени

    Событийно-ориентированная архитектура красиво выглядит на схеме — пока не встречается с требованиями реального времени. В переводе от команды Spring АйО разбирается опыт масштабирования Java-платформы контакт-центра: почему локальные кеши начали расходиться, как повторное воспроизведение Kafka-событий почти сделало бесполезным автомасштабирование, откуда взялось получасовое отставание потребителей и почему часть критических путей пришлось вернуть к синхронному взаимодействию. Без войны с Kafka и без универсальных рецептов — только архитектурные компромиссы, которые становятся видны под рабочей нагрузкой.

    habr.com/ru/companies/spring_a

    #kafka #java #kotlin #system_design #performance #performance_optimization

  19. Franz Kafka: „Punk muss die Axt sein für das gefrorene Meer in uns. (Immer)“

    #Punk #Kafka #Zitate

  20. Franz Kafka: „Punk muss die Axt sein für das gefrorene Meer in uns. (Immer)“

    #Punk #Kafka #Zitate

  21. Franz Kafka: „Punk muss die Axt sein für das gefrorene Meer in uns. (Immer)“

    #Punk #Kafka #Zitate