#kafka — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #kafka, aggregated by home.social.
-
Надёжная асинхронная коммуникация: повторы, дубликаты и dead letter queues
Представим обычную обработку заказа. Сервис заказов публикует событие order.created . Сервис склада получает его и резервирует товар в PostgreSQL. После успешной транзакции обработчик должен отправить RabbitMQ подтверждение ( Ack ), чтобы broker удалил сообщение из queue. Но процесс может остановиться после записи в PostgreSQL и до отправки Ack . RabbitMQ не знает, успел ли сервис зарезервировать товар. Broker видит только неподтверждённое сообщение, поэтому доставляет его ещё раз. С точки зрения доставки это правильное поведение. С точки зрения бизнеса один заказ теперь может зарезервировать товар дважды. Другой сбой возникает раньше: PostgreSQL временно недоступен, и обработчик не может начать работу. Если сразу вернуть сообщение в queue через отрицательное подтверждение Nack(requeue=true) , RabbitMQ почти немедленно доставит его снова. Пока база не восстановилась, все попытки будут бесполезными. Нужны задержка и ограничение числа повторов. При этом отложенное сообщение может пропустить вперёд более новые события, поэтому отдельно придётся решить вопрос порядка. Так одна операция превращается в несколько независимых участков: запись события, публикация, хранение в broker, обработка и подтверждение. Между соседними участками остаются моменты, когда одна сторона уже выполнила действие, а другая ещё не получила подтверждение. В статье разберём эти моменты по всему пути сообщения. Затем построим практическую схему для RabbitMQ и Go: добавим ограниченные повторы через retry queues, время жизни сообщения ( TTL ) и dead letter exchange, сделаем обработчик идемпотентным и определим, куда отправлять сообщения, которые не удалось обработать автоматически. В конце сравним этот подход с Kafka, NATS JetStream и Amazon SQS.
https://habr.com/ru/articles/1062002/
#rabbitmq #golang #go #kafka #архитектура #асинхронность #микросервисы #broker #queue #resilience
-
SumUp is hiring (Senior) Backend Engineer - Global Bank
🔧 #golang #kotlin #aws #cicd #docker #kafka #kubernetes #postgresql #seniorengineer
🌎 Sofia, Bulgaria
⏰ Full-time
🏢 SumUpJob details https://jobsfordevelopers.com/jobs/senior-backend-engineer-global-bank-at-sumup-com-dec-22-2025-a09296?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
SumUp is hiring (Senior) Backend Engineer - Global Bank
🔧 #golang #kotlin #aws #cicd #docker #kafka #kubernetes #postgresql #seniorengineer
🌎 Sofia, Bulgaria
⏰ Full-time
🏢 SumUpJob details https://jobsfordevelopers.com/jobs/senior-backend-engineer-global-bank-at-sumup-com-dec-22-2025-a09296?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
Эволюция Kafka as a Service: от факапа до чилаута
Я Анастасия, ведущий SRE-инженер РСХБ.Цифра. В этой статье я расскажу о том, как мы в App.Farm, PaaS-платформе Россельхозбанка, перешли от одной «большой» Kafka до реализации услуги «Kafka as a Service» c индивидуальными кластерами под ключ. Звучит просто, но за этим кроется сложный путь проб и ошибок.
https://habr.com/ru/companies/rshb/articles/1057934/
#kafka #infrastructure #development #appfarm #integration #paas
-
PathAI is hiring Senior Software Engineer, Fullstack
🔧 #javascript #python #django #react #vue #aws #cicd #docker #kafka #kubernetes #postgresql #awss3 #seniorengineer
🌎 Boston, Massachusetts
⏰ Full-time
🏢 PathAIJob details https://jobsfordevelopers.com/jobs/senior-software-engineer-fullstack-at-pathai-com-dec-12-2025-7dd9e0?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
PathAI is hiring Senior Software Engineer, Fullstack
🔧 #javascript #python #django #react #vue #aws #cicd #docker #kafka #kubernetes #postgresql #awss3 #seniorengineer
🌎 Boston, Massachusetts
⏰ Full-time
🏢 PathAIJob details https://jobsfordevelopers.com/jobs/senior-software-engineer-fullstack-at-pathai-com-dec-12-2025-7dd9e0?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
PathAI is hiring Senior Software Engineer, Fullstack
🔧 #javascript #python #django #react #vue #aws #cicd #docker #kafka #kubernetes #postgresql #awss3 #seniorengineer
🌎 Boston, Massachusetts
⏰ Full-time
🏢 PathAIJob details https://jobsfordevelopers.com/jobs/senior-software-engineer-fullstack-at-pathai-com-dec-12-2025-7dd9e0?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
PathAI is hiring Senior Software Engineer, Fullstack
🔧 #javascript #python #django #react #vue #aws #cicd #docker #kafka #kubernetes #postgresql #awss3 #seniorengineer
🌎 Boston, Massachusetts
⏰ Full-time
🏢 PathAIJob details https://jobsfordevelopers.com/jobs/senior-software-engineer-fullstack-at-pathai-com-dec-12-2025-7dd9e0?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
PathAI is hiring Senior Software Engineer, Fullstack
🔧 #javascript #python #django #react #vue #aws #cicd #docker #kafka #kubernetes #postgresql #awss3 #seniorengineer
🌎 Boston, Massachusetts
⏰ Full-time
🏢 PathAIJob details https://jobsfordevelopers.com/jobs/senior-software-engineer-fullstack-at-pathai-com-dec-12-2025-7dd9e0?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
Миграция MariaDB → PostgreSQL без даунтайма: почему обычные утилиты не подошли и как мы сделали это через Debezium CDC
Перед командой, выросшей на MySQL/MariaDB, встаёт вопрос перехода на PostgreSQL: лицензии, экосистема расширений, более предсказуемое поведение при конкурентных нагрузках - причин достаточно. Проблема в другом: как перенести боевую базу, которая не останавливается ни на минуту, без часов простоя и без риска потерять данные, записанные во время переноса. В этой статье - как мы решали эту задачу для интернет-магазина на MariaDB, почему готовые консольные конвертеры не годятся для «живой» миграции, и как выглядит рабочая схема на Debezium + Kafka Connect, включая Ansible-роль для повторяемого запуска.
-
DoorDash's new Entity Cache runs on Envoy and Valkey, caching over 100 endpoints across 50 services at 1.5M requests/sec with 99.99999% availability.
Using Kafka-driven invalidation and the XFetch algorithm, it reduces cache stampedes and cuts P99 latency spikes by up to 80%.
Read the full story on InfoQ 👉 https://bit.ly/45jwGvi
-
DoorDash's new Entity Cache runs on Envoy and Valkey, caching over 100 endpoints across 50 services at 1.5M requests/sec with 99.99999% availability.
Using Kafka-driven invalidation and the XFetch algorithm, it reduces cache stampedes and cuts P99 latency spikes by up to 80%.
Read the full story on InfoQ 👉 https://bit.ly/45jwGvi
-
Appian is hiring Senior Software Engineer - Java / AWS Services
🔧 #aws #java #kafka #kubernetes #awss3 #terraform #seniorengineer
🌎 McLean, Virginia
⏰ Full-time
🏢 AppianJob details https://jobsfordevelopers.com/jobs/senior-software-engineer-java-aws-services-at-appian-com-may-13-2026-3a5d85?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
Appian is hiring Senior Software Engineer - Java / AWS Services
🔧 #aws #java #kafka #kubernetes #awss3 #terraform #seniorengineer
🌎 McLean, Virginia
⏰ Full-time
🏢 AppianJob details https://jobsfordevelopers.com/jobs/senior-software-engineer-java-aws-services-at-appian-com-may-13-2026-3a5d85?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
Appian is hiring Senior Software Engineer - Java / AWS Services
🔧 #aws #java #kafka #kubernetes #awss3 #terraform #seniorengineer
🌎 McLean, Virginia
⏰ Full-time
🏢 AppianJob details https://jobsfordevelopers.com/jobs/senior-software-engineer-java-aws-services-at-appian-com-may-13-2026-3a5d85?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
"A Dramatic Irony." (by Team.ACHV)
"A Dramatic Irony." (by Team.ACHV) #kafka #animeart #NotMyArtSeePostBodyForCredits -
New talk: the Kafka ecosystem in 2026.
Kafka has become a protocol with several implementations behind it. I'll look at the drop-in alternatives (Redpanda, WarpStream, AutoMQ, Bufstream), what the diskless, object-storage-first designs really trade away and gain, client libraries that add retries and other missing pieces, proxies and gateways for scale-to-zero setups, and two KIPs worth knowing: 932 (queues) and 1150 (diskless topics).
#kafka #eda #streaming #softwarearchitecture -
New talk: the Kafka ecosystem in 2026.
Kafka has become a protocol with several implementations behind it. I'll look at the drop-in alternatives (Redpanda, WarpStream, AutoMQ, Bufstream), what the diskless, object-storage-first designs really trade away and gain, client libraries that add retries and other missing pieces, proxies and gateways for scale-to-zero setups, and two KIPs worth knowing: 932 (queues) and 1150 (diskless topics).
#kafka #eda #streaming #softwarearchitecture -
New talk: the Kafka ecosystem in 2026.
Kafka has become a protocol with several implementations behind it. I'll look at the drop-in alternatives (Redpanda, WarpStream, AutoMQ, Bufstream), what the diskless, object-storage-first designs really trade away and gain, client libraries that add retries and other missing pieces, proxies and gateways for scale-to-zero setups, and two KIPs worth knowing: 932 (queues) and 1150 (diskless topics).
#kafka #eda #streaming #softwarearchitecture -
PayU is hiring Senior Software Engineer
🔧 #java #api #hibernate #kafka #mongodb #mvc #nosql #redis #seniorengineer
🌎 Bengaluru, India
⏰ Full-time
🏢 PayUJob details https://jobsfordevelopers.com/jobs/senior-software-engineer-at-payu-oct-29-2019-58860d?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
PayU is hiring Senior Software Engineer
🔧 #java #api #hibernate #kafka #mongodb #mvc #nosql #redis #seniorengineer
🌎 Bengaluru, India
⏰ Full-time
🏢 PayUJob details https://jobsfordevelopers.com/jobs/senior-software-engineer-at-payu-oct-29-2019-58860d?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
PayU is hiring Senior Software Engineer
🔧 #java #api #hibernate #kafka #mongodb #mvc #nosql #redis #seniorengineer
🌎 Bengaluru, India
⏰ Full-time
🏢 PayUJob details https://jobsfordevelopers.com/jobs/senior-software-engineer-at-payu-oct-29-2019-58860d?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
PayU is hiring Senior Software Engineer
🔧 #java #api #hibernate #kafka #mongodb #mvc #nosql #redis #seniorengineer
🌎 Bengaluru, India
⏰ Full-time
🏢 PayUJob details https://jobsfordevelopers.com/jobs/senior-software-engineer-at-payu-oct-29-2019-58860d?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
PayU is hiring Senior Software Engineer
🔧 #java #api #hibernate #kafka #mongodb #mvc #nosql #redis #seniorengineer
🌎 Bengaluru, India
⏰ Full-time
🏢 PayUJob details https://jobsfordevelopers.com/jobs/senior-software-engineer-at-payu-oct-29-2019-58860d?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
📢 #OpenSearch Data Prepper 2.16 is out!
It's got some highlights around #OpenTelemetry, #Prometheus, pull-based ingestion and more:
▶️ scrape Prometheus metrics with pull-based ingestion
▶️ direct time-series (metrics) data ingestion for the TSDB engine
▶️ support for pull-based ingestion (using Apache #Kafka topic or similar)
▶️ #OpenTelemetry support for logs & traces in the OTLP sinkrelease blog:
https://lnkd.in/d4StMYDP
@OpenSearchProject #ingestion #Observability #OpenSearchAmbassador -
📢 #OpenSearch Data Prepper 2.16 is out!
It's got some highlights around #OpenTelemetry, #Prometheus, pull-based ingestion and more:
▶️ scrape Prometheus metrics with pull-based ingestion
▶️ direct time-series (metrics) data ingestion for the TSDB engine
▶️ support for pull-based ingestion (using Apache #Kafka topic or similar)
▶️ #OpenTelemetry support for logs & traces in the OTLP sinkrelease blog:
https://lnkd.in/d4StMYDP
@OpenSearchProject #ingestion #Observability #OpenSearchAmbassador -
📢 #OpenSearch Data Prepper 2.16 is out!
It's got some highlights around #OpenTelemetry, #Prometheus, pull-based ingestion and more:
▶️ scrape Prometheus metrics with pull-based ingestion
▶️ direct time-series (metrics) data ingestion for the TSDB engine
▶️ support for pull-based ingestion (using Apache #Kafka topic or similar)
▶️ #OpenTelemetry support for logs & traces in the OTLP sinkrelease blog:
https://lnkd.in/d4StMYDP
@OpenSearchProject #ingestion #Observability #OpenSearchAmbassador -
📢 #OpenSearch Data Prepper 2.16 is out!
It's got some highlights around #OpenTelemetry, #Prometheus, pull-based ingestion and more:
▶️ scrape Prometheus metrics with pull-based ingestion
▶️ direct time-series (metrics) data ingestion for the TSDB engine
▶️ support for pull-based ingestion (using Apache #Kafka topic or similar)
▶️ #OpenTelemetry support for logs & traces in the OTLP sinkrelease blog:
https://lnkd.in/d4StMYDP
@OpenSearchProject #ingestion #Observability #OpenSearchAmbassador -
📢 #OpenSearch Data Prepper 2.16 is out!
It's got some highlights around #OpenTelemetry, #Prometheus, pull-based ingestion and more:
▶️ scrape Prometheus metrics with pull-based ingestion
▶️ direct time-series (metrics) data ingestion for the TSDB engine
▶️ support for pull-based ingestion (using Apache #Kafka topic or similar)
▶️ #OpenTelemetry support for logs & traces in the OTLP sinkrelease blog:
https://lnkd.in/d4StMYDP
@OpenSearchProject #ingestion #Observability #OpenSearchAmbassador -
https://www.europesays.com/it/?p=584278 In attesa dell’Odissea di Nolan, ecco perché il mito di Ulisse continua a parlarci #affascinato #AffascinatoPoeti #AffascinatoPoetiScrittori #cantano #continua #ContinuaParlarci #documentario #Entertainment #eroe #film #focus #immagini #Intrattenimento #IT #Italia #Italy #kafka #mito #narrazione #né #nolan #odissea #parlarci #possono #sirene #trasmesso #ulisse #UlisseContinua #UlisseContinuaParlarci #UlisseEroe
-
𝐕𝐄𝐑𝐖𝐀𝐍𝐃𝐋𝐔𝐍𝐆 𝐈𝐍 𝐕𝐄𝐑𝐖𝐀𝐍𝐃𝐋𝐔𝐍𝐆
Premiere ★ Franz Kafkas Erzählung »Die Verwandlung« ist ab der Spielzeit 2026/27 in Augsburg und Winterthur als Oper zu erleben. Die deutsch-schweizer Koproduktion verwandelt die »Verwandlung« in Musiktheater.
► https://auxlitera.de/2026/07/12/kafkaoper/
@augsburg
@winterthur
@kafka
#augsburg #winterthur #kafka #oper -
[Перевод] Масштабирование Java-систем реального времени
Событийно-ориентированная архитектура красиво выглядит на схеме — пока не встречается с требованиями реального времени. В переводе от команды Spring АйО разбирается опыт масштабирования Java-платформы контакт-центра: почему локальные кеши начали расходиться, как повторное воспроизведение Kafka-событий почти сделало бесполезным автомасштабирование, откуда взялось получасовое отставание потребителей и почему часть критических путей пришлось вернуть к синхронному взаимодействию. Без войны с Kafka и без универсальных рецептов — только архитектурные компромиссы, которые становятся видны под рабочей нагрузкой.
https://habr.com/ru/companies/spring_aio/articles/1058484/
#kafka #java #kotlin #system_design #performance #performance_optimization
-
[Перевод] Масштабирование Java-систем реального времени
Событийно-ориентированная архитектура красиво выглядит на схеме — пока не встречается с требованиями реального времени. В переводе от команды Spring АйО разбирается опыт масштабирования Java-платформы контакт-центра: почему локальные кеши начали расходиться, как повторное воспроизведение Kafka-событий почти сделало бесполезным автомасштабирование, откуда взялось получасовое отставание потребителей и почему часть критических путей пришлось вернуть к синхронному взаимодействию. Без войны с Kafka и без универсальных рецептов — только архитектурные компромиссы, которые становятся видны под рабочей нагрузкой.
https://habr.com/ru/companies/spring_aio/articles/1058484/
#kafka #java #kotlin #system_design #performance #performance_optimization
-
[Перевод] Масштабирование Java-систем реального времени
Событийно-ориентированная архитектура красиво выглядит на схеме — пока не встречается с требованиями реального времени. В переводе от команды Spring АйО разбирается опыт масштабирования Java-платформы контакт-центра: почему локальные кеши начали расходиться, как повторное воспроизведение Kafka-событий почти сделало бесполезным автомасштабирование, откуда взялось получасовое отставание потребителей и почему часть критических путей пришлось вернуть к синхронному взаимодействию. Без войны с Kafka и без универсальных рецептов — только архитектурные компромиссы, которые становятся видны под рабочей нагрузкой.
https://habr.com/ru/companies/spring_aio/articles/1058484/
#kafka #java #kotlin #system_design #performance #performance_optimization
-
SumUp is hiring Senior Backend Engineer - Accounts
🔧 #golang #java #kotlin #api #aws #docker #kafka #kubernetes #postgresql #seniorengineer
🌎 Sofia, Bulgaria
⏰ Full-time
🏢 SumUpJob details https://jobsfordevelopers.com/jobs/senior-backend-engineer-accounts-at-sumup-com-feb-11-2026-51a2f9?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
SumUp is hiring Senior Backend Engineer - Accounts
🔧 #golang #java #kotlin #api #aws #docker #kafka #kubernetes #postgresql #seniorengineer
🌎 Sofia, Bulgaria
⏰ Full-time
🏢 SumUpJob details https://jobsfordevelopers.com/jobs/senior-backend-engineer-accounts-at-sumup-com-feb-11-2026-51a2f9?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
SumUp is hiring Senior Backend Engineer - Accounts
🔧 #golang #java #kotlin #api #aws #docker #kafka #kubernetes #postgresql #seniorengineer
🌎 Sofia, Bulgaria
⏰ Full-time
🏢 SumUpJob details https://jobsfordevelopers.com/jobs/senior-backend-engineer-accounts-at-sumup-com-feb-11-2026-51a2f9?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
SoFi is hiring Principal Software Engineer, Member Growth
🔧 #java #kotlin #springboot #aws #docker #kafka #kubernetes #principalengineer
🌎 San Francisco, California
⏰ Full-time
🏢 SoFiJob details https://jobsfordevelopers.com/jobs/principal-software-engineer-member-growth-at-sofi-com-apr-14-2026-591443?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
SoFi is hiring Principal Software Engineer, Member Growth
🔧 #java #kotlin #springboot #aws #docker #kafka #kubernetes #principalengineer
🌎 San Francisco, California
⏰ Full-time
🏢 SoFiJob details https://jobsfordevelopers.com/jobs/principal-software-engineer-member-growth-at-sofi-com-apr-14-2026-591443?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
SoFi is hiring Principal Software Engineer, Member Growth
🔧 #java #kotlin #springboot #aws #docker #kafka #kubernetes #principalengineer
🌎 San Francisco, California
⏰ Full-time
🏢 SoFiJob details https://jobsfordevelopers.com/jobs/principal-software-engineer-member-growth-at-sofi-com-apr-14-2026-591443?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
Bitpanda is hiring Senior Backend Engineer, Golang
🔧 #golang #graphql #rest #aws #kafka #seniorengineer
🌎 București, Romania
⏰ Full-time
🏢 BitpandaJob details https://jobsfordevelopers.com/jobs/senior-backend-engineer-golang-at-bitpanda-com-dec-8-2025-5cfa4c?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
Bitpanda is hiring Senior Backend Engineer, Golang
🔧 #golang #graphql #rest #aws #kafka #seniorengineer
🌎 București, Romania
⏰ Full-time
🏢 BitpandaJob details https://jobsfordevelopers.com/jobs/senior-backend-engineer-golang-at-bitpanda-com-dec-8-2025-5cfa4c?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
Bitpanda is hiring Senior Backend Engineer, Golang
🔧 #golang #graphql #rest #aws #kafka #seniorengineer
🌎 București, Romania
⏰ Full-time
🏢 BitpandaJob details https://jobsfordevelopers.com/jobs/senior-backend-engineer-golang-at-bitpanda-com-dec-8-2025-5cfa4c?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring -
A Kafka authentication bypass lets attackers replay expired JWTs against 4.0.x brokers. The OAUTHBEARER path checks nbf but not exp. No fix yet.