#kafka — Public Fediverse posts

Löytyy ihan uutta syvyyttä Kafkan Muodonmuutoksen lukemiseen kun on päivän makoillut ensin selällään kuumeisena ja nivelkivuissa. Vielä en tosin juoksentele seinillä 😅 🪲

#kirjamastodon #kafka

Very thorough and detailed article about #Kafka offset management: https://www.architecture-weekly.com/p/how-does-kafka-know-what-was-the by @oskardudycz

Match Group is hiring Software Engineer II, Backend

🔧 #cplusplus #golang #java #typescript #node #aws #azure #cicd #docker #gcp #kafka #kubernetes #nosql #redis
🌎 Los Angeles, California
⏰ Full-time
🏢 Match Group

Job details https://jobsfordevelopers.com/jobs/software-engineer-ii-backend-at-mtch-com-jul-29-2026-21d58d?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Match Group is hiring Software Engineer II, Backend

🔧 #cplusplus #golang #java #typescript #node #aws #azure #cicd #docker #gcp #kafka #kubernetes #nosql #redis
🌎 Los Angeles, California
⏰ Full-time
🏢 Match Group

Job details https://jobsfordevelopers.com/jobs/software-engineer-ii-backend-at-mtch-com-jul-29-2026-21d58d?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Match Group is hiring Software Engineer II, Backend

🔧 #cplusplus #golang #java #typescript #node #aws #azure #cicd #docker #gcp #kafka #kubernetes #nosql #redis
🌎 Los Angeles, California
⏰ Full-time
🏢 Match Group

Job details https://jobsfordevelopers.com/jobs/software-engineer-ii-backend-at-mtch-com-jul-29-2026-21d58d?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Match Group is hiring Software Engineer II, Backend

🔧 #cplusplus #golang #java #typescript #node #aws #azure #cicd #docker #gcp #kafka #kubernetes #nosql #redis
🌎 Los Angeles, California
⏰ Full-time
🏢 Match Group

Job details https://jobsfordevelopers.com/jobs/software-engineer-ii-backend-at-mtch-com-jul-29-2026-21d58d?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Match Group is hiring Software Engineer II, Backend

🔧 #cplusplus #golang #java #typescript #node #aws #azure #cicd #docker #gcp #kafka #kubernetes #nosql #redis
🌎 Los Angeles, California
⏰ Full-time
🏢 Match Group

Job details https://jobsfordevelopers.com/jobs/software-engineer-ii-backend-at-mtch-com-jul-29-2026-21d58d?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

ID.me is hiring Staff Software Engineer - Reporting & Billing

🔧 #golang #java #kotlin #api #kafka #sql
🌎 McLean, Virginia
⏰ Full-time
🏢 ID.me

Job details https://jobsfordevelopers.com/jobs/staff-software-engineer-reporting-billing-at-id-me-sep-4-2026-961359?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

ID.me is hiring Staff Software Engineer - Reporting & Billing

🔧 #golang #java #kotlin #api #kafka #sql
🌎 McLean, Virginia
⏰ Full-time
🏢 ID.me

Job details https://jobsfordevelopers.com/jobs/staff-software-engineer-reporting-billing-at-id-me-sep-4-2026-961359?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

ID.me is hiring Staff Software Engineer - Reporting & Billing

🔧 #golang #java #kotlin #api #kafka #sql
🌎 McLean, Virginia
⏰ Full-time
🏢 ID.me

Job details https://jobsfordevelopers.com/jobs/staff-software-engineer-reporting-billing-at-id-me-sep-4-2026-961359?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

ID.me is hiring Staff Software Engineer - Reporting & Billing

🔧 #golang #java #kotlin #api #kafka #sql
🌎 McLean, Virginia
⏰ Full-time
🏢 ID.me

Job details https://jobsfordevelopers.com/jobs/staff-software-engineer-reporting-billing-at-id-me-sep-4-2026-961359?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

ID.me is hiring Staff Software Engineer - Reporting & Billing

🔧 #golang #java #kotlin #api #kafka #sql
🌎 McLean, Virginia
⏰ Full-time
🏢 ID.me

Job details https://jobsfordevelopers.com/jobs/staff-software-engineer-reporting-billing-at-id-me-sep-4-2026-961359?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Databricks is hiring Site Reliability Engineer

🔧 #python #aws #azure #cicd #docker #gcp #kafka #kubernetes #terraform
🌎 Costa Rica
⏰ Full-time
🏢 Databricks

Job details https://jobsfordevelopers.com/jobs/site-reliability-engineer-at-databricks-com-may-19-2026-e87a3b?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Databricks is hiring Site Reliability Engineer

🔧 #python #aws #azure #cicd #docker #gcp #kafka #kubernetes #terraform
🌎 Costa Rica
⏰ Full-time
🏢 Databricks

Job details https://jobsfordevelopers.com/jobs/site-reliability-engineer-at-databricks-com-may-19-2026-e87a3b?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Databricks is hiring Site Reliability Engineer

🔧 #python #aws #azure #cicd #docker #gcp #kafka #kubernetes #terraform
🌎 Costa Rica
⏰ Full-time
🏢 Databricks

Job details https://jobsfordevelopers.com/jobs/site-reliability-engineer-at-databricks-com-may-19-2026-e87a3b?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Databricks is hiring Site Reliability Engineer

🔧 #python #aws #azure #cicd #docker #gcp #kafka #kubernetes #terraform
🌎 Costa Rica
⏰ Full-time
🏢 Databricks

Job details https://jobsfordevelopers.com/jobs/site-reliability-engineer-at-databricks-com-may-19-2026-e87a3b?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Databricks is hiring Site Reliability Engineer

🔧 #python #aws #azure #cicd #docker #gcp #kafka #kubernetes #terraform
🌎 Costa Rica
⏰ Full-time
🏢 Databricks

Job details https://jobsfordevelopers.com/jobs/site-reliability-engineer-at-databricks-com-may-19-2026-e87a3b?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Consensus algorithms, Paxos and Raft by Yifan Xing [PWL BOS] (2018)

https://www.youtube.com/watch?v=fcFqFfsAlSQ

#kafka #paxos #raft

🔔 Event notifications to webhooks, #Kafka, #NATS, #Redis, #RabbitMQ, #PostgreSQL and #Elasticsearch, plus lambda-style webhook triggers on S3 events

📊 #Prometheus metrics per bucket, SSE streams for events/logs/traces, virus scanning via webhook with quarantine, hot/cold data tiering, backup scheduler and FUSE mount for buckets as local filesystem

Kafka Consumer в тестовой автоматизации: архитектурный разбор

Привет, Хабр! На связи Егор Лаптев — QA Fullstack Java в SENSE на проекте крупного российского банка. End-to-end тесты UI проверяют только то, что видно на экране: кнопка нажалась, форма открылась, данные отобразились. Но в распределённых системах значительная часть бизнес-логики уходит за кадр — в асинхронные события, которые летят через Kafka. Если событие не дошло до топика или пришло с неверным payload, пользователь этого не увидит, а бизнес-процесс сломается. В этой статье расскажу, как мы научились проверять Kafka-события прямо в автотестах — без Kafka UI, kcat и обёрточных сервисов, одной зависимостью и так, чтобы это работало в корпоративной сети с SSL. Покажу архитектуру коннектора, разберу три основных проблемы (SSL-сертификаты, конфликты consumer group и асинхронные тайминги), и поделюсь моделью работы инженера в связке с AI-агентом. Кому будет полезно: QA-инженерам и специалистам по автоматизации, которые тестируют распределённые системы и хотят проверять Kafka-события прямо в автотестах; и инженерам, которым интересна практическая модель работы в связке с AI-агентом — как она ускоряет разработку тестовой инфраструктуры.

https://habr.com/ru/companies/it_sense/articles/1051890/

#kafka #kafka_consumer #kafka_в_тестировании #qa_automation #sasl #асинхронное_тестирование #aiагенты #allure #consumer_group #распределенные_системы

RE: https://aus.social/@timhollo/116745061286070316

I really enjoyed writing this, so I hope you enjoy reading it.
#Musk
#Kafka
#mushrooms
#trillionaire
#Arendt
#BayoAkomolafe
#emergence
#transformation
#time

Cache is hard — почему инвалидация кэша — это проблема согласованности, а не производительности

Кэш часто воспринимают как простой способ ускорить систему: положили данные ближе к приложению — получили быстрый ответ. Но на практике главная сложность начинается не с производительности, а с согласованности. Когда данные меняются, кэш может начать «врать»: показывать старые остатки, устаревшие статусы или разные версии одной и той же сущности разным пользователям. В статье разбираем, почему инвалидация кэша — это архитектурная проблема, как TTL, события, CDC и lease‑подходы влияют на консистентность и когда кэш лучше вообще не использовать.

https://habr.com/ru/companies/otus/articles/1033194/

#кэширование #инвалидация_кэша #согласованность_данных #распределённые_системы #Redis #PostgreSQL #CDC #Kafka #TTL #высоконагруженные_системы

Безошибочная работа с Kafka из Node js. Часть 2 Консьюмер

Если предыдущая часть была посвящена аспектам, связанным с публикацией сообщений, то в этой части основное внимание уделено обработке сообщений, проектированию консьюмеров и проблеме ребаланса в консьюмер группе.

https://habr.com/ru/articles/904932/

#kafka #nodejs #брокеры_сообщений #apache_kafka #consumer #messagebroker #message_brokers #kafka_consumer #kafka_apache #apache

Безошибочная работа с Kafka из Node js. Часть 2 Консьюмер

Если предыдущая часть была посвящена аспектам, связанным с публикацией сообщений, то в этой части основное внимание уделено обработке сообщений, проектированию консьюмеров и проблеме ребаланса в консьюмер группе.

https://habr.com/ru/articles/904932/

#kafka #nodejs #брокеры_сообщений #apache_kafka #consumer #messagebroker #message_brokers #kafka_consumer #kafka_apache #apache

Безошибочная работа с Kafka из Node js. Часть 2 Консьюмер

Если предыдущая часть была посвящена аспектам, связанным с публикацией сообщений, то в этой части основное внимание уделено обработке сообщений, проектированию консьюмеров и проблеме ребаланса в консьюмер группе.

https://habr.com/ru/articles/904932/

#kafka #nodejs #брокеры_сообщений #apache_kafka #consumer #messagebroker #message_brokers #kafka_consumer #kafka_apache #apache

Безошибочная работа с Kafka из Node js. Часть 1 Продьюсер

В данной статье рассматриваются примечательные ошибки при работе с Kafka, в том числе при использовании библиотеки KafkaJS , а также способы их устранения и методы увеличения производительности при публикации и обработки сообщений. Предполагается, что читатель имеет базовое представление о Kafka (раздел "Общие термины" поможет освежить информацию) и функционале библиотеки KafkaJS. В первой части разбираются аспекты, связанные с публикацией сообщений.

https://habr.com/ru/articles/1012066/

#kafka #nodejs #брокеры_сообщений #apache_kafka #producer #messagebroker #message_broker #message_brokers #apache #kafka_apache

Безошибочная работа с Kafka из Node js. Часть 1 Продьюсер

В данной статье рассматриваются примечательные ошибки при работе с Kafka, в том числе при использовании библиотеки KafkaJS , а также способы их устранения и методы увеличения производительности при публикации и обработки сообщений. Предполагается, что читатель имеет базовое представление о Kafka (раздел "Общие термины" поможет освежить информацию) и функционале библиотеки KafkaJS. В первой части разбираются аспекты, связанные с публикацией сообщений.

https://habr.com/ru/articles/1012066/

#kafka #nodejs #брокеры_сообщений #apache_kafka #producer #messagebroker #message_broker #message_brokers #apache #kafka_apache

Безошибочная работа с Kafka из Node js. Часть 1 Продьюсер

В данной статье рассматриваются примечательные ошибки при работе с Kafka, в том числе при использовании библиотеки KafkaJS , а также способы их устранения и методы увеличения производительности при публикации и обработки сообщений. Предполагается, что читатель имеет базовое представление о Kafka (раздел "Общие термины" поможет освежить информацию) и функционале библиотеки KafkaJS. В первой части разбираются аспекты, связанные с публикацией сообщений.

https://habr.com/ru/articles/1012066/

#kafka #nodejs #брокеры_сообщений #apache_kafka #producer #messagebroker #message_broker #message_brokers #apache #kafka_apache

@statsguy It's a government, a bureaucracy, it doesn't have a morality compass. As with all bureaucracies if it can target compliant people / easy to deal with people it will do so over actual violent thugs because it makes bureaucrats feel like they are doing something to justify their paycheck whilst dealing with people who aren't going to fight back. Much easier for them to be dealing with Palestine Action than to be dealing with ISIS

The #uk is turning into the trial by #kafka

#kafkaesque

Spring-boot-starter для паттерна Transaction outbox Kafka

В микросервисной архитектуре мы постоянно сталкиваемся с задачей: сохранить изменения в базе и гарантированно отправить событие в Kafka. На первый взгляд звучит просто — сделал транзакцию, отправил сообщение, закоммитил. Но в реальности между базой данных и брокером сообщений никакой общей транзакции нет. В этой статье я покажу, как я вынес всю логику Transaction Outbox в отдельный Spring Boot Starter , который можно подключить одной зависимостью. Он создаёт таблицу Outbox, конфигурирует шедулер, отвечает за отправку в Kafka и очистку, позволяя микросервисам сосредоточиться только на бизнес-логике.

https://habr.com/ru/articles/966802/

#kotlin #java #spring #springboot #starter #spring_boot_starter #kafka #outbox #jooq #spring_data_jpa

Spring-boot-starter для паттерна Transaction outbox Kafka

В микросервисной архитектуре мы постоянно сталкиваемся с задачей: сохранить изменения в базе и гарантированно отправить событие в Kafka. На первый взгляд звучит просто — сделал транзакцию, отправил сообщение, закоммитил. Но в реальности между базой данных и брокером сообщений никакой общей транзакции нет. В этой статье я покажу, как я вынес всю логику Transaction Outbox в отдельный Spring Boot Starter , который можно подключить одной зависимостью. Он создаёт таблицу Outbox, конфигурирует шедулер, отвечает за отправку в Kafka и очистку, позволяя микросервисам сосредоточиться только на бизнес-логике.

https://habr.com/ru/articles/966802/

#kotlin #java #spring #springboot #starter #spring_boot_starter #kafka #outbox #jooq #spring_data_jpa

Spring-boot-starter для паттерна Transaction outbox Kafka

В микросервисной архитектуре мы постоянно сталкиваемся с задачей: сохранить изменения в базе и гарантированно отправить событие в Kafka. На первый взгляд звучит просто — сделал транзакцию, отправил сообщение, закоммитил. Но в реальности между базой данных и брокером сообщений никакой общей транзакции нет. В этой статье я покажу, как я вынес всю логику Transaction Outbox в отдельный Spring Boot Starter , который можно подключить одной зависимостью. Он создаёт таблицу Outbox, конфигурирует шедулер, отвечает за отправку в Kafka и очистку, позволяя микросервисам сосредоточиться только на бизнес-логике.

https://habr.com/ru/articles/966802/

#kotlin #java #spring #springboot #starter #spring_boot_starter #kafka #outbox #jooq #spring_data_jpa

[Перевод] MySQL в Uber

Как поддерживать свыше 2300 кластеров MySQL без заметных простоев? В Uber это решают разделением на плоскости данных, управления и обнаружения и строгим приведением фактического состояния к desired state. В материале — анатомия control plane (Odin, Cadence, контроллер с правилами), как устроены плавные и аварийные переключения primary, замена узлов и онлайн-изменения схемы; как discovery на etcd и реверс-прокси даёт стабильный VIP; как наблюдаемость, CDC (Storagetapper→Kafka→Hive) и бэкапы закрывают эксплуатацию. ФВ фокусе — инженерные решения, которые позволяют удерживать 99,99% доступности без ручной магии. К архитектуре

https://habr.com/ru/companies/otus/articles/957296/

#кластер_MySQL #плоскость_управления #алансировка_нагрузки #наблюдаемость #CDC #kafka #Cadence #etcd

"Ma mère était infiniment bonne pour moi, c'est vrai, mais ce n'était que relativement à toi, c'est-à-dire, pour moi, dans un mauvais rapport."

#Kafka, Lettre au père
#famille #patriarcat #fils #père #masculinite

Fick prata med min läkare som inte längre vill skriva ut min migränmedicin. Hon gjorde det klart stt jag inte ska få den. När jag beskrev mina anfall menade hon på allvar att jag ska ringa amulans och få medicinen på akuten!!!
Tanken lär inte vara så poppis på ambulansen och akuten!!
Listade om mig några timmar senare.
Jag frågade om hennes beslut innebär att hon menar att alla hennes tidigare kollegor som skrivit ut medicinen är inkompetenta och fick ett politikersvar.

#kafka #sjukvård