#kafka — Public Fediverse posts

Очередь на Postgres: почему Kafka не нужна

Это история про архитектуру одного сервиса. Рассказанная до конца, а не только до того места, где обычно останавливаются статьи про архитектуру. Намеренно упрощена бизнес-логика, чтобы не размывать основной смысл. Сервис принимал запрос, писал строку в базу, отвечал 201. Никто не пишет статей про такой код, потому что в нём нечего обсуждать. Рано или поздно один сервис перестаёт быть одним сервисом. Появляется второй, которому важно узнать о том же событии — обсчитать аналитику, обновить поисковый индекс, отправить письмо. Возникает соблазн просто дёрнуть его по HTTP, и это первая ошибка, которую все совершают и все же исправляют: синхронный вызов делает вас настолько же надёжным, насколько надёжен самый хрупкий из ваших соседей. Значит нужно асинхронно, через брокер. И почти всегда этим брокером оказывается Kafka.

https://habr.com/ru/articles/1082062/

#kafka #postgres #debezium #net #c# #микросервисы #wal #outboxпаттерн

Mindera is hiring Senior/Staff Java Engineer - Build Scalable Cloud Systems (Kafka | K8s | Azure)

🔧 #azure #java #kafka #kubernetes #graphql #rest #cicd #docker #nosql #sql #seniorengineer
🌎 Chennai, India
⏰ Full-time
🏢 Mindera

Job details https://jobsfordevelopers.com/jobs/senior-staff-java-engineer-build-scalable-cloud-systems-kafka-k-8-s-azure-at-mindera-com-nov-20-2025-67c56c?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Mindera is hiring Senior/Staff Java Engineer - Build Scalable Cloud Systems (Kafka | K8s | Azure)

🔧 #azure #java #kafka #kubernetes #graphql #rest #cicd #docker #nosql #sql #seniorengineer
🌎 Chennai, India
⏰ Full-time
🏢 Mindera

Job details https://jobsfordevelopers.com/jobs/senior-staff-java-engineer-build-scalable-cloud-systems-kafka-k-8-s-azure-at-mindera-com-nov-20-2025-67c56c?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Mindera is hiring Senior/Staff Java Engineer - Build Scalable Cloud Systems (Kafka | K8s | Azure)

🔧 #azure #java #kafka #kubernetes #graphql #rest #cicd #docker #nosql #sql #seniorengineer
🌎 Chennai, India
⏰ Full-time
🏢 Mindera

Job details https://jobsfordevelopers.com/jobs/senior-staff-java-engineer-build-scalable-cloud-systems-kafka-k-8-s-azure-at-mindera-com-nov-20-2025-67c56c?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Mindera is hiring Senior/Staff Java Engineer - Build Scalable Cloud Systems (Kafka | K8s | Azure)

🔧 #azure #java #kafka #kubernetes #graphql #rest #cicd #docker #nosql #sql #seniorengineer
🌎 Chennai, India
⏰ Full-time
🏢 Mindera

Job details https://jobsfordevelopers.com/jobs/senior-staff-java-engineer-build-scalable-cloud-systems-kafka-k-8-s-azure-at-mindera-com-nov-20-2025-67c56c?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Mindera is hiring Senior/Staff Java Engineer - Build Scalable Cloud Systems (Kafka | K8s | Azure)

🔧 #azure #java #kafka #kubernetes #graphql #rest #cicd #docker #nosql #sql #seniorengineer
🌎 Chennai, India
⏰ Full-time
🏢 Mindera

Job details https://jobsfordevelopers.com/jobs/senior-staff-java-engineer-build-scalable-cloud-systems-kafka-k-8-s-azure-at-mindera-com-nov-20-2025-67c56c?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Uniphore is hiring Technical Engineering Manager

🔧 #java #aws #docker #kafka #mongodb #postgresql #redis #engineeringmanager
🌎 Bangalore, India; Chennai, India
⏰ Full-time
🏢 Uniphore

Job details https://jobsfordevelopers.com/jobs/technical-engineering-manager-at-uniphore-com-jan-29-2024-779c85?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Uniphore is hiring Technical Engineering Manager

🔧 #java #aws #docker #kafka #mongodb #postgresql #redis #engineeringmanager
🌎 Bangalore, India; Chennai, India
⏰ Full-time
🏢 Uniphore

Job details https://jobsfordevelopers.com/jobs/technical-engineering-manager-at-uniphore-com-jan-29-2024-779c85?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Uniphore is hiring Technical Engineering Manager

🔧 #java #aws #docker #kafka #mongodb #postgresql #redis #engineeringmanager
🌎 Bangalore, India; Chennai, India
⏰ Full-time
🏢 Uniphore

Job details https://jobsfordevelopers.com/jobs/technical-engineering-manager-at-uniphore-com-jan-29-2024-779c85?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Uniphore is hiring Technical Engineering Manager

🔧 #java #aws #docker #kafka #mongodb #postgresql #redis #engineeringmanager
🌎 Bangalore, India; Chennai, India
⏰ Full-time
🏢 Uniphore

Job details https://jobsfordevelopers.com/jobs/technical-engineering-manager-at-uniphore-com-jan-29-2024-779c85?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Uniphore is hiring Technical Engineering Manager

🔧 #java #aws #docker #kafka #mongodb #postgresql #redis #engineeringmanager
🌎 Bangalore, India; Chennai, India
⏰ Full-time
🏢 Uniphore

Job details https://jobsfordevelopers.com/jobs/technical-engineering-manager-at-uniphore-com-jan-29-2024-779c85?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Match Group is hiring Software Engineer II, Backend

🔧 #cplusplus #golang #java #typescript #node #aws #azure #cicd #docker #gcp #kafka #kubernetes #nosql #redis
🌎 Los Angeles, California
⏰ Full-time
🏢 Match Group

Job details https://jobsfordevelopers.com/jobs/software-engineer-ii-backend-at-mtch-com-jul-29-2026-21d58d?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Databricks is hiring Site Reliability Engineer

🔧 #python #aws #azure #cicd #docker #gcp #kafka #kubernetes #terraform
🌎 Costa Rica
⏰ Full-time
🏢 Databricks

Job details https://jobsfordevelopers.com/jobs/site-reliability-engineer-at-databricks-com-may-19-2026-e87a3b?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Kaseya is hiring Senior Staff Software Engineer

🔧 #java #springboot #api #hibernate #aws #azure #cicd #gcp #kafka #mysql #postgresql #sql #seniorengineer
🌎 Toronto, Ontario
⏰ Full-time
🏢 Kaseya

Job details https://jobsfordevelopers.com/jobs/senior-staff-software-engineer-at-kaseya-com-aug-25-2026-48630e?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Kafka e la paratassi:

«...Scoppiò la lampada, entrò uno sconosciuto con un nuovo lume, mi alzai in piedi, la mia famiglia con me, salutammo, lui non sembrò avvedersene...»

«...Campi squallidi, squallida pianura, dietro un velo di nebbia il pallido verde della luna.
Egli esce di casa, si trova nella via, un cavallo lo aspeta, un servitore tiene la staffa, si cavalca attraverso un deserto echeggiante...»

-- Franz Kafka, Ottavo quaderno in ottavo (1833-1924)

#letteratura #Kafka #paratassi

Как за 5 недель построить рекомендательную систему в TravelTech: Kafka и MongoDB вместо Feature Store

Привет! Меня зовут Кристина, я MLOps-инженер в Туту. Занимаюсь тем, что помогаю рекомендательным системам добраться до прода со всеми компромиссами, горящими дедлайнами и новыми идеями. Эта статья — про один из таких запусков. В идеальном ML-мире запуск рекомендаций выглядит примерно так: полгода проектируют хранилище признаков (Feature Store), настраивают, откуда и как берутся данные, гоняют тяжёлые расчёты фичей и моделей, а отдельная команда следит, не деградирует ли модель из‑за изменений в данных. В реальном бизнесе у тебя есть 5 недель до старта высокого сезона, два инженера, DS и задача: сделать так, чтобы пользователь, который купил билет, сразу увидел релевантный отель. Рассказываем, как мы собрали работающую RecSys v1 на привычном стеке: Kafka, MongoDB, ClickHouse. При этом мы сознательно отказались от перфекционизма ради скорости. Инженерный вызов здесь не в масштабе и не в алгоритмах, а в контексте. Cross-sell в travel — это не «похожие товары». Пример Пользователь купил билет Москва → Сочи на 10–17 июля: значит, нужно показать отели именно в Сочи, именно на эти даты. Коллаборативная фильтрация без контекста поездки — «похожие пользователи → похожие отели» — не знает ни город, ни даты, ни то, что заказ только что оплачен и его ещё нет в DWH. Нужен подход, где контекст конкретной поездки — куда, когда, с кем — задаётся явно до ранжирования. «Правильный» путь — Feature Store и полноценная ML-платформа, занял бы 4–6 месяцев. Бизнесу нужно было проверить гипотезу на живом трафике. Мы собрали v1 на том, что уже работало в проде, с некоторыми компромиссами и без иллюзий насчёт идеальной архитектуры.

https://habr.com/ru/companies/tuturu/articles/1064442/

#рекомендательные_системы #mlops #kafka #clickhouse #feature_store #fastapi #catboost #travel_tech #mongodb

#FranzKafka #Literatura #CitasLiterarias #Filosofia #Reflexion #PensamientoExistencial #Kafka #LibrosQueDespiertan #ImpactoLiterario #ElHachaDeLaMente #MarCongelado #DespertarMental #LecturaCritica #LibrosRecomendados #FrasesDeAutores #Existencialismo #Cultura #Conciencia #Introspeccion #Transformacion #PoderDeLaLectura #LiteraturaUniversal #ArteYReflexion #Kafkaesco #MenteAbierta

Wülfrath: Spaziergang beleutet Friedhöfe aus Frauenperspektive

Das Wetter meinte es gut mit dem Rundgang, den der SKFM Mettmann gemeinsam mit Wülfraths Gleichstellungsbeauftragte…
#Wuppertal #Deutschland #Deutsch #DE #Schlagzeilen #Headlines #Nachrichten #News #Europe #Europa #EU #"Friedhof" ##perspektive #begraben #Erzählen #friedhöfe #gelebt #Germany #Grab #Gräber #Grabstein #Grabsteine #Grabstelle #kafka #Nordrhein-Westfalen #Rahel #Rundgang #Rundgängen
https://www.europesays.com/de/1040504/

Логи: всё, что нужно знать тестировщику

В работе тестировщика логи — такой же повседневный инструмент, как тест-кейсы или баг-репорты. Они помогают подтвердить проблему, понять, на каком этапе произошёл сбой, и собрать данные, которые действительно полезны разработчику. В этой статье разбираем, что нужно знать тестировщику о логах.

https://habr.com/ru/articles/1014648/

#логи #логирование #тестирование_вебприложений #тестирование_по #тестирование_мобильных_приложений #мониторинг_логов #kafka #kibana #sentry #jaeger

Как в Авито построили систему мониторинга BGP

Всем привет! Меня зовут Антон Ильичев, я сетевой инженер в Авито. В этой статье расскажу, зачем мы централизованно собираем и анализируем маршрутную информацию с сетевых устройств, причём тут протокол BMP и как устроена наша система мониторинга. В конце вас будет ждать лаба на docker-compose, которую вы можете запустить у себя и посмотреть на систему в действии. Статья будет полезна в первую очередь сетевым инженерам, командам SRE и мониторинга, которые отвечают за доступность и качество сервиса.

https://habr.com/ru/companies/avito/articles/1012780/

#bmp #bgp #monitoring #netops #troubleshooting #kafka #clickhouse #cisco #grafana #juniper

DAS SCHLOSS
im @blnensemble
von Georgia Bruce nach Motiven von Franz #Kafka und Albert #Camus ist als Kampf eines trans Mannes mit Bürokratie und Selbstbild fein inszeniert. Mit einem starken, teils trans Ensemble.
Das Stück entstand in der Reihe WORX, dem internationalen Nachwuchsprogramm des BE.

#Theater #Berlin #Schauspiel #BerlinerEnsemble #BE

Heute gehts ins @blnensemble in
DAS SCHLOSS
oder wir müssen uns K. als einen glücklichen Menschen vorstellen
von Georgia Bruce nach Motiven von Franz #Kafka und Albert #Camus

Das Stück verbindet Motive aus Kafkas DAS SCHLOSS mit DER MYTHOS DES SISYPHOS von Camus. Interessante Kombination. Ich bin gespannt.

#Theater #Berlin #Schauspiel #BerlinerEnsemble #BE

Kafka is Fast – I'll use Postgres

https://topicpartition.io/blog/postgres-pubsub-queue-benchmarks

#HackerNews #Kafka #Postgres #Benchmarks #PubSub #Performance #TechNews

Apache Kafka и EDA

Архитектура, управляемая событиями (Event Driven Architecture, EDA) получила широкое распространение при разработке программного обеспечения, способного легко масштабироваться и обрабатывать большие объемы данных в режиме реального времени. В этой статье мы подробно рассмотрим EDA и продемонстрируем, как распределенная потоковая платформа Apache Kafka, может быть использована для создания масштабируемых систем.

https://habr.com/ru/companies/otus/articles/895766/

#kafka #highload #EDA #итархитектура #Event_Driven_Architecture #Apache_Kafka

Как сделать livenessProbe для Kafka-консьюмеров и перестать перезапускать их вручную

Kafka-консьюмеры не всегда работают так стабильно, как хотелось бы. Иногда они просто зависают — без ошибок, без падений, но и без обработки сообщений. LivenessProbe в Kubernetes помогает автоматически перезапускать зависшие сервисы, но с Kafka-консьюмерами всё не так просто: стандартного решения для них нет. В этой статье разберём, как правильно реализовать livenessProbe для консьюмеров с помощью паттерна Heartbeat , чтобы не перезапускать их вручную.

https://habr.com/ru/companies/samolet/articles/880684/

#kafka #python #healthcheck #liveness #kubernetes

Как сделать livenessProbe для Kafka-консьюмеров и перестать перезапускать их вручную

Kafka-консьюмеры не всегда работают так стабильно, как хотелось бы. Иногда они просто зависают — без ошибок, без падений, но и без обработки сообщений. LivenessProbe в Kubernetes помогает автоматически перезапускать зависшие сервисы, но с Kafka-консьюмерами всё не так просто: стандартного решения для них нет. В этой статье разберём, как правильно реализовать livenessProbe для консьюмеров с помощью паттерна Heartbeat , чтобы не перезапускать их вручную.

https://habr.com/ru/companies/samolet/articles/880684/

#kafka #python #healthcheck #liveness #kubernetes

Как сделать livenessProbe для Kafka-консьюмеров и перестать перезапускать их вручную

Kafka-консьюмеры не всегда работают так стабильно, как хотелось бы. Иногда они просто зависают — без ошибок, без падений, но и без обработки сообщений. LivenessProbe в Kubernetes помогает автоматически перезапускать зависшие сервисы, но с Kafka-консьюмерами всё не так просто: стандартного решения для них нет. В этой статье разберём, как правильно реализовать livenessProbe для консьюмеров с помощью паттерна Heartbeat , чтобы не перезапускать их вручную.

https://habr.com/ru/companies/samolet/articles/880684/

#kafka #python #healthcheck #liveness #kubernetes

Thema Visualisierung von #MySQL/ #mariadb Transaktionen:

Hat hier jemand ein #Grafana im Einsatz? Wenn ja, mit #Prometheus?Mit #exporter oder mit #debezium als #cdc plus #Kafka?

Oder einfach nur Grafana + MySQL-select alle x Sekunden?

Hab mich vorgestern versucht, einzulesen und war überrascht, wie viele verschiedene Konstellationen möglich sind!

#linux
#foss
#monitoring

Heute Abend
PROZESS
#GorkiTheater #Berlin

Der Regisseur #OliverFrljić hat Kafkas Roman für die Bühne adaptiert. Herausgekommen ist ein virtuoser und vergnüglicher Abend, bei dem aber auch das beklemmende Moment nicht ausbleibt, und am Ende wird sogar noch Kafka selbst angeklagt...

#Kafka #Prozess

Having fun with AVRO schemas evolution early in the morning... Not even ironic. Its 7:47 and I think AVRO schema evolution checks by schema registry already saved the day!
#kafka #kafkastreams #avro

New post: "Interesting Stuff - Week 20, 2023".

This week:

* Latest research developments in reinforcement learning.
* Hubert on Streaming Platform Systems vs Stream Processing Systems.
* Performance and latency improvements of Spark Structured Streaming.
* Highlights of Kafka Summit 2023.
* Data Saturday in Johannesburg
* Lawrance and I planning Data Saturday Durban.

Read all about it:

https://nielsberglund.com/post/2023-05-21-interesting-stuff---week-20-2023/

#AI #ML #kafka #datasaturday

I would love to get your feedback

When you implement a Micronaut-based application that uses Kafka, Which Java Library do you use?

cc @micronautfw @ApacheKafka

#Kafka #microservices #micronaut #java #softwaredevelopment #softwareengineering #development #kafkastreams #java20 #eventdriven #architecture

#markd

Here is my #introduction
I am a #nerd that loves all things #StarTrek.

I am a #SoftwareEngineer supporting #node / #NodeJS and #JavaScript / #TypeScript systems in the #AWS cloud. I maintain #kafka / #KafkaConnect / #KafkaStreams services, and #FrontEnd #interfaces.

I enjoy #gaming with #games from #BoardGames and #CardGames to #VideoGames.

I enjoy reading #theory #SciFi and #fantasy from authors such as #UrsulaKLeGuin and #GeorgeRRMartin. I am on the #left politically.