#kafka — Public Fediverse posts

Очередь на Postgres: почему Kafka не нужна

Это история про архитектуру одного сервиса. Рассказанная до конца, а не только до того места, где обычно останавливаются статьи про архитектуру. Намеренно упрощена бизнес-логика, чтобы не размывать основной смысл. Сервис принимал запрос, писал строку в базу, отвечал 201. Никто не пишет статей про такой код, потому что в нём нечего обсуждать. Рано или поздно один сервис перестаёт быть одним сервисом. Появляется второй, которому важно узнать о том же событии — обсчитать аналитику, обновить поисковый индекс, отправить письмо. Возникает соблазн просто дёрнуть его по HTTP, и это первая ошибка, которую все совершают и все же исправляют: синхронный вызов делает вас настолько же надёжным, насколько надёжен самый хрупкий из ваших соседей. Значит нужно асинхронно, через брокер. И почти всегда этим брокером оказывается Kafka.

https://habr.com/ru/articles/1082062/

#kafka #postgres #debezium #net #c# #микросервисы #wal #outboxпаттерн

Mindera is hiring Senior/Staff Java Engineer - Build Scalable Cloud Systems (Kafka | K8s | Azure)

🔧 #azure #java #kafka #kubernetes #graphql #rest #cicd #docker #nosql #sql #seniorengineer
🌎 Chennai, India
⏰ Full-time
🏢 Mindera

Job details https://jobsfordevelopers.com/jobs/senior-staff-java-engineer-build-scalable-cloud-systems-kafka-k-8-s-azure-at-mindera-com-nov-20-2025-67c56c?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Mindera is hiring Senior/Staff Java Engineer - Build Scalable Cloud Systems (Kafka | K8s | Azure)

🔧 #azure #java #kafka #kubernetes #graphql #rest #cicd #docker #nosql #sql #seniorengineer
🌎 Chennai, India
⏰ Full-time
🏢 Mindera

Job details https://jobsfordevelopers.com/jobs/senior-staff-java-engineer-build-scalable-cloud-systems-kafka-k-8-s-azure-at-mindera-com-nov-20-2025-67c56c?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Mindera is hiring Senior/Staff Java Engineer - Build Scalable Cloud Systems (Kafka | K8s | Azure)

🔧 #azure #java #kafka #kubernetes #graphql #rest #cicd #docker #nosql #sql #seniorengineer
🌎 Chennai, India
⏰ Full-time
🏢 Mindera

Job details https://jobsfordevelopers.com/jobs/senior-staff-java-engineer-build-scalable-cloud-systems-kafka-k-8-s-azure-at-mindera-com-nov-20-2025-67c56c?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Mindera is hiring Senior/Staff Java Engineer - Build Scalable Cloud Systems (Kafka | K8s | Azure)

🔧 #azure #java #kafka #kubernetes #graphql #rest #cicd #docker #nosql #sql #seniorengineer
🌎 Chennai, India
⏰ Full-time
🏢 Mindera

Job details https://jobsfordevelopers.com/jobs/senior-staff-java-engineer-build-scalable-cloud-systems-kafka-k-8-s-azure-at-mindera-com-nov-20-2025-67c56c?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Mindera is hiring Senior/Staff Java Engineer - Build Scalable Cloud Systems (Kafka | K8s | Azure)

🔧 #azure #java #kafka #kubernetes #graphql #rest #cicd #docker #nosql #sql #seniorengineer
🌎 Chennai, India
⏰ Full-time
🏢 Mindera

Job details https://jobsfordevelopers.com/jobs/senior-staff-java-engineer-build-scalable-cloud-systems-kafka-k-8-s-azure-at-mindera-com-nov-20-2025-67c56c?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Uniphore is hiring Technical Engineering Manager

🔧 #java #aws #docker #kafka #mongodb #postgresql #redis #engineeringmanager
🌎 Bangalore, India; Chennai, India
⏰ Full-time
🏢 Uniphore

Job details https://jobsfordevelopers.com/jobs/technical-engineering-manager-at-uniphore-com-jan-29-2024-779c85?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Uniphore is hiring Technical Engineering Manager

🔧 #java #aws #docker #kafka #mongodb #postgresql #redis #engineeringmanager
🌎 Bangalore, India; Chennai, India
⏰ Full-time
🏢 Uniphore

Job details https://jobsfordevelopers.com/jobs/technical-engineering-manager-at-uniphore-com-jan-29-2024-779c85?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Uniphore is hiring Technical Engineering Manager

🔧 #java #aws #docker #kafka #mongodb #postgresql #redis #engineeringmanager
🌎 Bangalore, India; Chennai, India
⏰ Full-time
🏢 Uniphore

Job details https://jobsfordevelopers.com/jobs/technical-engineering-manager-at-uniphore-com-jan-29-2024-779c85?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Uniphore is hiring Technical Engineering Manager

🔧 #java #aws #docker #kafka #mongodb #postgresql #redis #engineeringmanager
🌎 Bangalore, India; Chennai, India
⏰ Full-time
🏢 Uniphore

Job details https://jobsfordevelopers.com/jobs/technical-engineering-manager-at-uniphore-com-jan-29-2024-779c85?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Uniphore is hiring Technical Engineering Manager

🔧 #java #aws #docker #kafka #mongodb #postgresql #redis #engineeringmanager
🌎 Bangalore, India; Chennai, India
⏰ Full-time
🏢 Uniphore

Job details https://jobsfordevelopers.com/jobs/technical-engineering-manager-at-uniphore-com-jan-29-2024-779c85?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

The Architecture Decisions CAIOs Cannot Delegate to Engineering

https://hernanhuwyler.wordpress.com/2026/09/11/the-architecture-decisions-caios-cannot-delegate-to-engineering/

The Architecture Decisions CAIOs Cannot Delegate to Engineering

https://hernanhuwyler.wordpress.com/2026/09/11/the-architecture-decisions-caios-cannot-delegate-to-engineering/

The Architecture Decisions CAIOs Cannot Delegate to Engineering

https://hernanhuwyler.wordpress.com/2026/09/11/the-architecture-decisions-caios-cannot-delegate-to-engineering/

The Architecture Decisions CAIOs Cannot Delegate to Engineering

https://hernanhuwyler.wordpress.com/2026/09/11/the-architecture-decisions-caios-cannot-delegate-to-engineering/

The Architecture Decisions CAIOs Cannot Delegate to Engineering

https://hernanhuwyler.wordpress.com/2026/09/11/the-architecture-decisions-caios-cannot-delegate-to-engineering/

Инфраструктура данных 2052: что, если у данных больше не будет «прода» и «истории»?

Если мысленно вернуться в 1980-е , аналитика во многом находилась буквально над production Данные появлялись в операционных системах, затем из них строились отчёты, выгрузки и аналитические витрины. Постепенно мы начали выносить аналитику подальше от production: появились отдельные хранилища, ETL, data warehouse, затем data lake, lakehouse и, наконец, огромный набор специализированных систем для streaming, batch, realtime и research Каждый раз мы решали вполне реальные проблемы своего времени. Но вместе с этим постепенно привыкли к довольно странной модели: production хранит настоящее, data lake - прошлое, Kafka - поток, а research живёт где-то ещё И вот здесь мне стало интересно немного заглянуть вперед... А что, если в 2052 году мы перестанем воспринимать всё это как разные сущности? Опираясь не на фантазии, а на то, что смог найти в технических блогах - не концепты, а реальные прототипы Если не хотите много читать, в конце статьи вся суть одной картинкой

https://habr.com/ru/articles/1070482/

#инфраструктура #data #lakehouse #kafka #redis #s3

Инфраструктура данных 2052: что, если у данных больше не будет «прода» и «истории»?

Если мысленно вернуться в 1980-е , аналитика во многом находилась буквально над production Данные появлялись в операционных системах, затем из них строились отчёты, выгрузки и аналитические витрины. Постепенно мы начали выносить аналитику подальше от production: появились отдельные хранилища, ETL, data warehouse, затем data lake, lakehouse и, наконец, огромный набор специализированных систем для streaming, batch, realtime и research Каждый раз мы решали вполне реальные проблемы своего времени. Но вместе с этим постепенно привыкли к довольно странной модели: production хранит настоящее, data lake - прошлое, Kafka - поток, а research живёт где-то ещё И вот здесь мне стало интересно немного заглянуть вперед... А что, если в 2052 году мы перестанем воспринимать всё это как разные сущности? Опираясь не на фантазии, а на то, что смог найти в технических блогах - не концепты, а реальные прототипы Если не хотите много читать, в конце статьи вся суть одной картинкой

https://habr.com/ru/articles/1070482/

#инфраструктура #data #lakehouse #kafka #redis #s3

Инфраструктура данных 2052: что, если у данных больше не будет «прода» и «истории»?

Если мысленно вернуться в 1980-е , аналитика во многом находилась буквально над production Данные появлялись в операционных системах, затем из них строились отчёты, выгрузки и аналитические витрины. Постепенно мы начали выносить аналитику подальше от production: появились отдельные хранилища, ETL, data warehouse, затем data lake, lakehouse и, наконец, огромный набор специализированных систем для streaming, batch, realtime и research Каждый раз мы решали вполне реальные проблемы своего времени. Но вместе с этим постепенно привыкли к довольно странной модели: production хранит настоящее, data lake - прошлое, Kafka - поток, а research живёт где-то ещё И вот здесь мне стало интересно немного заглянуть вперед... А что, если в 2052 году мы перестанем воспринимать всё это как разные сущности? Опираясь не на фантазии, а на то, что смог найти в технических блогах - не концепты, а реальные прототипы Если не хотите много читать, в конце статьи вся суть одной картинкой

https://habr.com/ru/articles/1070482/

#инфраструктура #data #lakehouse #kafka #redis #s3

Избавляемся от потерянных событий в микросервисах — как я написал свой Spring Starter для Outbox/Inbox

Всем привет! Меня зовут Григорий, и недавно при разработке своего микросервисного приложения я нашёл уязвимость — сообщения, пересылаемые между сервисами, имели высокий риск быть необработанными. Решением стал паттерны Outbox и Inbox. Однако, когда я стал их реализовывать во всех приложениях, то понял, что просто копирую и вставляю код. Чтобы это исправить, я решил написать свой стартер.

https://habr.com/ru/articles/1064466/

#java #spring #springstarter #outboxпаттерн #inboxпаттерн #dlq #kafka #rabbitmq

Контракты данных между командами: гайд по data contracts в дата‑пайплайнах

Когда пайплайн отработал без ошибок, тесты зелёные, а в дашборде внезапно нули, проблема может быть не в инфраструктуре, а в отсутствии договорённостей между командами. В статье разбираем, как data contracts помогают фиксировать структуру, правила и ответственность за данные — и почему это спасает витрины, отчёты и нервы дата-инженеров.

https://habr.com/ru/companies/otus/articles/1042140/

#контракты_данных #data_contracts #датапайплайны #DWH #Data_Lake #Data_Engineering #dbt #Kafka #Schema_Registry #качество_данных

Event-Driven подход в пет-проекте: автоматизация Telegram-канала на NiFi, Kafka и n8n

Привет, Хабр! Хочу рассказать про один странный пет-проект, который немного вырвался из-под контроля. Все описанные потоки можно попробовать в github Скачивайте, ставьте звездочки) Началось всё обычно: есть VPS (2 ядра, 6 ГБ RAM, 40 GB NVMe), есть свободное время и желание сделать что-то полезное. А ещё есть давняя хотелка — попробовать Kafka в реальном бою. Ну и Telegram-канал для изучения английского как-то сам напросился: новости BBC, разбор лексики, викторины — вроде не сложно, но и не совсем hello world. Спойлер: Kafka я попробовал, канал работает до сих пор, а архитектура получилась немного безумной — с двумя очередями и разделением ответственности, которое я буду защищать в комментариях. Под катом — почему n8n не справился бы в одиночку, как подружить NiFi с расписанием и зачем я заставляю DeepSeek всегда класть правильный ответ в индекс 0.

https://habr.com/ru/articles/1005602/

#petproject #eventdriven #nifi #kafka #n8n #archimate #архитектура #deepseek #telegram #llm

This is my November Fedi reminder that I am a talented #Java developer looking for a developer position either remote, or based in Tampa, FL. I have some neat skills, like #CoreJava, #JavaEE, #Spring Frameworks, #WebServices, #Kafka, and many others. If you want to set up a call, I promise I will respond. (And I only ask you apply the same rule.)

Oh yeah, something-something-pumpkin-spice; now it's a November post.

#FediHire #fedijob #PumpkinSpice

#bureaucracy of the day
#inscription #étudiant

Pièces à fournir :

La copie de l’attestation de paiement de la CVEC (Contribution de Vie Étudiante et de Campus – montant : 105 €) à régler sur le site suivant : Accueil - CVEC, Contribution de vie étudiante et de campus

Connecté #FranceConnect , c’est le mur, l’autre site reboucle vers le mur
#kafka

#art #mastoart #illustration #kleinekunstklasse #surrealism #diorama #kafka #dieverwandlung #gregorsamsa
Heute erhielt Gregor Samsa seine endgültige Gestalt:

#art #illustration #kleinekunstklasse #surrealism #diorama #kafka #dieverwandlung #gregorsamsa
Kafkas Erzählung „Die Verwandlung“ erzeugte eine unbändige Lust, ein Diorama dazu zu bauen. Hier die Szene am Morgen nach der Verwandlung des Handlungsreisenden Gregor Samsa in ein Riesen-Insekt. Alle Teile sind realisiert aus Resten und Dingen, die ich noch hatte.

Did some dependency updates to my #zio #test #library for #scala

https://codeberg.org/jjba23/zzspec

zzspec v1.0.12 is now available

easily perform unit, integration and black box tests, with some #docker test #containers too if needed

leveraging the expressive ZIO test framework and use helpers for #postgresql #kafka and more

@formschub
Für Perry Rhodan Fans: Ribald Corello der Supermutant (statt Gregor Samsa). Verblüffende Ähnlichkeit zu Merz... 😉

https://www.perrypedia.de/wiki/Ribald_Corello

#perryrhodan #RibaldCorello #GregorSamsa #merz #friedrichmerz #mutant #kafka

Как читать сообщения, если никто из брокеров не предоставил удобный интерфейс

Пишите вы себе EDA на основе Apache Kafka , и ваши сервисы тщательно логируют все свои действия, процесс отлажен и работает годами. Вдруг один из сервисов отчитался в логах, что отправил событие в брокер, но другой по какой-то его не прочитал. Как понять, кто виноват? Как правило, брокер сообщений между сервисами – черная коробка, которая работает, что называется «As Is». Разработчики подключают зависимости, вешают аннотации консюмеров и продюсеров , оно заводится и все рады. Но что они там подключили и как это работает никто не видит. Так давайте же посмотрим, как мы можем открыть этот чёрный ящик на примере наиболее популярных брокеров сообщений.

https://habr.com/ru/companies/axenix/articles/886042/

#kafka #брокер_сообщений #activemq_artemis #rabbitmq #nats #conductor #offset_explorer #kafka_ui #brok #esb

Experience the magic of Kafka's stories in a breathtaking new production! Dive into the surreal world where dreams and reality intertwine, featuring unforgettable characters and stunning choreography. This is a must-see event for theater lovers in Zlín! #Kafka #Theater #Zlin #CulturalEvent #Murakami

👉 Více informací najdete zde:
https://tiskovec.cz/clanky/sobotni-ceska-premiera-kafky-na-pobrezi-byla-udalosti-zlinske-divadelni-sezony?utm_source=mastodon_social&utm_medium=social&utm_campaign=new_article

Cut Kafka cloud costs by 30%! Discover how Wix Engineering optimized high-traffic topics with a push-based consumer proxy.

Read more: https://www.wix.engineering/post/from-bottleneck-to-breakthrough-how-wix-cut-kafka-costs-by-30-with-a-push-based-consumer-proxy

#ApacheKafka #Kafka #cloudoptimization #finops #cloudcosts #awscosts

🚀 Nächste Woche ist #BaselOne24 🎉

Am 16. und 17. Oktober 2024 erwarten Euch viele spannende Workshops und Vorträge von bekannten Speaker:innen und Newcomer:innen. Dabei bringen Sie Euch auf den neuesten Stand in Sachen #KünstlicheIntelligenz, #Deserialization, #Metriken, #TeamBuilding, #Java, #Kafka, #Testing, und vieles mehr.

👉🏻 Hier geht's zum Programm: https://lnkd.in/egfakuP5

🐸 https://lnkd.in/ggjmzerN

#communityrocks #BaselOne #TechEvent #CleanCode #AI #Kafka #Java

⏳Wer hat an der Uhr gedreht... Nur noch 3 Wochen bis zur #BaselOne24... 😊

🔊 Am 16. und 17. Oktober 2024 erwarten Euch Gerrit Grunwald, Grace Jansen, Falk Sippach, Nadine Broghammer, Simon Martinelli und Patrick Baumgartner. Dabei bringen Sie Euch auf den neuesten Stand in Sachen #KünstlicheIntelligenz, #Deserialization, #Metriken, #TeamBuilding, hashtag#Java, #Kafka, #Testing, und vieles mehr.

🐸 unter https://lnkd.in/ggjmzerN.

#Communityrocks #SoftwareDevelopment #TechConference #AI

I'm doing an online creative writing workshop this afternoon with 80 students from across the global Open Society University Network.

We're talking about #kafka and etymology, and entomology, and how weird it is to wake up in the morning (even on those days when you are not somehow transformed into a monstrous insect).

It's going to be fun.

#OSUN #CreativeWriting

#GregorSamsa lives in a yurt and the insects in the neighborhood have a standing invitation to come in.

#FictionalCharactersInRetirement
#HashTagGames
#Kafka
#NoBugSpray

Man fällt immer wieder auf den Trick der Verlage herein, bei neueren Romanen im Klappentext name dropping zu veranstalten. Habe #Annihilation von Jeff #VanderMeer bekommen, weil hinten drauf #Lovecraft und #Kafka als Vergleichsgrössen genannt werden. Da nimmt sich VanderMeer aber aus wie ein Regionalligist in der Champions League. 👎🏿 (➡️back to the classics)