#kafka — Public Fediverse posts

🔔 Event notifications to webhooks, #Kafka, #NATS, #Redis, #RabbitMQ, #PostgreSQL and #Elasticsearch, plus lambda-style webhook triggers on S3 events

📊 #Prometheus metrics per bucket, SSE streams for events/logs/traces, virus scanning via webhook with quarantine, hot/cold data tiering, backup scheduler and FUSE mount for buckets as local filesystem

Инфраструктура данных 2052: что, если у данных больше не будет «прода» и «истории»?

Если мысленно вернуться в 1980-е , аналитика во многом находилась буквально над production Данные появлялись в операционных системах, затем из них строились отчёты, выгрузки и аналитические витрины. Постепенно мы начали выносить аналитику подальше от production: появились отдельные хранилища, ETL, data warehouse, затем data lake, lakehouse и, наконец, огромный набор специализированных систем для streaming, batch, realtime и research Каждый раз мы решали вполне реальные проблемы своего времени. Но вместе с этим постепенно привыкли к довольно странной модели: production хранит настоящее, data lake - прошлое, Kafka - поток, а research живёт где-то ещё И вот здесь мне стало интересно немного заглянуть вперед... А что, если в 2052 году мы перестанем воспринимать всё это как разные сущности? Опираясь не на фантазии, а на то, что смог найти в технических блогах - не концепты, а реальные прототипы Если не хотите много читать, в конце статьи вся суть одной картинкой

https://habr.com/ru/articles/1070482/

#инфраструктура #data #lakehouse #kafka #redis #s3

Tide is hiring Director of Engineering

🔧 #java #angular #firebase #flutter #springboot #aws #bdd #cicd #kafka #kubernetes #mysql #postgresql
🌎 Bulgaria
⏰ Full-time
🏢 Tide

Job details https://jobsfordevelopers.com/jobs/director-of-engineering-at-tide-co-jul-23-2026-932770?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

“…culture belongs…in its original context.” #kafka #20BOS26 Book 29
https://kaggsysbookishramblings.wordpress.com/2026/08/19/culture-belongs-in-its-original-context-kafka-20bos26-book-29/
🫧 via https://bubbles.town/entry/44769854

Recently finished #Hospital by #HanSong
A bleak tortuous spiraling narrative, heading into liminal madness. Imagine #Kafka and #philipKDick all together in a spooky scenario of perpetual ambiguous nature.
The first installment of a trilogy I’m not sure to follow up soon, but for sure a very impressive first approach to this Chinese author.

2–3 тысячи сборок в день: как мы превратили Kafka из компонента в инфраструктурную платформу

Apache Kafka можно бесплатно скачать, развернуть и подключить к приложениям. При небольшом проекте этого может быть достаточно: создали несколько топиков, настроили потребителей - и обмен сообщениями работает. Но по мере роста инфраструктуры Kafka перестает быть просто брокером. От нее начинают зависеть функциональность микросервисов, интеграции, тестовые стенды, CI/CD-процессы и рабочие системы. Вместе с нагрузкой растет и список вопросов: как обновлять кластеры, отслеживать очереди, устранять уязвимости и восстанавливать работу после отказа. Меня зовут Илья Виссарионов, я директор департамента «Аппаратно-системная платформа» компании «Диасофт», и в этой статье расскажу, как мы используем Kafka в DevOps-инфраструктуре «Диасофта», какие проблемы обнаружили при эксплуатации под высокой нагрузкой и почему в итоге стали рассматривать брокер сообщений не как отдельный open-source-компонент, а как полноценную инфраструктурную платформу.

https://habr.com/ru/companies/diasoft_company/articles/1071268/

#kafka #digital_qmessagebroker #брокер_сообщений #itинфраструктура #высоконагруженные_системы

flask-confluent-kafka

Extensão Flask totalmente tipada (PEP 561) e testada para integrar producers e consumers do Confluent Kafka em poucas linhas — configuração direto pelo app.config, autenticação SASL opcional e suporte a múltiplos clientes nomeados, independentes do par padrão. Publicada no PyPI, com CI ativo e changelog versionado.

🔗 https://github.com/Riverfount/flask-confluent-kafka

#Python #Flask #Kafka #ApacheKafka

Die Tragik des Josef K.: Warum Kafkas „Der #Prozess“ auch heute noch hochaktuell ist – ein Gastbeitrag

https://www.l-iz.de/bildung/buecher/2026/08/die-tragik-des-josef-k-kafkas-der-prozess-hochaktuell-gastbeitrag-667359
#Gastbeitrag #Kafka #Demokratie

Learn everything you need to know about Kafka via these 91 free HackerNoon blog posts. https://hackernoon.com/91-blog-posts-to-learn-about-kafka #kafka

'Nothing living can be calculated.' #kafka said that in a letter to his father I believe.
#scrabble #streetart

"There is truth in #Kafka's omission of #Nature from his world, to the extent that the mechanized #civilization of today may be described as appropriating and exploiting everything there is as raw material or fuel, and destroying whatever cannot be exploited—even human beings.”

― Günther Anders, in "Kafka pro und contra: Die Prozess-Unterlagen."

El universo, Kafka y La peste: cuando la ciencia y la literatura dicen lo mismo

Sigo con El universo en tu mano, de Christophe Galfard, y me ha pasado algo que no esperaba: cuanto más leo sobre el tamaño y el funcionamiento del universo, más pienso en Kafka. Y en Camus. Suena raro, pero creo que la ciencia y estos dos escritores están hablando, en el fondo, de lo mismo.

El absurdo según Kafka

Cuando escribí sobre El proceso, lo que más me quedé pensando fue esto: a Josef K. lo detienen y lo procesan un tribunal al que nunca llega a entender del todo, por un delito que nunca le explican. No hay una razón clara en ninguna parte. Solo un sistema enorme, indiferente, que sigue funcionando encima de ti sin darte explicaciones.

El absurdo según Camus, en La peste

En La peste pasa algo parecido, aunque el tono sea distinto. La enfermedad llega a Oran sin avisar y sin motivo, y no distingue entre quien la merece y quien no. No hay una justicia detrás repartiendo el sufrimiento con criterio. El doctor Rieux y los demás siguen luchando contra ella no porque vayan a ganar seguro, sino porque es lo que hay que hacer. Ese es el absurdo de Camus, un mundo que no tiene por qué tener sentido y aun así hay que actuar en él.

Y el universo, ¿es absurdo también?

Aquí es donde Galfard me ha hecho pensar. La física no te da una razón de por qué existe algo en vez de nada. El universo no tiene un plan pensado para nosotros, ni un motivo escrito en ninguna parte para que estemos aquí. Es enorme, sigue sus leyes sin que le importe lo que nos pase, y nosotros somos una anécdota diminuta dentro de todo eso. Dicho así, es exactamente el mismo argumento que Kafka y Camus llevan usando desde hace un siglo, solo que ellos lo cuentan con personajes y la física lo cuenta con ecuaciones.

Y sin embargo, seguimos aquí

Lo que más me gusta de esta conexión es que ni Kafka ni Camus se quedan en la desesperación. Josef K. no deja de intentar defenderse, y Rieux no deja de curar enfermos aunque sepa que la peste puede volver. Puede que el universo no tenga un sentido puesto ahí para que lo encontremos, pero eso no impide que sigamos leyendo, escribiendo y buscándole explicación a las cosas de todas formas. A lo mejor ese es el único sentido que hace falta.

¿Ves tú también conexiones raras entre lo que lees y lo que aprendes de otros temas? Cuéntamelo en los comentarios.

Estas cosas más sueltas también las comparto en mi Substack, por si quieres seguirlas ahí. Y si prefieres quedarte por aquí, ya sabes dónde suscribirte.

Kafka CLI options driving you crazy? AI might finally have a solution.
Grzegorz Kocur tested Confluent’s mcp-confluent server with Claude Code on local Kafka clusters running mTLS and SASL/SCRAM.
Read to find out what happened: https://softwaremill.com/managing-kafka-with-ai-and-mcp/

#Kafka #ApacheKafka #AI #MCP #DevOps #ClaudeAI #Confluent

Just added another great piece to my Awesome Event-Driven Architecture list: Kim Clark's "The Resurgence of Event Driven Architecture".

Two things I like: it gives real historical context (messaging didn't start with Kafka), and it's clear that an asynchronous transport buys you no runtime decoupling if you still use it for request/response.

Article: https://kimjulianclark.medium.com/the-resurgence-of-event-driven-architecture-9c2daa41d9b6
List: https://codeberg.org/lutzh/awesome-event-driven-architecture#readme

#EventDrivenArchitecture #EDA #SoftwareArchitecture #Kafka

ClickHouse is hiring Senior Software Engineer - Integrations - AI/ML

🔧 #python #api #kafka #powerbi #sql #seniorengineer
🌎 Remote; Israel
⏰ Full-time
🏢 ClickHouse

Job details https://jobsfordevelopers.com/jobs/senior-software-engineer-integrations-ai-ml-at-clickhouse-com-aug-6-2026-e1a1c3?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

How Netflix redesigned its Service Topology pipeline to scale real-time service mapping:
🔹 Separates resolution from enrichment & persistence
🔹 Propagates backpressure to Kafka (zero record drops)
🔹 Swaps gRPC for SSE on high-volume internal transfers

📖 Read the full deep dive on #InfoQ ⇨ https://bit.ly/4x0Hrzc

#DistributedSystems #SoftwareArchitecture #Kafka #Microservices

Databricks is hiring Senior Specialist Solutions Architect - Data Engineering & Warehousing

🔧 #java #python #scala #unity #aws #azure #gcp #kafka #sql #seniorengineer #solutionsarchitect
🌎 United States
⏰ Full-time
🏢 Databricks

Job details https://jobsfordevelopers.com/jobs/senior-specialist-solutions-architect-data-engineering-warehousing-at-databricks-com-aug-3-2026-2285cf?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Как за 5 недель построить рекомендательную систему в TravelTech: Kafka и MongoDB вместо Feature Store

Привет! Меня зовут Кристина, я MLOps-инженер в Туту. Занимаюсь тем, что помогаю рекомендательным системам добраться до прода со всеми компромиссами, горящими дедлайнами и новыми идеями. Эта статья — про один из таких запусков. В идеальном ML-мире запуск рекомендаций выглядит примерно так: полгода проектируют хранилище признаков (Feature Store), настраивают, откуда и как берутся данные, гоняют тяжёлые расчёты фичей и моделей, а отдельная команда следит, не деградирует ли модель из‑за изменений в данных. В реальном бизнесе у тебя есть 5 недель до старта высокого сезона, два инженера, DS и задача: сделать так, чтобы пользователь, который купил билет, сразу увидел релевантный отель. Рассказываем, как мы собрали работающую RecSys v1 на привычном стеке: Kafka, MongoDB, ClickHouse. При этом мы сознательно отказались от перфекционизма ради скорости. Инженерный вызов здесь не в масштабе и не в алгоритмах, а в контексте. Cross-sell в travel — это не «похожие товары». Пример Пользователь купил билет Москва → Сочи на 10–17 июля: значит, нужно показать отели именно в Сочи, именно на эти даты. Коллаборативная фильтрация без контекста поездки — «похожие пользователи → похожие отели» — не знает ни город, ни даты, ни то, что заказ только что оплачен и его ещё нет в DWH. Нужен подход, где контекст конкретной поездки — куда, когда, с кем — задаётся явно до ранжирования. «Правильный» путь — Feature Store и полноценная ML-платформа, занял бы 4–6 месяцев. Бизнесу нужно было проверить гипотезу на живом трафике. Мы собрали v1 на том, что уже работало в проде, с некоторыми компромиссами и без иллюзий насчёт идеальной архитектуры.

https://habr.com/ru/companies/tuturu/articles/1064442/

#рекомендательные_системы #mlops #kafka #clickhouse #feature_store #fastapi #catboost #travel_tech #mongodb

Kaseya is hiring Senior Staff Software Engineer

🔧 #php #aws #cicd #kafka #kubernetes #redis #terraform #seniorengineer
🌎 Toronto, Ontario
⏰ Full-time
🏢 Kaseya

Job details https://jobsfordevelopers.com/jobs/senior-staff-software-engineer-at-kaseya-com-jul-27-2026-52dc2a?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Как не растерять девятки в SLA от облачного сервиса до вашего прикладного ПО

Думаю, многие сталкивались с ситуацией, когда облачный провайдер честно обещает 99.95% или даже 99.99% SLA, но в реальности бизнес-система падает на часы. Формально облако работает, виртуалки доступны, диск жив, сеть отвечает. Фактически пользователь открывает приложение и получает ошибку. Самый неприятный момент заключается в том, что в такие минуты невозможно показать пальцем на провайдера и сказать «проблема на стороне облака», потому что технически облако действительно работает, а вот система нет. Точнее работает, но не как единое целое. Я намеренно не погружаюсь сильно в техническую реализацию того или иного описанного метода по улучшению отказоустойчивости. Сейчас эту задачу прекрасно решает почти любая LLM. Цель статьи – поделиться своим майндсетом: на какие вещи я обращаю внимание, когда передо мной стоит задача улучшить стабильность highload-сервиса.

https://habr.com/ru/companies/cloud_ru/articles/1067910/

#sre #highload #sla #kafka #kubernetes

🐍☕ flask-confluent-kafka 0.2.1 no ar!

Extensão Flask leve e tipada pra confluent-kafka:

Producer/Consumer direto do app.config, em poucas linhas, múltiplos clients nomeados e hierarquia de exceções própria.

• 100% de cobertura de testes,
• py.typed,
• mypy --strict no CI.

pip install flask-confluent-kafka

🔗 https://pypi.org/project/flask-confluent-kafka/
💻 https://github.com/Riverfount/flask-confluent-kafka

#Python #Flask #Kafka #OpenSource

Tired of fragile API calls and missing events when saving data in your Kotlin services? This post introduces Okapi, a lightweight #Kotlin library that solves the dual-write problem using the transactional outbox pattern. Check out how to easily integrate it with #SpringBoot, #PostgreSQL, #MySQL, #HTTP, and #Kafka:

https://softwaremill.com/transactional-outbox-with-okapi/

Prawda czasów, prawda spoza ekranów.

#bookstodon
#kafka
#instagram

Neue #ChronoMedia Spots zu #Kafka
>> https://mprove.de/chrono3d?ll=50.63605,10.61067&q=50.47337,16.67954&z=4.98&t=17&m=UTG60802000&o=0.25&i=1/kafka&c=,j

/gefunden im Internet Archive
#glasperlenspiel

Apache Kafka concepts can be tricky; visualizing them helps.

The SoftwareMill Kafka Visualization tool breaks down the fundamentals interactively so you can see how things work in real time.

🆕 Now updated to support Kafka Share Groups.

Give it a spin: https://softwaremill.com/kafka-visualisation/

#ApacheKafka #Kafka #DistributedSystems #SoftwareEngineering