#kafka — Public Fediverse posts

The Architecture Decisions CAIOs Cannot Delegate to Engineering

https://hernanhuwyler.wordpress.com/2026/09/11/the-architecture-decisions-caios-cannot-delegate-to-engineering/

The Architecture Decisions CAIOs Cannot Delegate to Engineering

https://hernanhuwyler.wordpress.com/2026/09/11/the-architecture-decisions-caios-cannot-delegate-to-engineering/

The Architecture Decisions CAIOs Cannot Delegate to Engineering

https://hernanhuwyler.wordpress.com/2026/09/11/the-architecture-decisions-caios-cannot-delegate-to-engineering/

The Architecture Decisions CAIOs Cannot Delegate to Engineering

https://hernanhuwyler.wordpress.com/2026/09/11/the-architecture-decisions-caios-cannot-delegate-to-engineering/

The Architecture Decisions CAIOs Cannot Delegate to Engineering

https://hernanhuwyler.wordpress.com/2026/09/11/the-architecture-decisions-caios-cannot-delegate-to-engineering/

Feedzai is hiring Software Engineer - Digital Trust

🔧 #java #django #docker #kafka #kubernetes #nosql
🌎 Portugal
⏰ Full-time
🏢 Feedzai

Job details https://jobsfordevelopers.com/jobs/software-engineer-digital-trust-at-feedzai-com-may-14-2026-bb2cfc?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Feedzai is hiring Software Engineer - Digital Trust

🔧 #java #django #docker #kafka #kubernetes #nosql
🌎 Portugal
⏰ Full-time
🏢 Feedzai

Job details https://jobsfordevelopers.com/jobs/software-engineer-digital-trust-at-feedzai-com-may-14-2026-bb2cfc?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Feedzai is hiring Software Engineer - Digital Trust

🔧 #java #django #docker #kafka #kubernetes #nosql
🌎 Portugal
⏰ Full-time
🏢 Feedzai

Job details https://jobsfordevelopers.com/jobs/software-engineer-digital-trust-at-feedzai-com-may-14-2026-bb2cfc?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Feedzai is hiring Software Engineer - Digital Trust

🔧 #java #django #docker #kafka #kubernetes #nosql
🌎 Portugal
⏰ Full-time
🏢 Feedzai

Job details https://jobsfordevelopers.com/jobs/software-engineer-digital-trust-at-feedzai-com-may-14-2026-bb2cfc?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Feedzai is hiring Software Engineer - Digital Trust

🔧 #java #django #docker #kafka #kubernetes #nosql
🌎 Portugal
⏰ Full-time
🏢 Feedzai

Job details https://jobsfordevelopers.com/jobs/software-engineer-digital-trust-at-feedzai-com-may-14-2026-bb2cfc?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

CLEAR is hiring Data Engineer II, Analytics & Modeling

🔧 #python #aws #kafka #sql
🌎 New York City, New York
⏰ Full-time
🏢 CLEAR

Job details https://jobsfordevelopers.com/jobs/data-engineer-ii-analytics-modeling-at-clearme-com-sep-8-2026-1ff877?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

CLEAR is hiring Data Engineer II, Analytics & Modeling

🔧 #python #aws #kafka #sql
🌎 New York City, New York
⏰ Full-time
🏢 CLEAR

Job details https://jobsfordevelopers.com/jobs/data-engineer-ii-analytics-modeling-at-clearme-com-sep-8-2026-1ff877?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

CLEAR is hiring Data Engineer II, Analytics & Modeling

🔧 #python #aws #kafka #sql
🌎 New York City, New York
⏰ Full-time
🏢 CLEAR

Job details https://jobsfordevelopers.com/jobs/data-engineer-ii-analytics-modeling-at-clearme-com-sep-8-2026-1ff877?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

CLEAR is hiring Data Engineer II, Analytics & Modeling

🔧 #python #aws #kafka #sql
🌎 New York City, New York
⏰ Full-time
🏢 CLEAR

Job details https://jobsfordevelopers.com/jobs/data-engineer-ii-analytics-modeling-at-clearme-com-sep-8-2026-1ff877?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

CLEAR is hiring Data Engineer II, Analytics & Modeling

🔧 #python #aws #kafka #sql
🌎 New York City, New York
⏰ Full-time
🏢 CLEAR

Job details https://jobsfordevelopers.com/jobs/data-engineer-ii-analytics-modeling-at-clearme-com-sep-8-2026-1ff877?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Löytyy ihan uutta syvyyttä Kafkan Muodonmuutoksen lukemiseen kun on päivän makoillut ensin selällään kuumeisena ja nivelkivuissa. Vielä en tosin juoksentele seinillä 😅 🪲

#kirjamastodon #kafka

Большая история крохотного BPMN

Что полезного может делать бизнес-процесс, в котором всего одна задача, и та пользовательская? Что можно рассказать про BPMN-схему, которая поместится на экране смартфона? Муки выбора, драма, предательство и обстоятельства непреодолимой силы — вот что! Я расскажу, как на самом деле разрабатываются BPMN, исполняемые в движках вроде Camunda и Flowable, и, может быть, вы перестанете считать их просто «очередной графической нотацией»

https://habr.com/ru/articles/1076074/

#bpmn #camunda #camunda_8 #zeebe #kafka #бизнеспроцессы #оркестрация #eventdriven_architecture #микросервисы #масштабирование

Recently finished #Hospital by #HanSong
A bleak tortuous spiraling narrative, heading into liminal madness. Imagine #Kafka and #philipKDick all together in a spooky scenario of perpetual ambiguous nature.
The first installment of a trilogy I’m not sure to follow up soon, but for sure a very impressive first approach to this Chinese author.

Neue #ChronoMedia Spots zu #Kafka
>> https://mprove.de/chrono3d?ll=50.63605,10.61067&q=50.47337,16.67954&z=4.98&t=17&m=UTG60802000&o=0.25&i=1/kafka&c=,j

/gefunden im Internet Archive
#glasperlenspiel

Надёжная асинхронная коммуникация: повторы, дубликаты и dead letter queues

Представим обычную обработку заказа. Сервис заказов публикует событие order.created . Сервис склада получает его и резервирует товар в PostgreSQL. После успешной транзакции обработчик должен отправить RabbitMQ подтверждение ( Ack ), чтобы broker удалил сообщение из queue. Но процесс может остановиться после записи в PostgreSQL и до отправки Ack . RabbitMQ не знает, успел ли сервис зарезервировать товар. Broker видит только неподтверждённое сообщение, поэтому доставляет его ещё раз. С точки зрения доставки это правильное поведение. С точки зрения бизнеса один заказ теперь может зарезервировать товар дважды. Другой сбой возникает раньше: PostgreSQL временно недоступен, и обработчик не может начать работу. Если сразу вернуть сообщение в queue через отрицательное подтверждение Nack(requeue=true) , RabbitMQ почти немедленно доставит его снова. Пока база не восстановилась, все попытки будут бесполезными. Нужны задержка и ограничение числа повторов. При этом отложенное сообщение может пропустить вперёд более новые события, поэтому отдельно придётся решить вопрос порядка. Так одна операция превращается в несколько независимых участков: запись события, публикация, хранение в broker, обработка и подтверждение. Между соседними участками остаются моменты, когда одна сторона уже выполнила действие, а другая ещё не получила подтверждение. В статье разберём эти моменты по всему пути сообщения. Затем построим практическую схему для RabbitMQ и Go: добавим ограниченные повторы через retry queues, время жизни сообщения ( TTL ) и dead letter exchange, сделаем обработчик идемпотентным и определим, куда отправлять сообщения, которые не удалось обработать автоматически. В конце сравним этот подход с Kafka, NATS JetStream и Amazon SQS.

https://habr.com/ru/articles/1062002/

#rabbitmq #golang #go #kafka #архитектура #асинхронность #микросервисы #broker #queue #resilience

redb 3.3.0: решение уровня энтерпрайз на .NET — своя БД, свой Apache Camel и рантайм с дашбордом (и всё это бесплатно)

Когда говорят «энтерпрайз-стек на .NET», обычно имеют в виду зоопарк: база от одного вендора, шина от другого, ORM с миграциями, отдельный оркестратор, ещё что-нибудь для наблюдаемости — и клей между всем этим, который пишешь сам и потом сам же чинишь по ночам. Мы пошли другим путём и последние полгода собираем это как одну согласованную экосистему : типизированное хранилище redb поверх Postgres/MSSQL/SQLite, интеграционный движок redb.Route (наш ответ Apache Camel под .NET) и рантайм redb.Tsak с дашбордом, hot-reload и кластером. Три слоя, один код, один стиль. Сегодня вышла версия 3.3.0 — синхронный бамп всей экосистемы. Это не «добавили пару фич»: это релиз, в котором мы починили то, что молча не работало под нагрузкой (и это, пожалуй, главное), добавили два новых транспорта, довели до конца RAG-петлю для LLM и сделали конкурентность на любом источнике. Ниже — по делу, с кодом. И сразу главное: с версии 3.3.0 все Pro-решения бесплатны. Никаких лицензий, никаких ключей, никакой регистрации — просто ставишь пакет и юзаешь. Change tracking, bulk, продвинутый кэш, аналитика, кластер Tsak с координатором и failover — всё включено из коробки, в разработке и в проде одинаково. dotnet add package redb.Postgres.Pro — и оно работает. Никакого пейволла, никакого лицензионного сервера, ничего активировать не надо.

https://habr.com/ru/articles/1057616/

#c# #sqlite #dotnet #kafka #rabbitmq #redb #sqs #telegram

От 0 до 10 миллионов ИИ-проверок в месяц: как мы продуктивизировали CV в Пятёрочке за 8 месяцев

Статья про то, как CV-сервис вырос с MVP до 10 миллионов проверок фото в месяц и не развалился в проде. 🔧 Это не про «у нас классные модели» и не про «просто прикрутили YOLO», а про честную инженерную продуктивизацию. Про то как универсальный классификатор путал фарш с грязью, почему часть анкет всё равно лучше отдавать человеку, зачем отдельно мониторить качество моделей и что приходится чинить, когда реальный мир меняется быстрее обучающей выборки. Внутри: компьютерное зрение, 26 моделей, 62 проверки, CNN, VLM, Triton, vLLM, Kafka, Human-in-the-loop, мониторинг качества, сезонность, баги под нагрузкой и немного «веган-версии ИИ». Заходите, читайте и делитесь своим опытом продакшена ML-сервисов ❤️

https://habr.com/ru/companies/X5Tech/articles/1054688/

#computer_vision #multimodal #yolo #resnet #vlm #cnn #tritoninferenceserver #humanintheloop #kafka #ритейл

Погружение в Kafka c KRaft

Обязательной частью является валидировать понимание работы с распределенными событийными моделями. Тут начинается аномалия. Не смотря на то, что все кандидаты заявляют об опыте с Kafka, многие теряются в рассуждениях на тему что это и как организовано. Для того, чтобы коллегам было комфортное на техническом интервью, а так же для желающих понять работу Kafka без Zookeper предлагаю статью. Понимаю, что мы все не любим длинные тексты, поэтому вложил максимум деталей в схемы и краткие формулировки.

https://habr.com/ru/articles/1053670/

#kafka #kraft #raft #java #python #devops #development #broker #partitioning #replica

От 0 до 10 миллионов ИИ-проверок в месяц: как мы продуктивизировали CV в Пятёрочке за 8 месяцев

Статья про то, как CV-сервис вырос с MVP до 10 миллионов проверок фото в месяц и не развалился в проде. 🔧 Это не про «у нас классные модели» и не про «просто прикрутили YOLO», а про честную инженерную продуктивизацию. Про то как универсальный классификатор путал фарш с грязью, почему часть анкет всё равно лучше отдавать человеку, зачем отдельно мониторить качество моделей и что приходится чинить, когда реальный мир меняется быстрее обучающей выборки. Внутри: компьютерное зрение, 26 моделей, 62 проверки, CNN, VLM, Triton, vLLM, Kafka, Human-in-the-loop, мониторинг качества, сезонность, баги под нагрузкой и немного «веган-версии ИИ». Заходите, читайте и делитесь своим опытом продакшена ML-сервисов ❤️

https://habr.com/ru/companies/X5Tech/articles/1047946/

#computer_vision #multimodal #yolo #resnet #vlm #cnn #tritoninferenceserver #humanintheloop #kafka #ритейл

Простой API, умный сервер: третий класс брокеров, который пропускают между Kafka и RabbitMQ

Привет, Хабр! Меня зовут Андрей Серебрянский. Раньше я строил платформы потоковой обработки данных в банках, а теперь вместе с командой разрабатываю YDB Topics и YMQ. После своих докладов на конференциях мы с коллегами по индустрии часто обсуждаем брокеры сообщений. И меня, как разработчика таких решений, огорчает упрощённый подход: «RabbitMQ не нужен, всё можно собрать на Kafka». Вспоминая известную шутку: да, с помощью буханки бородинского и двух спиц можно собрать модель троллейбуса. Но зачем? Да, я люблю Kafka и с удовольствием про неё рассказываю на Хабре и Хайлоаде. Но, кроме Kafka и RabbitMQ, есть и третий класс брокеров сообщений: SQS-совместимые очереди в облачных платформах ( и не только ), которые для многих продакшн-задач подходят лучше, чем Kafka. Опытные разработчики, проводя system design interview, любят спрашивать друг друга о разнице между брокерами сообщений. А мне каждый раз хочется ответить: «Зависит от контекста». В статье под катом я начну с такого контекста: напомню, для чего изначально создавались SQS, RabbitMQ, Kafka. После этого расскажу про принцип «простой API, умный сервер» и про задачи, которые в эпоху микросервисов решаются с помощью брокеров. А в завершение — про реализацию SQS, над которой сейчас работаю: Yandex Message Queue.

https://habr.com/ru/companies/ydb/articles/1042560/

#kafka #rabbitmq #sqs #celery #ydb

PostgreSQL и аналитика: что меняется, когда хранилище становится общим

HTAP — одна из главных тем в мире СУБД. Вокруг PostgreSQL массово появляются конструкции с внешними аналитическими движками со своими моделями хранения данных и ограничениями совместимости, однако бизнесу не совсем комфортно жить в архитектуре, где транзакционные данные находятся в одной системе, аналитика - в другой, а между ними - разного рода ETL, CDC и прочие parquet-файлы. В Tantor мы движемся по иному пути, развивая HTAP внутри PostgreSQL, а не рядом с ним. Вокруг этой идеи строятся СУБД Tantor Polar и машина баз данных Tantor XData Gen3, в которой OLTP и аналитика, не теряя совместимости с Postgres, работают поверх общего хранилища данных и общей видимости транзакций. В этой статье хочется поговорить не столько о самом термине HTAP, сколько о том, как меняется архитектура PostgreSQL, когда OLTP и аналитика начинают работать поверх общего хранилища данных.

https://habr.com/ru/companies/tantor/articles/1039680/

#tantor #tantor_postgres #xdata #tantor_xdata #oracle_exadata #duckdb #greenplum #kafka #clickhouse

El #arte de #escribir #cartas 🖋️📖 https://letrasprestadas-clubpickwick.blogspot.com/2022/05/el-arte-de-escribir-cartas.html Te propongo acercarnos a algunas de las miles de cartas de escritores famosos acompañadas de #Operas en cuyas escenas las cartas son esenciales. Con #Cortazar, #Kafka, #Rilke, #Mozart, #Puccini y #Massenet

El #arte de #escribir #cartas ✍️🎶 https://letrasprestadas-clubpickwick.blogspot.com/2022/05/el-arte-de-escribir-cartas.html Te propongo acercarnos a algunas de las miles de cartas de escritores famosos acompañadas de #Operas en cuyas escenas las cartas son esenciales. Con #Cortazar, #Kafka, #Rilke, #Mozart, #Puccini y #Massenet

El #arte de #escribir #cartas 📖✍️ https://letrasprestadas-clubpickwick.blogspot.com/2022/05/el-arte-de-escribir-cartas.html Te propongo acercarnos a algunas de las miles de cartas de escritores famosos acompañadas de #Operas en cuyas escenas las cartas son esenciales. Con #Cortazar, #Kafka, #Rilke, #Mozart, #Puccini y #Massenet

El #arte de #escribir #cartas 🖋️📖 https://letrasprestadas-clubpickwick.blogspot.com/2022/05/el-arte-de-escribir-cartas.html Te propongo acercarnos a algunas de las miles de cartas de escritores famosos acompañadas de #Operas en cuyas escenas las cartas son esenciales. Nos acompañan #Cortazar, #Kafka, #Rilke, #Mozart, #Puccini y #Massenet

@charlesmagne1 @DrALJONES Just looked up Kafka to remind myself and others, as Kafka he comes up occasionally !

Franz Kafka = Czech novelist who wrote in German about a nightmarish world of isolated and troubled individuals). 1883-1924.

#FranzKafka #Kafka #Czech #Novelist #German #Writing #nightmare for #individuals

https://en.wikipedia.org/wiki/Kafka

Проектируем сервис HTTP-запросов: Kafka, PostgreSQL, Redis-очередь и миллионы логических партиций

Ни одна «одна технология» не закрывает это без слоёв. Сначала — почему в стеке именно Kafka, PostgreSQL и Redis ; дальше — как мы спроектировали сервис Requester : контекст, движение данных, внутренние воркеры, graceful shutdown, детали rate limit / retry / cache / отложенных задач, wake-up, тестирование и узкое место с большими payload в Redis.

https://habr.com/ru/articles/1028010/

#postgresql #redis #go #lua #kafka #c4 #проектирование #архитектура

From Java Coder to Software Engineer: The 2025 Skill Stack for Senior Devs

https://www.emilyselect.com/from-java-coder-to-software-engineer-the-2025-skill-stack-for-senior-devs/?feed_id=5437&_unique_id=69db29677d1a7&Mastodon

#Algorithms #AWS #Caching #CICD #CleanCode #CloudComputing #DataStructures #DevOps #docker #DomainDrivenDesign #EnterpriseJava #GitHubActions #Grafana #InfrastructureasCode #Java #Java2025 #JavaCareerPath #JavaInterview #Javajobs #JavaVirtualThreads #JVM #Kafka #Kuberne...

From Java Coder to Software Engineer: The 2025 Skill Stack for Senior Devs

https://www.emilyselect.com/from-java-coder-to-software-engineer-the-2025-skill-stack-for-senior-devs/?feed_id=2956&_unique_id=691c87d7ccad9&Mastodon

#Algorithms #AWS #Caching #CICD #CleanCode #CloudComputing #DataStructures #DevOps #docker #DomainDrivenDesign #EnterpriseJava #GitHubActions #Grafana #InfrastructureasCode #Java #Java2025 #JavaCareerPath #JavaInterview #Javajobs #JavaVirtualThreads #JVM #Kafka #Kuberne...

Почему простой парсер не всегда решает задачу: мой опыт интеграции спортивных API

В рамках собственной системы спортивной аналитики я хотел получить real-time доступ к данным о движении коэффициентов — в частности, с платформы pickingodds.com. У сервиса интересная фича — визуализация графика изменения линии по каждому событию. Это потенциально полезный источник вторичных сигналов (например, для обнаружения аномалий, связанных с резкой коррекцией маркет-мейкеров). Изначальный план был прост: интегрироваться по REST API, выкачивать данные раз в несколько минут, писать в TSDB, использовать далее для анализа и фичей в ML-пайплайнах. На практике же всё быстро ушло в зону нетривиальной оптимизации.

https://habr.com/ru/articles/930360/

#pickingodds #коэффициенты_ставок #асинхронный_парсинг #rate_limiting #aiohttp #Redis #Kafka #TimescaleDB #LightGBM #ML_фильтрация_событий

[Перевод] Мониторинг и управление воркфлоу между взаимодействующими микросервисами

Как получить прозрачность в бизнес-процессах, если архитектура строится на микросервисах и событийных потоках? В своей статье Бернд Рюкер, сооснователь Camunda, делится практическими подходами к отслеживанию и управлению процессами в распределённых системах. Он объясняет, как переход от простого мониторинга событий к полноценной оркестрации помогает лучше понимать происходящее, своевременно реагировать на инциденты и сохранять контроль над сложными бизнес-операциями. В статье разбираются плюсы и минусы различных подходов — от Elastic-подобного мониторинга до использования движков рабочих процессов, а также рассматривается важность баланса между оркестрацией и хореографией.

https://habr.com/ru/articles/926542/

#microservices #orchestration #choreography #workflow #bpmn #process_mining #kafka #camunda #data_lake

Beyond Trends: A Practical Guide to Choosing the Right #MessageBroker

https://www.infoq.com/articles/choosing-message-broker/

#Kafka #SQS

Atenção Pythonistas da minha timeline linda, estamos com vaga 100% remota para pessoa desenvolvedora. Stack bem de boas: Flask, MongoDB e Filas (Kafka/SQS). Ambiente de trabalho muito tranquilo. Interessades só chamar no pvt! ;-)

#Vaga #Remota #Python #Flask #Kafka #SQS #MongoDB

"Evaluating persistent, replicated message queues" mega article by @adamwarski et. al. is pure gold. https://softwaremill.com/mqperf/ Features #Kafka #PostgreSQL #mongodb #Redis #Pulsar #NATS #SQS #RocketMQ #RabbitMQ #ActiveMQ #RedPanda and more

Dit is exact de wereld die niet mee wil werken om mensen met een handicap een volwaardig leven te geven. Wat een verhaal over onbegrip, Kafka en tegenwerking. Als het gaat om vrije tijd hebben we recent de Stichting Michelle Rutten opgericht. (We zijn nu bestuursleden aan het we en uit onze doelgroep). Waar we kijken naar cultuur, sport en vrije tijdsbeleving voor jongvolwassenen. #pgb #easyjet #vnverdrag #toegankelijkheid #handicap #kafka #onwil https://www.pgb.nl/caroline-zonder-pardon-uit-vliegtuig-gezet-naar-geneve/

#ParlementaireEnquete #fraudebeleid #fraudejacht #Kafka #grondrechtenschandaal
#AleidWolfsen

Het verhoor van Aleid Wolfsen terugkijken kan hier.

Ik zeg: doen!

(en herhaal nogmaals dat dit soort verhoren gewoon 's avonds op primetime door de publieke omroep (op NPO1 of NPO2) uitgezonden zou moeten worden.)

👇🏼 ❗

https://debatgemist.tweedekamer.nl/debatten/parlementaire-enqu%C3%AAtecommissie-fraudebeleid-en-dienstverlening-%E2%80%93-openbaar-verhoor-de-hee-27

#ParlementaireEnquete #fraudebeleid #Fraudejacht #Kafka #grondrechtenschandaal

👇🏼 👇🏼

The recordings from last month's #KafkaSummit are now live! 🎉

Lots of good stuff to review there - I want to pick out some to share, but in the meantime, I'll start by sharing mine! ;-)

I gave an intro to the #Kafka Connect & Streams APIs using Xbox data

https://dalelane.co.uk/blog/?p=4876

Edward Gorey’s Illustrated Covers for Literary Classics {
#Kafka #EdgarAllanPoe
#Gogol #WilkieCollins

More at ~ https://lithub.com/edward-goreys-illustrated-covers-for-literary-classics/

#EdwardGorey #Books #BookCovers #VintageIllustration

@bookstodon