#kafka — Public Fediverse posts

ID.me is hiring Staff Software Engineer - Reporting & Billing

🔧 #golang #java #kotlin #api #kafka #sql
🌎 McLean, Virginia
⏰ Full-time
🏢 ID.me

Job details https://jobsfordevelopers.com/jobs/staff-software-engineer-reporting-billing-at-id-me-sep-4-2026-961359?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

ID.me is hiring Staff Software Engineer - Reporting & Billing

🔧 #golang #java #kotlin #api #kafka #sql
🌎 McLean, Virginia
⏰ Full-time
🏢 ID.me

Job details https://jobsfordevelopers.com/jobs/staff-software-engineer-reporting-billing-at-id-me-sep-4-2026-961359?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

ID.me is hiring Staff Software Engineer - Reporting & Billing

🔧 #golang #java #kotlin #api #kafka #sql
🌎 McLean, Virginia
⏰ Full-time
🏢 ID.me

Job details https://jobsfordevelopers.com/jobs/staff-software-engineer-reporting-billing-at-id-me-sep-4-2026-961359?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

ID.me is hiring Staff Software Engineer - Reporting & Billing

🔧 #golang #java #kotlin #api #kafka #sql
🌎 McLean, Virginia
⏰ Full-time
🏢 ID.me

Job details https://jobsfordevelopers.com/jobs/staff-software-engineer-reporting-billing-at-id-me-sep-4-2026-961359?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

ID.me is hiring Staff Software Engineer - Reporting & Billing

🔧 #golang #java #kotlin #api #kafka #sql
🌎 McLean, Virginia
⏰ Full-time
🏢 ID.me

Job details https://jobsfordevelopers.com/jobs/staff-software-engineer-reporting-billing-at-id-me-sep-4-2026-961359?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Databricks is hiring Site Reliability Engineer

🔧 #python #aws #azure #cicd #docker #gcp #kafka #kubernetes #terraform
🌎 Costa Rica
⏰ Full-time
🏢 Databricks

Job details https://jobsfordevelopers.com/jobs/site-reliability-engineer-at-databricks-com-may-19-2026-e87a3b?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Databricks is hiring Site Reliability Engineer

🔧 #python #aws #azure #cicd #docker #gcp #kafka #kubernetes #terraform
🌎 Costa Rica
⏰ Full-time
🏢 Databricks

Job details https://jobsfordevelopers.com/jobs/site-reliability-engineer-at-databricks-com-may-19-2026-e87a3b?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Databricks is hiring Site Reliability Engineer

🔧 #python #aws #azure #cicd #docker #gcp #kafka #kubernetes #terraform
🌎 Costa Rica
⏰ Full-time
🏢 Databricks

Job details https://jobsfordevelopers.com/jobs/site-reliability-engineer-at-databricks-com-may-19-2026-e87a3b?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Databricks is hiring Site Reliability Engineer

🔧 #python #aws #azure #cicd #docker #gcp #kafka #kubernetes #terraform
🌎 Costa Rica
⏰ Full-time
🏢 Databricks

Job details https://jobsfordevelopers.com/jobs/site-reliability-engineer-at-databricks-com-may-19-2026-e87a3b?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Databricks is hiring Site Reliability Engineer

🔧 #python #aws #azure #cicd #docker #gcp #kafka #kubernetes #terraform
🌎 Costa Rica
⏰ Full-time
🏢 Databricks

Job details https://jobsfordevelopers.com/jobs/site-reliability-engineer-at-databricks-com-may-19-2026-e87a3b?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Apache Kafka vs Apache Iggy: Same Log, Different Engine

#apache #iggy #java #kafka #log #messaging #rustlang

https://softwaremill.com/apache-kafka-vs-apache-iggy-same-log-different-engine/

Apache Kafka vs Apache Iggy: Same Log, Different Engine

#apache #iggy #java #kafka #log #messaging #rustlang

https://softwaremill.com/apache-kafka-vs-apache-iggy-same-log-different-engine/

Apache Kafka vs Apache Iggy: Same Log, Different Engine

#apache #iggy #java #kafka #log #messaging #rustlang

https://softwaremill.com/apache-kafka-vs-apache-iggy-same-log-different-engine/

Apache Kafka vs Apache Iggy: Same Log, Different Engine

#apache #iggy #java #kafka #log #messaging #rustlang

https://softwaremill.com/apache-kafka-vs-apache-iggy-same-log-different-engine/

Apache Kafka vs Apache Iggy: Same Log, Different Engine

#apache #iggy #java #kafka #log #messaging #rustlang

https://softwaremill.com/apache-kafka-vs-apache-iggy-same-log-different-engine/

Nuro is hiring Staff Software Engineer, Routing

🔧 #cplusplus #grpc #aws #docker #gcp #kafka #kubernetes #mysql #postgresql #redis
🌎 Mountain View, California
⏰ Full-time
🏢 Nuro

Job details https://jobsfordevelopers.com/jobs/staff-software-engineer-routing-at-nuro-ai-aug-27-2025-cf2183?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Consensus algorithms, Paxos and Raft by Yifan Xing [PWL BOS] (2018)

https://www.youtube.com/watch?v=fcFqFfsAlSQ

#kafka #paxos #raft

Большая история крохотного BPMN

Что полезного может делать бизнес-процесс, в котором всего одна задача, и та пользовательская? Что можно рассказать про BPMN-схему, которая поместится на экране смартфона? Муки выбора, драма, предательство и обстоятельства непреодолимой силы — вот что! Я расскажу, как на самом деле разрабатываются BPMN, исполняемые в движках вроде Camunda и Flowable, и, может быть, вы перестанете считать их просто «очередной графической нотацией»

https://habr.com/ru/articles/1076074/

#bpmn #camunda #camunda_8 #zeebe #kafka #бизнеспроцессы #оркестрация #eventdriven_architecture #микросервисы #масштабирование

Pinterest is hiring Senior Production Engineer, Solutions Engineering

🔧 #golang #python #ansible #aws #azure #docker #gcp #kafka #kubernetes #mysql #terraform #seniorengineer
🌎 Remote; California; Chicago, Illinois; United States
⏰ Full-time
🏢 Pinterest

Job details https://jobsfordevelopers.com/jobs/senior-production-engineer-solutions-engineering-at-pinterest-com-jul-28-2026-e92783?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Миграция MariaDB → PostgreSQL без даунтайма: почему обычные утилиты не подошли и как мы сделали это через Debezium CDC

Перед командой, выросшей на MySQL/MariaDB, встаёт вопрос перехода на PostgreSQL: лицензии, экосистема расширений, более предсказуемое поведение при конкурентных нагрузках - причин достаточно. Проблема в другом: как перенести боевую базу, которая не останавливается ни на минуту, без часов простоя и без риска потерять данные, записанные во время переноса. В этой статье - как мы решали эту задачу для интернет-магазина на MariaDB, почему готовые консольные конвертеры не годятся для «живой» миграции, и как выглядит рабочая схема на Debezium + Kafka Connect, включая Ansible-роль для повторяемого запуска.

https://habr.com/ru/articles/1061438/

#mysql #postgresql #devops #debezium #kafka

DoorDash's new Entity Cache runs on Envoy and Valkey, caching over 100 endpoints across 50 services at 1.5M requests/sec with 99.99999% availability.

Using Kafka-driven invalidation and the XFetch algorithm, it reduces cache stampedes and cuts P99 latency spikes by up to 80%.

Read the full story on InfoQ 👉 https://bit.ly/45jwGvi

#Caching #Envoy #Valkey #Kafka #DistributedSystems #InfoQ

PayU is hiring Senior Software Engineer

🔧 #java #api #hibernate #kafka #mongodb #mvc #nosql #redis #seniorengineer
🌎 Bengaluru, India
⏰ Full-time
🏢 PayU

Job details https://jobsfordevelopers.com/jobs/senior-software-engineer-at-payu-oct-29-2019-58860d?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

MongoDB is hiring Software Engineer 3, Cloud Alerts Platform

🔧 #golang #java #grpc #rest #aws #azure #gcp #kafka #kubernetes #mongodb #awss3 #terraform
🌎 Dublin, Ireland
⏰ Full-time
🏢 MongoDB

Job details https://jobsfordevelopers.com/jobs/software-engineer-3-cloud-alerts-platform-at-mongodb-com-mar-25-2026-e5e332?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Binance is hiring Senior Java Engineer

🔧 #java #hibernate #blockchain #web3 #aws #kafka #nosql #sql #seniorengineer
🌎 Remote; Asia
⏰ Full-time
🏢 Binance

Job details https://jobsfordevelopers.com/jobs/senior-java-engineer-at-binance-com-dec-29-2025-259e9a?utm_source=mastodon.world&utm_medium=social&utm_campaign=posting
#jobalert #jobsearch #hiring

Kafka Consumer в тестовой автоматизации: архитектурный разбор

Привет, Хабр! На связи Егор Лаптев — QA Fullstack Java в SENSE на проекте крупного российского банка. End-to-end тесты UI проверяют только то, что видно на экране: кнопка нажалась, форма открылась, данные отобразились. Но в распределённых системах значительная часть бизнес-логики уходит за кадр — в асинхронные события, которые летят через Kafka. Если событие не дошло до топика или пришло с неверным payload, пользователь этого не увидит, а бизнес-процесс сломается. В этой статье расскажу, как мы научились проверять Kafka-события прямо в автотестах — без Kafka UI, kcat и обёрточных сервисов, одной зависимостью и так, чтобы это работало в корпоративной сети с SSL. Покажу архитектуру коннектора, разберу три основных проблемы (SSL-сертификаты, конфликты consumer group и асинхронные тайминги), и поделюсь моделью работы инженера в связке с AI-агентом. Кому будет полезно: QA-инженерам и специалистам по автоматизации, которые тестируют распределённые системы и хотят проверять Kafka-события прямо в автотестах; и инженерам, которым интересна практическая модель работы в связке с AI-агентом — как она ускоряет разработку тестовой инфраструктуры.

https://habr.com/ru/companies/it_sense/articles/1051890/

#kafka #kafka_consumer #kafka_в_тестировании #qa_automation #sasl #асинхронное_тестирование #aiагенты #allure #consumer_group #распределенные_системы

Kafka Consumer в тестовой автоматизации: архитектурный разбор

Привет, Хабр! На связи Егор Лаптев — QA Fullstack Java в SENSE на проекте крупного российского банка. End-to-end тесты UI проверяют только то, что видно на экране: кнопка нажалась, форма открылась, данные отобразились. Но в распределённых системах значительная часть бизнес-логики уходит за кадр — в асинхронные события, которые летят через Kafka. Если событие не дошло до топика или пришло с неверным payload, пользователь этого не увидит, а бизнес-процесс сломается. В этой статье расскажу, как мы научились проверять Kafka-события прямо в автотестах — без Kafka UI, kcat и обёрточных сервисов, одной зависимостью и так, чтобы это работало в корпоративной сети с SSL. Покажу архитектуру коннектора, разберу три основных проблемы (SSL-сертификаты, конфликты consumer group и асинхронные тайминги), и поделюсь моделью работы инженера в связке с AI-агентом. Кому будет полезно: QA-инженерам и специалистам по автоматизации, которые тестируют распределённые системы и хотят проверять Kafka-события прямо в автотестах; и инженерам, которым интересна практическая модель работы в связке с AI-агентом — как она ускоряет разработку тестовой инфраструктуры.

https://habr.com/ru/companies/it_sense/articles/1051890/

#kafka #kafka_consumer #kafka_в_тестировании #qa_automation #sasl #асинхронное_тестирование #aiагенты #allure #consumer_group #распределенные_системы

Kafka Consumer в тестовой автоматизации: архитектурный разбор

Привет, Хабр! На связи Егор Лаптев — QA Fullstack Java в SENSE на проекте крупного российского банка. End-to-end тесты UI проверяют только то, что видно на экране: кнопка нажалась, форма открылась, данные отобразились. Но в распределённых системах значительная часть бизнес-логики уходит за кадр — в асинхронные события, которые летят через Kafka. Если событие не дошло до топика или пришло с неверным payload, пользователь этого не увидит, а бизнес-процесс сломается. В этой статье расскажу, как мы научились проверять Kafka-события прямо в автотестах — без Kafka UI, kcat и обёрточных сервисов, одной зависимостью и так, чтобы это работало в корпоративной сети с SSL. Покажу архитектуру коннектора, разберу три основных проблемы (SSL-сертификаты, конфликты consumer group и асинхронные тайминги), и поделюсь моделью работы инженера в связке с AI-агентом. Кому будет полезно: QA-инженерам и специалистам по автоматизации, которые тестируют распределённые системы и хотят проверять Kafka-события прямо в автотестах; и инженерам, которым интересна практическая модель работы в связке с AI-агентом — как она ускоряет разработку тестовой инфраструктуры.

https://habr.com/ru/companies/it_sense/articles/1051890/

#kafka #kafka_consumer #kafka_в_тестировании #qa_automation #sasl #асинхронное_тестирование #aiагенты #allure #consumer_group #распределенные_системы

Как мы ушли от ETL к CDC: выбираем архитектуру real-time аналитики на PostgreSQL, Kafka и ClickHouse. Часть 1

Все началось с просьбы сделать отчеты в реальном времени. На первый взгляд задача выглядела простой, но довольно быстро выяснилось, что существующая архитектура для этого не подходит. Проект был разбит на множество микросервисов, каждый из которых хранил данные в собственной PostgreSQL-базе. Чтобы строить сквозные отчеты, информацию нужно было где-то объединять. На тот момент аналитика уже работала через ETL: раз в сутки Airflow восстанавливал общую PostgreSQL из ежедневных бекапов, а Redash выполнял запросы уже к ней. Решение было надежным и не требовало нагрузки на production, но для real-time оно не годилось — в лучшем случае отчеты показывали состояние системы на начало дня.

https://habr.com/ru/articles/1051760/

#postgresql #clickhouse #kafka #debezium #cdc #kubernetes #etl #realtime_аналитика #kafka_connect #devops

Throwback to one of my first published stories “Horror Gone Wrong” for today's #WIPSnips word “penalty”

You can read it here: tasavvurnama.com/horror-gone-...

#WriteSky #WritingCommunity #WritingPrompts #horror #eldritch #Kafka

RE: https://bsky.app/profile/did:plc:jecquekt6dif7ctvonpphsu6/post/3mown6kv6a32b

RE: https://aus.social/@timhollo/116745061286070316

I really enjoyed writing this, so I hope you enjoy reading it.
#Musk
#Kafka
#mushrooms
#trillionaire
#Arendt
#BayoAkomolafe
#emergence
#transformation
#time

Тонкости Kafka Connect и Debezium

Привет! Меня зовут Ильсаф, я инженер данных в MAGNIT OMNI — бизнес-группе ритейлера «Магнит», которая отвечает за развитие омниканального опыта для клиентов. В этой статье я собрал свои практические наблюдения по работе Kafka Connect и Debezium с PostgreSQL: от настройки репликации до мониторинга и бэкфиллинга.

https://habr.com/ru/companies/magnit/articles/1029124/

#kafka #kafka_connect #debezium #cdc #observability

Геораспределенное резервирование Postgres при помощи Debezium

Всем привет, меня зовут Николай Голубев, я — техлид из компании HFLabs. Эта статья написана по мотивам моего выступления на конференции

https://habr.com/ru/companies/oleg-bunin/articles/1001862/

#highload #PostgreSQL #базы_данных #высоконагруженные_системы #Debezium #хранение_данных #Kafka #релоцирование

CDC своими руками: Kafka + Debezium в домашней лаборатории

Третья статья цикла о построении CDC-пайплайна с нуля. Сегодня — самое интересное: захватываем изменения из PostgreSQL и отправляем в Kafka. И разбираемся, почему WAL может съесть весь диск, даже если данные не меняются.

https://habr.com/ru/articles/990902/

#kafka #debezium #cdc #devops #data_engineering

📚 Oh, the irony! We're delving into how the king of #contradictions penned his #mystical hilltop #odyssey. Spoiler alert: It involves a lot of words, pretentiousness, and the kind of existential dread that would make even #Kafka roll his eyes. 🙄📖
https://www.theguardian.com/books/2025/dec/31/the-master-of-contradictions-by-morten-hi-jensen-review-how-thomas-mann-wrote-the-magic-mountain #irony #existentialdread #HackerNews #ngated

Also #bunq ist auch witzig…
Stellt sich raus: die Steuer-ID tippen genügt nicht, sie wollen einen Nachweis. Wie? sagen sie nicht. Stellt sich raus: Foto per Chat …
Oh, aber kein Foto vom Dokument auf anderem Display (Notebook, Ablage)
aha. Also als Bild exportieren … aber NICHT mit geschwärzten Stellen - weil "Bearbeitet geht nicht" 😂 klar doch…
Dann soll es wieder gehen… eine E-Mail sagt: Adresse bestätigen… tja, aber ich komme nicht in die App, weil… kaputt?!

alter Falter 😂 #kafka

Как оптимизация перформанса Debezium JDBC Sink Connector помогла улучшить Open-source версию решения

Debezium — популярный фреймворк для Change Data Capture (CDC), позволяющий отслеживать изменения в источниках данных (таких как базы данных) и передавать их в потоковые платформы вроде Apache Kafka. Одним из компонентов Debezium является JDBC Sink Connector, предназначенный для записи данных из Kafka в реляционные базы данных посредством интерфейса Java Database Connectivity (JDBC). Debezium JDBC Sink Connector может решать множество задач: от репликации данных между БД и синхронизации обновлений между микросервисами до создания резервных копий данных для целей тестирования или разработки. Мы в VK Tech используем Debezium JDBC sink connector, чтобы строить перформанс-интеграции. Но в нагрузочных тестах столкнулись с проблемой производительности, которая не решалась никакими обходными путями. Поэтому нам пришлось детально погрузиться в нюансы обработки событий в Debezium JDBC connector. Привет, Хабр. Меня зовут Артём Дубинин. Я старший разработчик Backend в команде Tarantool CDC — решения для репликации данных в реальном времени между системами управления базами данных (СУБД). В этой статье я изложу свою интерпретацию создания Debezium, расскажу о том, как работает Debezium JDBC connector, а также о нашем варианте оптимизации перформанса, который попал в Open-source версию.

https://habr.com/ru/companies/vktech/articles/967558/

#Tarantool #архитектура #отказоустойчивость #debezium #Kafka #JDBC_Sink_Connector #jdbc #vk_tech #tarantool_cdc #перформанс

Spark, DataSphere и немного магии: как мы строим аналитическую платформу в облаке для банка

Для решения классических аналитических задач в банке дата‑специалисты обрабатывают миллиарды транзакций. Поэтому создание единого информационного пространства для работы с большими объёмами данных потребует решить как задачи оптимизации производительности и обеспечения безопасности, так и задачи удобства для пользователей — и найти баланс между ними. Сергей Виноградов на конференции Data&ML2Business рассказал про разработку и построение DWH для задач Яндекс Пэй. В этой статье — дополненный рассказ о том, как устроена аналитическая платформа на базе Greenplum® и ClickHouse®, которую решили строить на базе managed‑сервисов в облаке. А также о том, как жизнь аналитиков облегчает связка Apache Spark™ и Jupyter‑ноутбуков в Yandex DataSphere.

https://habr.com/ru/companies/yandex_cloud_and_infra/articles/957470/

#spark #kafka #cdc #debezium #change_data_capture #map_reduce

A quotation from Kafka

Writing is a sweet and marvelous reward, but a reward for what? In the course of the night it became clear to me, as plain as a children’s show-and-tell lesson, that it is a reward for serving the devil. This descent down to the dark powers, this unleashing of ghosts by nature bound, these questionable embraces and whatever else may be going on down there, none of it remembered as one writes stories in the sunlight up above. Perhaps there are also different ways of writing, but I only know this one; at night, when fear keeps me from sleeping, I only know this one.

Franz Kafka (1883-1924) Czech-Austrian Jewish writer
Letter (1922-07-05) to Max Brod

More info about this quote: wist.info/kafka-franz/79871/

#quote #quotes #quotation #qotd #kafka #franzkafka #creativity #damnation #devil #fear #impetus #muse #writing

I’ve shut down my personal Facebook account — and with it, the Ridley Park page. Years of tolerating bot-infested “moderation” was enough. I may spin up a Ridley-only account later, but for now, the page sleeps.

https://ridleypark.blog/2025/09/02/done-with-facebook/

#Facebook #Meta #Censorship #DigitalLife #Philosophy #Bots #Kafka #AmWriting #Writing #SocialMedia #BlogPost #Bollox #Blogging #AuthorLife

CDC без боли: как мы делали отказоустойчивую репликацию с Debezium и Kafka

Я Евгений Прочан, в платформенной команде Magnit OMNI развиваю инфраструктуру DWH. Расскажу здесь, почему нам понадобилось перейти от батчинга к CDC и как мы это делали. Причин перехода было две: потребность бизнеса в расширении возможностей инфраструктуры и нестабильность нашего старого процесса репликации. Мы используем в основном базы данных PostgreSQL. Оттуда пакетами раз в час передаём данные в S3, ClickHouse и таблицы Iceberg. Наша потоковая нагрузка достигает примерно полутора терабайта данных, 6000 операций в секунду (около 1500 в самой нагруженной базе данных).

https://habr.com/ru/companies/magnit/articles/938164/

#kafka #postgresql #debezium #dwh #отказоустойчивость

One Open-source Project Daily

Change data capture for a variety of databases.

https://github.com/debezium/debezium

#1ospd #opensource #apachekafka #cdc #changedatacapture #datapipeline #database #debezium #eventstreaming #kafka #kafkaconnect #kafkaproducer

[Перевод] Мониторинг и управление воркфлоу между взаимодействующими микросервисами

Как получить прозрачность в бизнес-процессах, если архитектура строится на микросервисах и событийных потоках? В своей статье Бернд Рюкер, сооснователь Camunda, делится практическими подходами к отслеживанию и управлению процессами в распределённых системах. Он объясняет, как переход от простого мониторинга событий к полноценной оркестрации помогает лучше понимать происходящее, своевременно реагировать на инциденты и сохранять контроль над сложными бизнес-операциями. В статье разбираются плюсы и минусы различных подходов — от Elastic-подобного мониторинга до использования движков рабочих процессов, а также рассматривается важность баланса между оркестрацией и хореографией.

https://habr.com/ru/articles/926542/

#microservices #orchestration #choreography #workflow #bpmn #process_mining #kafka #camunda #data_lake

"Ma mère était infiniment bonne pour moi, c'est vrai, mais ce n'était que relativement à toi, c'est-à-dire, pour moi, dans un mauvais rapport."

#Kafka, Lettre au père
#famille #patriarcat #fils #père #masculinite

Join таблиц в реальном времени на Apache Flink ( Часть 2 )

В данной статье приводится решение проблемы построения витрин данных в реальном времени с помощью Apache Flink. Рассказывается 2 часть подробной реализации решения этой задачи. В данной части рассмотрена проблема учета сообщений на удаление и частично операций update , в связи с чем достигается полная консистентность данных СИ с СП при условии гарантии, что ключ join условия не обновляется.

https://habr.com/ru/articles/908220/

#java #apache_flink #big_data #big_data_analytics #big_data_solutions #architecture #big_data_architecture #debezium #kafka #cdc

Devhands Open Sessions c Владимиром Перепелицей. Очереди в 2025м, что выбрать: Kafka, RabbitMQ, NATS или что-то ещё?

Привет, Хабр! На прошлой неделе мы провели стрим по очередям с Владимиром Перепелицей (эксперт по большим проектам, очередям и Tarantool, Solution Architect в Exness, создатель S3 в VK Cloud, регулярный спикер и член ПК конференций Highload). Обсудили выбор брокера или системы очередей 2025м году: что поменялось? NATS, его особенности, перспективы, кого он “подвинет” в первую очередь - Kafka или RabbitMQ? Что нового в свежей Apache Kafka 4? Насколько популярны архитектуры, где, например, Kafka основной storage (IoT, сбор метрик и тд). Под катом - расшифровка стрима.

https://habr.com/ru/articles/899670/

#kafka #tiered_storage #nats #redis #streaming #kafka_streams #highload #queues

Репликация данных с использованием Debezium и Kafka

В этой статье мы рассмотрим эволюцию стратегий репликации данных, начиная с ручных подходов и заканчивая автоматизированными решениями, использующими современные технологии, такие как Kafka и Debezium. Ниже описан пример примененный в компании Wildberries.

https://habr.com/ru/articles/861868/

#debezium #kafka #sql

Thema Visualisierung von #MySQL/ #mariadb Transaktionen:

Hat hier jemand ein #Grafana im Einsatz? Wenn ja, mit #Prometheus?Mit #exporter oder mit #debezium als #cdc plus #Kafka?

Oder einfach nur Grafana + MySQL-select alle x Sekunden?

Hab mich vorgestern versucht, einzulesen und war überrascht, wie viele verschiedene Konstellationen möglich sind!

#linux
#foss
#monitoring

Присматриваемся к Kafka tiered storage — 2

Добрый день, уважаемые ИТ-ники. На связи Михаил Голованов . Продолжаем увлекательные эксперименты с tiered storage в Apache Kafka. В этот раз починим то, что не смогли починить ранее (сборка реализации AivenOpen) и поэкспериментируем с реализаций для Minio S3 в качестве бекэнда. Как и в прошлый раз, теория будет перемежаться практикой. Поехали

https://habr.com/ru/companies/vtb/articles/823238/

#kafka #s3 #tiered_storage

Ganz wunderbar: Die Miniserie Kafka. Ich bin hingerissen von der Umsetzung und dem fantastischen Cast. (Nicholas Ofczarek! Lars Eidinger als Rilke, Charly Hübner als Rowohlt u.v.m.)
Lustigerweise lese ich gerade auch "1913 - Der Sommer des Jahrhunderts" von Florian Illies und das passt hervorragend, denn ein kleiner Teil des Personals taucht hüben wie drüben auf.
https://www.ardmediathek.de/serie/kafka/staffel-1/Y3JpZDovL25kci5kZS80OTg3/1
#kafka #1913 #FlorianIllies

We also saw community-driven efforts to support CI, binaries, and containers for the Eventing #Kafka Broker receiver & dispatcher (containers), #OpenPolicyAgent's Conftest (ci, binaries), #Skupper (ci, binaries), #Goss (ci, binaries), & rotobuf-maven-plugin (ci) 🎉