#kafka_consumer — Public Fediverse posts

Kafka Consumer в тестовой автоматизации: архитектурный разбор

Привет, Хабр! На связи Егор Лаптев — QA Fullstack Java в SENSE на проекте крупного российского банка. End-to-end тесты UI проверяют только то, что видно на экране: кнопка нажалась, форма открылась, данные отобразились. Но в распределённых системах значительная часть бизнес-логики уходит за кадр — в асинхронные события, которые летят через Kafka. Если событие не дошло до топика или пришло с неверным payload, пользователь этого не увидит, а бизнес-процесс сломается. В этой статье расскажу, как мы научились проверять Kafka-события прямо в автотестах — без Kafka UI, kcat и обёрточных сервисов, одной зависимостью и так, чтобы это работало в корпоративной сети с SSL. Покажу архитектуру коннектора, разберу три основных проблемы (SSL-сертификаты, конфликты consumer group и асинхронные тайминги), и поделюсь моделью работы инженера в связке с AI-агентом. Кому будет полезно: QA-инженерам и специалистам по автоматизации, которые тестируют распределённые системы и хотят проверять Kafka-события прямо в автотестах; и инженерам, которым интересна практическая модель работы в связке с AI-агентом — как она ускоряет разработку тестовой инфраструктуры.

https://habr.com/ru/companies/it_sense/articles/1051890/

#kafka #kafka_consumer #kafka_в_тестировании #qa_automation #sasl #асинхронное_тестирование #aiагенты #allure #consumer_group #распределенные_системы

Безошибочная работа с Kafka из Node js. Часть 3 Cтруктура сообщений, когда Kafka не нужна и теряет данные

В предыдущих частях рассматривались аспекты публикации сообщений , ребалансировки консьюмер групп и масштабирования чтения, а также проектирования консьюмеров . Эта часть посвящена базовой структуре сообщений, неподходящим сценариям использования Kafka и гарантиям записи.

https://habr.com/ru/articles/1013046/

#kafka #nodejs #брокеры_сообщений #kafkaconnect #producerconsumer #messagebroker #apache_kafka #событийная_архитектура #kafka_consumer #kafka_apache

Безошибочная работа с Kafka из Node js. Часть 2 Консьюмер

Если предыдущая часть была посвящена аспектам, связанным с публикацией сообщений, то в этой части основное внимание уделено обработке сообщений, проектированию консьюмеров и проблеме ребаланса в консьюмер группе.

https://habr.com/ru/articles/904932/

#kafka #nodejs #брокеры_сообщений #apache_kafka #consumer #messagebroker #message_brokers #kafka_consumer #kafka_apache #apache

CDC Consumer с криптографической подписью: от Kafka до Hive

Шестая статья цикла о построении CDC-пайплайна с нуля. Данные уже текут из PostgreSQL в Kafka, но дальше просто исчезают по retention. Сегодня пишем Consumer на Python, реализуем криптографическую верификацию сообщений и строим трёхслойную архитектуру данных.

https://habr.com/ru/articles/1002410/

#devops #python #kafka #kafka_consumer #sslсертификаты

Kafka без боли: моя шпаргалка для собесов в Java. Часть 5

Всем привет! Я работаю Senior Java Developer в одном из банков, и за последние годы мне довелось пройти не один десяток собеседований, выслушать массу неожиданных вопросов и потратить немало времени на подготовку. И вот что я понял: Kafka - одна из самых любимых и в то же время самых коварных тем на технических интервью. Независимо от уровня кандидата, вопросы по Kafka появляются почти всегда - от базовой архитектуры до тонкостей гарантий доставки и работы consumer groups. Сегодня я хочу помочь подготовиться к вопросам по Kafka, вопросы будут разной сложности, будет интересно. Поехали!

https://habr.com/ru/articles/968844/

#java #kotlin #kafka #собеседование #собеседование_в_it #собеседование_вопросы #kafka_consumer #kafka_listener #асинхронность

[Перевод] Kafka умеет синхронно. В Spring Boot

Apache Kafka — король асинхронного взаимодействия в микросервисных архитектурах. Но что если нужно получить ответ сразу? Перевод от команды Spring АйО шаг за шагом покажет, как превратить Kafka в инструмент синхронной коммуникации — с настройкой ReplyingKafkaTemplate , топиками для ответа и тайм-аутами.

https://habr.com/ru/companies/spring_aio/articles/934936/

#java #kotlin #kafka #kafka_consumer #spring #spring_boot #spring_framework #springboot #spring_data #spring_data_jpa

Fast Lane / Slow Lane: разделение трафика через две очереди Kafka

Привет, Хабр! Сегодня мы рассмотрим Fast Lane / Slow Lane для Kafka: как одним росчерком кода защитить SLA‑критичный поток от толстых сообщений, не перекраивая пол‑стека и не устраивая зоопарк из очередей.

https://habr.com/ru/companies/otus/articles/932134/

#kafka #Apache_Kafka #Fast_Lane #Slow_Lane #разделение_трафика #приоритизация_сообщений #Kafka_consumer #Kafka_producer #kafka_streams #Kafka_RecordInterceptor

Kafka: ребалансировка изнутри

Привет! Меня зовут Геннадий, я руковожу командой разработки системы учета товаров в Ozon. Мы активно используем Kafka как основной инструмент для асинхронного взаимодействия между нашими сервисами. Для нас Kafka — это не просто очередь сообщений, а один из ключевых компонентов всей архитектуры. Поэтому мы постоянно погружаемся в его тонкости и нюансы, чтобы грамотно настраивать и использовать его возможности. Думаю, многие из вас сталкиваются с тем же — когда Kafka становится критически важной частью вашего решения. Хотя информации о ребалансировке Kafka достаточно, она часто либо слишком разрозненная и техническая, либо наоборот — поверхностная и без акцента на важные детали. Я собрал для вас самое важное и объясню это простым и понятным языком.

https://habr.com/ru/companies/ozontech/articles/910568/

#kafka #kafka_consumer #rebalance #consumer #microservices #cloud #devops

Кафка: преимущества и на что ещё обратить внимание при тестировании

Привет, Хабр! Ранее мы разбирались с основами Kafka ( часть1 ), рассматривали, как тестировать микросервисы ( часть2 ) и предугадывали ошибки offset explorer и kafka ui ( часть 3 ). В этой части – так сказать, невошедшее, но полезное, что ещё можно предусмотреть при работе с брокером. Преимущества брокеров Когда я готовила материал из первой части, у меня возникло несколько предположений. Мне казалось, что некоторые преимущества относятся именно к брокерам сообщений и не имеют прямого отношения к API (временное хранение данных, обмен в реальном времени, вычитка раз в сутки, отслеживание Kafka-лага). Особенно я задумалась об этом, когда разбирала пример с мобильным веб-приложением и форматами данных для Kafka (см. раздел из статьи часть1 ). Казалось бы — зачем Kafka, если можно просто забирать данные из БД через API? Я решила проверить свои догадки у знакомого бэкенд-разработчика. Его первый вопрос был: «Зачем тебе как тестировщику это знать?», а потом добавил, что API можно настроить похожим образом. Но всё же я выделила два ключевых отличия брокеров: 1. Асинхронное взаимодействие API — это всегда запрос-ответ. Если сервис упал, мы получим 503, и данные могут потеряться. В Kafka продюсер просто оставляет сообщение в топике, и ему всё равно, читает ли его кто-то. Даже если консьюмер упал — поднимется и дочитает. 2. Масштабируемость В случае с Kafka это значит, что можно гибко добавлять продюсеров и консьюмеров. Данные можно переиспользовать — допустим, создать один топик для нескольких консьюмеров. Либо, что очень важно в продакшене, например, если продюсер начал слать мусор — его можно просто отключить.

https://habr.com/ru/companies/reksoft/articles/911132/

#kafka #микросервисы #тестирование #брокеры #тестирование_микросервисов #kafka_consumer #kafka_producer

DLQ-first: учим Kafka-консьюмера падать красиво и поднимать поток за секунды

Привет, Хабр! Сегодня рассмотрим, как построить Kafka-консьюмер, который не падёт при первой же проблеме, а аккуратно сложит битые события в Dead Letter Queue (DLQ).

https://habr.com/ru/companies/otus/articles/905810/

#kafka #apache_kafka #kafka_consumer #dlq #потоковая_обработка_данных #stream_processing

Kafka: как тестировать. Часть 2

Привет, Хабр! Это вторая часть статьи о Kafka (первая тут ). Давайте продолжим разбираться. Итак, часто тестирование сводится к эмуляции работы сервиса и наблюдением за топиками кафки. Для этого необходимо подключиться к кластеру кафки с теми же правами доступа, что и у вашего сервиса либо сервиса, с которым у вас интеграция (креды для кластера обычно подсказывают коллеги-разработчики, девопсы, тестировщики)....

https://habr.com/ru/companies/reksoft/articles/900918/

#kafka #kafka_consumer #kafka_в_тестировании #kafka_producer #тестирование #микросервисы #тестирование_микросервисов

Kafka. Лучшие практики применения. Настройки Prudcer & Consumer

Привет, Хабр! Меня зовут Михаил, я являюсь ФинТех системным аналитиком, исполняющим роль архитектора на проектах. И сегодня я хочу поделиться материалами по Kafka, которые подготовил для обучения сотрудников из своей команды. В материале постарался отразить самые важные технические моменты по Kafka, которые будут подкреплены наглядными кейсами и примерами использования. Материал будет полезным как для начинающих, так и для продвинутых пользователей. Желаю приятного прочтения. Kafka. Лучшие практики применения.

https://habr.com/ru/articles/853652/

#kafka #кафка #kafka_consumer #producer/consumer #producer #consumer #kafkaconnect #kafka_listener #kafka_apache #kafka_connect

Ручное подтверждение сообщения в Kafka

В этой статье описывается реализация задачи ручного подтверждения(acknowledgment) обработки сообщения в Kafka через ручную отправку смещения(commit offset) сообщения. Логика реализована с использованием Java, Spring и Kafka.

https://habr.com/ru/articles/808975/

#kafka #kafka_listener #spring #kafka_consumer #kafka_acknowledgment #kafka_offset

Как работать с Kafka-consumer в Spring-проектах

Эта статья сборник небольших рекомендаций как работать с Kafka-consumer в Spring основанных на личном опыте.

https://habr.com/ru/articles/793134/

#kafka #spring #java #kotlin #kafka_consumer