#брокеры_сообщений — Public Fediverse posts

kafkactl — другой взгляд на работу с Kafka

При работе с Apache Kafka рано или поздно возникает необходимость быстро проверить топик, прочитать сообщения или посмотреть состояние группы потребителей (consumer group). Можно применять стандартные инструменты Kafka. Однако на практике они часто оказываются не самыми удобными для повседневной работы. Многие команды получаются длинными, каждый раз требуют передачи параметров подключения и нуждаются в различных CLI-утилитах. Есть и более легкие решения — например, kcat, который хорошо знаком многим инженерам и часто используется для диагностики Kafka. Но существует и вариант поудобнее — kafkactl. Привет, Хабр! Меня зовут Сергей Кардапольцев, я технический писатель Читать далее →

https://habr.com/ru/companies/selectel/articles/1053616/

#selectel #kafka #kafkactl #брокеры_сообщений

Простые желания: разработаем максимально простой и дешевый бэкенд интернет-банкинга

Простые желания: разработаем максимально простой и дешевый бэкенд интернет-банкинга. Цели статьи: 1) протестировать возможности ИИ в качестве инструмента прототипирования и 2) заодно проверить жизнеспособность концепции максимально простого и дешевого интернет-банкинга. Спойлер: пожертвовал брокерами сообщений и Redis. В итоге, на бэке только сервисы (Go) с реляционными БД (PostgreSQL).

https://habr.com/ru/articles/1041294/

#бэкенд #банк #сага #оркестратор #финтех #брокеры_сообщений #вайбкодинг

Очереди в микросервисах: 5 ошибок, которые приводят к дублям и потерям

Почему добавление второго consumer«а в очередь может привести к двойным списаниям? Разбираем на реальном кейсе: как один Topic стоил компании 312 дублей за час. » Сравниваем поведение JMS, Kafka и RabbitMQ, показываем, почему ни одна очередь не даёт exactly‑once из коробки, и как идемпотентность, Dead Letter Queue и правильный выбор канала (команды vs события) делают интеграции надёжными.“ Готовые схемы, продакшен‑код на Java и чек‑лист, который стоит применить прямо сейчас! Читать разбор

https://habr.com/ru/companies/otus/articles/1031284/

#очереди_сообщений #микросервисы #брокеры_сообщений #RabbitMQ #Kafka #JMS #publishsubscribe #competing_consumers #идемпотентность #Dead_Letter_Queue

Безошибочная работа с Kafka из Node js. Часть 3 Cтруктура сообщений, когда Kafka не нужна и теряет данные

В предыдущих частях рассматривались аспекты публикации сообщений , ребалансировки консьюмер групп и масштабирования чтения, а также проектирования консьюмеров . Эта часть посвящена базовой структуре сообщений, неподходящим сценариям использования Kafka и гарантиям записи.

https://habr.com/ru/articles/1013046/

#kafka #nodejs #брокеры_сообщений #kafkaconnect #producerconsumer #messagebroker #apache_kafka #событийная_архитектура #kafka_consumer #kafka_apache

Безошибочная работа с Kafka из Node js. Часть 2 Консьюмер

Если предыдущая часть была посвящена аспектам, связанным с публикацией сообщений, то в этой части основное внимание уделено обработке сообщений, проектированию консьюмеров и проблеме ребаланса в консьюмер группе.

https://habr.com/ru/articles/904932/

#kafka #nodejs #брокеры_сообщений #apache_kafka #consumer #messagebroker #message_brokers #kafka_consumer #kafka_apache #apache

Безошибочная работа с Kafka из Node js. Часть 1 Продьюсер

В данной статье рассматриваются примечательные ошибки при работе с Kafka, в том числе при использовании библиотеки KafkaJS , а также способы их устранения и методы увеличения производительности при публикации и обработки сообщений. Предполагается, что читатель имеет базовое представление о Kafka (раздел "Общие термины" поможет освежить информацию) и функционале библиотеки KafkaJS. В первой части разбираются аспекты, связанные с публикацией сообщений.

https://habr.com/ru/articles/1012066/

#kafka #nodejs #брокеры_сообщений #apache_kafka #producer #messagebroker #message_broker #message_brokers #apache #kafka_apache

Почему бизнес хочет FIFO и почему это не всегда «серебряная пуля»

«Сделайте нам строго по порядку» — эта фраза из бизнес‑требований часто становится началом долгого и дорогого инженерного триллера. В мире микросервисов и event‑driven систем классический FIFO превращается из простой очереди в проверку на прочность всей архитектуры. За обещанием «строгой последовательности» стоят сетевые задержки, алгоритмы консенсуса и суровые ограничения распределенных систем.

https://habr.com/ru/articles/1007834/

#fifo #очереди_сообщений #брокеры_сообщений #паттерны_проектирования #бизнеслогика #поток_данных

Очереди сообщений в Postgres Pro: отказ от внешних брокеров ради транзакционной надёжности

Ваш сервис отправил сообщение в RabbitMQ, но в момент коммита транзакция в базе данных откатилась. Классический кошмар распределенных систем, порождающий данные-призраки и часы отладки. Обычно эту проблему решают сложным кодом, двухфазными коммитами или просто надеждой на лучшее. А что, если бы откат транзакции в PostgreSQL мог автоматически «откатить» и отправку сообщения, вернув его в очередь без единой строчки вашего кода? Рассказываем, как это работает.

https://habr.com/ru/companies/postgrespro/articles/965632/

#postgresql #kafka #kafka_apache #брокер_сообщений #брокеры_сообщений #базы_данных #postgres_pro #postgres_pro_enterprise

Как я 1,5 года изучал российские ESB, и что важно знать при выборе платформы

Привет! На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». Последние полтора года я активно исследовал российский рынок интеграционных решений (ESB). За это время успел встретиться с 20+ вендорами, погрузиться в сотни страниц документации и даже провести батл между разработчиками. В результате получился большой обзор рынка. В статье расскажу, что удалось выяснить и какие советы могу дать тем, кто сейчас выбирает платформу.

https://habr.com/ru/companies/w_code/articles/946990/

#open_source #apache #esb #шина_данных #apache_kafka #apache_nifi #брокеры_сообщений

«Зачем нужна шина данных, если есть Apache Kafka?» и еще 3 популярных аргумента против ESB

На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». Недавно получил такой комментарий к одному из обзоров ESB : «Я считаю, что интеграционные платформы больше не нужны», а спустя время в Телеграм-сообществе «Шины не для машины» развернулась дискуссия на тему «Паттерн ESB безнадежно устарел». Решил собрать в одной статье популярные вопросы по теме и ответить на них.

https://habr.com/ru/companies/w_code/articles/923708/

#apache_kafka #apache_nifi #open_source #esb #шина_данных #брокеры_сообщений #apache

Поднимаем потоковый сервис Kafka на Python

Всем привет, меня зовут Евгений Мунин. Я Senior ML Engineer в Ad Tech в платформе ставок для рекламы. В этой статье мы познакомимся с Apache Kafka. Мы напишем демо пример Kafka Consumer'а на Python и запустим его в облачном сервисе Confluent Cloud.

https://habr.com/ru/articles/880700/

#kafka #очередь_сообщений #брокеры_сообщений #python #messagebroker

Брокеры сообщений на практике: как подключиться и пользоваться RabbitMQ в Python

Привет, Хабр! Умение работать с брокерами сообщений — едва ли не базовый навык для бэкенд‑разработчиков уровня Junior и Middle. В этом базовом материале по RabbitMQ посмотрим, как развернуть решение на собственном сервере, а также установим и настроим панель управления. Обычно эту задачу выполняет DevOps‑инженер, но ничего сложного нет и в самостоятельном администрировании. Главное — научиться качественно и грамотно обрабатывать сообщения, чтобы они не терялись, не считывались повторно, не оставались в брокере. Никаких ошибок ни в коем случае нельзя допускать, этим моментам тоже уделим внимание.

https://habr.com/ru/companies/selectel/articles/875880/

#selectel #rabbitmq #python #брокеры_сообщений #программирование #облачный_сервер