#rabbitmq — Public Fediverse posts

Обзор Агредатор

На связи Сергей Скирдин, технический директор компании «Белый код». Поставил себе цель — сделать обзоры на шины данных из реестра отечественного ПО. Сегодня в обзоре Агредатор.

https://habr.com/ru/companies/w_code/articles/1031514/

#шина_данных #корпоративная_шина_данных #интеграционная_платформа #коннекторы #esb #enterprise_service_bus #rabbitmq #kafka #ruby

Обзор Агредатор

На связи Сергей Скирдин, технический директор компании «Белый код». Поставил себе цель — сделать обзоры на шины данных из реестра отечественного ПО. Сегодня в обзоре Агредатор.

https://habr.com/ru/companies/w_code/articles/1031514/

#шина_данных #корпоративная_шина_данных #интеграционная_платформа #коннекторы #esb #enterprise_service_bus #rabbitmq #kafka #ruby

Как мы переписывали логику очередей: Celery => aio-pika => FastStream

Наш путь активной работы с очередями RabbitMQ начался с классического Celery. Осознав критичность низкоуровневого контроля системы, принялись работать с aio-pika. Но и этот уровень слишком местами сложный (далее расскажу почему), и нашли отличное решение, на текущий момент, в лице FastStream. Сразу оставлю такую пометку, что каждый инструмент подходит для решения своей задачи. Мы больше хотели сделать акцент на удобство и скорость разработки относительно затрачиваемого времени на миграции решений. N.B. : Код возможно покажется неоптимальным или старым. Это всё наш дорогой Легаси.

https://habr.com/ru/articles/1030082/

#celery #rabbitmq #faststream #aiopika #python3

Как я реализовал Blue-Green деплой с нулевым даунтаймом на Docker Compose

Недавно я внедрил blue‑green деплой в проде. Реализация довольно простая и кастомная, но справляется со своей задачей на ура! Также сообщу, что используется обычный докер композ на виртуалке — возможно, кому‑то такой подход будет полезен. Для фоновых процессов (воркеров) В приложение добавляется специальный инфрастуктурный singleton класс с флагом is_accepting, и обертка на consumers. В каждом консьюмере перед обработкой проверяем этот флаг: если True — обрабатываем задачу, если False — переносим задачу на повторную обработку (например, в rabbitmq делаем сразу nack(requeue=true))

https://habr.com/ru/articles/1025776/

#bluegreen_deployment #zero_downtime #dockercompose #cicd #rabbitmq #kafka #faststream #celery

Как построить надёжный обмен сообщениями в микросервисах: лучшие практики для enterprise

Что делать, если синхронные REST-вызовы превращают ваши микросервисы в карточный домик? Пора вспомнить проверенные временем паттерны обмена сообщениями. В этой статье разбираем архитектуру Pipes and Filters, Content-Based Router и Idempotent Receiver — те самые кирпичики, на которых держатся надёжные системы. Схемы, best practices для проектирования устойчивых интеграций для Enterprise-разработки.

https://habr.com/ru/companies/otus/articles/1022190/

#микросервисы #kafka #обменсообщениями #архитектура #интеграция_приложений #идемпотентность #rabbitmq

Any great #QualityEngineers who are great with #Linux #Kubernetes, #SQL and either #Kafka or #RabbitMQ in #Brno #CzechRepublic ? My team's looking to hire some Quality Engineers and eventually some SDETs there. Some really cool roles like Performance Quality Engineering, etc. opening soon. Please share with any folks who may be local. :) DM me if you've got interest or know someone who does. We've got several roles opening.

#GetFediHired :boostRequest:

Переписать нельзя оставить: как мы…

Привет, Хабр! Меня зовут Алексей Кирдяшкин, я занимаюсь инфраструктурной разработкой в Timeweb Cloud. У нас есть сервис App Platform (раньше он назывался Apps). Если коротко, это управляемая платформа поверх VDS для деплоя приложений напрямую из Git, без ручной настройки серверов и танцев с бубном. Я застал App Platform еще в виде MVP, участвовал в его адаптации под инфраструктуру, работал над архитектурой — по сути, провел сервис от первого прототипа до продакшена с реальной нагрузкой. Конечно, все работало — приложения деплоились, пользователи приходили, платформа росла. Но с ростом стали заметны архитектурные решения, которые были оправданы для MVP, но плохо подходили для большого сервиса. Поэтому мы взяли и… полностью пересобрали уже работающий сервис с нуля. Как, зачем и почему — в этой статье.

https://habr.com/ru/companies/timeweb/articles/1011224/

#paas #backend #frontend #apps #vds #timeweb_статьи #git #api #docker_compose #rabbitmq

Система рекомендаций для изображений: пример на Python и CLIP

В этой статье я делюсь реальным кейсом построения системы рекомендаций для картин. Сначала мы реализовали простой поиск по тегам, а затем перешли к эмбеддингам изображений с помощью CLIP и хранению в Elasticsearch. Также я показываю, как строим персонализированные рекомендации на основе лайков и просмотров пользователя. Статья будет полезна тем, кто хочет понять, как создать рабочую систему рекомендаций на Python и постепенно улучшать её точность.

https://habr.com/ru/articles/1009024/

#embeddings #рекомендательные_системы #python #архитектура #elasticsearch #векторизация_растровых_изображений #rabbitmq #микросервисы

Вот и прилетел релиз RabbitMQ 4.2.4
https://github.com/rabbitmq/rabbitmq-server/releases/tag/v4.2.4

Казалось бы, просто релиз, но он важен для тех, у кого кластер. Теперь база (которая Kherpi, вы же уже переехали с Mnesia?) ведёт себя менее капризно при деградации сети (а кролик в принципе капризен к сетевым проблемам). Попутно ещё подкрутили гайки в Quorum Queues. Теперь они жрут чуть меньше ресурсов при высокой нагрузке.

Ну и да, парочка багфиксов важна с точки зрения ИБ. :)

Удачного обновления!
#rabbitmq #DevOps

Qified now has initial task support for #rabbitmq #oss #nodejs #javascript #typescript

https://github.com/jaredwray/qified/releases/tag/v0.8.0

Хочу все знать

В проекте часто бывает некий data-flow который идет через ETL или даже отдельные серверы обогащения данных. Собственно и наш проект не исключение. Что было нужно? Данные из интернета летят в PostgreSQL, но только если в Redis не валяется хэш таких же. Далее несколько ETL проводит стандартный OLTP - OLAP преобразование и складывает все это в MongoDB - откуда клиент дергает эти данные и сравнивает их со своей PostgreSQL попутно складируя кэш в Redis. Все это периодически летает через RabbitMQ. Что бесило? DBeaver + MongoExpress + redis-cli все это в разных местах с разными учетками, экспресс постоянно падал по невыясненной причине, неправильный запрос в редиску подвисал, а затем улетал в космос. Мелькнула мысль: "ну почему никто не написал чего-то более стабильного и удобного?", - собственно это и стало драйвером выходного дня. Спасибо древним грекам, над названием долго думать не пришлось: Паноптикум - в оригинале "место откуда видно все", но также "сборище жутких и необычных артефактов". Собственно дальше все очень просто, можно читать, можно искать, можно обновить отдельную запись (если DevOps разрешит) собственно это не production-ready софт, а простой и надежный инструмент для QA и разрабов. Примитивная basic-auth которую обязательно надо прятать под TLS и желательно за корп-VPN, чтобы только свои могли запороть. Для прода и около можно сделать READ_ONLY - но тут каждый сам решает надо оно вообще ему или нет. Наконец-то можно проследить все преобразования данных и найти кто потерялся, можно открывать несколько вкладок, можно давать ссылку на конкретный объект. Ставится самым стандартным образом: берем образ - разворачиваем, ничего необычного.

https://habr.com/ru/articles/996620/

#postgresql #mongodb #mysql #mssql #cassandra #redis #rabbitmq #kafka #elasticsearch

Хочу все знать

В проекте часто бывает некий data-flow который идет через ETL или даже отдельные серверы обогащения данных. Собственно и наш проект не исключение. Что было нужно? Данные из интернета летят в PostgreSQL, но только если в Redis не валяется хэш таких же. Далее несколько ETL проводит стандартный OLTP - OLAP преобразование и складывает все это в MongoDB - откуда клиент дергает эти данные и сравнивает их со своей PostgreSQL попутно складируя кэш в Redis. Все это периодически летает через RabbitMQ. Что бесило? DBeaver + MongoExpress + redis-cli все это в разных местах с разными учетками, экспресс постоянно падал по невыясненной причине, неправильный запрос в редиску подвисал, а затем улетал в космос. Мелькнула мысль: "ну почему никто не написал чего-то более стабильного и удобного?", - собственно это и стало драйвером выходного дня. Спасибо древним грекам, над названием долго думать не пришлось: Паноптикум - в оригинале "место откуда видно все", но также "сборище жутких и необычных артефактов". Собственно дальше все очень просто, можно читать, можно искать, можно обновить отдельную запись (если DevOps разрешит) собственно это не production-ready софт, а простой и надежный инструмент для QA и разрабов. Примитивная basic-auth которую обязательно надо прятать под TLS и желательно за корп-VPN, чтобы только свои могли запороть. Для прода и около можно сделать READ_ONLY - но тут каждый сам решает надо оно вообще ему или нет. Наконец-то можно проследить все преобразования данных и найти кто потерялся, можно открывать несколько вкладок, можно давать ссылку на конкретный объект. Ставится самым стандартным образом: берем образ - разворачиваем, ничего необычного.

https://habr.com/ru/articles/996620/

#postgresql #mongodb #mysql #mssql #cassandra #redis #rabbitmq #kafka #elasticsearch

Хочу все знать

В проекте часто бывает некий data-flow который идет через ETL или даже отдельные серверы обогащения данных. Собственно и наш проект не исключение. Что было нужно? Данные из интернета летят в PostgreSQL, но только если в Redis не валяется хэш таких же. Далее несколько ETL проводит стандартный OLTP - OLAP преобразование и складывает все это в MongoDB - откуда клиент дергает эти данные и сравнивает их со своей PostgreSQL попутно складируя кэш в Redis. Все это периодически летает через RabbitMQ. Что бесило? DBeaver + MongoExpress + redis-cli все это в разных местах с разными учетками, экспресс постоянно падал по невыясненной причине, неправильный запрос в редиску подвисал, а затем улетал в космос. Мелькнула мысль: "ну почему никто не написал чего-то более стабильного и удобного?", - собственно это и стало драйвером выходного дня. Спасибо древним грекам, над названием долго думать не пришлось: Паноптикум - в оригинале "место откуда видно все", но также "сборище жутких и необычных артефактов". Собственно дальше все очень просто, можно читать, можно искать, можно обновить отдельную запись (если DevOps разрешит) собственно это не production-ready софт, а простой и надежный инструмент для QA и разрабов. Примитивная basic-auth которую обязательно надо прятать под TLS и желательно за корп-VPN, чтобы только свои могли запороть. Для прода и около можно сделать READ_ONLY - но тут каждый сам решает надо оно вообще ему или нет. Наконец-то можно проследить все преобразования данных и найти кто потерялся, можно открывать несколько вкладок, можно давать ссылку на конкретный объект. Ставится самым стандартным образом: берем образ - разворачиваем, ничего необычного.

https://habr.com/ru/articles/996620/

#postgresql #mongodb #mysql #mssql #cassandra #redis #rabbitmq #kafka #elasticsearch

Хочу все знать

В проекте часто бывает некий data-flow который идет через ETL или даже отдельные серверы обогащения данных. Собственно и наш проект не исключение. Что было нужно? Данные из интернета летят в PostgreSQL, но только если в Redis не валяется хэш таких же. Далее несколько ETL проводит стандартный OLTP - OLAP преобразование и складывает все это в MongoDB - откуда клиент дергает эти данные и сравнивает их со своей PostgreSQL попутно складируя кэш в Redis. Все это периодически летает через RabbitMQ. Что бесило? DBeaver + MongoExpress + redis-cli все это в разных местах с разными учетками, экспресс постоянно падал по невыясненной причине, неправильный запрос в редиску подвисал, а затем улетал в космос. Мелькнула мысль: "ну почему никто не написал чего-то более стабильного и удобного?", - собственно это и стало драйвером выходного дня. Спасибо древним грекам, над названием долго думать не пришлось: Паноптикум - в оригинале "место откуда видно все", но также "сборище жутких и необычных артефактов". Собственно дальше все очень просто, можно читать, можно искать, можно обновить отдельную запись (если DevOps разрешит) собственно это не production-ready софт, а простой и надежный инструмент для QA и разрабов. Примитивная basic-auth которую обязательно надо прятать под TLS и желательно за корп-VPN, чтобы только свои могли запороть. Для прода и около можно сделать READ_ONLY - но тут каждый сам решает надо оно вообще ему или нет. Наконец-то можно проследить все преобразования данных и найти кто потерялся, можно открывать несколько вкладок, можно давать ссылку на конкретный объект. Ставится самым стандартным образом: берем образ - разворачиваем, ничего необычного.

https://habr.com/ru/articles/996620/

#postgresql #mongodb #mysql #mssql #cassandra #redis #rabbitmq #kafka #elasticsearch

Wow, am I missing something as #rabbitmq doesn't have built in delay/scheduled task queues?

https://www.rabbitmq.com/

Сравнительный обзор механизмов polling в Kafka и Pub/Sub в RabbitMQ: особенности и области применения

Друзья, привет! Меня зовут Андрей Комягин, я CTO компании STM Labs. Мы занимаемся разработкой очень больших распределённых высоконагруженных систем для различных отраслей, включая налоговое администрирование, телеком, track & trace и многие другие. В своих проектах и архитектурах мы широко применяем open-source-решения, включая брокеры сообщений, такие как Kafka и RabbitMQ. Совсем недавно я выступил на конференции HighLoad++ Genesis 2025: рассказал про анатомию каждого из этих брокеров, сравнил их по набору критериев и оценил результаты их нагрузочного тестирования. А теперь решил выпустить этот материал в виде статьи в блоге, чтобы читатели Хабра тоже смогли изучить нюансы и понять, на какие задачи заточен каждый из брокеров. Итак, поехали! О брокере Apache Kafka я очень подробно рассказал в своей предыдущей статье . Повторяться и снова разбирать его сегодня я не буду — вы можете перейти по ссылке выше и ознакомиться с материалом, а затем вернуться сюда.

https://habr.com/ru/articles/989590/

#kafka #rabbitmq #messagebroker #highload #highload++ #high_performance #архитектура #высоконагруженные_системы

Message Queues: A Simple Guide with Analogies
https://www.cloudamqp.com/blog/message-queues-exaplined-with-analogies.html
#ycombinator #RabbitMQ #LavinMQ #CloudAMQP #AMQP #hosted_RabbitMQ #RabbitMQ_hosting #cloud_AMQP #message #queues #hosting #cloud #decouple #distrubute #scale

https://qified.org/ v0.6.0 release now with hooks. Really simple messaging system for #javascript / #typescript with some great providers such as #redis #rabbitmq and #nats!

«У нас всё отлично»: как поверхностный аудит выявляет архитектурные риски на ранних этапах

Мне довелось выступить техническим экспертом на бизнес-акселераторе Genesis: IT & Telecom в СибГУТИ. Я был одним из немногих экспертов, чей фокус был не на технической реализации: архитектуре, коде, инфраструктуре. И почти каждая наша беседа начиналась с одного и того же диалога:...

https://habr.com/ru/articles/979850/

#rabbitmq #eventdriven #архитектура #образовательная_платформа #технический_аудит

First real test is underway! One of the things running on the cluster is some image conversion and stitching code. This simple #PHP service consumes from #RabbitMQ and then runs all the CPU heavy work in a thread. On the Pi4 it would blow out of memory (8GB) but on the Pi 5 it now has enough to do the job (16GB) 🎉 . The cool part is that the memory usage graph really shows off the thread usage because normally PHP processes don't return claimed memory to the kernel.

Does anyone know of a "tiny" message broker? Something that can be hosted as a single binary? No Redis/S3 stuff needed, just queues.

#SelfHost #Kafka #RabbitMQ #AMQP

.NET C# и RabbitMQ Streams: превратить кролика в Kafka легко, нужно всего лишь…

Работа с очередями сообщений — важная часть современных систем обработки данных. В нашей команде мы используем брокер сообщений RabbitMQ, но нам пришлось столкнуться с проблемами при обработке большого объема данных. В поисках решений я начал изучать различные способы оптимизации, и таким образом познакомился с RabbitMQ Streams – плагином, добавляющим log-based потоки, работающие по аналогии с Kafka Я потратил некоторые время, вникая в принципы работы RabbitMQ Streams с .NET и хочу представить вам краткий обзор, который призван упростить погружение в эту систему

https://habr.com/ru/articles/974952/

#rabbitmq #net #c# #брокер_сообщений #apache_kafka #очереди_сообщений

.NET C# и RabbitMQ Streams: превратить кролика в Kafka легко, нужно всего лишь…

Работа с очередями сообщений — важная часть современных систем обработки данных. В нашей команде мы используем брокер сообщений RabbitMQ, но нам пришлось столкнуться с проблемами при обработке большого объема данных. В поисках решений я начал изучать различные способы оптимизации, и таким образом познакомился с RabbitMQ Streams – плагином, добавляющим log-based потоки, работающие по аналогии с Kafka Я потратил некоторые время, вникая в принципы работы RabbitMQ Streams с .NET и хочу представить вам краткий обзор, который призван упростить погружение в эту систему

https://habr.com/ru/articles/974952/

#rabbitmq #net #c# #брокер_сообщений #apache_kafka #очереди_сообщений

.NET C# и RabbitMQ Streams: превратить кролика в Kafka легко, нужно всего лишь…

Работа с очередями сообщений — важная часть современных систем обработки данных. В нашей команде мы используем брокер сообщений RabbitMQ, но нам пришлось столкнуться с проблемами при обработке большого объема данных. В поисках решений я начал изучать различные способы оптимизации, и таким образом познакомился с RabbitMQ Streams – плагином, добавляющим log-based потоки, работающие по аналогии с Kafka Я потратил некоторые время, вникая в принципы работы RabbitMQ Streams с .NET и хочу представить вам краткий обзор, который призван упростить погружение в эту систему

https://habr.com/ru/articles/974952/

#rabbitmq #net #c# #брокер_сообщений #apache_kafka #очереди_сообщений

.NET C# и RabbitMQ Streams: превратить кролика в Kafka легко, нужно всего лишь…

Работа с очередями сообщений — важная часть современных систем обработки данных. В нашей команде мы используем брокер сообщений RabbitMQ, но нам пришлось столкнуться с проблемами при обработке большого объема данных. В поисках решений я начал изучать различные способы оптимизации, и таким образом познакомился с RabbitMQ Streams – плагином, добавляющим log-based потоки, работающие по аналогии с Kafka Я потратил некоторые время, вникая в принципы работы RabbitMQ Streams с .NET и хочу представить вам краткий обзор, который призван упростить погружение в эту систему

https://habr.com/ru/articles/974952/

#rabbitmq #net #c# #брокер_сообщений #apache_kafka #очереди_сообщений

Modern Banking Microservices with Clean Architecture, DDD, TDD, .NET 9, and Angular (Monorepo): A Complete Engineering Guide to Building Production-Grade Banking Systems Using Microservices, Docker, CI/CD, Testing, and Angular Nx Monorepos https://leanpub.com/fullstack-banking-microservices by Gustavo Felix is the featured book on the Leanpub homepage! https://leanpub.com #CSharp #ApiDesign #Devops #Angular #MessageDriven #Rabbitmq #Microservices #Git

Find it on Leanpub!

Я хотел бы знать это раньше. Очереди в Symfony

Привет! Меня зовут Никита Титков, я бэкенд-разработчик в Банки.ру. Создать простую очередь – несложная задача. Но как только очередей становится десятки и через них идут важные для бизнеса процессы, сразу появляются вопросы: как их правильно называть, чтобы не запутаться? Как организовать логирование и мониторинг, чтобы видеть, что происходит с сообщениями? Как обрабатывать ошибки? Мы сталкивались со всеми этими проблемами и решили поделиться опытом. В своей статье я расскажу, какие задачи и ошибки всплывают при построении системы очередей, и как мы их решили. Поговорим о том: как придумать понятный нейминг для очередей, выстроить явные контракты сообщений между сервисами, настроить логирование и алертинг. Читая эту статью, вы получите общее представление о том, как проектировать систему очередей с нуля и узнаете, как избежать типовых ловушек при их использовании. Давайте разбираться!

https://habr.com/ru/companies/banki/articles/972754/

#Symfony_Messenger #rabbitmq #очереди_сообщений #direct_exchange #fanout_exchange #topic_exchange #DTO_сообщений #Failedочереди #Мониторинг_очередей #Нейминг_очередей

Я хотел бы знать это раньше. Очереди в Symfony

Привет! Меня зовут Никита Титков, я бэкенд-разработчик в Банки.ру. Создать простую очередь – несложная задача. Но как только очередей становится десятки и через них идут важные для бизнеса процессы, сразу появляются вопросы: как их правильно называть, чтобы не запутаться? Как организовать логирование и мониторинг, чтобы видеть, что происходит с сообщениями? Как обрабатывать ошибки? Мы сталкивались со всеми этими проблемами и решили поделиться опытом. В своей статье я расскажу, какие задачи и ошибки всплывают при построении системы очередей, и как мы их решили. Поговорим о том: как придумать понятный нейминг для очередей, выстроить явные контракты сообщений между сервисами, настроить логирование и алертинг. Читая эту статью, вы получите общее представление о том, как проектировать систему очередей с нуля и узнаете, как избежать типовых ловушек при их использовании. Давайте разбираться!

https://habr.com/ru/companies/banki/articles/972754/

#Symfony_Messenger #rabbitmq #очереди_сообщений #direct_exchange #fanout_exchange #topic_exchange #DTO_сообщений #Failedочереди #Мониторинг_очередей #Нейминг_очередей

Я хотел бы знать это раньше. Очереди в Symfony

Привет! Меня зовут Никита Титков, я бэкенд-разработчик в Банки.ру. Создать простую очередь – несложная задача. Но как только очередей становится десятки и через них идут важные для бизнеса процессы, сразу появляются вопросы: как их правильно называть, чтобы не запутаться? Как организовать логирование и мониторинг, чтобы видеть, что происходит с сообщениями? Как обрабатывать ошибки? Мы сталкивались со всеми этими проблемами и решили поделиться опытом. В своей статье я расскажу, какие задачи и ошибки всплывают при построении системы очередей, и как мы их решили. Поговорим о том: как придумать понятный нейминг для очередей, выстроить явные контракты сообщений между сервисами, настроить логирование и алертинг. Читая эту статью, вы получите общее представление о том, как проектировать систему очередей с нуля и узнаете, как избежать типовых ловушек при их использовании. Давайте разбираться!

https://habr.com/ru/companies/banki/articles/972754/

#Symfony_Messenger #rabbitmq #очереди_сообщений #direct_exchange #fanout_exchange #topic_exchange #DTO_сообщений #Failedочереди #Мониторинг_очередей #Нейминг_очередей

Я хотел бы знать это раньше. Очереди в Symfony

Привет! Меня зовут Никита Титков, я бэкенд-разработчик в Банки.ру. Создать простую очередь – несложная задача. Но как только очередей становится десятки и через них идут важные для бизнеса процессы, сразу появляются вопросы: как их правильно называть, чтобы не запутаться? Как организовать логирование и мониторинг, чтобы видеть, что происходит с сообщениями? Как обрабатывать ошибки? Мы сталкивались со всеми этими проблемами и решили поделиться опытом. В своей статье я расскажу, какие задачи и ошибки всплывают при построении системы очередей, и как мы их решили. Поговорим о том: как придумать понятный нейминг для очередей, выстроить явные контракты сообщений между сервисами, настроить логирование и алертинг. Читая эту статью, вы получите общее представление о том, как проектировать систему очередей с нуля и узнаете, как избежать типовых ловушек при их использовании. Давайте разбираться!

https://habr.com/ru/companies/banki/articles/972754/

#Symfony_Messenger #rabbitmq #очереди_сообщений #direct_exchange #fanout_exchange #topic_exchange #DTO_сообщений #Failedочереди #Мониторинг_очередей #Нейминг_очередей

[Перевод] Выбор между RabbitMQ и Apache Kafka

Если вы задаётесь вопросом, что лучше — Apache Kafka или RabbitMQ, или думаете, что RabbitMQ надёжнее Apache Kafka, хочу сразу остановить вас. Эта статья рассматривает обе системы с более широкой точки зрения и сосредоточится на функциональности, которую они предоставляют. Это поможет вам принять обоснованное решение о том, какую систему использовать и в каких случаях. Kafka vs RabbitMQ

https://habr.com/ru/companies/otus/articles/969914/

#kafka #rabbitmq #Apache_Kafka #брокер_сообщений #очереди_сообщений #стриминг_данных

[Перевод] Выбор между RabbitMQ и Apache Kafka

Если вы задаётесь вопросом, что лучше — Apache Kafka или RabbitMQ, или думаете, что RabbitMQ надёжнее Apache Kafka, хочу сразу остановить вас. Эта статья рассматривает обе системы с более широкой точки зрения и сосредоточится на функциональности, которую они предоставляют. Это поможет вам принять обоснованное решение о том, какую систему использовать и в каких случаях. Kafka vs RabbitMQ

https://habr.com/ru/companies/otus/articles/969914/

#kafka #rabbitmq #Apache_Kafka #брокер_сообщений #очереди_сообщений #стриминг_данных

[Перевод] Выбор между RabbitMQ и Apache Kafka

Если вы задаётесь вопросом, что лучше — Apache Kafka или RabbitMQ, или думаете, что RabbitMQ надёжнее Apache Kafka, хочу сразу остановить вас. Эта статья рассматривает обе системы с более широкой точки зрения и сосредоточится на функциональности, которую они предоставляют. Это поможет вам принять обоснованное решение о том, какую систему использовать и в каких случаях. Kafka vs RabbitMQ

https://habr.com/ru/companies/otus/articles/969914/

#kafka #rabbitmq #Apache_Kafka #брокер_сообщений #очереди_сообщений #стриминг_данных

[Перевод] Выбор между RabbitMQ и Apache Kafka

Если вы задаётесь вопросом, что лучше — Apache Kafka или RabbitMQ, или думаете, что RabbitMQ надёжнее Apache Kafka, хочу сразу остановить вас. Эта статья рассматривает обе системы с более широкой точки зрения и сосредоточится на функциональности, которую они предоставляют. Это поможет вам принять обоснованное решение о том, какую систему использовать и в каких случаях. Kafka vs RabbitMQ

https://habr.com/ru/companies/otus/articles/969914/

#kafka #rabbitmq #Apache_Kafka #брокер_сообщений #очереди_сообщений #стриминг_данных

Брокеры сообщений Kafka и RabbitMQ в реальной жизни

Большинство программ, сервисов и служб работают не сами по себе, а взаимодействуют друг с другом и внешними системами. Без такого «общения» не обойтись при построении больших и сложных приложений — маркетплейсов и интернет-магазинов, соцсетей и онлайн-кинотеатров, агрегаторов отелей и такси. Для передачи данных между различными компонентами распределённых систем придуманы специальные посредники — брокеры сообщений. Меня зовут Александр Борецкий, я архитектор в Т1 Облако. Поделюсь своим опытом работы с самыми популярными из брокеров сообщений — Kafka и RabbitMQ. Расскажу, как выбрать и настроить подходящий брокер, а также какие архитектурные особенности есть у каждого из них.

https://habr.com/ru/companies/T1Holding/articles/968394/

#rabbitmq #kafka #брокер_сообщений

Из коробки Publish не имеет гарантий доставки в RabbitMQ

Привет, Хабр. Я Витя Михайлов, Backend Lead в

https://habr.com/ru/companies/garage8/articles/965214/

#RabbitMQ #rmq #php #publish #гарантии_доставки #консистентность

Как я в одиночку спроектировал API-шлюз на FastAPI, который держит 200к+ запросов в сутки

Привет, Хабр! я Python-инженер. Последние несколько лет я в одиночку строил довольно сложную бэкенд-систему, и за это время набил немало шишек и нашел, как мне кажется, несколько интересных решений. В этой статье я хочу поделиться не "историей успеха", а конкретными архитектурными проблемами и их решениями при построении высокопроизводительного сервиса на асинхронном Python. Статья будет полезна тем, кто работает с FastAPI, микросервисами и думает о надежности и масштабируемости своих систем.

https://habr.com/ru/articles/957898/

#fastapi #asyncio #python #rabbitmq #highload #devops #system_design #микросервисы

Hah score! Managed to push data from #HomeAssistant to #MQTT using the MQTT Publish action in HA, then https://github.com/hikhvar/mqtt2prometheus picks it up and services it up to #Prometheus for use in queries. Will need to switch my #Keda scale object from a #RabbitMQ one to a Prometheus query. But will first let this metric sit there for a few days to make sure it behaves as expected.

RabbitMQ как инструмент «деградации с честью»

Как построить микросервисы на RabbitMQ так, чтобы система не падала каскадом, а деградировала предсказуемо: outbox, mandatory, AE, идемпотентность, DLQ, приоритеты и реальные грабли из продакшена

https://habr.com/ru/articles/943022/

#rabbitmq #микросервисы #очереди_сообщений #outbox #отказоустойчивость #архитектурные_паттерны #highload #python #postgresql #идемпотентность

RabbitMQ как инструмент «деградации с честью»

Как построить микросервисы на RabbitMQ так, чтобы система не падала каскадом, а деградировала предсказуемо: outbox, mandatory, AE, идемпотентность, DLQ, приоритеты и реальные грабли из продакшена

https://habr.com/ru/articles/943022/

#rabbitmq #микросервисы #очереди_сообщений #outbox #отказоустойчивость #архитектурные_паттерны #highload #python #postgresql #идемпотентность

RabbitMQ как инструмент «деградации с честью»

Как построить микросервисы на RabbitMQ так, чтобы система не падала каскадом, а деградировала предсказуемо: outbox, mandatory, AE, идемпотентность, DLQ, приоритеты и реальные грабли из продакшена

https://habr.com/ru/articles/943022/

#rabbitmq #микросервисы #очереди_сообщений #outbox #отказоустойчивость #архитектурные_паттерны #highload #python #postgresql #идемпотентность

RabbitMQ как инструмент «деградации с честью»

Как построить микросервисы на RabbitMQ так, чтобы система не падала каскадом, а деградировала предсказуемо: outbox, mandatory, AE, идемпотентность, DLQ, приоритеты и реальные грабли из продакшена

https://habr.com/ru/articles/943022/

#rabbitmq #микросервисы #очереди_сообщений #outbox #отказоустойчивость #архитектурные_паттерны #highload #python #postgresql #идемпотентность

Как читать сообщения, если никто из брокеров не предоставил удобный интерфейс

Пишите вы себе EDA на основе Apache Kafka , и ваши сервисы тщательно логируют все свои действия, процесс отлажен и работает годами. Вдруг один из сервисов отчитался в логах, что отправил событие в брокер, но другой по какой-то его не прочитал. Как понять, кто виноват? Как правило, брокер сообщений между сервисами – черная коробка, которая работает, что называется «As Is». Разработчики подключают зависимости, вешают аннотации консюмеров и продюсеров , оно заводится и все рады. Но что они там подключили и как это работает никто не видит. Так давайте же посмотрим, как мы можем открыть этот чёрный ящик на примере наиболее популярных брокеров сообщений.

https://habr.com/ru/companies/axenix/articles/886042/

#kafka #брокер_сообщений #activemq_artemis #rabbitmq #nats #conductor #offset_explorer #kafka_ui #brok #esb

Как читать сообщения, если никто из брокеров не предоставил удобный интерфейс

Пишите вы себе EDA на основе Apache Kafka , и ваши сервисы тщательно логируют все свои действия, процесс отлажен и работает годами. Вдруг один из сервисов отчитался в логах, что отправил событие в брокер, но другой по какой-то его не прочитал. Как понять, кто виноват? Как правило, брокер сообщений между сервисами – черная коробка, которая работает, что называется «As Is». Разработчики подключают зависимости, вешают аннотации консюмеров и продюсеров , оно заводится и все рады. Но что они там подключили и как это работает никто не видит. Так давайте же посмотрим, как мы можем открыть этот чёрный ящик на примере наиболее популярных брокеров сообщений.

https://habr.com/ru/companies/axenix/articles/886042/

#kafka #брокер_сообщений #activemq_artemis #rabbitmq #nats #conductor #offset_explorer #kafka_ui #brok #esb

Как читать сообщения, если никто из брокеров не предоставил удобный интерфейс

Пишите вы себе EDA на основе Apache Kafka , и ваши сервисы тщательно логируют все свои действия, процесс отлажен и работает годами. Вдруг один из сервисов отчитался в логах, что отправил событие в брокер, но другой по какой-то его не прочитал. Как понять, кто виноват? Как правило, брокер сообщений между сервисами – черная коробка, которая работает, что называется «As Is». Разработчики подключают зависимости, вешают аннотации консюмеров и продюсеров , оно заводится и все рады. Но что они там подключили и как это работает никто не видит. Так давайте же посмотрим, как мы можем открыть этот чёрный ящик на примере наиболее популярных брокеров сообщений.

https://habr.com/ru/companies/axenix/articles/886042/

#kafka #брокер_сообщений #activemq_artemis #rabbitmq #nats #conductor #offset_explorer #kafka_ui #brok #esb

Как читать сообщения, если никто из брокеров не предоставил удобный интерфейс

Пишите вы себе EDA на основе Apache Kafka , и ваши сервисы тщательно логируют все свои действия, процесс отлажен и работает годами. Вдруг один из сервисов отчитался в логах, что отправил событие в брокер, но другой по какой-то его не прочитал. Как понять, кто виноват? Как правило, брокер сообщений между сервисами – черная коробка, которая работает, что называется «As Is». Разработчики подключают зависимости, вешают аннотации консюмеров и продюсеров , оно заводится и все рады. Но что они там подключили и как это работает никто не видит. Так давайте же посмотрим, как мы можем открыть этот чёрный ящик на примере наиболее популярных брокеров сообщений.

https://habr.com/ru/companies/axenix/articles/886042/

#kafka #брокер_сообщений #activemq_artemis #rabbitmq #nats #conductor #offset_explorer #kafka_ui #brok #esb

citās ziņās - vakarnakt pabeidzu vienu #RSS #web aplikāciju (nolasīšanas servisu), jo neviena nepatika.
Balstās uz vecā-labā #SimplePie (līdz arī to daļu varētu pārrakstīt).
Tagad tikai attainošanas daļa... un vēlāk kaut kad kāds #RabbitMQ pa vidu jāieliek, jo šis serviss būs uzvairākiem serveriem, bet attainotājs uz viena. #MQ palīdzēs arī nepārslogot datubāzi.

Citiem vārdiem - taisu savu #Feedly (ar visu AI/ML daļu)

citās ziņās - vakarnakt pabeidzu vienu #RSS #web aplikāciju (nolasīšanas servisu), jo neviena nepatika.
Balstās uz vecā-labā #SimplePie (līdz arī to daļu varētu pārrakstīt).
Tagad tikai attainošanas daļa... un vēlāk kaut kad kāds #RabbitMQ pa vidu jāieliek, jo šis serviss būs uzvairākiem serveriem, bet attainotājs uz viena. #MQ palīdzēs arī nepārslogot datubāzi.

Citiem vārdiem - taisu savu #Feedly (ar visu AI/ML daļu)

citās ziņās - vakarnakt pabeidzu vienu #RSS #web aplikāciju (nolasīšanas servisu), jo neviena nepatika.
Balstās uz vecā-labā #SimplePie (līdz arī to daļu varētu pārrakstīt).
Tagad tikai attainošanas daļa... un vēlāk kaut kad kāds #RabbitMQ pa vidu jāieliek, jo šis serviss būs uzvairākiem serveriem, bet attainotājs uz viena. #MQ palīdzēs arī nepārslogot datubāzi.

Citiem vārdiem - taisu savu #Feedly (ar visu AI/ML daļu)