#rabbitmq — Public Fediverse posts

A few months ago, I had a problem with the Brave Shield (browser) and had added my Mastodon account as a contact. A few days later, I received a DM from a developer. 🥰

Yesterday I posted a workaround for an issue in a #RabbitMQ #docker container.
Today, an offer of help from a RabbitMQ developer 🥰.

That’s exactly what I love about the Fediverse.

Just friendly help. Thank you.

#positiveNews #PositiveThings
#positiveMeldung #PositiveDinge

A few months ago, I had a problem with the Brave Shield (browser) and had added my Mastodon account as a contact. A few days later, I received a DM from a developer. 🥰

Yesterday I posted a workaround for an issue in a #RabbitMQ #docker container.
Today, an offer of help from a RabbitMQ developer 🥰.

That’s exactly what I love about the Fediverse.

Just friendly help. Thank you.

#positiveNews #PositiveThings
#positiveMeldung #PositiveDinge

A few months ago, I had a problem with the Brave Shield (browser) and had added my Mastodon account as a contact. A few days later, I received a DM from a developer. 🥰

Yesterday I posted a workaround for an issue in a #RabbitMQ #docker container.
Today, an offer of help from a RabbitMQ developer 🥰.

That’s exactly what I love about the Fediverse.

Just friendly help. Thank you.

#positiveNews #PositiveThings
#positiveMeldung #PositiveDinge

A few months ago, I had a problem with the Brave Shield (browser) and had added my Mastodon account as a contact. A few days later, I received a DM from a developer. 🥰

Yesterday I posted a workaround for an issue in a #RabbitMQ #docker container.
Today, an offer of help from a RabbitMQ developer 🥰.

That’s exactly what I love about the Fediverse.

Just friendly help. Thank you.

#positiveNews #PositiveThings
#positiveMeldung #PositiveDinge

#TIL

Ich brauche hier für eine #RabbitMQ vermutlich das federation plugin. #RabbitMQ läuft in einem #Docker Container.
Also flugs in den #Docker Container gesprungen:
$ rabbitmq-plugins list

Bäm: Error: Only root or rabbitmq can run rabbitmq-plugins

Also

$ id
uid=42439(rabbitmq) gid=42439(rabbitmq) groups=42439(rabbitmq),42400(kolla)

Hä?

Also mal reingeschaut
$ cat $(which rabbitmq-plugins) (1/2)

Очереди в микросервисах: 5 ошибок, которые приводят к дублям и потерям

Почему добавление второго consumer«а в очередь может привести к двойным списаниям? Разбираем на реальном кейсе: как один Topic стоил компании 312 дублей за час. » Сравниваем поведение JMS, Kafka и RabbitMQ, показываем, почему ни одна очередь не даёт exactly‑once из коробки, и как идемпотентность, Dead Letter Queue и правильный выбор канала (команды vs события) делают интеграции надёжными.“ Готовые схемы, продакшен‑код на Java и чек‑лист, который стоит применить прямо сейчас! Читать разбор

https://habr.com/ru/companies/otus/articles/1031284/

#очереди_сообщений #микросервисы #брокеры_сообщений #RabbitMQ #Kafka #JMS #publishsubscribe #competing_consumers #идемпотентность #Dead_Letter_Queue

Очереди в микросервисах: 5 ошибок, которые приводят к дублям и потерям

Почему добавление второго consumer«а в очередь может привести к двойным списаниям? Разбираем на реальном кейсе: как один Topic стоил компании 312 дублей за час. » Сравниваем поведение JMS, Kafka и RabbitMQ, показываем, почему ни одна очередь не даёт exactly‑once из коробки, и как идемпотентность, Dead Letter Queue и правильный выбор канала (команды vs события) делают интеграции надёжными.“ Готовые схемы, продакшен‑код на Java и чек‑лист, который стоит применить прямо сейчас! Читать разбор

https://habr.com/ru/companies/otus/articles/1031284/

#очереди_сообщений #микросервисы #брокеры_сообщений #RabbitMQ #Kafka #JMS #publishsubscribe #competing_consumers #идемпотентность #Dead_Letter_Queue

Очереди в микросервисах: 5 ошибок, которые приводят к дублям и потерям

Почему добавление второго consumer«а в очередь может привести к двойным списаниям? Разбираем на реальном кейсе: как один Topic стоил компании 312 дублей за час. » Сравниваем поведение JMS, Kafka и RabbitMQ, показываем, почему ни одна очередь не даёт exactly‑once из коробки, и как идемпотентность, Dead Letter Queue и правильный выбор канала (команды vs события) делают интеграции надёжными.“ Готовые схемы, продакшен‑код на Java и чек‑лист, который стоит применить прямо сейчас! Читать разбор

https://habr.com/ru/companies/otus/articles/1031284/

#очереди_сообщений #микросервисы #брокеры_сообщений #RabbitMQ #Kafka #JMS #publishsubscribe #competing_consumers #идемпотентность #Dead_Letter_Queue

Очереди в микросервисах: 5 ошибок, которые приводят к дублям и потерям

Почему добавление второго consumer«а в очередь может привести к двойным списаниям? Разбираем на реальном кейсе: как один Topic стоил компании 312 дублей за час. » Сравниваем поведение JMS, Kafka и RabbitMQ, показываем, почему ни одна очередь не даёт exactly‑once из коробки, и как идемпотентность, Dead Letter Queue и правильный выбор канала (команды vs события) делают интеграции надёжными.“ Готовые схемы, продакшен‑код на Java и чек‑лист, который стоит применить прямо сейчас! Читать разбор

https://habr.com/ru/companies/otus/articles/1031284/

#очереди_сообщений #микросервисы #брокеры_сообщений #RabbitMQ #Kafka #JMS #publishsubscribe #competing_consumers #идемпотентность #Dead_Letter_Queue

Обзор Агредатор

На связи Сергей Скирдин, технический директор компании «Белый код». Поставил себе цель — сделать обзоры на шины данных из реестра отечественного ПО. Сегодня в обзоре Агредатор.

https://habr.com/ru/companies/w_code/articles/1031514/

#шина_данных #корпоративная_шина_данных #интеграционная_платформа #коннекторы #esb #enterprise_service_bus #rabbitmq #kafka #ruby

Обзор Агредатор

На связи Сергей Скирдин, технический директор компании «Белый код». Поставил себе цель — сделать обзоры на шины данных из реестра отечественного ПО. Сегодня в обзоре Агредатор.

https://habr.com/ru/companies/w_code/articles/1031514/

#шина_данных #корпоративная_шина_данных #интеграционная_платформа #коннекторы #esb #enterprise_service_bus #rabbitmq #kafka #ruby

Обзор Агредатор

На связи Сергей Скирдин, технический директор компании «Белый код». Поставил себе цель — сделать обзоры на шины данных из реестра отечественного ПО. Сегодня в обзоре Агредатор.

https://habr.com/ru/companies/w_code/articles/1031514/

#шина_данных #корпоративная_шина_данных #интеграционная_платформа #коннекторы #esb #enterprise_service_bus #rabbitmq #kafka #ruby

Обзор Агредатор

На связи Сергей Скирдин, технический директор компании «Белый код». Поставил себе цель — сделать обзоры на шины данных из реестра отечественного ПО. Сегодня в обзоре Агредатор.

https://habr.com/ru/companies/w_code/articles/1031514/

#шина_данных #корпоративная_шина_данных #интеграционная_платформа #коннекторы #esb #enterprise_service_bus #rabbitmq #kafka #ruby

Как мы переписывали логику очередей: Celery => aio-pika => FastStream

Наш путь активной работы с очередями RabbitMQ начался с классического Celery. Осознав критичность низкоуровневого контроля системы, принялись работать с aio-pika. Но и этот уровень слишком местами сложный (далее расскажу почему), и нашли отличное решение, на текущий момент, в лице FastStream. Сразу оставлю такую пометку, что каждый инструмент подходит для решения своей задачи. Мы больше хотели сделать акцент на удобство и скорость разработки относительно затрачиваемого времени на миграции решений. N.B. : Код возможно покажется неоптимальным или старым. Это всё наш дорогой Легаси.

https://habr.com/ru/articles/1030082/

#celery #rabbitmq #faststream #aiopika #python3

Как мы переписывали логику очередей: Celery => aio-pika => FastStream

Наш путь активной работы с очередями RabbitMQ начался с классического Celery. Осознав критичность низкоуровневого контроля системы, принялись работать с aio-pika. Но и этот уровень слишком местами сложный (далее расскажу почему), и нашли отличное решение, на текущий момент, в лице FastStream. Сразу оставлю такую пометку, что каждый инструмент подходит для решения своей задачи. Мы больше хотели сделать акцент на удобство и скорость разработки относительно затрачиваемого времени на миграции решений. N.B. : Код возможно покажется неоптимальным или старым. Это всё наш дорогой Легаси.

https://habr.com/ru/articles/1030082/

#celery #rabbitmq #faststream #aiopika #python3

Как мы переписывали логику очередей: Celery => aio-pika => FastStream

Наш путь активной работы с очередями RabbitMQ начался с классического Celery. Осознав критичность низкоуровневого контроля системы, принялись работать с aio-pika. Но и этот уровень слишком местами сложный (далее расскажу почему), и нашли отличное решение, на текущий момент, в лице FastStream. Сразу оставлю такую пометку, что каждый инструмент подходит для решения своей задачи. Мы больше хотели сделать акцент на удобство и скорость разработки относительно затрачиваемого времени на миграции решений. N.B. : Код возможно покажется неоптимальным или старым. Это всё наш дорогой Легаси.

https://habr.com/ru/articles/1030082/

#celery #rabbitmq #faststream #aiopika #python3

Как мы переписывали логику очередей: Celery => aio-pika => FastStream

Наш путь активной работы с очередями RabbitMQ начался с классического Celery. Осознав критичность низкоуровневого контроля системы, принялись работать с aio-pika. Но и этот уровень слишком местами сложный (далее расскажу почему), и нашли отличное решение, на текущий момент, в лице FastStream. Сразу оставлю такую пометку, что каждый инструмент подходит для решения своей задачи. Мы больше хотели сделать акцент на удобство и скорость разработки относительно затрачиваемого времени на миграции решений. N.B. : Код возможно покажется неоптимальным или старым. Это всё наш дорогой Легаси.

https://habr.com/ru/articles/1030082/

#celery #rabbitmq #faststream #aiopika #python3

Как я реализовал Blue-Green деплой с нулевым даунтаймом на Docker Compose

Недавно я внедрил blue‑green деплой в проде. Реализация довольно простая и кастомная, но справляется со своей задачей на ура! Также сообщу, что используется обычный докер композ на виртуалке — возможно, кому‑то такой подход будет полезен. Для фоновых процессов (воркеров) В приложение добавляется специальный инфрастуктурный singleton класс с флагом is_accepting, и обертка на consumers. В каждом консьюмере перед обработкой проверяем этот флаг: если True — обрабатываем задачу, если False — переносим задачу на повторную обработку (например, в rabbitmq делаем сразу nack(requeue=true))

https://habr.com/ru/articles/1025776/

#bluegreen_deployment #zero_downtime #dockercompose #cicd #rabbitmq #kafka #faststream #celery

Как построить надёжный обмен сообщениями в микросервисах: лучшие практики для enterprise

Что делать, если синхронные REST-вызовы превращают ваши микросервисы в карточный домик? Пора вспомнить проверенные временем паттерны обмена сообщениями. В этой статье разбираем архитектуру Pipes and Filters, Content-Based Router и Idempotent Receiver — те самые кирпичики, на которых держатся надёжные системы. Схемы, best practices для проектирования устойчивых интеграций для Enterprise-разработки.

https://habr.com/ru/companies/otus/articles/1022190/

#микросервисы #kafka #обменсообщениями #архитектура #интеграция_приложений #идемпотентность #rabbitmq

Как построить надёжный обмен сообщениями в микросервисах: лучшие практики для enterprise

Что делать, если синхронные REST-вызовы превращают ваши микросервисы в карточный домик? Пора вспомнить проверенные временем паттерны обмена сообщениями. В этой статье разбираем архитектуру Pipes and Filters, Content-Based Router и Idempotent Receiver — те самые кирпичики, на которых держатся надёжные системы. Схемы, best practices для проектирования устойчивых интеграций для Enterprise-разработки.

https://habr.com/ru/companies/otus/articles/1022190/

#микросервисы #kafka #обменсообщениями #архитектура #интеграция_приложений #идемпотентность #rabbitmq

Как построить надёжный обмен сообщениями в микросервисах: лучшие практики для enterprise

Что делать, если синхронные REST-вызовы превращают ваши микросервисы в карточный домик? Пора вспомнить проверенные временем паттерны обмена сообщениями. В этой статье разбираем архитектуру Pipes and Filters, Content-Based Router и Idempotent Receiver — те самые кирпичики, на которых держатся надёжные системы. Схемы, best practices для проектирования устойчивых интеграций для Enterprise-разработки.

https://habr.com/ru/companies/otus/articles/1022190/

#микросервисы #kafka #обменсообщениями #архитектура #интеграция_приложений #идемпотентность #rabbitmq

Как построить надёжный обмен сообщениями в микросервисах: лучшие практики для enterprise

Что делать, если синхронные REST-вызовы превращают ваши микросервисы в карточный домик? Пора вспомнить проверенные временем паттерны обмена сообщениями. В этой статье разбираем архитектуру Pipes and Filters, Content-Based Router и Idempotent Receiver — те самые кирпичики, на которых держатся надёжные системы. Схемы, best practices для проектирования устойчивых интеграций для Enterprise-разработки.

https://habr.com/ru/companies/otus/articles/1022190/

#микросервисы #kafka #обменсообщениями #архитектура #интеграция_приложений #идемпотентность #rabbitmq

KontikiTUI a terminal UI to monitor Kontiki services.

https://github.com/kontiki-org/kontiki-tui

#kontiki #þython #amqp #rabbitmq #async #microservices #kontikitui

Kontiki 1.0.2 released.
https://github.com/kontiki-org/kontiki

# kontiki #python #amqp #rabbitmq #async #microservices

Any great #QualityEngineers who are great with #Linux #Kubernetes, #SQL and either #Kafka or #RabbitMQ in #Brno #CzechRepublic ? My team's looking to hire some Quality Engineers and eventually some SDETs there. Some really cool roles like Performance Quality Engineering, etc. opening soon. Please share with any folks who may be local. :) DM me if you've got interest or know someone who does. We've got several roles opening.

#GetFediHired :boostRequest:

Any great #QualityEngineers who are great with #Linux #Kubernetes, #SQL and either #Kafka or #RabbitMQ in #Brno #CzechRepublic ? My team's looking to hire some Quality Engineers and eventually some SDETs there. Some really cool roles like Performance Quality Engineering, etc. opening soon. Please share with any folks who may be local. :) DM me if you've got interest or know someone who does. We've got several roles opening.

#GetFediHired :boostRequest:

Any great #QualityEngineers who are great with #Linux #Kubernetes, #SQL and either #Kafka or #RabbitMQ in #Brno #CzechRepublic ? My team's looking to hire some Quality Engineers and eventually some SDETs there. Some really cool roles like Performance Quality Engineering, etc. opening soon. Please share with any folks who may be local. :) DM me if you've got interest or know someone who does. We've got several roles opening.

#GetFediHired :boostRequest:

Any great #QualityEngineers who are great with #Linux #Kubernetes, #SQL and either #Kafka or #RabbitMQ in #Brno #CzechRepublic ? My team's looking to hire some Quality Engineers and eventually some SDETs there. Some really cool roles like Performance Quality Engineering, etc. opening soon. Please share with any folks who may be local. :) DM me if you've got interest or know someone who does. We've got several roles opening.

#GetFediHired :boostRequest:

Any great #QualityEngineers who are great with #Linux #Kubernetes, #SQL and either #Kafka or #RabbitMQ in #Brno #CzechRepublic ? My team's looking to hire some Quality Engineers and eventually some SDETs there. Some really cool roles like Performance Quality Engineering, etc. opening soon. Please share with any folks who may be local. :) DM me if you've got interest or know someone who does. We've got several roles opening.

#GetFediHired :boostRequest:

Переписать нельзя оставить: как мы…

Привет, Хабр! Меня зовут Алексей Кирдяшкин, я занимаюсь инфраструктурной разработкой в Timeweb Cloud. У нас есть сервис App Platform (раньше он назывался Apps). Если коротко, это управляемая платформа поверх VDS для деплоя приложений напрямую из Git, без ручной настройки серверов и танцев с бубном. Я застал App Platform еще в виде MVP, участвовал в его адаптации под инфраструктуру, работал над архитектурой — по сути, провел сервис от первого прототипа до продакшена с реальной нагрузкой. Конечно, все работало — приложения деплоились, пользователи приходили, платформа росла. Но с ростом стали заметны архитектурные решения, которые были оправданы для MVP, но плохо подходили для большого сервиса. Поэтому мы взяли и… полностью пересобрали уже работающий сервис с нуля. Как, зачем и почему — в этой статье.

https://habr.com/ru/companies/timeweb/articles/1011224/

#paas #backend #frontend #apps #vds #timeweb_статьи #git #api #docker_compose #rabbitmq

Переписать нельзя оставить: как мы…

Привет, Хабр! Меня зовут Алексей Кирдяшкин, я занимаюсь инфраструктурной разработкой в Timeweb Cloud. У нас есть сервис App Platform (раньше он назывался Apps). Если коротко, это управляемая платформа поверх VDS для деплоя приложений напрямую из Git, без ручной настройки серверов и танцев с бубном. Я застал App Platform еще в виде MVP, участвовал в его адаптации под инфраструктуру, работал над архитектурой — по сути, провел сервис от первого прототипа до продакшена с реальной нагрузкой. Конечно, все работало — приложения деплоились, пользователи приходили, платформа росла. Но с ростом стали заметны архитектурные решения, которые были оправданы для MVP, но плохо подходили для большого сервиса. Поэтому мы взяли и… полностью пересобрали уже работающий сервис с нуля. Как, зачем и почему — в этой статье.

https://habr.com/ru/companies/timeweb/articles/1011224/

#paas #backend #frontend #apps #vds #timeweb_статьи #git #api #docker_compose #rabbitmq

Переписать нельзя оставить: как мы…

Привет, Хабр! Меня зовут Алексей Кирдяшкин, я занимаюсь инфраструктурной разработкой в Timeweb Cloud. У нас есть сервис App Platform (раньше он назывался Apps). Если коротко, это управляемая платформа поверх VDS для деплоя приложений напрямую из Git, без ручной настройки серверов и танцев с бубном. Я застал App Platform еще в виде MVP, участвовал в его адаптации под инфраструктуру, работал над архитектурой — по сути, провел сервис от первого прототипа до продакшена с реальной нагрузкой. Конечно, все работало — приложения деплоились, пользователи приходили, платформа росла. Но с ростом стали заметны архитектурные решения, которые были оправданы для MVP, но плохо подходили для большого сервиса. Поэтому мы взяли и… полностью пересобрали уже работающий сервис с нуля. Как, зачем и почему — в этой статье.

https://habr.com/ru/companies/timeweb/articles/1011224/

#paas #backend #frontend #apps #vds #timeweb_статьи #git #api #docker_compose #rabbitmq

Переписать нельзя оставить: как мы…

Привет, Хабр! Меня зовут Алексей Кирдяшкин, я занимаюсь инфраструктурной разработкой в Timeweb Cloud. У нас есть сервис App Platform (раньше он назывался Apps). Если коротко, это управляемая платформа поверх VDS для деплоя приложений напрямую из Git, без ручной настройки серверов и танцев с бубном. Я застал App Platform еще в виде MVP, участвовал в его адаптации под инфраструктуру, работал над архитектурой — по сути, провел сервис от первого прототипа до продакшена с реальной нагрузкой. Конечно, все работало — приложения деплоились, пользователи приходили, платформа росла. Но с ростом стали заметны архитектурные решения, которые были оправданы для MVP, но плохо подходили для большого сервиса. Поэтому мы взяли и… полностью пересобрали уже работающий сервис с нуля. Как, зачем и почему — в этой статье.

https://habr.com/ru/companies/timeweb/articles/1011224/

#paas #backend #frontend #apps #vds #timeweb_статьи #git #api #docker_compose #rabbitmq

Система рекомендаций для изображений: пример на Python и CLIP

В этой статье я делюсь реальным кейсом построения системы рекомендаций для картин. Сначала мы реализовали простой поиск по тегам, а затем перешли к эмбеддингам изображений с помощью CLIP и хранению в Elasticsearch. Также я показываю, как строим персонализированные рекомендации на основе лайков и просмотров пользователя. Статья будет полезна тем, кто хочет понять, как создать рабочую систему рекомендаций на Python и постепенно улучшать её точность.

https://habr.com/ru/articles/1009024/

#embeddings #рекомендательные_системы #python #архитектура #elasticsearch #векторизация_растровых_изображений #rabbitmq #микросервисы

Система рекомендаций для изображений: пример на Python и CLIP

В этой статье я делюсь реальным кейсом построения системы рекомендаций для картин. Сначала мы реализовали простой поиск по тегам, а затем перешли к эмбеддингам изображений с помощью CLIP и хранению в Elasticsearch. Также я показываю, как строим персонализированные рекомендации на основе лайков и просмотров пользователя. Статья будет полезна тем, кто хочет понять, как создать рабочую систему рекомендаций на Python и постепенно улучшать её точность.

https://habr.com/ru/articles/1009024/

#embeddings #рекомендательные_системы #python #архитектура #elasticsearch #векторизация_растровых_изображений #rabbitmq #микросервисы

Система рекомендаций для изображений: пример на Python и CLIP

В этой статье я делюсь реальным кейсом построения системы рекомендаций для картин. Сначала мы реализовали простой поиск по тегам, а затем перешли к эмбеддингам изображений с помощью CLIP и хранению в Elasticsearch. Также я показываю, как строим персонализированные рекомендации на основе лайков и просмотров пользователя. Статья будет полезна тем, кто хочет понять, как создать рабочую систему рекомендаций на Python и постепенно улучшать её точность.

https://habr.com/ru/articles/1009024/

#embeddings #рекомендательные_системы #python #архитектура #elasticsearch #векторизация_растровых_изображений #rabbitmq #микросервисы

Система рекомендаций для изображений: пример на Python и CLIP

В этой статье я делюсь реальным кейсом построения системы рекомендаций для картин. Сначала мы реализовали простой поиск по тегам, а затем перешли к эмбеддингам изображений с помощью CLIP и хранению в Elasticsearch. Также я показываю, как строим персонализированные рекомендации на основе лайков и просмотров пользователя. Статья будет полезна тем, кто хочет понять, как создать рабочую систему рекомендаций на Python и постепенно улучшать её точность.

https://habr.com/ru/articles/1009024/

#embeddings #рекомендательные_системы #python #архитектура #elasticsearch #векторизация_растровых_изображений #rabbitmq #микросервисы

Вот и прилетел релиз RabbitMQ 4.2.4
https://github.com/rabbitmq/rabbitmq-server/releases/tag/v4.2.4

Казалось бы, просто релиз, но он важен для тех, у кого кластер. Теперь база (которая Kherpi, вы же уже переехали с Mnesia?) ведёт себя менее капризно при деградации сети (а кролик в принципе капризен к сетевым проблемам). Попутно ещё подкрутили гайки в Quorum Queues. Теперь они жрут чуть меньше ресурсов при высокой нагрузке.

Ну и да, парочка багфиксов важна с точки зрения ИБ. :)

Удачного обновления!
#rabbitmq #DevOps

Qified now has initial task support for #rabbitmq #oss #nodejs #javascript #typescript

https://github.com/jaredwray/qified/releases/tag/v0.8.0

Хочу все знать

В проекте часто бывает некий data-flow который идет через ETL или даже отдельные серверы обогащения данных. Собственно и наш проект не исключение. Что было нужно? Данные из интернета летят в PostgreSQL, но только если в Redis не валяется хэш таких же. Далее несколько ETL проводит стандартный OLTP - OLAP преобразование и складывает все это в MongoDB - откуда клиент дергает эти данные и сравнивает их со своей PostgreSQL попутно складируя кэш в Redis. Все это периодически летает через RabbitMQ. Что бесило? DBeaver + MongoExpress + redis-cli все это в разных местах с разными учетками, экспресс постоянно падал по невыясненной причине, неправильный запрос в редиску подвисал, а затем улетал в космос. Мелькнула мысль: "ну почему никто не написал чего-то более стабильного и удобного?", - собственно это и стало драйвером выходного дня. Спасибо древним грекам, над названием долго думать не пришлось: Паноптикум - в оригинале "место откуда видно все", но также "сборище жутких и необычных артефактов". Собственно дальше все очень просто, можно читать, можно искать, можно обновить отдельную запись (если DevOps разрешит) собственно это не production-ready софт, а простой и надежный инструмент для QA и разрабов. Примитивная basic-auth которую обязательно надо прятать под TLS и желательно за корп-VPN, чтобы только свои могли запороть. Для прода и около можно сделать READ_ONLY - но тут каждый сам решает надо оно вообще ему или нет. Наконец-то можно проследить все преобразования данных и найти кто потерялся, можно открывать несколько вкладок, можно давать ссылку на конкретный объект. Ставится самым стандартным образом: берем образ - разворачиваем, ничего необычного.

https://habr.com/ru/articles/996620/

#postgresql #mongodb #mysql #mssql #cassandra #redis #rabbitmq #kafka #elasticsearch

Хочу все знать

В проекте часто бывает некий data-flow который идет через ETL или даже отдельные серверы обогащения данных. Собственно и наш проект не исключение. Что было нужно? Данные из интернета летят в PostgreSQL, но только если в Redis не валяется хэш таких же. Далее несколько ETL проводит стандартный OLTP - OLAP преобразование и складывает все это в MongoDB - откуда клиент дергает эти данные и сравнивает их со своей PostgreSQL попутно складируя кэш в Redis. Все это периодически летает через RabbitMQ. Что бесило? DBeaver + MongoExpress + redis-cli все это в разных местах с разными учетками, экспресс постоянно падал по невыясненной причине, неправильный запрос в редиску подвисал, а затем улетал в космос. Мелькнула мысль: "ну почему никто не написал чего-то более стабильного и удобного?", - собственно это и стало драйвером выходного дня. Спасибо древним грекам, над названием долго думать не пришлось: Паноптикум - в оригинале "место откуда видно все", но также "сборище жутких и необычных артефактов". Собственно дальше все очень просто, можно читать, можно искать, можно обновить отдельную запись (если DevOps разрешит) собственно это не production-ready софт, а простой и надежный инструмент для QA и разрабов. Примитивная basic-auth которую обязательно надо прятать под TLS и желательно за корп-VPN, чтобы только свои могли запороть. Для прода и около можно сделать READ_ONLY - но тут каждый сам решает надо оно вообще ему или нет. Наконец-то можно проследить все преобразования данных и найти кто потерялся, можно открывать несколько вкладок, можно давать ссылку на конкретный объект. Ставится самым стандартным образом: берем образ - разворачиваем, ничего необычного.

https://habr.com/ru/articles/996620/

#postgresql #mongodb #mysql #mssql #cassandra #redis #rabbitmq #kafka #elasticsearch

Хочу все знать

В проекте часто бывает некий data-flow который идет через ETL или даже отдельные серверы обогащения данных. Собственно и наш проект не исключение. Что было нужно? Данные из интернета летят в PostgreSQL, но только если в Redis не валяется хэш таких же. Далее несколько ETL проводит стандартный OLTP - OLAP преобразование и складывает все это в MongoDB - откуда клиент дергает эти данные и сравнивает их со своей PostgreSQL попутно складируя кэш в Redis. Все это периодически летает через RabbitMQ. Что бесило? DBeaver + MongoExpress + redis-cli все это в разных местах с разными учетками, экспресс постоянно падал по невыясненной причине, неправильный запрос в редиску подвисал, а затем улетал в космос. Мелькнула мысль: "ну почему никто не написал чего-то более стабильного и удобного?", - собственно это и стало драйвером выходного дня. Спасибо древним грекам, над названием долго думать не пришлось: Паноптикум - в оригинале "место откуда видно все", но также "сборище жутких и необычных артефактов". Собственно дальше все очень просто, можно читать, можно искать, можно обновить отдельную запись (если DevOps разрешит) собственно это не production-ready софт, а простой и надежный инструмент для QA и разрабов. Примитивная basic-auth которую обязательно надо прятать под TLS и желательно за корп-VPN, чтобы только свои могли запороть. Для прода и около можно сделать READ_ONLY - но тут каждый сам решает надо оно вообще ему или нет. Наконец-то можно проследить все преобразования данных и найти кто потерялся, можно открывать несколько вкладок, можно давать ссылку на конкретный объект. Ставится самым стандартным образом: берем образ - разворачиваем, ничего необычного.

https://habr.com/ru/articles/996620/

#postgresql #mongodb #mysql #mssql #cassandra #redis #rabbitmq #kafka #elasticsearch

Хочу все знать

В проекте часто бывает некий data-flow который идет через ETL или даже отдельные серверы обогащения данных. Собственно и наш проект не исключение. Что было нужно? Данные из интернета летят в PostgreSQL, но только если в Redis не валяется хэш таких же. Далее несколько ETL проводит стандартный OLTP - OLAP преобразование и складывает все это в MongoDB - откуда клиент дергает эти данные и сравнивает их со своей PostgreSQL попутно складируя кэш в Redis. Все это периодически летает через RabbitMQ. Что бесило? DBeaver + MongoExpress + redis-cli все это в разных местах с разными учетками, экспресс постоянно падал по невыясненной причине, неправильный запрос в редиску подвисал, а затем улетал в космос. Мелькнула мысль: "ну почему никто не написал чего-то более стабильного и удобного?", - собственно это и стало драйвером выходного дня. Спасибо древним грекам, над названием долго думать не пришлось: Паноптикум - в оригинале "место откуда видно все", но также "сборище жутких и необычных артефактов". Собственно дальше все очень просто, можно читать, можно искать, можно обновить отдельную запись (если DevOps разрешит) собственно это не production-ready софт, а простой и надежный инструмент для QA и разрабов. Примитивная basic-auth которую обязательно надо прятать под TLS и желательно за корп-VPN, чтобы только свои могли запороть. Для прода и около можно сделать READ_ONLY - но тут каждый сам решает надо оно вообще ему или нет. Наконец-то можно проследить все преобразования данных и найти кто потерялся, можно открывать несколько вкладок, можно давать ссылку на конкретный объект. Ставится самым стандартным образом: берем образ - разворачиваем, ничего необычного.

https://habr.com/ru/articles/996620/

#postgresql #mongodb #mysql #mssql #cassandra #redis #rabbitmq #kafka #elasticsearch

Wow, am I missing something as #rabbitmq doesn't have built in delay/scheduled task queues?

https://www.rabbitmq.com/

Сравнительный обзор механизмов polling в Kafka и Pub/Sub в RabbitMQ: особенности и области применения

Друзья, привет! Меня зовут Андрей Комягин, я CTO компании STM Labs. Мы занимаемся разработкой очень больших распределённых высоконагруженных систем для различных отраслей, включая налоговое администрирование, телеком, track & trace и многие другие. В своих проектах и архитектурах мы широко применяем open-source-решения, включая брокеры сообщений, такие как Kafka и RabbitMQ. Совсем недавно я выступил на конференции HighLoad++ Genesis 2025: рассказал про анатомию каждого из этих брокеров, сравнил их по набору критериев и оценил результаты их нагрузочного тестирования. А теперь решил выпустить этот материал в виде статьи в блоге, чтобы читатели Хабра тоже смогли изучить нюансы и понять, на какие задачи заточен каждый из брокеров. Итак, поехали! О брокере Apache Kafka я очень подробно рассказал в своей предыдущей статье . Повторяться и снова разбирать его сегодня я не буду — вы можете перейти по ссылке выше и ознакомиться с материалом, а затем вернуться сюда.

https://habr.com/ru/articles/989590/

#kafka #rabbitmq #messagebroker #highload #highload++ #high_performance #архитектура #высоконагруженные_системы

Сравнительный обзор механизмов polling в Kafka и Pub/Sub в RabbitMQ: особенности и области применения

Друзья, привет! Меня зовут Андрей Комягин, я CTO компании STM Labs. Мы занимаемся разработкой очень больших распределённых высоконагруженных систем для различных отраслей, включая налоговое администрирование, телеком, track & trace и многие другие. В своих проектах и архитектурах мы широко применяем open-source-решения, включая брокеры сообщений, такие как Kafka и RabbitMQ. Совсем недавно я выступил на конференции HighLoad++ Genesis 2025: рассказал про анатомию каждого из этих брокеров, сравнил их по набору критериев и оценил результаты их нагрузочного тестирования. А теперь решил выпустить этот материал в виде статьи в блоге, чтобы читатели Хабра тоже смогли изучить нюансы и понять, на какие задачи заточен каждый из брокеров. Итак, поехали! О брокере Apache Kafka я очень подробно рассказал в своей предыдущей статье . Повторяться и снова разбирать его сегодня я не буду — вы можете перейти по ссылке выше и ознакомиться с материалом, а затем вернуться сюда.

https://habr.com/ru/articles/989590/

#kafka #rabbitmq #messagebroker #highload #highload++ #high_performance #архитектура #высоконагруженные_системы

Сравнительный обзор механизмов polling в Kafka и Pub/Sub в RabbitMQ: особенности и области применения

Друзья, привет! Меня зовут Андрей Комягин, я CTO компании STM Labs. Мы занимаемся разработкой очень больших распределённых высоконагруженных систем для различных отраслей, включая налоговое администрирование, телеком, track & trace и многие другие. В своих проектах и архитектурах мы широко применяем open-source-решения, включая брокеры сообщений, такие как Kafka и RabbitMQ. Совсем недавно я выступил на конференции HighLoad++ Genesis 2025: рассказал про анатомию каждого из этих брокеров, сравнил их по набору критериев и оценил результаты их нагрузочного тестирования. А теперь решил выпустить этот материал в виде статьи в блоге, чтобы читатели Хабра тоже смогли изучить нюансы и понять, на какие задачи заточен каждый из брокеров. Итак, поехали! О брокере Apache Kafka я очень подробно рассказал в своей предыдущей статье . Повторяться и снова разбирать его сегодня я не буду — вы можете перейти по ссылке выше и ознакомиться с материалом, а затем вернуться сюда.

https://habr.com/ru/articles/989590/

#kafka #rabbitmq #messagebroker #highload #highload++ #high_performance #архитектура #высоконагруженные_системы

Сравнительный обзор механизмов polling в Kafka и Pub/Sub в RabbitMQ: особенности и области применения

Друзья, привет! Меня зовут Андрей Комягин, я CTO компании STM Labs. Мы занимаемся разработкой очень больших распределённых высоконагруженных систем для различных отраслей, включая налоговое администрирование, телеком, track & trace и многие другие. В своих проектах и архитектурах мы широко применяем open-source-решения, включая брокеры сообщений, такие как Kafka и RabbitMQ. Совсем недавно я выступил на конференции HighLoad++ Genesis 2025: рассказал про анатомию каждого из этих брокеров, сравнил их по набору критериев и оценил результаты их нагрузочного тестирования. А теперь решил выпустить этот материал в виде статьи в блоге, чтобы читатели Хабра тоже смогли изучить нюансы и понять, на какие задачи заточен каждый из брокеров. Итак, поехали! О брокере Apache Kafka я очень подробно рассказал в своей предыдущей статье . Повторяться и снова разбирать его сегодня я не буду — вы можете перейти по ссылке выше и ознакомиться с материалом, а затем вернуться сюда.

https://habr.com/ru/articles/989590/

#kafka #rabbitmq #messagebroker #highload #highload++ #high_performance #архитектура #высоконагруженные_системы

Message Queues: A Simple Guide with Analogies
https://www.cloudamqp.com/blog/message-queues-exaplined-with-analogies.html
#ycombinator #RabbitMQ #LavinMQ #CloudAMQP #AMQP #hosted_RabbitMQ #RabbitMQ_hosting #cloud_AMQP #message #queues #hosting #cloud #decouple #distrubute #scale