#digital_qmessagebroker — Public Fediverse posts

2–3 тысячи сборок в день: как мы превратили Kafka из компонента в инфраструктурную платформу

Apache Kafka можно бесплатно скачать, развернуть и подключить к приложениям. При небольшом проекте этого может быть достаточно: создали несколько топиков, настроили потребителей - и обмен сообщениями работает. Но по мере роста инфраструктуры Kafka перестает быть просто брокером. От нее начинают зависеть функциональность микросервисов, интеграции, тестовые стенды, CI/CD-процессы и рабочие системы. Вместе с нагрузкой растет и список вопросов: как обновлять кластеры, отслеживать очереди, устранять уязвимости и восстанавливать работу после отказа. Меня зовут Илья Виссарионов, я директор департамента «Аппаратно-системная платформа» компании «Диасофт», и в этой статье расскажу, как мы используем Kafka в DevOps-инфраструктуре «Диасофта», какие проблемы обнаружили при эксплуатации под высокой нагрузкой и почему в итоге стали рассматривать брокер сообщений не как отдельный open-source-компонент, а как полноценную инфраструктурную платформу.

https://habr.com/ru/companies/diasoft_company/articles/1071268/

#kafka #digital_qmessagebroker #брокер_сообщений #itинфраструктура #высоконагруженные_системы