#kafka_streams — Public Fediverse posts

От Redis к Kafka Streams: как мы проверяем сетевую доступность 200к устройств

В инфраструктуре банка мы ежедневно работаем с ~200 000 физических устройств : это IP-камеры, сетевые видеорегистраторы и другая периферия. Каждое из них должно быть проверено на доступность — не реже чем раз в 10 минут . Требования к системе: - не создавать бессмысленную нагрузку на инфраструктуру; - решение должно быть горизонтально масштабируемым; - система должна выдерживать падение pod, rebalance, сетевые сбои.

https://habr.com/ru/companies/sberbank/articles/974926/

#kafka_streams #virtual_threads #redis #highload

Fast Lane / Slow Lane: разделение трафика через две очереди Kafka

Привет, Хабр! Сегодня мы рассмотрим Fast Lane / Slow Lane для Kafka: как одним росчерком кода защитить SLA‑критичный поток от толстых сообщений, не перекраивая пол‑стека и не устраивая зоопарк из очередей.

https://habr.com/ru/companies/otus/articles/932134/

#kafka #Apache_Kafka #Fast_Lane #Slow_Lane #разделение_трафика #приоритизация_сообщений #Kafka_consumer #Kafka_producer #kafka_streams #Kafka_RecordInterceptor

Как мы построили высоконагруженную систему для обработки ставок в реальном времени: Кейс по разработке Bucalsport.net

В процессе разработки платформы Bucalsport.net мы столкнулись с задачей создания высоконагруженной системы для обработки ставок в реальном времени. Нам необходимо было обеспечить низкие задержки, высокую доступность и отказоустойчивость, а также безопасность и масштабируемость на всех уровнях. В этом посте расскажем о ключевых технологических решениях, которые мы использовали для реализации платформы.

https://habr.com/ru/articles/922550/

#высоконагруженные_системы #микросервисы #kafka_streams #redis_python #PostgreSQL #масштабируемость #Отказоустойчивость #безопасность_данных #Kubernetes

Devhands Open Sessions c Владимиром Перепелицей. Очереди в 2025м, что выбрать: Kafka, RabbitMQ, NATS или что-то ещё?

Привет, Хабр! На прошлой неделе мы провели стрим по очередям с Владимиром Перепелицей (эксперт по большим проектам, очередям и Tarantool, Solution Architect в Exness, создатель S3 в VK Cloud, регулярный спикер и член ПК конференций Highload). Обсудили выбор брокера или системы очередей 2025м году: что поменялось? NATS, его особенности, перспективы, кого он “подвинет” в первую очередь - Kafka или RabbitMQ? Что нового в свежей Apache Kafka 4? Насколько популярны архитектуры, где, например, Kafka основной storage (IoT, сбор метрик и тд). Под катом - расшифровка стрима.

https://habr.com/ru/articles/899670/

#kafka #tiered_storage #nats #redis #streaming #kafka_streams #highload #queues

Kafka как хранилище справочников

Хочу поделиться тем, как мы используем kafka для организации оперативного хранилища справочной информации.

https://habr.com/ru/articles/852092/

#kafka #kafka_streams #kafkaconnect #kafka_listener #kotlin

Платёжный сервис в банке, часть первая

Привет, меня зовут Александр Читалкин, и я руководитель офиса архитектуры в небольшом российском банке. Хочу рассказать об архитектуре «Платёжного сервиса» – системы оркестрации и проведения платежей. Разработка архитектуры велась в рамках проекта по модернизации существующего в банке решения. Работы были начаты в конце 2022 года и успешно завершились год спустя. Сейчас система находится в промышленной эксплуатации.

https://habr.com/ru/articles/840216/

#платежи #платежная_система #банки #архитектура #kafka #kafka_streams

Приглашаем на Cinimex Spring IT Talk в Самаре (офлайн/онлайн)

Привет, Хабр! После майских праздников мы отправимся в Самару и проведем митап Spring IT Talk ! Встретимся с ИТ-комьюнити и в уютной атмосфере обсудим зоопарк технологий для DevOps-инженера, погрузимся в Kafka Streams и завершим IT-вечер темой преодоления стопперов в профессиональном развитии.

https://habr.com/ru/companies/cinimex/articles/810677/

#синимекс #митап #самара #devops #kafka_streams #java #tshape #развитие_навыков