#kafka_streams — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #kafka_streams, aggregated by home.social.
-
Пять дней ожидания: опыт длинных временных окон Kafka stream
Иногда бизнес-логика выглядит просто: «соберём все данные за период и посчитаем итоговый результат». На практике этот период может оказаться не часом и даже не днём, а несколькими сутками. В одном из моих проектов требовалось построить агрегаты на основе данных, которые могли поступать в течение пяти дней. В литературе мы встретили концепцию временных окон (Time Windows). По описанию это выглядело именно тем инструментом, который должен решить задачу: определить период ожидания, дождаться всех необходимых данных и получить итоговый агрегат. Однако при работе с реальными потоками оказалось, что основная сложность заключается вовсе не в выборе размера окна. Главный вопрос оказался другим: существует ли вообще момент, после которого агрегат можно считать завершённым и больше никогда не изменять? Узнать больше
https://habr.com/ru/companies/magnit/articles/1052086/
#kafka_streams #метки_времени #kafka #временные_окна #stream_processing #apache_kafka
-
От Redis к Kafka Streams: как мы проверяем сетевую доступность 200к устройств
В инфраструктуре банка мы ежедневно работаем с ~200 000 физических устройств : это IP-камеры, сетевые видеорегистраторы и другая периферия. Каждое из них должно быть проверено на доступность — не реже чем раз в 10 минут . Требования к системе: - не создавать бессмысленную нагрузку на инфраструктуру; - решение должно быть горизонтально масштабируемым; - система должна выдерживать падение pod, rebalance, сетевые сбои.
-
Kafka Streams для начинающих. Потоковая обработка данных в мире Java
Привет, коллеги-разработчики! За всю историю человечества в разные эпохи существовали определенные виды ресурсов, которые определяли наше развитие и эволюцию. В 19 веке главным ресурсом для человечества было золото, в 20 веке – нефть и газ, а в 21 веке этим ресурсом стала информация. В нашем быстро меняющемся мире, где данные льются рекой и эти объемы растут с невероятной скоростью, нам как разработчикам приходится постоянно искать новые подходы для эффективной работы. От финансовых транзакций и логов серверов до показаний IoT-сенсоров и кликов пользователей на веб-сайтах — информация поступает непрерывным потоком. Работать с ней в реальном времени становится критически важным для того, чтобы бизнес мог принимать своевременные решения и оставаться конкурентоспособным. Итак, в этой статье мы разберемся в новомодной технологии для работы с данными – Kafka Streams и узнаем, что это, область применения, а также достоинства и недостатки.
-
Fast Lane / Slow Lane: разделение трафика через две очереди Kafka
Привет, Хабр! Сегодня мы рассмотрим Fast Lane / Slow Lane для Kafka: как одним росчерком кода защитить SLA‑критичный поток от толстых сообщений, не перекраивая пол‑стека и не устраивая зоопарк из очередей.
https://habr.com/ru/companies/otus/articles/932134/
#kafka #Apache_Kafka #Fast_Lane #Slow_Lane #разделение_трафика #приоритизация_сообщений #Kafka_consumer #Kafka_producer #kafka_streams #Kafka_RecordInterceptor
-
Как мы построили высоконагруженную систему для обработки ставок в реальном времени: Кейс по разработке Bucalsport.net
В процессе разработки платформы Bucalsport.net мы столкнулись с задачей создания высоконагруженной системы для обработки ставок в реальном времени. Нам необходимо было обеспечить низкие задержки, высокую доступность и отказоустойчивость, а также безопасность и масштабируемость на всех уровнях. В этом посте расскажем о ключевых технологических решениях, которые мы использовали для реализации платформы.
https://habr.com/ru/articles/922550/
#высоконагруженные_системы #микросервисы #kafka_streams #redis_python #PostgreSQL #масштабируемость #Отказоустойчивость #безопасность_данных #Kubernetes
-
Devhands Open Sessions c Владимиром Перепелицей. Очереди в 2025м, что выбрать: Kafka, RabbitMQ, NATS или что-то ещё?
Привет, Хабр! На прошлой неделе мы провели стрим по очередям с Владимиром Перепелицей (эксперт по большим проектам, очередям и Tarantool, Solution Architect в Exness, создатель S3 в VK Cloud, регулярный спикер и член ПК конференций Highload). Обсудили выбор брокера или системы очередей 2025м году: что поменялось? NATS, его особенности, перспективы, кого он “подвинет” в первую очередь - Kafka или RabbitMQ? Что нового в свежей Apache Kafka 4? Насколько популярны архитектуры, где, например, Kafka основной storage (IoT, сбор метрик и тд). Под катом - расшифровка стрима.
https://habr.com/ru/articles/899670/
#kafka #tiered_storage #nats #redis #streaming #kafka_streams #highload #queues
-
Отказоустойчивая распределённая архитектура для UX-аналитики
UX-аналитика – это сбор и анализ данных о взаимодействии пользователей с интерфейсом (клики, скроллы, навигация и прочие события). Такие события генерируются в огромных количествах, особенно при большой аудитории приложения. Чтобы эффективно обрабатывать эту информацию, необходима распределённая архитектура, способная масштабироваться под высокий поток событий и обеспечивать отказоустойчивость – т.е. работать надёжно даже при сбоях отдельных компонентов. Также важна возможность обработки данных в реальном времени , чтобы как можно быстрее получать метрики и инсайты об опыте пользователей. В этой статье мы рассмотрим ключевые аспекты такой архитектуры: масштабирование UX-событий, надёжный сбор метрик с устройств (в том числе офлайн), реалтайм-аналитику на основе потоковых технологий (Kafka, Flink, Kafka Streams, ClickHouse) и механизмы гарантированной доставки событий (at-least-once, exactly-once, retry, дедупликация). В результате станет понятно, как правильно спроектированная система UX-аналитики позволяет оперативно находить проблемные места UI, проводить A/B тесты и глубже понимать поведение пользователей.
https://habr.com/ru/articles/897798/
#clickhouse #kafka #flink #kafka_streams #распределенные_системы #отказоустойчивые_системы #аналитика #анализ_данных #анализ_и_проектирование_систем #анализ
-
Kafka Streams ч5: настройка окон, работа с задержанными событиями и suppression
Это моя финальная часть(ну пока что ;)) серии статей про Kafka Streams, прошлые статьи тут [ ноль , один , два , три ] Теперь давайте разработаем приложение, которое считывает: cобытия о пульсе из топика pulse-events .
-
Kafka Streams ч4: Stateful processing
В предыдущих статьях мы познакомились с основами Kafka Streams и рассмотрели stateless операции. В этой статье мы погрузимся в stateful processing и создадим приложение для управления запасами в реальном времени. Шаг за шагом мы реализуем функциональность, которая позволит отслеживать состояние запасов товаров, обрабатывать поступления и продажи, а также предоставлять доступ к текущему состоянию через REST API.
-
Kafka Streams ч3: Stateless processing
В предыдущих статьях [ ноль , один ] мы рассмотрели основные концепции Kafka Streams и сравнили их со стандартными подходами обработки потоковых данных. В этой части мы сосредоточимся на stateless processing (обработке без сохранения состояния) и поймем как применять различные операции Kafka Streams для решения практических задач. Мы создадим приложение для обработки данных медицинской клиники. Требования к ETL пайплайну: Приложение должно обрабатывать поток JSON-сообщений из входного топика Kafka (patient-records), содержащих информацию о пациентах медицинской клиники. Цель состоит в том, чтобы применять различные stateless операции для трансформации данных и отправлять результаты в выходной топик (clinic-notifications-topic). Это позволит продемонстрировать, как использовать основные возможности Kafka Streams для обработки данных без сохранения состояния.
-
Kafka Streams ч2: DSL, Processor API
DSL — это то, что делает Kafka Streams таким простым и позволяет подняться на более высокий уровень абстракции.
https://habr.com/ru/articles/854680/
#etl #kafka_streams #kafka #elt #etlпроцессы #etlпайплайн #java
-
Kafka как хранилище справочников
Хочу поделиться тем, как мы используем kafka для организации оперативного хранилища справочной информации.
-
Kafka Streams ч1: Привет мир
Привет сообщество HABR ! =) Начав изучать Kafka Streams, я заметил, что для решения различных задач приходится искать информацию по разным источникам, поэтому со временем накопилось много собственных конспектов. Хочу поделиться ими в виде серии туториалов на Хабре. Несмотря на обилие ресурсов по Kafka Streams и отличные статьи на Хабре [ ноль , один , два ], мне не хватало пошаговых руководств, которые детально раскрывают изъяны и преимущества этой технологии. Поэтому решил создать такой материал, чтобы помочь другим разобраться структурно и последовательно.
-
Платёжный сервис в банке, часть первая
Привет, меня зовут Александр Читалкин, и я руководитель офиса архитектуры в небольшом российском банке. Хочу рассказать об архитектуре «Платёжного сервиса» – системы оркестрации и проведения платежей. Разработка архитектуры велась в рамках проекта по модернизации существующего в банке решения. Работы были начаты в конце 2022 года и успешно завершились год спустя. Сейчас система находится в промышленной эксплуатации.
https://habr.com/ru/articles/840216/
#платежи #платежная_система #банки #архитектура #kafka #kafka_streams
-
Приглашаем на Cinimex Spring IT Talk в Самаре (офлайн/онлайн)
Привет, Хабр! После майских праздников мы отправимся в Самару и проведем митап Spring IT Talk ! Встретимся с ИТ-комьюнити и в уютной атмосфере обсудим зоопарк технологий для DevOps-инженера, погрузимся в Kafka Streams и завершим IT-вечер темой преодоления стопперов в профессиональном развитии.
https://habr.com/ru/companies/cinimex/articles/810677/
#синимекс #митап #самара #devops #kafka_streams #java #tshape #развитие_навыков