home.social

#kafka — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #kafka, aggregated by home.social.

  1. Kafka Consumer в тестовой автоматизации: архитектурный разбор

    Привет, Хабр! На связи Егор Лаптев — QA Fullstack Java в SENSE на проекте крупного российского банка. End-to-end тесты UI проверяют только то, что видно на экране: кнопка нажалась, форма открылась, данные отобразились. Но в распределённых системах значительная часть бизнес-логики уходит за кадр — в асинхронные события, которые летят через Kafka. Если событие не дошло до топика или пришло с неверным payload, пользователь этого не увидит, а бизнес-процесс сломается. В этой статье расскажу, как мы научились проверять Kafka-события прямо в автотестах — без Kafka UI, kcat и обёрточных сервисов, одной зависимостью и так, чтобы это работало в корпоративной сети с SSL. Покажу архитектуру коннектора, разберу три основных проблемы (SSL-сертификаты, конфликты consumer group и асинхронные тайминги), и поделюсь моделью работы инженера в связке с AI-агентом. Кому будет полезно: QA-инженерам и специалистам по автоматизации, которые тестируют распределённые системы и хотят проверять Kafka-события прямо в автотестах; и инженерам, которым интересна практическая модель работы в связке с AI-агентом — как она ускоряет разработку тестовой инфраструктуры.

    habr.com/ru/companies/it_sense

    #kafka #kafka_consumer #kafka_в_тестировании #qa_automation #sasl #асинхронное_тестирование #aiагенты #allure #consumer_group #распределенные_системы

  2. PostgreSQL и аналитика: что меняется, когда хранилище становится общим

    HTAP — одна из главных тем в мире СУБД. Вокруг PostgreSQL массово появляются конструкции с внешними аналитическими движками со своими моделями хранения данных и ограничениями совместимости, однако бизнесу не совсем комфортно жить в архитектуре, где транзакционные данные находятся в одной системе, аналитика - в другой, а между ними - разного рода ETL, CDC и прочие parquet-файлы. В Tantor мы движемся по иному пути, развивая HTAP внутри PostgreSQL, а не рядом с ним. Вокруг этой идеи строятся СУБД Tantor Polar и машина баз данных Tantor XData Gen3, в которой OLTP и аналитика, не теряя совместимости с Postgres, работают поверх общего хранилища данных и общей видимости транзакций. В этой статье хочется поговорить не столько о самом термине HTAP, сколько о том, как меняется архитектура PostgreSQL, когда OLTP и аналитика начинают работать поверх общего хранилища данных.

    habr.com/ru/companies/tantor/a

    #tantor #tantor_postgres #xdata #tantor_xdata #oracle_exadata #duckdb #greenplum #kafka #clickhouse

  3. El #arte de #escribir #cartas 🖋️📖 letrasprestadas-clubpickwick.b Te propongo acercarnos a algunas de las miles de cartas de escritores famosos acompañadas de #Operas en cuyas escenas las cartas son esenciales. Con #Cortazar, #Kafka, #Rilke, #Mozart, #Puccini y #Massenet

  4. El #arte de #escribir #cartas ✍️🎶 letrasprestadas-clubpickwick.b Te propongo acercarnos a algunas de las miles de cartas de escritores famosos acompañadas de #Operas en cuyas escenas las cartas son esenciales. Con #Cortazar, #Kafka, #Rilke, #Mozart, #Puccini y #Massenet

  5. El #arte de #escribir #cartas 📖✍️ letrasprestadas-clubpickwick.b Te propongo acercarnos a algunas de las miles de cartas de escritores famosos acompañadas de #Operas en cuyas escenas las cartas son esenciales. Con #Cortazar, #Kafka, #Rilke, #Mozart, #Puccini y #Massenet

  6. El #arte de #escribir #cartas 🖋️📖 letrasprestadas-clubpickwick.b Te propongo acercarnos a algunas de las miles de cartas de escritores famosos acompañadas de #Operas en cuyas escenas las cartas son esenciales. Nos acompañan #Cortazar, #Kafka, #Rilke, #Mozart, #Puccini y #Massenet

  7. Очереди в микросервисах: 5 ошибок, которые приводят к дублям и потерям

    Почему добавление второго consumer«а в очередь может привести к двойным списаниям? Разбираем на реальном кейсе: как один Topic стоил компании 312 дублей за час. » Сравниваем поведение JMS, Kafka и RabbitMQ, показываем, почему ни одна очередь не даёт exactly‑once из коробки, и как идемпотентность, Dead Letter Queue и правильный выбор канала (команды vs события) делают интеграции надёжными.“ Готовые схемы, продакшен‑код на Java и чек‑лист, который стоит применить прямо сейчас! Читать разбор

    habr.com/ru/companies/otus/art

    #очереди_сообщений #микросервисы #брокеры_сообщений #RabbitMQ #Kafka #JMS #publishsubscribe #competing_consumers #идемпотентность #Dead_Letter_Queue

  8. Event-Driven подход в пет-проекте: автоматизация Telegram-канала на NiFi, Kafka и n8n

    Привет, Хабр! Хочу рассказать про один странный пет-проект, который немного вырвался из-под контроля. Все описанные потоки можно попробовать в github Скачивайте, ставьте звездочки) Началось всё обычно: есть VPS (2 ядра, 6 ГБ RAM, 40 GB NVMe), есть свободное время и желание сделать что-то полезное. А ещё есть давняя хотелка — попробовать Kafka в реальном бою. Ну и Telegram-канал для изучения английского как-то сам напросился: новости BBC, разбор лексики, викторины — вроде не сложно, но и не совсем hello world. Спойлер: Kafka я попробовал, канал работает до сих пор, а архитектура получилась немного безумной — с двумя очередями и разделением ответственности, которое я буду защищать в комментариях. Под катом — почему n8n не справился бы в одиночку, как подружить NiFi с расписанием и зачем я заставляю DeepSeek всегда класть правильный ответ в индекс 0.

    habr.com/ru/articles/1005602/

    #petproject #eventdriven #nifi #kafka #n8n #archimate #архитектура #deepseek #telegram #llm

  9. Event-Driven подход в пет-проекте: автоматизация Telegram-канала на NiFi, Kafka и n8n Привет, Хабр! Хочу рассказать про один с...

    #pet-project #event-driven #nifi #kafka #n8n #archimate #архитектура #deepseek #telegram #llm

    Origin | Interest | Match
  10. Join us in #Lucerne on October 15, 2025 for an exciting talk by Viktor Gamov about #StreamProcessing with #Apache #Flink!

    Stream processing has come a long way. Today’s systems handle strict correctness guarantees, low latency, and terabytes of state. In this talk, Viktor will introduce #ApacheFlink, explain concepts like stateful and event-time stream processing, and explore its APIs and ecosystem.

    More info & registration: jug.ch/html/events/2025/statef

    #Java #Flink #Kafka #CloudNative

  11. Apache Kafka is a powerful tool for processing data streams - but have you ever wondered what's really happening under the hood? 🔍

    You can check it with our Kafka Visualization 👉 softwaremill.com/kafka-visuali

    With this tool, you can simulate how data flows through a replicated Kafka topic, to gain a better understanding of the message processing model. Have fun exploring Kafka!

    #kafka #apachekafka #kafkavisualization #datastreaming

  12. ⚡ Process streaming data with #PyFlink + #FlinkSQL.

    See how to build pipelines using PyFlink Table API, #UDFs & #SQL—no JVM needed. Watch Diptiman Raichaudhuri demo windowing, event time processing & real-time #Kafka stream ingestion.

    🎥 Click here: youtu.be/PnpHp3Y12xw
    #StreamProcessing #FOSSASIA #OpenSource

  13. Our Client needed a robust solution to process vast amounts of data in real-time. We chose Apache Kafka for this project 🚀 See how it helped overcome all the challenges: softwaremill.com/case-study/da

    #apachekafka #kafka #data #datastreaming #bigdata

  14. Anyone using #goka as a #kafka lib in #go #golang? Seems as Views are generally eating as much memory as they can, and also very aggressively without releasing it...ever. It's not the StorageBuilder, it's the Views themselves.

  15. In diesem Jahr gibt es viele runde Jubiläen, die gute Anlässe sind, sein Wissen zu erweitern.

    Hier eine Auswahl:

    100. Todestag von #Lenin
    100. Todestag von #Kafka
    150. Geburtstag von #Churchill
    250. Geburtstag von #CasparDavidFriedrich
    300. Geburtstag von #Kant
    300. Geburtstag von #Klopstock
    650. Todestag von #Petrarca
    700. Todestag von #MarcoPolo

    Solltet ihr zu einer dieser Person auf Anhieb nichts sagen können, holt euch ein Buch, Podcast oder Doku, um etwas dazuzulernen. 😀

  16. 🚀 Dive into the world of data streaming with Kafka Streams! 🌐 Learn DSL and Processor APIs, and master the art of building seamless data pipelines with @geethaay . buff.ly/47IRHPJ #Kafka #DataStreaming #Java

  17. De douchestoel: Kom in de onbegrijpelijke wereld van regels en procedures. #wmo @PubliekeWaarden #dichtdekloof #voorzieningen #kantelen Een positief en humorvol hoofdstuk uit ons boek MAYIM. #Kafka kanteldenker.wordpress.com/201

  18. Got an announcement for all of you that I am excited about, read about it 👇 Thank you all 🙏 All about my new instance and content 😀softinio.com/post/announcing-m