home.social

#kafka — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #kafka, aggregated by home.social.

  1. Большая история крохотного BPMN

    Что полезного может делать бизнес-процесс, в котором всего одна задача, и та пользовательская? Что можно рассказать про BPMN-схему, которая поместится на экране смартфона? Муки выбора, драма, предательство и обстоятельства непреодолимой силы — вот что! Я расскажу, как на самом деле разрабатываются BPMN, исполняемые в движках вроде Camunda и Flowable, и, может быть, вы перестанете считать их просто «очередной графической нотацией»

    habr.com/ru/articles/1076074/

    #bpmn #camunda #camunda_8 #zeebe #kafka #бизнеспроцессы #оркестрация #eventdriven_architecture #микросервисы #масштабирование

  2. Cobradores, de Raymond Carver: el relato más kafkiano del realismo sucio

    Foto: Unsplash

    Sigo leyendo ¿Quieres hacer el favor de callarte, por favor?, el primer libro de relatos de Raymond Carver, y me he encontrado con «Cobradores», que es distinto a casi todo lo demás del volumen. Aquí no hay un matrimonio deshaciéndose en la cocina. Hay un hombre solo en una casa y alguien llamando a la puerta.

    Un hombre en paro y alguien llamando a la puerta

    El narrador está sin trabajo. Lleva días esperando una carta que le confirme un empleo, y mientras tanto no hace nada, tumbado, escuchando. Llaman a la puerta. Es un vendedor, Aubrey Bell, que anuncia que la señora Slater ha ganado en un sorteo una limpieza de alfombras gratuita.

    El narrador le dice que la señora Slater no está. Y aquí empieza lo raro: nunca dice si él es el señor Slater. No lo confirma, no lo niega, deja la pregunta sin respuesta durante todo el relato. Bell entra igualmente. Y una vez dentro, ya no se va.

    La aspiradora, el colchón y lo que sale de dentro

    Lo que sigue es una demostración comercial que se alarga hasta hacerse insoportable. Bell aspira la casa mientras habla de cosas que no vienen a cuento, tranquilo, como si tuviera todo el tiempo del mundo y todo el derecho a estar ahí. En un momento aspira el colchón y le enseña al narrador lo que ha sacado de dentro: la suciedad y los restos de piel muerta acumulados en la cama donde duerme.

    Es una escena doméstica y a la vez profundamente violenta, aunque nadie levante la voz. Un desconocido está sacando a la vista lo que este hombre tiene debajo, literalmente, y el hombre lo mira sin moverse. No lo echa. No dice que no quiere la aspiradora. No dice casi nada.

    Foto: Unsplash

    Por qué esto es Kafka con moqueta

    Este relato funciona con la misma mecánica que Kafka, aunque el decorado sea una casa cualquiera de la América de los setenta y no un tribunal.

    Primero, el intruso con autoridad inexplicable. Bell entra amparado en un trámite absurdo, un sorteo que nadie recuerda haber jugado, y ese papeleo mínimo le basta para ocupar la casa. Es exactamente lo que hacen los guardias que despiertan a Josef K. en El proceso: llegan a su habitación, se instalan, y la explicación de por qué pueden hacerlo nunca llega.

    Segundo, la pasividad del protagonista. En Kafka nadie da un puñetazo en la mesa. Se discute, se pregunta, se colabora con el procedimiento. Aquí igual: el narrador podría cerrar la puerta en cualquier momento y no lo hace.

    Y tercero, la identidad que se disuelve. Josef K. es una inicial. El narrador de Carver es un hombre que no llega a decir su nombre en su propia casa. Cuando alguien pierde el trabajo y espera una carta que decida por él, deja de tener nombre y pasa a ser un caso pendiente.

    La carta

    El final es lo mejor y no lo voy a destripar del todo, pero tiene que ver con esa carta que el narrador lleva todo el relato esperando. Carver no explica nada, no cierra nada y no le da al lector la escena que estaría pidiendo. Se limita a colocar el objeto en el sitio equivocado y a irse.

    Ahí está la diferencia con Kafka, por cierto. Kafka construye un mundo entero con sus reglas absurdas. Carver no construye nada: coge una tarde normal, mete a un vendedor dentro y deja que la cosa se pudra sola. El resultado es igual de opresivo con la mitad de los medios.

    Si os interesa este libro, escribí una entrada general sobre la colección entera, y también sobre «Vecinos», que es el otro relato del volumen donde alguien acaba dentro de una casa que no es la suya. Del Carver más tardío hablé hace poco en «Desde donde llamo».

    ¿Veis vosotros también ese parentesco entre Carver y Kafka, o os parece que fuerzo la comparación? Decídmelo en los comentarios, que este es de los temas que me pueden tener discutiendo un rato largo. Y si queréis lo que voy leyendo y pensando entre entrada y entrada, ando en Substack con notas más cortas que no llegan al blog.

    #booklovers #bookreview #bookstodon #cobradores #Cuentos #Kafka #lectura #leer #libros #Literatura #raymondcarver #realismosucio #relatocorto
  3. How Netflix redesigned its Service Topology pipeline to scale real-time service mapping:
    🔹 Separates resolution from enrichment & persistence
    🔹 Propagates backpressure to Kafka (zero record drops)
    🔹 Swaps gRPC for SSE on high-volume internal transfers

    📖 Read the full deep dive on #InfoQbit.ly/4x0Hrzc

    #DistributedSystems #SoftwareArchitecture #Kafka #Microservices

  4. Kafka Consumer в тестовой автоматизации: архитектурный разбор

    Привет, Хабр! На связи Егор Лаптев — QA Fullstack Java в SENSE на проекте крупного российского банка. End-to-end тесты UI проверяют только то, что видно на экране: кнопка нажалась, форма открылась, данные отобразились. Но в распределённых системах значительная часть бизнес-логики уходит за кадр — в асинхронные события, которые летят через Kafka. Если событие не дошло до топика или пришло с неверным payload, пользователь этого не увидит, а бизнес-процесс сломается. В этой статье расскажу, как мы научились проверять Kafka-события прямо в автотестах — без Kafka UI, kcat и обёрточных сервисов, одной зависимостью и так, чтобы это работало в корпоративной сети с SSL. Покажу архитектуру коннектора, разберу три основных проблемы (SSL-сертификаты, конфликты consumer group и асинхронные тайминги), и поделюсь моделью работы инженера в связке с AI-агентом. Кому будет полезно: QA-инженерам и специалистам по автоматизации, которые тестируют распределённые системы и хотят проверять Kafka-события прямо в автотестах; и инженерам, которым интересна практическая модель работы в связке с AI-агентом — как она ускоряет разработку тестовой инфраструктуры.

    habr.com/ru/companies/it_sense

    #kafka #kafka_consumer #kafka_в_тестировании #qa_automation #sasl #асинхронное_тестирование #aiагенты #allure #consumer_group #распределенные_системы

  5. Повторная обработка сообщений в Kafka Consumer

    Привет! Меня зовут Дмитрий Михеев, я ведущий разработчик в MAGNIT OMNI — бизнес-группе ритейлера «Магнит», которая отвечает за развитие омниканального опыта для клиентов. В своих сервисах для межсервисных коммуникаций помимо gRPC-запросов мы используем брокер сообщений Kafka. Если описывать его в двух словах, Kafka — это распределённый журнал событий (event log), через который сервисы обмениваются данными в реальном времени. Не буду подробно останавливаться на устройстве Kafka — это хорошо описано в документации. В этой статье хочу подсветить один неочевидный момент, который может привести к проблемам при работе с consumer’ами — повторную обработку сообщений (retry).

    habr.com/ru/companies/magnit/a

    #kafka #apachekafka #kafkaconsumer #retry #повторнаяобработка #идемпотентность #высоконагруженныесистемы #java

  6. Безошибочная работа с Kafka из Node js. Часть 3 Cтруктура сообщений, когда Kafka не нужна и теряет данные

    В предыдущих частях рассматривались аспекты публикации сообщений , ребалансировки консьюмер групп и масштабирования чтения, а также проектирования консьюмеров . Эта часть посвящена базовой структуре сообщений, неподходящим сценариям использования Kafka и гарантиям записи.

    habr.com/ru/articles/1013046/

    #kafka #nodejs #брокеры_сообщений #kafkaconnect #producerconsumer #messagebroker #apache_kafka #событийная_архитектура #kafka_consumer #kafka_apache

  7. Безошибочная работа с Kafka из Node js. Часть 2 Консьюмер

    Если предыдущая часть была посвящена аспектам, связанным с публикацией сообщений, то в этой части основное внимание уделено обработке сообщений, проектированию консьюмеров и проблеме ребаланса в консьюмер группе.

    habr.com/ru/articles/904932/

    #kafka #nodejs #брокеры_сообщений #apache_kafka #consumer #messagebroker #message_brokers #kafka_consumer #kafka_apache #apache

  8. Spring, kafka, неблокирующий retry, лаги

    История об особенностях использования механизмов retry , которые дает spring-kafka из коробки и проблемах с производительностью. Есть нужно сделать асинхронный retry сообщений на топике, который бы не блокировал основной поток сообщений «легко и быстро» — вам сюда😊 (А потом после «легко и быстро» несколько дней дебажить 🤔 )

    habr.com/ru/articles/1018174/

    #java #springboot #kafka #retry #scheduler

  9. Безошибочная работа с Kafka из Node js. Часть 1 Продьюсер

    В данной статье рассматриваются примечательные ошибки при работе с Kafka, в том числе при использовании библиотеки KafkaJS , а также способы их устранения и методы увеличения производительности при публикации и обработки сообщений. Предполагается, что читатель имеет базовое представление о Kafka (раздел "Общие термины" поможет освежить информацию) и функционале библиотеки KafkaJS. В первой части разбираются аспекты, связанные с публикацией сообщений.

    habr.com/ru/articles/1012066/

    #kafka #nodejs #брокеры_сообщений #apache_kafka #producer #messagebroker #message_broker #message_brokers #apache #kafka_apache

  10. DAS SCHLOSS
    im @blnensemble
    von Georgia Bruce nach Motiven von Franz #Kafka und Albert #Camus ist als Kampf eines trans Mannes mit Bürokratie und Selbstbild fein inszeniert. Mit einem starken, teils trans Ensemble.
    Das Stück entstand in der Reihe WORX, dem internationalen Nachwuchsprogramm des BE.

    #Theater #Berlin #Schauspiel #BerlinerEnsemble #BE

  11. Heute gehts ins @blnensemble in
    DAS SCHLOSS
    oder wir müssen uns K. als einen glücklichen Menschen vorstellen
    von Georgia Bruce nach Motiven von Franz #Kafka und Albert #Camus

    Das Stück verbindet Motive aus Kafkas DAS SCHLOSS mit DER MYTHOS DES SISYPHOS von Camus. Interessante Kombination. Ich bin gespannt.

    #Theater #Berlin #Schauspiel #BerlinerEnsemble #BE

  12. Как мы построили витрины данных из разрозненных микросервисов

    Раньше наш способ собрать данные из всех микросервисов в одно место (в витрину) напоминал копролит (только не древний, а наш собственный ИТ-артефакт). Он был сложный, медленный, постоянно ломался и требовал много ручной работы. Данные размазывались по куче баз данных. Чтобы сделать отчёт или отправить данные во внешнюю систему, надо было собирать их вместе. Высока вероятность, что у вас такой же или похожий. Если нет — приходите рассказать «а я же говорил» в комментариях. Мы тратили время на латание дыр, а не на разработку. В какой-то момент решили, что пора выкинуть этот велосипед и внедрить нормальный, промышленный подход к работе с данными — Data Lakehouse с медальонной архитектурой. В чём были наши ошибки: — Спроектировали сложную доменную модель для витрины, которая не соответствовала ни моделям в исходных сервисах, ни требованиям пользователей. Одна таблица из микросервиса могла раскладываться на 5 таблиц в витрине. — Превращали данные из сервисов в эту модель — это был ад. — Схема данных на фронте, в сервисе, в витрине и у потребителя была везде разная. Это постоянные баги из-за того, что кто-то ждёт ID, а ему приходит business_number. — Чтобы отдать данные потребителю, приходилось делать кучу JOIN-ов. Это ломало SLA по производительности. — Любое изменение в схеме БД микросервиса (добавил колонку) требовало сложной доработки витрины. Всё тесно связано и хрупко. — Сервисы писали изменения в свои локальные outbox-таблицы, а отдельный обработчик забирал их и складывал в витрину. Данные из разных сервисов приходили в разное время. Запрос к витрине мог пытаться сджойнить данные о клиенте и его заказе, но данные по заказу ещё не приехали. В итоге потребителю уходило неполное или вообще никакое сообщение. — Разработчики сервисов вместо одного события «Заказ сохранён» генерировали 20 событий на каждое изменение поля в UI. Это забивало очередь и создавало дикую нагрузку. — Тестирование — тоже ад. Для таких ситуаций есть понятный шаблон — трёхслойная архитектура с понятным дата-пайплайном.

    habr.com/ru/companies/greenato

    #витрины_данных #Data_Lakehouse #медальонная_архитектура #архитектура_данных #обработка_данных #доменная_модель #хранилища_данных #Kafka #интеграции

  13. Event-Driven подход в пет-проекте: автоматизация Telegram-канала на NiFi, Kafka и n8n

    Привет, Хабр! Хочу рассказать про один странный пет-проект, который немного вырвался из-под контроля. Все описанные потоки можно попробовать в github Скачивайте, ставьте звездочки) Началось всё обычно: есть VPS (2 ядра, 6 ГБ RAM, 40 GB NVMe), есть свободное время и желание сделать что-то полезное. А ещё есть давняя хотелка — попробовать Kafka в реальном бою. Ну и Telegram-канал для изучения английского как-то сам напросился: новости BBC, разбор лексики, викторины — вроде не сложно, но и не совсем hello world. Спойлер: Kafka я попробовал, канал работает до сих пор, а архитектура получилась немного безумной — с двумя очередями и разделением ответственности, которое я буду защищать в комментариях. Под катом — почему n8n не справился бы в одиночку, как подружить NiFi с расписанием и зачем я заставляю DeepSeek всегда класть правильный ответ в индекс 0.

    habr.com/ru/articles/1005602/

    #petproject #eventdriven #nifi #kafka #n8n #archimate #архитектура #deepseek #telegram #llm

  14. Event-Driven подход в пет-проекте: автоматизация Telegram-канала на NiFi, Kafka и n8n Привет, Хабр! Хочу рассказать про один с...

    #pet-project #event-driven #nifi #kafka #n8n #archimate #архитектура #deepseek #telegram #llm

    Origin | Interest | Match
  15. Очереди сообщений в Postgres Pro: отказ от внешних брокеров ради транзакционной надёжности

    Ваш сервис отправил сообщение в RabbitMQ, но в момент коммита транзакция в базе данных откатилась. Классический кошмар распределенных систем, порождающий данные-призраки и часы отладки. Обычно эту проблему решают сложным кодом, двухфазными коммитами или просто надеждой на лучшее. А что, если бы откат транзакции в PostgreSQL мог автоматически «откатить» и отправку сообщения, вернув его в очередь без единой строчки вашего кода? Рассказываем, как это работает.

    habr.com/ru/companies/postgres

    #postgresql #kafka #kafka_apache #брокер_сообщений #брокеры_сообщений #базы_данных #postgres_pro #postgres_pro_enterprise

  16. [Перевод] MySQL в Uber

    Как поддерживать свыше 2300 кластеров MySQL без заметных простоев? В Uber это решают разделением на плоскости данных, управления и обнаружения и строгим приведением фактического состояния к desired state. В материале — анатомия control plane (Odin, Cadence, контроллер с правилами), как устроены плавные и аварийные переключения primary, замена узлов и онлайн-изменения схемы; как discovery на etcd и реверс-прокси даёт стабильный VIP; как наблюдаемость, CDC (Storagetapper→Kafka→Hive) и бэкапы закрывают эксплуатацию. ФВ фокусе — инженерные решения, которые позволяют удерживать 99,99% доступности без ручной магии. К архитектуре

    habr.com/ru/companies/otus/art

    #кластер_MySQL #плоскость_управления #алансировка_нагрузки #наблюдаемость #CDC #kafka #Cadence #etcd

  17. Apache Kafka: что нужно знать тестировщику

    Если ты уже начал осваивать тестирование, но Кафка для тебя — по-прежнему только чешский писатель, у нас плохие новости…. Но есть и хорошие! Сегодня мы поговорим про брокер сообщений Apache Kafka: из чего он состоит, как работает, зачем нужен и где применяется. А главное — разберем на конкретных примерах, как его можно протестировать.

    habr.com/ru/articles/931432/

    #тестирование_вебприложений #тестирование #тестирование_по #брокер_сообщений #kafka #kafka_apache #kafka_в_тестировании

  18. [Перевод] Мониторинг и управление воркфлоу между взаимодействующими микросервисами

    Как получить прозрачность в бизнес-процессах, если архитектура строится на микросервисах и событийных потоках? В своей статье Бернд Рюкер, сооснователь Camunda, делится практическими подходами к отслеживанию и управлению процессами в распределённых системах. Он объясняет, как переход от простого мониторинга событий к полноценной оркестрации помогает лучше понимать происходящее, своевременно реагировать на инциденты и сохранять контроль над сложными бизнес-операциями. В статье разбираются плюсы и минусы различных подходов — от Elastic-подобного мониторинга до использования движков рабочих процессов, а также рассматривается важность баланса между оркестрацией и хореографией.

    habr.com/ru/articles/926542/

    #microservices #orchestration #choreography #workflow #bpmn #process_mining #kafka #camunda #data_lake

  19. Kafka. Лучшие практики применения. Настройки Prudcer & Consumer

    Привет, Хабр! Меня зовут Михаил, я являюсь ФинТех системным аналитиком, исполняющим роль архитектора на проектах. И сегодня я хочу поделиться материалами по Kafka, которые подготовил для обучения сотрудников из своей команды. В материале постарался отразить самые важные технические моменты по Kafka, которые будут подкреплены наглядными кейсами и примерами использования. Материал будет полезным как для начинающих, так и для продвинутых пользователей. Желаю приятного прочтения. Kafka. Лучшие практики применения.

    habr.com/ru/articles/853652/

    #kafka #кафка #kafka_consumer #producer/consumer #producer #consumer #kafkaconnect #kafka_listener #kafka_apache #kafka_connect

  20. Скажем нет «Превращению», или анализ Kafka

    Бывало ли вам интересно, какие баги может таить исходный код проектов, которыми пользуются большие компании по всему миру? Не упустите шанс познакомиться с интересными ошибками, которые нашёл статический анализатор PVS-Studio в исходном коде Open Source проекта Apache Kafka.

    habr.com/ru/companies/pvs-stud

    #Java #программирование #статический_анализ #ошибки #kafka #kafka_apache #apache #apache_kafka #брокер_сообщений #pvsstudio

  21. In diesem Jahr gibt es viele runde Jubiläen, die gute Anlässe sind, sein Wissen zu erweitern.

    Hier eine Auswahl:

    100. Todestag von #Lenin
    100. Todestag von #Kafka
    150. Geburtstag von #Churchill
    250. Geburtstag von #CasparDavidFriedrich
    300. Geburtstag von #Kant
    300. Geburtstag von #Klopstock
    650. Todestag von #Petrarca
    700. Todestag von #MarcoPolo

    Solltet ihr zu einer dieser Person auf Anhieb nichts sagen können, holt euch ein Buch, Podcast oder Doku, um etwas dazuzulernen. 😀

  22. #CaseStudy - How does HubSpot avoid the build-up in the consumer group lag & prioritize the processing of real-time traffic?

    By using multiple #Kafka topics called 'swimlanes': bit.ly/3RaA4Bc

    Insights on #InfoQ!

    #RealTimeData #SOA #SoftwareArchitecture #EventStreamProcessing #ApacheKafka

  23. My #UselessInfrastructure is making progress. And I learned a lot about #docker, #dockercompose, #Kafka and #OpenSearch while setting it up.

    I added also #KafkaUI to get some insights on the topics and what's going on under the hood in Kafka.

    If you are interested in playing around with it, it's just a `git clone github.com/sebastian-muthwill/ and `docker compose up` away. 🤣

    github.com/sebastian-muthwill/
    #solutionarchitect #cloud #playground

  24. My #UselessInfrastructure is making progress. And I learned a lot about #docker, #dockercompose, #Kafka and #OpenSearch while setting it up.

    I added also #KafkaUI to get some insights on the topics and what's going on under the hood in Kafka.

    If you are interested in playing around with it, it's just a `git clone github.com/sebastian-muthwill/ and `docker compose up` away. 🤣

    github.com/sebastian-muthwill/
    #solutionarchitect #cloud #playground

  25. My #UselessInfrastructure is making progress. And I learned a lot about #docker, #dockercompose, #Kafka and #OpenSearch while setting it up.

    I added also #KafkaUI to get some insights on the topics and what's going on under the hood in Kafka.

    If you are interested in playing around with it, it's just a `git clone github.com/sebastian-muthwill/ and `docker compose up` away. 🤣

    github.com/sebastian-muthwill/
    #solutionarchitect #cloud #playground