home.social

#kafka — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #kafka, aggregated by home.social.

  1. Очередь на Postgres: почему Kafka не нужна

    Это история про архитектуру одного сервиса. Рассказанная до конца, а не только до того места, где обычно останавливаются статьи про архитектуру. Намеренно упрощена бизнес-логика, чтобы не размывать основной смысл. Сервис принимал запрос, писал строку в базу, отвечал 201. Никто не пишет статей про такой код, потому что в нём нечего обсуждать. Рано или поздно один сервис перестаёт быть одним сервисом. Появляется второй, которому важно узнать о том же событии — обсчитать аналитику, обновить поисковый индекс, отправить письмо. Возникает соблазн просто дёрнуть его по HTTP, и это первая ошибка, которую все совершают и все же исправляют: синхронный вызов делает вас настолько же надёжным, насколько надёжен самый хрупкий из ваших соседей. Значит нужно асинхронно, через брокер. И почти всегда этим брокером оказывается Kafka.

    habr.com/ru/articles/1082062/

    #kafka #postgres #debezium #net #c# #микросервисы #wal #outboxпаттерн

  2. The Architecture Decisions CAIOs Cannot Delegate to Engineering

    Architecture decisions, batch versus online prediction, cloud versus edge, offline versus online learning, coupled versus decoupled models. determine whether an AI system scales safely or collapses under real-world use. CAIOs and architects who get these trade-offs wrong don't get bad models; they get expensive rebuilds, stale predictions, or systems that optimize for outrage instead of value.

    hernanhuwyler.wordpress.com/20

  3. The Architecture Decisions CAIOs Cannot Delegate to Engineering

    Architecture decisions, batch versus online prediction, cloud versus edge, offline versus online learning, coupled versus decoupled models. determine whether an AI system scales safely or collapses under real-world use. CAIOs and architects who get these trade-offs wrong don't get bad models; they get expensive rebuilds, stale predictions, or systems that optimize for outrage instead of value.

    hernanhuwyler.wordpress.com/20

  4. The Architecture Decisions CAIOs Cannot Delegate to Engineering

    Architecture decisions, batch versus online prediction, cloud versus edge, offline versus online learning, coupled versus decoupled models. determine whether an AI system scales safely or collapses under real-world use. CAIOs and architects who get these trade-offs wrong don't get bad models; they get expensive rebuilds, stale predictions, or systems that optimize for outrage instead of value.

    hernanhuwyler.wordpress.com/20

  5. The Architecture Decisions CAIOs Cannot Delegate to Engineering

    Architecture decisions, batch versus online prediction, cloud versus edge, offline versus online learning, coupled versus decoupled models. determine whether an AI system scales safely or collapses under real-world use. CAIOs and architects who get these trade-offs wrong don't get bad models; they get expensive rebuilds, stale predictions, or systems that optimize for outrage instead of value.

    hernanhuwyler.wordpress.com/20

  6. The Architecture Decisions CAIOs Cannot Delegate to Engineering

    Architecture decisions, batch versus online prediction, cloud versus edge, offline versus online learning, coupled versus decoupled models. determine whether an AI system scales safely or collapses under real-world use. CAIOs and architects who get these trade-offs wrong don't get bad models; they get expensive rebuilds, stale predictions, or systems that optimize for outrage instead of value.

    hernanhuwyler.wordpress.com/20

  7. Инфраструктура данных 2052: что, если у данных больше не будет «прода» и «истории»?

    Если мысленно вернуться в 1980-е , аналитика во многом находилась буквально над production Данные появлялись в операционных системах, затем из них строились отчёты, выгрузки и аналитические витрины. Постепенно мы начали выносить аналитику подальше от production: появились отдельные хранилища, ETL, data warehouse, затем data lake, lakehouse и, наконец, огромный набор специализированных систем для streaming, batch, realtime и research Каждый раз мы решали вполне реальные проблемы своего времени. Но вместе с этим постепенно привыкли к довольно странной модели: production хранит настоящее, data lake - прошлое, Kafka - поток, а research живёт где-то ещё И вот здесь мне стало интересно немного заглянуть вперед... А что, если в 2052 году мы перестанем воспринимать всё это как разные сущности? Опираясь не на фантазии, а на то, что смог найти в технических блогах - не концепты, а реальные прототипы Если не хотите много читать, в конце статьи вся суть одной картинкой

    habr.com/ru/articles/1070482/

    #инфраструктура #data #lakehouse #kafka #redis #s3

  8. Инфраструктура данных 2052: что, если у данных больше не будет «прода» и «истории»?

    Если мысленно вернуться в 1980-е , аналитика во многом находилась буквально над production Данные появлялись в операционных системах, затем из них строились отчёты, выгрузки и аналитические витрины. Постепенно мы начали выносить аналитику подальше от production: появились отдельные хранилища, ETL, data warehouse, затем data lake, lakehouse и, наконец, огромный набор специализированных систем для streaming, batch, realtime и research Каждый раз мы решали вполне реальные проблемы своего времени. Но вместе с этим постепенно привыкли к довольно странной модели: production хранит настоящее, data lake - прошлое, Kafka - поток, а research живёт где-то ещё И вот здесь мне стало интересно немного заглянуть вперед... А что, если в 2052 году мы перестанем воспринимать всё это как разные сущности? Опираясь не на фантазии, а на то, что смог найти в технических блогах - не концепты, а реальные прототипы Если не хотите много читать, в конце статьи вся суть одной картинкой

    habr.com/ru/articles/1070482/

    #инфраструктура #data #lakehouse #kafka #redis #s3

  9. Инфраструктура данных 2052: что, если у данных больше не будет «прода» и «истории»?

    Если мысленно вернуться в 1980-е , аналитика во многом находилась буквально над production Данные появлялись в операционных системах, затем из них строились отчёты, выгрузки и аналитические витрины. Постепенно мы начали выносить аналитику подальше от production: появились отдельные хранилища, ETL, data warehouse, затем data lake, lakehouse и, наконец, огромный набор специализированных систем для streaming, batch, realtime и research Каждый раз мы решали вполне реальные проблемы своего времени. Но вместе с этим постепенно привыкли к довольно странной модели: production хранит настоящее, data lake - прошлое, Kafka - поток, а research живёт где-то ещё И вот здесь мне стало интересно немного заглянуть вперед... А что, если в 2052 году мы перестанем воспринимать всё это как разные сущности? Опираясь не на фантазии, а на то, что смог найти в технических блогах - не концепты, а реальные прототипы Если не хотите много читать, в конце статьи вся суть одной картинкой

    habr.com/ru/articles/1070482/

    #инфраструктура #data #lakehouse #kafka #redis #s3

  10. Избавляемся от потерянных событий в микросервисах — как я написал свой Spring Starter для Outbox/Inbox

    Всем привет! Меня зовут Григорий, и недавно при разработке своего микросервисного приложения я нашёл уязвимость — сообщения, пересылаемые между сервисами, имели высокий риск быть необработанными. Решением стал паттерны Outbox и Inbox. Однако, когда я стал их реализовывать во всех приложениях, то понял, что просто копирую и вставляю код. Чтобы это исправить, я решил написать свой стартер.

    habr.com/ru/articles/1064466/

    #java #spring #springstarter #outboxпаттерн #inboxпаттерн #dlq #kafka #rabbitmq

  11. Контракты данных между командами: гайд по data contracts в дата‑пайплайнах

    Когда пайплайн отработал без ошибок, тесты зелёные, а в дашборде внезапно нули, проблема может быть не в инфраструктуре, а в отсутствии договорённостей между командами. В статье разбираем, как data contracts помогают фиксировать структуру, правила и ответственность за данные — и почему это спасает витрины, отчёты и нервы дата-инженеров.

    habr.com/ru/companies/otus/art

    #контракты_данных #data_contracts #датапайплайны #DWH #Data_Lake #Data_Engineering #dbt #Kafka #Schema_Registry #качество_данных

  12. Event-Driven подход в пет-проекте: автоматизация Telegram-канала на NiFi, Kafka и n8n

    Привет, Хабр! Хочу рассказать про один странный пет-проект, который немного вырвался из-под контроля. Все описанные потоки можно попробовать в github Скачивайте, ставьте звездочки) Началось всё обычно: есть VPS (2 ядра, 6 ГБ RAM, 40 GB NVMe), есть свободное время и желание сделать что-то полезное. А ещё есть давняя хотелка — попробовать Kafka в реальном бою. Ну и Telegram-канал для изучения английского как-то сам напросился: новости BBC, разбор лексики, викторины — вроде не сложно, но и не совсем hello world. Спойлер: Kafka я попробовал, канал работает до сих пор, а архитектура получилась немного безумной — с двумя очередями и разделением ответственности, которое я буду защищать в комментариях. Под катом — почему n8n не справился бы в одиночку, как подружить NiFi с расписанием и зачем я заставляю DeepSeek всегда класть правильный ответ в индекс 0.

    habr.com/ru/articles/1005602/

    #petproject #eventdriven #nifi #kafka #n8n #archimate #архитектура #deepseek #telegram #llm

  13. Event-Driven подход в пет-проекте: автоматизация Telegram-канала на NiFi, Kafka и n8n Привет, Хабр! Хочу рассказать про один с...

    #pet-project #event-driven #nifi #kafka #n8n #archimate #архитектура #deepseek #telegram #llm

    Origin | Interest | Match
  14. This is my November Fedi reminder that I am a talented #Java developer looking for a developer position either remote, or based in Tampa, FL. I have some neat skills, like #CoreJava, #JavaEE, #Spring Frameworks, #WebServices, #Kafka, and many others. If you want to set up a call, I promise I will respond. (And I only ask you apply the same rule.)

    Oh yeah, something-something-pumpkin-spice; now it's a November post.

    #FediHire #fedijob #PumpkinSpice

  15. #bureaucracy of the day
    #inscription #étudiant

    Pièces à fournir :

    La copie de l’attestation de paiement de la CVEC (Contribution de Vie Étudiante et de Campus – montant : 105 €) à régler sur le site suivant : Accueil - CVEC, Contribution de vie étudiante et de campus

    Connecté #FranceConnect , c’est le mur, l’autre site reboucle vers le mur
    #kafka

  16. #art #illustration #kleinekunstklasse #surrealism #diorama #kafka #dieverwandlung #gregorsamsa
    Kafkas Erzählung „Die Verwandlung“ erzeugte eine unbändige Lust, ein Diorama dazu zu bauen. Hier die Szene am Morgen nach der Verwandlung des Handlungsreisenden Gregor Samsa in ein Riesen-Insekt. Alle Teile sind realisiert aus Resten und Dingen, die ich noch hatte.

  17. Did some dependency updates to my #zio #test #library for #scala

    codeberg.org/jjba23/zzspec

    zzspec v1.0.12 is now available

    easily perform unit, integration and black box tests, with some #docker test #containers too if needed

    leveraging the expressive ZIO test framework and use helpers for #postgresql #kafka and more

  18. Как читать сообщения, если никто из брокеров не предоставил удобный интерфейс

    Пишите вы себе EDA на основе Apache Kafka , и ваши сервисы тщательно логируют все свои действия, процесс отлажен и работает годами. Вдруг один из сервисов отчитался в логах, что отправил событие в брокер, но другой по какой-то его не прочитал. Как понять, кто виноват? Как правило, брокер сообщений между сервисами – черная коробка, которая работает, что называется «As Is». Разработчики подключают зависимости, вешают аннотации консюмеров и продюсеров , оно заводится и все рады. Но что они там подключили и как это работает никто не видит. Так давайте же посмотрим, как мы можем открыть этот чёрный ящик на примере наиболее популярных брокеров сообщений.

    habr.com/ru/companies/axenix/a

    #kafka #брокер_сообщений #activemq_artemis #rabbitmq #nats #conductor #offset_explorer #kafka_ui #brok #esb

  19. Experience the magic of Kafka's stories in a breathtaking new production! Dive into the surreal world where dreams and reality intertwine, featuring unforgettable characters and stunning choreography. This is a must-see event for theater lovers in Zlín! #Kafka #Theater #Zlin #CulturalEvent #Murakami

    👉 Více informací najdete zde:
    tiskovec.cz/clanky/sobotni-ces

  20. 🚀 Nächste Woche ist #BaselOne24 🎉

    Am 16. und 17. Oktober 2024 erwarten Euch viele spannende Workshops und Vorträge von bekannten Speaker:innen und Newcomer:innen. Dabei bringen Sie Euch auf den neuesten Stand in Sachen #KünstlicheIntelligenz, #Deserialization, #Metriken, #TeamBuilding, #Java, #Kafka, #Testing, und vieles mehr.

    👉🏻 Hier geht's zum Programm: lnkd.in/egfakuP5

    🐸 lnkd.in/ggjmzerN

    #communityrocks #BaselOne #TechEvent #CleanCode #AI #Kafka #Java

  21. ⏳Wer hat an der Uhr gedreht... Nur noch 3 Wochen bis zur #BaselOne24... 😊

    🔊 Am 16. und 17. Oktober 2024 erwarten Euch Gerrit Grunwald, Grace Jansen, Falk Sippach, Nadine Broghammer, Simon Martinelli und Patrick Baumgartner. Dabei bringen Sie Euch auf den neuesten Stand in Sachen #KünstlicheIntelligenz, #Deserialization, #Metriken, #TeamBuilding, hashtag#Java, #Kafka, #Testing, und vieles mehr.

    🐸 unter lnkd.in/ggjmzerN.

    #Communityrocks #SoftwareDevelopment #TechConference #AI

  22. I'm doing an online creative writing workshop this afternoon with 80 students from across the global Open Society University Network.

    We're talking about #kafka and etymology, and entomology, and how weird it is to wake up in the morning (even on those days when you are not somehow transformed into a monstrous insect).

    It's going to be fun.

    #OSUN #CreativeWriting

  23. Man fällt immer wieder auf den Trick der Verlage herein, bei neueren Romanen im Klappentext name dropping zu veranstalten. Habe #Annihilation von Jeff #VanderMeer bekommen, weil hinten drauf #Lovecraft und #Kafka als Vergleichsgrössen genannt werden. Da nimmt sich VanderMeer aber aus wie ein Regionalligist in der Champions League. 👎🏿 (➡️back to the classics)