home.social

#kafka — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #kafka, aggregated by home.social.

  1. 🚨 Hiring Alert | Senior Technical Architect – AI & Digital Engineering 🚨

    📍 Location: Hyderabad
    👨‍💻 Experience: 12–14 Years
    💼 Employment Type: Permanent
    💰 CTC: Up to 40 LPA

    📩 Apply here: - zurl.co/8FVNz

    #Hiring #TechnicalArchitect #AI #GenAI #CloudArchitecture #Java #SpringBoot #Kafka #AWS #Azure #GCP #HyderabadJobs #TechHiring

  2. 🚨 Hiring Alert | Senior Technical Architect – AI & Digital Engineering 🚨

    📍 Location: Hyderabad
    👨‍💻 Experience: 12–14 Years
    💼 Employment Type: Permanent
    💰 CTC: Up to 40 LPA

    📩 Apply here: - zurl.co/8FVNz

    #Hiring #TechnicalArchitect #AI #GenAI #CloudArchitecture #Java #SpringBoot #Kafka #AWS #Azure #GCP #HyderabadJobs #TechHiring

  3. 🚨 Hiring Alert | Senior Technical Architect – AI & Digital Engineering 🚨

    📍 Location: Hyderabad
    👨‍💻 Experience: 12–14 Years
    💼 Employment Type: Permanent
    💰 CTC: Up to 40 LPA

    📩 Apply here: - zurl.co/8FVNz

    #Hiring #TechnicalArchitect #AI #GenAI #CloudArchitecture #Java #SpringBoot #Kafka #AWS #Azure #GCP #HyderabadJobs #TechHiring

  4. 🚨 Hiring Alert | Senior Technical Architect – AI & Digital Engineering 🚨

    📍 Location: Hyderabad
    👨‍💻 Experience: 12–14 Years
    💼 Employment Type: Permanent
    💰 CTC: Up to 40 LPA

    📩 Apply here: - zurl.co/8FVNz

    #Hiring #TechnicalArchitect #AI #GenAI #CloudArchitecture #Java #SpringBoot #Kafka #AWS #Azure #GCP #HyderabadJobs #TechHiring

  5. 🚨 Hiring Alert | Senior Technical Architect – AI & Digital Engineering 🚨

    📍 Location: Hyderabad
    👨‍💻 Experience: 12–14 Years
    💼 Employment Type: Permanent
    💰 CTC: Up to 40 LPA

    📩 Apply here: - zurl.co/8FVNz

    #Hiring #TechnicalArchitect #AI #GenAI #CloudArchitecture #Java #SpringBoot #Kafka #AWS #Azure #GCP #HyderabadJobs #TechHiring

  6. Apache Kafka: как настроить тестирование сообщений в топиках

    Привет, Хабр! Я SDET-инженер в SimbirSoft Александр, в этой статье я предлагаю вам: Рассмотреть основы Kafka, ее архитектуру и как она работает. • Выяснить, как тестируются сообщения в топиках, какие инструменты для этого используются. Приведу примерные сценарии. • Обсудить роль Kafka в интеграционном тестировании, покажу пример интеграционного теста. • Материал будет полезен для новичков в области тестирования ПО, как ручного, так и автоматизированного.

    habr.com/ru/companies/simbirso

    #SDET #apache_kafka #kafka #java #тестирование #разработка_в_тестировании

  7. ClickHouse для больших данных: полный гайд по интеграции с NoSQL‑экосистемой

    Когда классические SQL‑базы падают под аналитической нагрузкой, а Hadoop‑кластер напоминает чемодан без ручки — пора искать новое решение. В этой статье разбираем, как ClickHouse в связке с NoSQL‑экосистемой закрывает бреши в высоконагруженных проектах. Разберём архитектурные ловушки, Best Practices и честно оценим, где этот инструмент экономит миллионы, а где может создать проблемы.

    habr.com/ru/companies/otus/art

    #clickhouse #nosql #big_data #аналитика_данных #kafka #olap #архитектура_данных

  8. ClickHouse для больших данных: полный гайд по интеграции с NoSQL‑экосистемой

    Когда классические SQL‑базы падают под аналитической нагрузкой, а Hadoop‑кластер напоминает чемодан без ручки — пора искать новое решение. В этой статье разбираем, как ClickHouse в связке с NoSQL‑экосистемой закрывает бреши в высоконагруженных проектах. Разберём архитектурные ловушки, Best Practices и честно оценим, где этот инструмент экономит миллионы, а где может создать проблемы.

    habr.com/ru/companies/otus/art

    #clickhouse #nosql #big_data #аналитика_данных #kafka #olap #архитектура_данных

  9. ClickHouse для больших данных: полный гайд по интеграции с NoSQL‑экосистемой

    Когда классические SQL‑базы падают под аналитической нагрузкой, а Hadoop‑кластер напоминает чемодан без ручки — пора искать новое решение. В этой статье разбираем, как ClickHouse в связке с NoSQL‑экосистемой закрывает бреши в высоконагруженных проектах. Разберём архитектурные ловушки, Best Practices и честно оценим, где этот инструмент экономит миллионы, а где может создать проблемы.

    habr.com/ru/companies/otus/art

    #clickhouse #nosql #big_data #аналитика_данных #kafka #olap #архитектура_данных

  10. ClickHouse для больших данных: полный гайд по интеграции с NoSQL‑экосистемой

    Когда классические SQL‑базы падают под аналитической нагрузкой, а Hadoop‑кластер напоминает чемодан без ручки — пора искать новое решение. В этой статье разбираем, как ClickHouse в связке с NoSQL‑экосистемой закрывает бреши в высоконагруженных проектах. Разберём архитектурные ловушки, Best Practices и честно оценим, где этот инструмент экономит миллионы, а где может создать проблемы.

    habr.com/ru/companies/otus/art

    #clickhouse #nosql #big_data #аналитика_данных #kafka #olap #архитектура_данных

  11. What if Ruby could run at the center of an event-driven system?
    Maciej Mensfeld built Karafka. His deployment handles 500M messages a day. He's also on the RubyGems security team, hunting malicious packages.

    #Rubycon2026 #Ruby #RubyLang #Karafka #Kafka #RubyGems

  12. What if Ruby could run at the center of an event-driven system?
    Maciej Mensfeld built Karafka. His deployment handles 500M messages a day. He's also on the RubyGems security team, hunting malicious packages.

    #Rubycon2026 #Ruby #RubyLang #Karafka #Kafka #RubyGems

  13. Обзор Агредатор

    На связи Сергей Скирдин, технический директор компании «Белый код». Поставил себе цель — сделать обзоры на шины данных из реестра отечественного ПО. Сегодня в обзоре Агредатор.

    habr.com/ru/companies/w_code/a

    #шина_данных #корпоративная_шина_данных #интеграционная_платформа #коннекторы #esb #enterprise_service_bus #rabbitmq #kafka #ruby

  14. [Перевод] Паттерны событийно-ориентированной архитектуры в облачном банкинге: что работает, а что ломает систему

    Событийно-ориентированная архитектура часто выглядит как аккуратная схема с брокером, сервисами и красивыми стрелками между ними. В продакшене всё прозаичнее: события теряются, дублируются, приходят не по порядку, а контракты внезапно становятся долгоживущим API, который уже нельзя просто взять и переписать. В статье разбираем, как EDA ведёт себя в облачном банкинге: где она действительно помогает развязать системы и упростить аудит, а где добавляет новую сложность — от outbox/inbox и идемпотентности до границ доменных и интеграционных событий. Разобрать паттерны

    habr.com/ru/companies/otus/art

    #eventdriven_architecture #eda #cloudnative #банковские_системы #микросервисы #Kafka #outbox #inbox #идемпотентность

  15. Loki «Next Wave»: как Grafana Labs переписала правила логирования на GrafanaCON 2026

    Всем привет. В этой статье расскажу о новостях касаемо Loki. О том что было представлено на GrafanaCON 2026 в Барселоне. Чего нам ждать от новой архитектуры Loki, как она будет работать, и что прячет под капотом.

    habr.com/ru/articles/1030716/

    #grafana #loki #logs #observability #kafka #логи #графана #мониторинг

  16. Loki «Next Wave»: как Grafana Labs переписала правила логирования на GrafanaCON 2026

    Всем привет. В этой статье расскажу о новостях касаемо Loki. О том что было представлено на GrafanaCON 2026 в Барселоне. Чего нам ждать от новой архитектуры Loki, как она будет работать, и что прячет под капотом.

    habr.com/ru/articles/1030716/

    #grafana #loki #logs #observability #kafka #логи #графана #мониторинг

  17. Безошибочная работа с Kafka из Node js. Часть 3 Cтруктура сообщений, когда Kafka не нужна и теряет данные

    В предыдущих частях рассматривались аспекты публикации сообщений , ребалансировки консьюмер групп и масштабирования чтения, а также проектирования консьюмеров . Эта часть посвящена базовой структуре сообщений, неподходящим сценариям использования Kafka и гарантиям записи.

    habr.com/ru/articles/1013046/

    #kafka #nodejs #брокеры_сообщений #kafkaconnect #producerconsumer #messagebroker #apache_kafka #событийная_архитектура #kafka_consumer #kafka_apache

  18. Как мы строили MVP data lineage системы в ЮMoney

    Привет, меня зовут Юля, я дата-инженер в департаменте аналитических решений ЮMoney. Мы разрабатываем и поддерживаем ETL(ELT)-процессы загрузки данных для BI-продуктов компании: отчётов, дашбордов, витрин, API и других. В этой статье поделюсь, как мы разрабатывали MVP для построения data lineage системы и к каким выводам пришли, — так вы сможете адаптировать подход под свои процессы. Проблема, которая привела нас к разработке MVP, заключается в том, что в начале работы над большинством задач требуется подготовительная аналитика: восстановить путь происхождения данных, чтобы понимать, какие ETL(ELT)-процессы будут затронуты и на что повлияют изменения. Это увеличивает время выполнения задачи. Но, что ещё существеннее, процесс достаточно рутинный: каждый раз необходимо проводить статический анализ кода и изучать документацию (при её наличии). Мы решили автоматизировать эту работу, чтобы иметь под рукой инструмент для построения пути данных по точкам их обработки и применения, — то есть создать data lineage систему.

    habr.com/ru/companies/yoomoney

    #data_lineage #etl #elt #dwh #neo4j #kafka #cypher #data_governance #mvp #метаданные

  19. Как мы строили MVP data lineage системы в ЮMoney

    Привет, меня зовут Юля, я дата-инженер в департаменте аналитических решений ЮMoney. Мы разрабатываем и поддерживаем ETL(ELT)-процессы загрузки данных для BI-продуктов компании: отчётов, дашбордов, витрин, API и других. В этой статье поделюсь, как мы разрабатывали MVP для построения data lineage системы и к каким выводам пришли, — так вы сможете адаптировать подход под свои процессы. Проблема, которая привела нас к разработке MVP, заключается в том, что в начале работы над большинством задач требуется подготовительная аналитика: восстановить путь происхождения данных, чтобы понимать, какие ETL(ELT)-процессы будут затронуты и на что повлияют изменения. Это увеличивает время выполнения задачи. Но, что ещё существеннее, процесс достаточно рутинный: каждый раз необходимо проводить статический анализ кода и изучать документацию (при её наличии). Мы решили автоматизировать эту работу, чтобы иметь под рукой инструмент для построения пути данных по точкам их обработки и применения, — то есть создать data lineage систему.

    habr.com/ru/companies/yoomoney

    #data_lineage #etl #elt #dwh #neo4j #kafka #cypher #data_governance #mvp #метаданные

  20. Как мы строили MVP data lineage системы в ЮMoney

    Привет, меня зовут Юля, я дата-инженер в департаменте аналитических решений ЮMoney. Мы разрабатываем и поддерживаем ETL(ELT)-процессы загрузки данных для BI-продуктов компании: отчётов, дашбордов, витрин, API и других. В этой статье поделюсь, как мы разрабатывали MVP для построения data lineage системы и к каким выводам пришли, — так вы сможете адаптировать подход под свои процессы. Проблема, которая привела нас к разработке MVP, заключается в том, что в начале работы над большинством задач требуется подготовительная аналитика: восстановить путь происхождения данных, чтобы понимать, какие ETL(ELT)-процессы будут затронуты и на что повлияют изменения. Это увеличивает время выполнения задачи. Но, что ещё существеннее, процесс достаточно рутинный: каждый раз необходимо проводить статический анализ кода и изучать документацию (при её наличии). Мы решили автоматизировать эту работу, чтобы иметь под рукой инструмент для построения пути данных по точкам их обработки и применения, — то есть создать data lineage систему.

    habr.com/ru/companies/yoomoney

    #data_lineage #etl #elt #dwh #neo4j #kafka #cypher #data_governance #mvp #метаданные

  21. Как мы строили MVP data lineage системы в ЮMoney

    Привет, меня зовут Юля, я дата-инженер в департаменте аналитических решений ЮMoney. Мы разрабатываем и поддерживаем ETL(ELT)-процессы загрузки данных для BI-продуктов компании: отчётов, дашбордов, витрин, API и других. В этой статье поделюсь, как мы разрабатывали MVP для построения data lineage системы и к каким выводам пришли, — так вы сможете адаптировать подход под свои процессы. Проблема, которая привела нас к разработке MVP, заключается в том, что в начале работы над большинством задач требуется подготовительная аналитика: восстановить путь происхождения данных, чтобы понимать, какие ETL(ELT)-процессы будут затронуты и на что повлияют изменения. Это увеличивает время выполнения задачи. Но, что ещё существеннее, процесс достаточно рутинный: каждый раз необходимо проводить статический анализ кода и изучать документацию (при её наличии). Мы решили автоматизировать эту работу, чтобы иметь под рукой инструмент для построения пути данных по точкам их обработки и применения, — то есть создать data lineage систему.

    habr.com/ru/companies/yoomoney

    #data_lineage #etl #elt #dwh #neo4j #kafka #cypher #data_governance #mvp #метаданные

  22. Книга: «Apache Kafka в действии. От базовых концепций до продакшена»

    Привет, Хаброжители! Apache Kafka — это эталонная платформа для аналитики в реальном времени, передачи событий и потоковой обработки. Выступая в качестве центрального узла для распределенных данных, Kafka обеспечивает беспрепятственный обмен между продюсерами и потребителями по модели «издатель — подписчик». Kafka легко обрабатывает миллионы событий в секунду, а его надежная архитектура гарантирует высокую отказоустойчивость и масштабируемость.

    habr.com/ru/companies/piter/ar

    #книги_по_программированию #kafka #apache_kafka #обработка_данных

  23. userver 3.0 — большой релиз фреймворка для IO‑bound‑программ, переход на C++20

    Привет! На связи Антон Полухин из Техплатформы Городских сервисов Яндекса. После большого релиза 🐙 userver прошло почти два года. За это время мы обзавелись большим количеством внешних пользователей — международных и российских. При этом и количество внутренних пользователей подросло: в Городских сервисах Яндекса появились стни новых сервисов на userver. Функциональность Такси, Еды, Лавки, Доставки, а также Маркета, Финтеха, Фантеха, Электро и Техплатформы обогатилась новыми возможностями и новыми пользователями. А значит, фреймворк стал ещё надёжнее и оттестированнее. Мы не сидели сложа руки, и за два года реализовали, оптимизировали и добавили все обещанные в прошлой статье фичи, а также многое другое. Что нового в userver?

    habr.com/ru/companies/yandex/a

    #userver #c++ #c++20 #с++20 #с++ #optimization #optimizations #json #jsonschema #kafka

  24. Как я реализовал Blue-Green деплой с нулевым даунтаймом на Docker Compose

    Недавно я внедрил blue‑green деплой в проде. Реализация довольно простая и кастомная, но справляется со своей задачей на ура! Также сообщу, что используется обычный докер композ на виртуалке — возможно, кому‑то такой подход будет полезен. Для фоновых процессов (воркеров) В приложение добавляется специальный инфрастуктурный singleton класс с флагом is_accepting, и обертка на consumers. В каждом консьюмере перед обработкой проверяем этот флаг: если True — обрабатываем задачу, если False — переносим задачу на повторную обработку (например, в rabbitmq делаем сразу nack(requeue=true))

    habr.com/ru/articles/1025776/

    #bluegreen_deployment #zero_downtime #dockercompose #cicd #rabbitmq #kafka #faststream #celery

  25. Феномен OpenClaw: почему инженерная обвязка стала важнее нейросети

    В этом интервью мы поговорили с Chief AI Architect Андреем Носовым о феномене OpenClaw, который набрал популярность на GitHub быстрее, чем Linux. Мы честно обсудили, как обуздать недетерминированный хаос с помощью Kafka и Pydantic-схем, зачем нужен трейсинг естественного языка, в каких случаях подход Human-in-the-Loop спасает жизни. Видео интервью можно посмотреть по ссылке , а задать вопросы спикеру и обсудить - в телеграм-канале Ai4Dev в котором уже 5 000 разработчиков.

    habr.com/ru/articles/1024744/

    #open_claw #llmмодели #llmагент #безопасность #агентный_ии #агентное_программирование #искусственный_интеллект #ai4dev #linux #kafka