home.social

#apache_nifi — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #apache_nifi, aggregated by home.social.

  1. Расширяем функционал Apache NiFi 2.0: руководство к написанию своего процессора

    Привет, Хабр! В последние годы потоки данных в различных системах и между ними только увеличиваются, а в дальнейшем этот тренд наврятли изменится. Для работы с данными всегда требуются различные инструменты. Apache NiFi — программный продукт с открытым исходным кодом, написанный на языке Java, предназначенный для автоматизации потоков данных между системами. Главная его задача: организовывать ETL-процессы. На GitHub у Apache NiFi имеется 5.9 тысяч звезд. Эта статья посвящена написанию процессора для Apache NiFi на Java и требует базовых знаний в области Apache NiFi, опыт программирования на Java и IDE на борту компьютера.

    habr.com/ru/articles/969410/

    #apache_nifi #java #etl #big_data

  2. Как я 1,5 года изучал российские ESB, и что важно знать при выборе платформы

    Привет! На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». Последние полтора года я активно исследовал российский рынок интеграционных решений (ESB). За это время успел встретиться с 20+ вендорами, погрузиться в сотни страниц документации и даже провести батл между разработчиками. В результате получился большой обзор рынка. В статье расскажу, что удалось выяснить и какие советы могу дать тем, кто сейчас выбирает платформу.

    habr.com/ru/companies/w_code/a

    #open_source #apache #esb #шина_данных #apache_kafka #apache_nifi #брокеры_сообщений

  3. Как я 1,5 года изучал российские ESB, и что важно знать при выборе платформы

    Привет! На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». Последние полтора года я активно исследовал российский рынок интеграционных решений (ESB). За это время успел встретиться с 20+ вендорами, погрузиться в сотни страниц документации и даже провести батл между разработчиками. В результате получился большой обзор рынка. В статье расскажу, что удалось выяснить и какие советы могу дать тем, кто сейчас выбирает платформу.

    habr.com/ru/companies/w_code/a

    #open_source #apache #esb #шина_данных #apache_kafka #apache_nifi #брокеры_сообщений

  4. Как я 1,5 года изучал российские ESB, и что важно знать при выборе платформы

    Привет! На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». Последние полтора года я активно исследовал российский рынок интеграционных решений (ESB). За это время успел встретиться с 20+ вендорами, погрузиться в сотни страниц документации и даже провести батл между разработчиками. В результате получился большой обзор рынка. В статье расскажу, что удалось выяснить и какие советы могу дать тем, кто сейчас выбирает платформу.

    habr.com/ru/companies/w_code/a

    #open_source #apache #esb #шина_данных #apache_kafka #apache_nifi #брокеры_сообщений

  5. Как я 1,5 года изучал российские ESB, и что важно знать при выборе платформы

    Привет! На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». Последние полтора года я активно исследовал российский рынок интеграционных решений (ESB). За это время успел встретиться с 20+ вендорами, погрузиться в сотни страниц документации и даже провести батл между разработчиками. В результате получился большой обзор рынка. В статье расскажу, что удалось выяснить и какие советы могу дать тем, кто сейчас выбирает платформу.

    habr.com/ru/companies/w_code/a

    #open_source #apache #esb #шина_данных #apache_kafka #apache_nifi #брокеры_сообщений

  6. Баги носят данные. Проверка Apache NiFi

    Сбор, обработка и перемещение данных — ключевые процессы в IT. Но что, если они нарушатся из-за коварных багов в коде? Рассказываем об ошибках, найденных статическим анализатором в проекте Apache NiFi.

    habr.com/ru/companies/pvs-stud

    #apache #apache_nifi #nifi #pvsstudio #статический_анализ #static_analysis #sast #open_source #потенциальная_уязвимость #баги

  7. «Зачем нужна шина данных, если есть Apache Kafka?» и еще 3 популярных аргумента против ESB

    На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». Недавно получил такой комментарий к одному из обзоров ESB : «Я считаю, что интеграционные платформы больше не нужны», а спустя время в Телеграм-сообществе «Шины не для машины» развернулась дискуссия на тему «Паттерн ESB безнадежно устарел». Решил собрать в одной статье популярные вопросы по теме и ответить на них.

    habr.com/ru/companies/w_code/a

    #apache_kafka #apache_nifi #open_source #esb #шина_данных #брокеры_сообщений #apache

  8. «Зачем нужна шина данных, если есть Apache Kafka?» и еще 3 популярных аргумента против ESB

    На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». Недавно получил такой комментарий к одному из обзоров ESB : «Я считаю, что интеграционные платформы больше не нужны», а спустя время в Телеграм-сообществе «Шины не для машины» развернулась дискуссия на тему «Паттерн ESB безнадежно устарел». Решил собрать в одной статье популярные вопросы по теме и ответить на них.

    habr.com/ru/companies/w_code/a

    #apache_kafka #apache_nifi #open_source #esb #шина_данных #брокеры_сообщений #apache

  9. «Зачем нужна шина данных, если есть Apache Kafka?» и еще 3 популярных аргумента против ESB

    На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». Недавно получил такой комментарий к одному из обзоров ESB : «Я считаю, что интеграционные платформы больше не нужны», а спустя время в Телеграм-сообществе «Шины не для машины» развернулась дискуссия на тему «Паттерн ESB безнадежно устарел». Решил собрать в одной статье популярные вопросы по теме и ответить на них.

    habr.com/ru/companies/w_code/a

    #apache_kafka #apache_nifi #open_source #esb #шина_данных #брокеры_сообщений #apache

  10. «Зачем нужна шина данных, если есть Apache Kafka?» и еще 3 популярных аргумента против ESB

    На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». Недавно получил такой комментарий к одному из обзоров ESB : «Я считаю, что интеграционные платформы больше не нужны», а спустя время в Телеграм-сообществе «Шины не для машины» развернулась дискуссия на тему «Паттерн ESB безнадежно устарел». Решил собрать в одной статье популярные вопросы по теме и ответить на них.

    habr.com/ru/companies/w_code/a

    #apache_kafka #apache_nifi #open_source #esb #шина_данных #брокеры_сообщений #apache

  11. DATAREON VS Apache NiFi

    Всем привет! На связи Никита Скирдин, программист 1С ИТ-интегратора «Белый код». Статья появилась как результат небольшого исследования для одного из наших клиентов. Заказчик обратился с вопросом выбора интеграционного решения. Здесь оставляю результаты.

    habr.com/ru/companies/w_code/a

    #сравнение #шины_данных #esb #datareon #apache_nifi #интеграция #интеграция_сервисов

  12. Конфигурирование алертов prometheus или как мы настраивали алерты для бизнес-метрик

    В статье расскажу, как настроить мониторинг Apache NiFi и алерты при переполнении очереди по достижении 8000 FlowFiles. Зачем вам читать эту статью? Переполнение очереди FlowFiles в Apache NiFi может привести к замедлению или остановке обработки данных, мониторинг позволит своевременно среагировать на проблемы с производительностью и выявить узкие места.

    habr.com/ru/articles/873082/

    #prometheus #prometheus_monitoring #apache #alert #monitoring #devops #apache_nifi #FlowFiles

  13. Apache NiFi как доступный ETL инструмент: кейс применения + тестовый стенд Docker

    В статье расскажу о практических аспектах использования Apache NiFi, опишу преимущества и проблемы, с которыми я столкнулся. Для наглядности собрал "песочницу" в контейнере Docker, в которой представлены упрощенные примеры пайплайнов, аналогичные тем, которые были использованы в реальном проекте.

    habr.com/ru/articles/813813/

    #ETL #NIFI #data_engineering #apache_nifi #etlпроцессы