#nifi — Public Fediverse posts

Event-Driven подход в пет-проекте: автоматизация Telegram-канала на NiFi, Kafka и n8n

Привет, Хабр! Хочу рассказать про один странный пет-проект, который немного вырвался из-под контроля. Все описанные потоки можно попробовать в github Скачивайте, ставьте звездочки) Началось всё обычно: есть VPS (2 ядра, 6 ГБ RAM, 40 GB NVMe), есть свободное время и желание сделать что-то полезное. А ещё есть давняя хотелка — попробовать Kafka в реальном бою. Ну и Telegram-канал для изучения английского как-то сам напросился: новости BBC, разбор лексики, викторины — вроде не сложно, но и не совсем hello world. Спойлер: Kafka я попробовал, канал работает до сих пор, а архитектура получилась немного безумной — с двумя очередями и разделением ответственности, которое я буду защищать в комментариях. Под катом — почему n8n не справился бы в одиночку, как подружить NiFi с расписанием и зачем я заставляю DeepSeek всегда класть правильный ответ в индекс 0.

https://habr.com/ru/articles/1005602/

#petproject #eventdriven #nifi #kafka #n8n #archimate #архитектура #deepseek #telegram #llm

Event-Driven подход в пет-проекте: автоматизация Telegram-канала на NiFi, Kafka и n8n

Привет, Хабр! Хочу рассказать про один странный пет-проект, который немного вырвался из-под контроля. Все описанные потоки можно попробовать в github Скачивайте, ставьте звездочки) Началось всё обычно: есть VPS (2 ядра, 6 ГБ RAM, 40 GB NVMe), есть свободное время и желание сделать что-то полезное. А ещё есть давняя хотелка — попробовать Kafka в реальном бою. Ну и Telegram-канал для изучения английского как-то сам напросился: новости BBC, разбор лексики, викторины — вроде не сложно, но и не совсем hello world. Спойлер: Kafka я попробовал, канал работает до сих пор, а архитектура получилась немного безумной — с двумя очередями и разделением ответственности, которое я буду защищать в комментариях. Под катом — почему n8n не справился бы в одиночку, как подружить NiFi с расписанием и зачем я заставляю DeepSeek всегда класть правильный ответ в индекс 0.

https://habr.com/ru/articles/1005602/

#petproject #eventdriven #nifi #kafka #n8n #archimate #архитектура #deepseek #telegram #llm

Event-Driven подход в пет-проекте: автоматизация Telegram-канала на NiFi, Kafka и n8n

Привет, Хабр! Хочу рассказать про один странный пет-проект, который немного вырвался из-под контроля. Все описанные потоки можно попробовать в github Скачивайте, ставьте звездочки) Началось всё обычно: есть VPS (2 ядра, 6 ГБ RAM, 40 GB NVMe), есть свободное время и желание сделать что-то полезное. А ещё есть давняя хотелка — попробовать Kafka в реальном бою. Ну и Telegram-канал для изучения английского как-то сам напросился: новости BBC, разбор лексики, викторины — вроде не сложно, но и не совсем hello world. Спойлер: Kafka я попробовал, канал работает до сих пор, а архитектура получилась немного безумной — с двумя очередями и разделением ответственности, которое я буду защищать в комментариях. Под катом — почему n8n не справился бы в одиночку, как подружить NiFi с расписанием и зачем я заставляю DeepSeek всегда класть правильный ответ в индекс 0.

https://habr.com/ru/articles/1005602/

#petproject #eventdriven #nifi #kafka #n8n #archimate #архитектура #deepseek #telegram #llm

Event-Driven подход в пет-проекте: автоматизация Telegram-канала на NiFi, Kafka и n8n

Привет, Хабр! Хочу рассказать про один странный пет-проект, который немного вырвался из-под контроля. Все описанные потоки можно попробовать в github Скачивайте, ставьте звездочки) Началось всё обычно: есть VPS (2 ядра, 6 ГБ RAM, 40 GB NVMe), есть свободное время и желание сделать что-то полезное. А ещё есть давняя хотелка — попробовать Kafka в реальном бою. Ну и Telegram-канал для изучения английского как-то сам напросился: новости BBC, разбор лексики, викторины — вроде не сложно, но и не совсем hello world. Спойлер: Kafka я попробовал, канал работает до сих пор, а архитектура получилась немного безумной — с двумя очередями и разделением ответственности, которое я буду защищать в комментариях. Под катом — почему n8n не справился бы в одиночку, как подружить NiFi с расписанием и зачем я заставляю DeepSeek всегда класть правильный ответ в индекс 0.

https://habr.com/ru/articles/1005602/

#petproject #eventdriven #nifi #kafka #n8n #archimate #архитектура #deepseek #telegram #llm

Build Real Time Data Pipelines with #PostgreSQL and Apache #Nifi: #CDC via logical replication and #Outbox via table polling.

The Outbox Pattern offers simple operations and explicit control over event schemas, making it well-suited for event-driven architectures where you control the source application.

The CDC Pattern is ideal when you need the complete change history or must capture changes from applications you can't modify. However, it requires more operational overhead (compared to outbox) to manage replication slots and WAL growth.

Choose CDC (Logical Replication) when:

You need to include all changed data, including legacy applications you can't modify
Your schema changes are database-driven
You build a data lake or audit log is required including complete change history

Choose Outbox Pattern when:

You focus simpler operations
You manage and implement the application that is the source of data changes
You need explicit control over event schema and content
You implement event-driven architecture with self- or well-defined domain events

https://www.lotharschulz.info/2026/01/05/building-real-time-data-pipelines-with-cdc-outbox-postgresql-and-apache-nifi/

Интеграционный маршрут подарков на Новый год – чудо случится в срок

Декабрь… месяц, когда ощущаешь волшебство везде – в первом снеге, в зимнем какао, в запахе хвои, в разноцветных огоньках гирлянд, в шорохе упаковочной бумаги, в улыбках прохожих. Это пора, когда даже самые серьезные взрослые лиды и синьоры, будто на мгновение превращаются в детей, верящих в чудеса стабильной работы новогодних релизов обновления ИТ-ландшафта. ИТ-мир становится волшебнее, а волшебный мир – технологичнее. Мы верим в Деда Мороза и его верных помощников, которые создают новогоднюю сказку, а что если и до волшебного мира добрались инновации? А может Дед Мороз – это самый продвинутый айтишник? Для организации волшебной сказки для детей и взрослых команда Деда Мороза готовится целый год. Круглый год главный волшебник получает письма с заветными желаниями, к декабрю можно насчитать уже миллиарды запросов на подарки. Наш Дед Мороз «идет в ногу» с современными технологиями, поэтому у него есть секретные ИТ-системы для автоматизации волшебных процессов, построенных на магическом open source-коктейле, включающем заморского оленя Рудольфа - Apache NiFi, с отечественными patch-подковами и упряжкой компонентов ручной работы талантливых мастеров. Центр управления новогодним волшебством «хо-хо» Один из ИТ-помощников Деда Мороза – это интеграционная платформа, эдакий центр управления волшебством, который помогает справляться с миллиардами запросов и правильно их обрабатывать в новогодний пик, гарантируя доставку писем в одну сторону и подарков в обратную. Словно сказочный диспетчер чудес, платформа распределяет потоки пожеланий, следит, чтобы ни одно письмо не осталось без ответа, а каждый подарок добрался до получателя точно в срок. Давайте попробуем разобраться в задачах слаженного волшебного процесса.

https://habr.com/ru/companies/usetech/articles/979338/

#шина_данных #интеграции #ESB #nifi #интеграция_приложений #itинфраструктура #высокая_производительность #качество_данных #корпоративная_шина_данных

Интеграционный маршрут подарков на Новый год – чудо случится в срок

Декабрь… месяц, когда ощущаешь волшебство везде – в первом снеге, в зимнем какао, в запахе хвои, в разноцветных огоньках гирлянд, в шорохе упаковочной бумаги, в улыбках прохожих. Это пора, когда даже самые серьезные взрослые лиды и синьоры, будто на мгновение превращаются в детей, верящих в чудеса стабильной работы новогодних релизов обновления ИТ-ландшафта. ИТ-мир становится волшебнее, а волшебный мир – технологичнее. Мы верим в Деда Мороза и его верных помощников, которые создают новогоднюю сказку, а что если и до волшебного мира добрались инновации? А может Дед Мороз – это самый продвинутый айтишник? Для организации волшебной сказки для детей и взрослых команда Деда Мороза готовится целый год. Круглый год главный волшебник получает письма с заветными желаниями, к декабрю можно насчитать уже миллиарды запросов на подарки. Наш Дед Мороз «идет в ногу» с современными технологиями, поэтому у него есть секретные ИТ-системы для автоматизации волшебных процессов, построенных на магическом open source-коктейле, включающем заморского оленя Рудольфа - Apache NiFi, с отечественными patch-подковами и упряжкой компонентов ручной работы талантливых мастеров. Центр управления новогодним волшебством «хо-хо» Один из ИТ-помощников Деда Мороза – это интеграционная платформа, эдакий центр управления волшебством, который помогает справляться с миллиардами запросов и правильно их обрабатывать в новогодний пик, гарантируя доставку писем в одну сторону и подарков в обратную. Словно сказочный диспетчер чудес, платформа распределяет потоки пожеланий, следит, чтобы ни одно письмо не осталось без ответа, а каждый подарок добрался до получателя точно в срок. Давайте попробуем разобраться в задачах слаженного волшебного процесса.

https://habr.com/ru/companies/usetech/articles/979338/

#шина_данных #интеграции #ESB #nifi #интеграция_приложений #itинфраструктура #высокая_производительность #качество_данных #корпоративная_шина_данных

Интеграционный маршрут подарков на Новый год – чудо случится в срок

Декабрь… месяц, когда ощущаешь волшебство везде – в первом снеге, в зимнем какао, в запахе хвои, в разноцветных огоньках гирлянд, в шорохе упаковочной бумаги, в улыбках прохожих. Это пора, когда даже самые серьезные взрослые лиды и синьоры, будто на мгновение превращаются в детей, верящих в чудеса стабильной работы новогодних релизов обновления ИТ-ландшафта. ИТ-мир становится волшебнее, а волшебный мир – технологичнее. Мы верим в Деда Мороза и его верных помощников, которые создают новогоднюю сказку, а что если и до волшебного мира добрались инновации? А может Дед Мороз – это самый продвинутый айтишник? Для организации волшебной сказки для детей и взрослых команда Деда Мороза готовится целый год. Круглый год главный волшебник получает письма с заветными желаниями, к декабрю можно насчитать уже миллиарды запросов на подарки. Наш Дед Мороз «идет в ногу» с современными технологиями, поэтому у него есть секретные ИТ-системы для автоматизации волшебных процессов, построенных на магическом open source-коктейле, включающем заморского оленя Рудольфа - Apache NiFi, с отечественными patch-подковами и упряжкой компонентов ручной работы талантливых мастеров. Центр управления новогодним волшебством «хо-хо» Один из ИТ-помощников Деда Мороза – это интеграционная платформа, эдакий центр управления волшебством, который помогает справляться с миллиардами запросов и правильно их обрабатывать в новогодний пик, гарантируя доставку писем в одну сторону и подарков в обратную. Словно сказочный диспетчер чудес, платформа распределяет потоки пожеланий, следит, чтобы ни одно письмо не осталось без ответа, а каждый подарок добрался до получателя точно в срок. Давайте попробуем разобраться в задачах слаженного волшебного процесса.

https://habr.com/ru/companies/usetech/articles/979338/

#шина_данных #интеграции #ESB #nifi #интеграция_приложений #itинфраструктура #высокая_производительность #качество_данных #корпоративная_шина_данных

Интеграционный маршрут подарков на Новый год – чудо случится в срок

Декабрь… месяц, когда ощущаешь волшебство везде – в первом снеге, в зимнем какао, в запахе хвои, в разноцветных огоньках гирлянд, в шорохе упаковочной бумаги, в улыбках прохожих. Это пора, когда даже самые серьезные взрослые лиды и синьоры, будто на мгновение превращаются в детей, верящих в чудеса стабильной работы новогодних релизов обновления ИТ-ландшафта. ИТ-мир становится волшебнее, а волшебный мир – технологичнее. Мы верим в Деда Мороза и его верных помощников, которые создают новогоднюю сказку, а что если и до волшебного мира добрались инновации? А может Дед Мороз – это самый продвинутый айтишник? Для организации волшебной сказки для детей и взрослых команда Деда Мороза готовится целый год. Круглый год главный волшебник получает письма с заветными желаниями, к декабрю можно насчитать уже миллиарды запросов на подарки. Наш Дед Мороз «идет в ногу» с современными технологиями, поэтому у него есть секретные ИТ-системы для автоматизации волшебных процессов, построенных на магическом open source-коктейле, включающем заморского оленя Рудольфа - Apache NiFi, с отечественными patch-подковами и упряжкой компонентов ручной работы талантливых мастеров. Центр управления новогодним волшебством «хо-хо» Один из ИТ-помощников Деда Мороза – это интеграционная платформа, эдакий центр управления волшебством, который помогает справляться с миллиардами запросов и правильно их обрабатывать в новогодний пик, гарантируя доставку писем в одну сторону и подарков в обратную. Словно сказочный диспетчер чудес, платформа распределяет потоки пожеланий, следит, чтобы ни одно письмо не осталось без ответа, а каждый подарок добрался до получателя точно в срок. Давайте попробуем разобраться в задачах слаженного волшебного процесса.

https://habr.com/ru/companies/usetech/articles/979338/

#шина_данных #интеграции #ESB #nifi #интеграция_приложений #itинфраструктура #высокая_производительность #качество_данных #корпоративная_шина_данных

Пишем меньше — делаем больше: зачем выносить всё в конфигурации

У меня дома стоит Bluetooth-колонка в ванной. Руки там вечно мокрые и мыльные, поэтому включить звук дождя или музыку проще по событию, например, по голосовой команде. Конечно, можно поднять Home Assistant или написать небольшой Python-скрипт, который слушал бы датчики и управлял колонкой. Но в тот момент я работал с NiFi и решил проверить, справится ли он с бытовой задачей. Оказалось, что это не только «enterprise ETL» инструмент, а еще и гибкая платформа, которая умеет работать с MQTT-брокером. Поэтому я настроил через него простую цепочку, и колонкой начал управлять не самодельный скрипт, а NiFi. Этот простой пример хорошо показывает идею. Если инструмент способен подружиться с бытовыми устройствами, то в промышленной архитектуре его потенциал раскрывается в полном объеме. В Big Data подключение нового источника часто превращается в мини-проект. Требуется неделя разработки, набор уникальных скриптов, собственные форматы, исключения и обходные решения. Но когда пять источников превращаются в пятьдесят, инфраструктура начинает рассыпаться: форматы скачут, API капризничают, схемы дрейфуют, а поддержка становится бесконечным бегом с препятствиями. Мы проходили через это несколько раз и поняли, что нам нужен фреймворк, который позволит предсказуемо, быстро и без зоопарка самописных ETL-процессов подключать новые источники. Привет, Хабр! Я ведущий инженер-разработчик направления BigData & BI К2Тех Кирилл Гофтенюк. В этой статье расскажу, как устроен наш фреймворк на базе ADS.NiFi и Arenadata Prosperity . Покажу, как он работает, зачем нужен такой подход и что нам дал переход от хаотичных скриптов к управляемой архитектуре.

https://habr.com/ru/companies/k2tech/articles/975278/

#фреймфорки #nifi #arenadata_prosperity #архитектура_данных #пайплайн #инженерная_инфраструктура

Динамическое планирование задач в NiFi

Статья о том, какие бывают ограничения самописных планировщиков задач и как мы перевели весь процесс планирования в NiFi, сделав его более прозрачным.

https://habr.com/ru/articles/950816/

#nifi #scheduling #architecture

Баги носят данные. Проверка Apache NiFi

Сбор, обработка и перемещение данных — ключевые процессы в IT. Но что, если они нарушатся из-за коварных багов в коде? Рассказываем об ошибках, найденных статическим анализатором в проекте Apache NiFi.

https://habr.com/ru/companies/pvs-studio/articles/946266/

#apache #apache_nifi #nifi #pvsstudio #статический_анализ #static_analysis #sast #open_source #потенциальная_уязвимость #баги

Игровой бот в Telegram с нуля: Как я автоматизировал создание контента с помощью Apache NiFi и LLM

Как быстро протестировать игровую идею без лишней сложности? Я создал текстовую игру в Telegram за выходные на Apache NiFi и Groovy, весь контент для которой генерируют языковые модели. В итоге — легковесный, почти не требующий поддержки бот, которого не больно обновлять. Идеально для MVP. Под катом — архитектура, этапы развития и как AI не просто отвечает, а становится движком продукта. Все началось с желания сделать что-то интересное для подписчиков моего канала в Telegram. Захотелось интерактива — простой текстовой викторины или квеста. Но разворачивать полноценный бэкенд... Не для такого пет-проекта. Цель была ясна: создать максимально простого и легковесного бота, которого было бы не больно поддерживать. Выбор пал на связку Apache NiFi для оркестрации и Groovy для скриптовой логики. P.S. Полная инструкция по запуску, исходники скриптов и шаблон для NiFi я выложил в открытый доступ на GitHub. Буду рад звёздочкам и пул-реквестам! FutureGuest Bot repository

https://habr.com/ru/articles/941810/

#nifi #telegrambot #groovy #llm #ai #togaf #archimate #архитектура #прототипирование #разработка

Игровой бот в Telegram с нуля: Как я автоматизировал создание контента с помощью Apache NiFi и LLM

Как быстро протестировать игровую идею без лишней сложности? Я создал текстовую игру в Telegram за выходные на Apache NiFi и Groovy, весь контент для которой генерируют языковые модели. В итоге — легковесный, почти не требующий поддержки бот, которого не больно обновлять. Идеально для MVP. Под катом — архитектура, этапы развития и как AI не просто отвечает, а становится движком продукта. Все началось с желания сделать что-то интересное для подписчиков моего канала в Telegram. Захотелось интерактива — простой текстовой викторины или квеста. Но разворачивать полноценный бэкенд... Не для такого пет-проекта. Цель была ясна: создать максимально простого и легковесного бота, которого было бы не больно поддерживать. Выбор пал на связку Apache NiFi для оркестрации и Groovy для скриптовой логики. P.S. Полная инструкция по запуску, исходники скриптов и шаблон для NiFi я выложил в открытый доступ на GitHub. Буду рад звёздочкам и пул-реквестам! FutureGuest Bot repository

https://habr.com/ru/articles/941810/

#nifi #telegrambot #groovy #llm #ai #togaf #archimate #архитектура #прототипирование #разработка

Игровой бот в Telegram с нуля: Как я автоматизировал создание контента с помощью Apache NiFi и LLM

Как быстро протестировать игровую идею без лишней сложности? Я создал текстовую игру в Telegram за выходные на Apache NiFi и Groovy, весь контент для которой генерируют языковые модели. В итоге — легковесный, почти не требующий поддержки бот, которого не больно обновлять. Идеально для MVP. Под катом — архитектура, этапы развития и как AI не просто отвечает, а становится движком продукта. Все началось с желания сделать что-то интересное для подписчиков моего канала в Telegram. Захотелось интерактива — простой текстовой викторины или квеста. Но разворачивать полноценный бэкенд... Не для такого пет-проекта. Цель была ясна: создать максимально простого и легковесного бота, которого было бы не больно поддерживать. Выбор пал на связку Apache NiFi для оркестрации и Groovy для скриптовой логики. P.S. Полная инструкция по запуску, исходники скриптов и шаблон для NiFi я выложил в открытый доступ на GitHub. Буду рад звёздочкам и пул-реквестам! FutureGuest Bot repository

https://habr.com/ru/articles/941810/

#nifi #telegrambot #groovy #llm #ai #togaf #archimate #архитектура #прототипирование #разработка

Игровой бот в Telegram с нуля: Как я автоматизировал создание контента с помощью Apache NiFi и LLM

Как быстро протестировать игровую идею без лишней сложности? Я создал текстовую игру в Telegram за выходные на Apache NiFi и Groovy, весь контент для которой генерируют языковые модели. В итоге — легковесный, почти не требующий поддержки бот, которого не больно обновлять. Идеально для MVP. Под катом — архитектура, этапы развития и как AI не просто отвечает, а становится движком продукта. Все началось с желания сделать что-то интересное для подписчиков моего канала в Telegram. Захотелось интерактива — простой текстовой викторины или квеста. Но разворачивать полноценный бэкенд... Не для такого пет-проекта. Цель была ясна: создать максимально простого и легковесного бота, которого было бы не больно поддерживать. Выбор пал на связку Apache NiFi для оркестрации и Groovy для скриптовой логики. P.S. Полная инструкция по запуску, исходники скриптов и шаблон для NiFi я выложил в открытый доступ на GitHub. Буду рад звёздочкам и пул-реквестам! FutureGuest Bot repository

https://habr.com/ru/articles/941810/

#nifi #telegrambot #groovy #llm #ai #togaf #archimate #архитектура #прототипирование #разработка

Интеграция с ClickHouse: NiFi vs Airflow

На связи Никита Скирдин, программист 1С компании «Белый код». В прошлой статье мы уже говорили о загрузке данных для системы BI-аналитики. В этой же статье разберем решение задачи с использованием Apache NiFi — системы для автоматизации потоков данных. Хотя NiFi позиционируется как ETL-инструмент (extract transform load), позволяющий внутри себя осуществить необходимые преобразования над поступающими данными, ничто не мешает нам использовать его также для ELT-процесса (extract load transform).

https://habr.com/ru/companies/w_code/articles/917514/

#интеграция #сравнение #clickhouse #apache_airflow #nifi

Change Data Capture (#CDC): Comprehensive Guide- #PostgreSQL To #S3(#MinIO) Using #NiFi https://blog.det.life/change-data-capture-cdc-comprehensive-guide-postgresql-to-s3-minio-using-nifi-113ecda10ea3

Vacature: Senior #Systeembeheerder #Linux bij de @aivd:

https://www.werkenvoornederland.nl/vacatures/senior-systeembeheerder-linux-AIVD-2025-0006

#Elasticsearch #NiFi #Hadoop #Ansible #Kafka #devops #OpenSource #werkenvoornederland

New release of the python Apache Nifi library NiPyApi: https://github.com/Chaffelson/nipyapi/releases/tag/v0.21.0
#nifi #apachenifi

Интеграция Apache NiFi и Atlas: Настройка в Docker и Создание Пользовательского Репортера

В этой статье представлен кейс по интеграции Apache NiFi с Apache Atlas с использованием Docker. В процессе развертывания и настройки системы возникли проблемы с загрузкой образов и установкой необходимых пакетов. Основное внимание уделяется созданию и настройке пользовательского репортера, который позволяет фильтровать и отображать только те компоненты DAG в Atlas, которые соответствуют заданным критериям. В статье подробно описаны шаги по созданию и сборке .nar архива, добавлению его в NiFi и настройке фильтрации с использованием кастомных классов.

https://habr.com/ru/articles/839060/

#java #maven #apache #atlas #nifi #reporter #pico #Big_Data #nar #Custom_Plugins_for_NiFi

Перенос данных из Oracle в PostgreSQL быстро и без потерь: как мы используем для этого Airflow и NiFi

С необходимостью переноса данных из Oracle столкнулись многие российские компании: в июле 2022 года корпорация, создавшая этот продукт, ушла с российского рынка из-за санкций, как и множество других зарубежных IT-компаний. У пользователей из нашей страны больше нет поддержки вендора, а значит со временем система может перестать корректно работать. Система хранения Oracle была очень популярна в России: данные в ней хранили и обрабатывали даже компании из государственного сектора. И всем нам предстояло быстро решить, куда и каким образом перенести огромные объёмы ценной информации, ничего не потеряв в процессе переноса.

https://habr.com/ru/companies/stm_labs/articles/821113/

#миграция #миграция_данных #postgresql #sql #nifi #airflow

Apache NiFi как доступный ETL инструмент: кейс применения + тестовый стенд Docker

В статье расскажу о практических аспектах использования Apache NiFi, опишу преимущества и проблемы, с которыми я столкнулся. Для наглядности собрал "песочницу" в контейнере Docker, в которой представлены упрощенные примеры пайплайнов, аналогичные тем, которые были использованы в реальном проекте.

https://habr.com/ru/articles/813813/

#ETL #NIFI #data_engineering #apache_nifi #etlпроцессы

Greenplum, NiFi и Airflow на страже импортозамещения: но есть нюансы

В статье описывается практическое применение популярных Open-Source технологий в области интеграции, хранения и обработки больших данных: Apache NiFi, Apache Airflow и Greenplum для проекта по аналитике учета вывоза отходов строительства. Статья полезна специалистам и руководителям, которые работают с данными решениями и делают ставку на них в части импортозамещения аналогичных технологий. Статья дает обзор основных сложностей внедрения на примере реального кейса, описывает архитектуру и особенности при совместном использовании решений.

https://habr.com/ru/articles/810083/

#данные_в_компании #хранилище #хранение_данных #хранилище_данных #airflow #greenplum #nifi #bigdata

Apache NiFi. Как быстро подружиться с LDAP и Registry

Казалось бы, про Apache NiFi уже писали не раз. Но если ты только знакомишься с инструментом, разобраться в таких статьях бывает нелегко. Обычно с тобой говорят так, будто ты уже давно в теме, да и задачи чаще решают явно не твои. С официальной документацией тоже все сложно: она есть, но для быстрого погружения явно не подходит. Вот почему я решил подготовить свой гайд для новичка. Попробуем максимально быстро разобраться с первичной настройкой NiFi и NiFi Registry, подключить авторизацию по LDAP, протестировать работоспособность, рассмотреть возможные ошибки настройки и отдебажить их.

https://habr.com/ru/companies/nubes/articles/798641/

#nifi #ldap #nifi_registry #j #data #data_engineering #apache #apache_kafka #ldapadmin

Does anyone know of any #lowCodeNoCode tools similar to Apache #Nifi ? I need a tool to help do batch and continuous #ETL / #dataintegration that I can easily deploy to kubernetes but doesn't require me to write custom code for each pipeline.

Getting ready for Apache Nifi 2.0 by Pierre Villard

https://medium.com/cloudera-inc/getting-ready-for-apache-nifi-2-0-5a5e6a67f450

#apache #apachenifi #nifi

I am slightly annoyed by #NiFi seemingly only supporting #zookeeper as a method to handle state. Its gotten almost to the point that I want to write my own that interfaces with other K/V solutions.

Attacks Against Apache NiFi #apache #nifi #ml #cryptominer #bot https://i5c.us/d29900

Mark Payne from the Apache NIFI project on the new Python API
https://www.youtube.com/watch?v=9Oi_6nFmbPg

#apache #nifi #python

As someone with a history of working with "integration frameworks" and "ESBs" 🤢 I have to say that #apache #nifi is really impressive. Clean, well thought-out model, scalable architecture (from small to large) and esp. strong focus on operational concerns are really great to see.

Apache Nifi integration with Okta OIDC by ExceptionFactory
https://exceptionfactory.com/posts/2022/12/21/integration-apache-with-okta-oidc-authentication/
#NIFi

Building an effective NiFi Flow - Route Text by Mark Payne
https://medium.com/@nifi.notes/building-an-effective-nifi-flow-routetext-5068a3b4efb3
#nifi

Mark Payne: Building an Effective NiFi Flow part II
https://link.medium.com/sue2l0PHHvb

#nifi

https://medium.com/@nifi.notes/building-an-effective-nifi-flow-b5aa1b816380

Mark Payne Apache Nifi
#nifi

https://medium.com/@nifi.notes/building-an-effective-nifi-flow-queryrecord-cca5ba51afd5

Mark Payne of Apache Nifi
#nifi

Fun with Apache NiFi: Using UpdateDatabaseRecord for Schema Migration and Database Replication https://funnifi.blogspot.com/2022/12/using-updatedatabaserecord-for-schema.html?spref=tw

By Matt Buress Nifi PMC
#nifi

Got an announcement for all of you that I am excited about, read about it 👇 Thank you all 🙏 All about my new #peertube instance and content 😀https://www.softinio.com/post/announcing-my-new-site-for-great-technical-video-content/ #Scala #neovim #Kafka #spark #nifi #akka