home.social

#flink — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #flink, aggregated by home.social.

  1. Современный дата-стек: потоковая система из «LEGO»

    Вы слышали о Kafka , MQTT , S3 , Iceberg , Trino , PostgreSQL , Redis и Flink ? А насколько хорошо вы знаете эти технологии? По каждой из них написаны огромные книги («Kafka: The Definitive Guide», около 800 страниц), и каждый день выходят новые публикации про тонкости. Эта статья про другое. Вместо внутренностей движков и законов распределённых систем посмотрим на эти технологии как на кубики LEGO: какую роль каждая из них играет в архитектуре и как они стыкуются друг с другом. Это будет практический туториал: начнём с минимальной конфигурации и постепенно соберём сложную систему. Статью можно просто читать как обзор архитектуры, а можно запускать каждую конфигурацию и изучать её в деталях. Для этого достаточно Git , Git LFS и Docker Compose . Всё запускается в контейнерах. Даже примеры на Java собираются через Docker multi-stage build .

    habr.com/ru/articles/1022970/

    #Kafka #Flink #Redis #Iceberg #Java #Docker #dockercompse

  2. Современный дата-стек: потоковая система из «LEGO»

    Вы слышали о Kafka , MQTT , S3 , Iceberg , Trino , PostgreSQL , Redis и Flink ? А насколько хорошо вы знаете эти технологии? По каждой из них написаны огромные книги («Kafka: The Definitive Guide», около 800 страниц), и каждый день выходят новые публикации про тонкости. Эта статья про другое. Вместо внутренностей движков и законов распределённых систем посмотрим на эти технологии как на кубики LEGO: какую роль каждая из них играет в архитектуре и как они стыкуются друг с другом. Это будет практический туториал: начнём с минимальной конфигурации и постепенно соберём сложную систему. Статью можно просто читать как обзор архитектуры, а можно запускать каждую конфигурацию и изучать её в деталях. Для этого достаточно Git , Git LFS и Docker Compose . Всё запускается в контейнерах. Даже примеры на Java собираются через Docker multi-stage build .

    habr.com/ru/articles/1022970/

    #Kafka #Flink #Redis #Iceberg #Java #Docker #dockercompse

  3. Современный дата-стек: потоковая система из «LEGO»

    Вы слышали о Kafka , MQTT , S3 , Iceberg , Trino , PostgreSQL , Redis и Flink ? А насколько хорошо вы знаете эти технологии? По каждой из них написаны огромные книги («Kafka: The Definitive Guide», около 800 страниц), и каждый день выходят новые публикации про тонкости. Эта статья про другое. Вместо внутренностей движков и законов распределённых систем посмотрим на эти технологии как на кубики LEGO: какую роль каждая из них играет в архитектуре и как они стыкуются друг с другом. Это будет практический туториал: начнём с минимальной конфигурации и постепенно соберём сложную систему. Статью можно просто читать как обзор архитектуры, а можно запускать каждую конфигурацию и изучать её в деталях. Для этого достаточно Git , Git LFS и Docker Compose . Всё запускается в контейнерах. Даже примеры на Java собираются через Docker multi-stage build .

    habr.com/ru/articles/1022970/

    #Kafka #Flink #Redis #Iceberg #Java #Docker #dockercompse

  4. Современный дата-стек: потоковая система из «LEGO»

    Вы слышали о Kafka , MQTT , S3 , Iceberg , Trino , PostgreSQL , Redis и Flink ? А насколько хорошо вы знаете эти технологии? По каждой из них написаны огромные книги («Kafka: The Definitive Guide», около 800 страниц), и каждый день выходят новые публикации про тонкости. Эта статья про другое. Вместо внутренностей движков и законов распределённых систем посмотрим на эти технологии как на кубики LEGO: какую роль каждая из них играет в архитектуре и как они стыкуются друг с другом. Это будет практический туториал: начнём с минимальной конфигурации и постепенно соберём сложную систему. Статью можно просто читать как обзор архитектуры, а можно запускать каждую конфигурацию и изучать её в деталях. Для этого достаточно Git , Git LFS и Docker Compose . Всё запускается в контейнерах. Даже примеры на Java собираются через Docker multi-stage build .

    habr.com/ru/articles/1022970/

    #Kafka #Flink #Redis #Iceberg #Java #Docker #dockercompse

  5. A few weeks ago, I needed to explain why it's difficult to say the number of CPU cores needed for #Flink to process 100k #Kafka events/sec (in the absence of any info about the data, the environment, the nature of the processing, etc.)

    Two dozen graphs and one Doctor Who meme later, that turned into a blog post 😀

    dalelane.co.uk/blog/?p=6001

  6. A few weeks ago, I needed to explain why it's difficult to say the number of CPU cores needed for #Flink to process 100k #Kafka events/sec (in the absence of any info about the data, the environment, the nature of the processing, etc.)

    Two dozen graphs and one Doctor Who meme later, that turned into a blog post 😀

    dalelane.co.uk/blog/?p=6001

  7. A few weeks ago, I needed to explain why it's difficult to say the number of CPU cores needed for #Flink to process 100k #Kafka events/sec (in the absence of any info about the data, the environment, the nature of the processing, etc.)

    Two dozen graphs and one Doctor Who meme later, that turned into a blog post 😀

    dalelane.co.uk/blog/?p=6001

  8. A few weeks ago, I needed to explain why it's difficult to say the number of CPU cores needed for #Flink to process 100k #Kafka events/sec (in the absence of any info about the data, the environment, the nature of the processing, etc.)

    Two dozen graphs and one Doctor Who meme later, that turned into a blog post 😀

    dalelane.co.uk/blog/?p=6001

  9. A few weeks ago, I needed to explain why it's difficult to say the number of CPU cores needed for #Flink to process 100k #Kafka events/sec (in the absence of any info about the data, the environment, the nature of the processing, etc.)

    Two dozen graphs and one Doctor Who meme later, that turned into a blog post 😀

    dalelane.co.uk/blog/?p=6001

  10. Volga: движок обработки real-time данных для AI/ML — аналог Spark и Flink на Rust (Arrow + DataFusion)

    Volga — open-source движок обработки данных, созданный как альтернатива Apache Spark и Apache Flink и ориентированный на требования real-time AI/ML систем: консистентное вычисление фичей между online и offline режимами, point-in-time корректные агрегации, длинные скользящие окна, а также ML-ориентированные функции, такие как top- и категориальные агрегации. В статье рассматриваются мотивация и история разработки, архитектура системы и её ключевые компоненты, а также проводится сравнение с ML-ориентированными решениями (Chronon, OpenMLDB) и универсальными стриминговыми движками (Apache Flink, Apache Spark, Arroyo).

    habr.com/ru/articles/1021290/

    #rust #spark #flink #ai #ml #mlops #kubernetes #sql #python #streaming

  11. Volga: движок обработки real-time данных для AI/ML — аналог Spark и Flink на Rust (Arrow + DataFusion)

    Volga — open-source движок обработки данных, созданный как альтернатива Apache Spark и Apache Flink и ориентированный на требования real-time AI/ML систем: консистентное вычисление фичей между online и offline режимами, point-in-time корректные агрегации, длинные скользящие окна, а также ML-ориентированные функции, такие как top- и категориальные агрегации. В статье рассматриваются мотивация и история разработки, архитектура системы и её ключевые компоненты, а также проводится сравнение с ML-ориентированными решениями (Chronon, OpenMLDB) и универсальными стриминговыми движками (Apache Flink, Apache Spark, Arroyo).

    habr.com/ru/articles/1021290/

    #rust #spark #flink #ai #ml #mlops #kubernetes #sql #python #streaming

  12. Volga: движок обработки real-time данных для AI/ML — аналог Spark и Flink на Rust (Arrow + DataFusion)

    Volga — open-source движок обработки данных, созданный как альтернатива Apache Spark и Apache Flink и ориентированный на требования real-time AI/ML систем: консистентное вычисление фичей между online и offline режимами, point-in-time корректные агрегации, длинные скользящие окна, а также ML-ориентированные функции, такие как top- и категориальные агрегации. В статье рассматриваются мотивация и история разработки, архитектура системы и её ключевые компоненты, а также проводится сравнение с ML-ориентированными решениями (Chronon, OpenMLDB) и универсальными стриминговыми движками (Apache Flink, Apache Spark, Arroyo).

    habr.com/ru/articles/1021290/

    #rust #spark #flink #ai #ml #mlops #kubernetes #sql #python #streaming

  13. Volga: движок обработки real-time данных для AI/ML — аналог Spark и Flink на Rust (Arrow + DataFusion)

    Volga — open-source движок обработки данных, созданный как альтернатива Apache Spark и Apache Flink и ориентированный на требования real-time AI/ML систем: консистентное вычисление фичей между online и offline режимами, point-in-time корректные агрегации, длинные скользящие окна, а также ML-ориентированные функции, такие как top- и категориальные агрегации. В статье рассматриваются мотивация и история разработки, архитектура системы и её ключевые компоненты, а также проводится сравнение с ML-ориентированными решениями (Chronon, OpenMLDB) и универсальными стриминговыми движками (Apache Flink, Apache Spark, Arroyo).

    habr.com/ru/articles/1021290/

    #rust #spark #flink #ai #ml #mlops #kubernetes #sql #python #streaming

  14. I've written up some #Flink thoughts : event-stream processing project don't have to be accessible SQL *or* powerful Java. UDFs let you work in SQL, and write Java to extend what SQL can do when you need.

    I've come up with six examples of when it helps to extend Flink SQL with Java functions.

    dalelane.co.uk/blog/?p=5920

  15. I've written up some #Flink thoughts : event-stream processing project don't have to be accessible SQL *or* powerful Java. UDFs let you work in SQL, and write Java to extend what SQL can do when you need.

    I've come up with six examples of when it helps to extend Flink SQL with Java functions.

    dalelane.co.uk/blog/?p=5920

  16. I've written up some #Flink thoughts : event-stream processing project don't have to be accessible SQL *or* powerful Java. UDFs let you work in SQL, and write Java to extend what SQL can do when you need.

    I've come up with six examples of when it helps to extend Flink SQL with Java functions.

    dalelane.co.uk/blog/?p=5920

  17. I've written up some #Flink thoughts : event-stream processing project don't have to be accessible SQL *or* powerful Java. UDFs let you work in SQL, and write Java to extend what SQL can do when you need.

    I've come up with six examples of when it helps to extend Flink SQL with Java functions.

    dalelane.co.uk/blog/?p=5920

  18. I've written up some #Flink thoughts : event-stream processing project don't have to be accessible SQL *or* powerful Java. UDFs let you work in SQL, and write Java to extend what SQL can do when you need.

    I've come up with six examples of when it helps to extend Flink SQL with Java functions.

    dalelane.co.uk/blog/?p=5920

  19. I presented at our annual online #IBMTechCon event yesterday about Deploying an Apache #Flink job into production.

    I gave a walk-through of what is involved taking an event processing flow, and deploying it into Kubernetes.

    I tried to fit a lot in the hour!

    dalelane.co.uk/blog/?p=5906

  20. I presented at our annual online #IBMTechCon event yesterday about Deploying an Apache #Flink job into production.

    I gave a walk-through of what is involved taking an event processing flow, and deploying it into Kubernetes.

    I tried to fit a lot in the hour!

    dalelane.co.uk/blog/?p=5906

  21. I presented at our annual online #IBMTechCon event yesterday about Deploying an Apache #Flink job into production.

    I gave a walk-through of what is involved taking an event processing flow, and deploying it into Kubernetes.

    I tried to fit a lot in the hour!

    dalelane.co.uk/blog/?p=5906

  22. I presented at our annual online #IBMTechCon event yesterday about Deploying an Apache #Flink job into production.

    I gave a walk-through of what is involved taking an event processing flow, and deploying it into Kubernetes.

    I tried to fit a lot in the hour!

    dalelane.co.uk/blog/?p=5906

  23. I presented at our annual online #IBMTechCon event yesterday about Deploying an Apache #Flink job into production.

    I gave a walk-through of what is involved taking an event processing flow, and deploying it into Kubernetes.

    I tried to fit a lot in the hour!

    dalelane.co.uk/blog/?p=5906

  24. creating #Kafka and #Flink demos for TechCon 2026 - our virtual event later this month

    TechCon is about live and in-depth technical sessions on integration, automation, messaging, and event driven architectures - we can't get away with just slides! ;-)

    ibm.com/events/reg/flow/ibm/l2

  25. creating #Kafka and #Flink demos for TechCon 2026 - our virtual event later this month

    TechCon is about live and in-depth technical sessions on integration, automation, messaging, and event driven architectures - we can't get away with just slides! ;-)

    ibm.com/events/reg/flow/ibm/l2

  26. creating #Kafka and #Flink demos for TechCon 2026 - our virtual event later this month

    TechCon is about live and in-depth technical sessions on integration, automation, messaging, and event driven architectures - we can't get away with just slides! ;-)

    ibm.com/events/reg/flow/ibm/l2

  27. creating #Kafka and #Flink demos for TechCon 2026 - our virtual event later this month

    TechCon is about live and in-depth technical sessions on integration, automation, messaging, and event driven architectures - we can't get away with just slides! ;-)

    ibm.com/events/reg/flow/ibm/l2

  28. creating #Kafka and #Flink demos for TechCon 2026 - our virtual event later this month

    TechCon is about live and in-depth technical sessions on integration, automation, messaging, and event driven architectures - we can't get away with just slides! ;-)

    ibm.com/events/reg/flow/ibm/l2

  29. #Flink has largely replaced #Kafka Streams for me.

    I do miss Streams... maybe I'm getting old and prone to nostalgia, or maybe I'm sad to move on because of the amount of time I spent learning Streams' quirks!

    This is a better intro to how they compare than my gut gives :)

    xebia.com/blog/making-right-ch

  30. #Flink has largely replaced #Kafka Streams for me.

    I do miss Streams... maybe I'm getting old and prone to nostalgia, or maybe I'm sad to move on because of the amount of time I spent learning Streams' quirks!

    This is a better intro to how they compare than my gut gives :)

    xebia.com/blog/making-right-ch

  31. #Flink has largely replaced #Kafka Streams for me.

    I do miss Streams... maybe I'm getting old and prone to nostalgia, or maybe I'm sad to move on because of the amount of time I spent learning Streams' quirks!

    This is a better intro to how they compare than my gut gives :)

    xebia.com/blog/making-right-ch

  32. #Flink has largely replaced #Kafka Streams for me.

    I do miss Streams... maybe I'm getting old and prone to nostalgia, or maybe I'm sad to move on because of the amount of time I spent learning Streams' quirks!

    This is a better intro to how they compare than my gut gives :)

    xebia.com/blog/making-right-ch

  33. #Flink has largely replaced #Kafka Streams for me.

    I do miss Streams... maybe I'm getting old and prone to nostalgia, or maybe I'm sad to move on because of the amount of time I spent learning Streams' quirks!

    This is a better intro to how they compare than my gut gives :)

    xebia.com/blog/making-right-ch

  34. Open Table Formats — Iceberg vs Paimon — практика использования

    Привет, Хабр. Меня зовут Василий Мельник, я product owner решения для потоковой обработки данных Data Ocean SDI в компании Data Sapience. Наша команда приобрела большой практический опыт работы с Apache Iceberg в задачах на стыке традиционной пакетной обработки и near real-time и конкретно с использованием технологий на базе Flink, поэтому мы не могли пройти мимо нового открытого табличного формата (OTF) Paimon от разработчиков Apache Flink. В этой статье я опишу наш опыт и те практические выводы, которые мы сделали на промышленных средах, в виде репрезентативного тестирования, на котором проиллюстрирую ключевые практические сценарии.

    habr.com/ru/companies/datasapi

    #iceberg #Paimon #Open_Table_Format #тесты_производительности #flink #spark

  35. Open Table Formats — Iceberg vs Paimon — практика использования

    Привет, Хабр. Меня зовут Василий Мельник, я product owner решения для потоковой обработки данных Data Ocean SDI в компании Data Sapience. Наша команда приобрела большой практический опыт работы с Apache Iceberg в задачах на стыке традиционной пакетной обработки и near real-time и конкретно с использованием технологий на базе Flink, поэтому мы не могли пройти мимо нового открытого табличного формата (OTF) Paimon от разработчиков Apache Flink. В этой статье я опишу наш опыт и те практические выводы, которые мы сделали на промышленных средах, в виде репрезентативного тестирования, на котором проиллюстрирую ключевые практические сценарии.

    habr.com/ru/companies/datasapi

    #iceberg #Paimon #Open_Table_Format #тесты_производительности #flink #spark

  36. Open Table Formats — Iceberg vs Paimon — практика использования

    Привет, Хабр. Меня зовут Василий Мельник, я product owner решения для потоковой обработки данных Data Ocean SDI в компании Data Sapience. Наша команда приобрела большой практический опыт работы с Apache Iceberg в задачах на стыке традиционной пакетной обработки и near real-time и конкретно с использованием технологий на базе Flink, поэтому мы не могли пройти мимо нового открытого табличного формата (OTF) Paimon от разработчиков Apache Flink. В этой статье я опишу наш опыт и те практические выводы, которые мы сделали на промышленных средах, в виде репрезентативного тестирования, на котором проиллюстрирую ключевые практические сценарии.

    habr.com/ru/companies/datasapi

    #iceberg #Paimon #Open_Table_Format #тесты_производительности #flink #spark

  37. Open Table Formats — Iceberg vs Paimon — практика использования

    Привет, Хабр. Меня зовут Василий Мельник, я product owner решения для потоковой обработки данных Data Ocean SDI в компании Data Sapience. Наша команда приобрела большой практический опыт работы с Apache Iceberg в задачах на стыке традиционной пакетной обработки и near real-time и конкретно с использованием технологий на базе Flink, поэтому мы не могли пройти мимо нового открытого табличного формата (OTF) Paimon от разработчиков Apache Flink. В этой статье я опишу наш опыт и те практические выводы, которые мы сделали на промышленных средах, в виде репрезентативного тестирования, на котором проиллюстрирую ключевые практические сценарии.

    habr.com/ru/companies/datasapi

    #iceberg #Paimon #Open_Table_Format #тесты_производительности #flink #spark

  38. I've started using (generated) click tracking events as a data source when introducing #FlinkSQL - it's simple, yet still rich enough to let me explain a variety of nice #Flink features.

    I've written up a few examples at dalelane.co.uk/blog/?p=5806

  39. I've started using (generated) click tracking events as a data source when introducing #FlinkSQL - it's simple, yet still rich enough to let me explain a variety of nice #Flink features.

    I've written up a few examples at dalelane.co.uk/blog/?p=5806

  40. I've started using (generated) click tracking events as a data source when introducing #FlinkSQL - it's simple, yet still rich enough to let me explain a variety of nice #Flink features.

    I've written up a few examples at dalelane.co.uk/blog/?p=5806

  41. I've started using (generated) click tracking events as a data source when introducing #FlinkSQL - it's simple, yet still rich enough to let me explain a variety of nice #Flink features.

    I've written up a few examples at dalelane.co.uk/blog/?p=5806

  42. I've started using (generated) click tracking events as a data source when introducing #FlinkSQL - it's simple, yet still rich enough to let me explain a variety of nice #Flink features.

    I've written up a few examples at dalelane.co.uk/blog/?p=5806

  43. Bij #TacoMundo besteld en nu aan het duimen dat ze ook langskomen. #Flink liet me laatst eerst voor mijn boodschappen betalen om daarna toch maar de bestelling te annuleren. #AlbertHeijn en #Picnic leveren pas met Sint Juttemis.

    Zou Taco Mundo ook in de categorie "noodpakket" vallen?

    #sneeuw

  44. Bij #TacoMundo besteld en nu aan het duimen dat ze ook langskomen. #Flink liet me laatst eerst voor mijn boodschappen betalen om daarna toch maar de bestelling te annuleren. #AlbertHeijn en #Picnic leveren pas met Sint Juttemis.

    Zou Taco Mundo ook in de categorie "noodpakket" vallen?

    #sneeuw