#flink — Public Fediverse posts

Statefun Tasks 3.5.0 is out with support for Apache Flink 2.3.0

#Flink #apacheFlink #flinkStatefun

https://github.com/fransking/flink-statefun-tasks/releases/tag/3.5.0

I'm exploring how the #Flink Operator could better serve small isolated jobs that don't need a distributed multi-pod cluster. FlinkMiniCluster could give us a single-pod model but still keep the Operator's lifecycle and checkpoint tooling.

https://dalelane.co.uk/blog/?p=6123

I have news! I'm joining Confluent to work on #Flink. 🎉 🥳

It's been an odd couple months trying to work out what I'm going to do next, and I owe a huge thanks to a lot of people who went out of their way to help me find options.

https://dalelane.co.uk/blog/?p=6083

Plattformarbeit im Test: Kaum eine App bietet faire Bedingungen | heise online https://www.heise.de/news/Plattformarbeit-im-Test-Kaum-eine-App-bietet-faire-Bedingungen-11348221.html #Lieferando #Wolt #Bolt #Uber #UberEats #Flink #Helpling

Apache Paimon: steamhouse как логическое продолжение современных КХД

Apache Paimon: стриминговый lakehouse для дата-инженеров Сколько систем вы держите ради того, чтобы аналитики видели события через секунды, а годовые отчёты собирались без прогрузки всех данных целиком? Kafka, Flink, S3/HDFS, ClickHouse и бесконечная синхронизация состояния между ними. Apache Paimon стирает границу между стримингом и батчем: одна таблица на LSM-tree отдаёт свежие данные за секунды и одновременно служит источником для тяжёлой аналитики. Разбираем архитектуру, честные бенчмарки против Iceberg, Delta Lake и Hudi - где Paimon выигрывает, а где проигрывает - и проходим путь от первой таблицы до CDC-пайплайна в проде на рабочем коде.

https://habr.com/ru/articles/1053674/

#paimon #flink #java #streamhouse #dwh #streaming #batch #lakehouse #datalakehouse #datalake

Mal wieder haben wir 5000,-€ beim Lieferdienst Flink raus geholt. Kaum einem Unternehmen mussten wir so oft auf die Finger hauen. Die Missstände haben System. Die Arbeitsbedingungen sind schlecht, die Fluktuation sehr hoch, angeheuert werden gezielt Beschäftigtengruppen, denen gewerkschaftliche Organisation durch Sprachbarrieren, Prekarität und schlechte/keine Vorerfahrungen mit Gewerkschaften schwer fällt.

Immerhin: Wir gewinnen Routine in diesen Fällen und die Gegenseite knickt schneller ein, weil sie ausreichend oft vor Gericht/durch Aktionen verloren hat.

#Gewerkschaft #Lieferdienste #Solidarität #Flink #Lieferando #Gorillaz #Uber_Eats #RidersUnite

https://aachen.fau.org/vergleich-ueber-mobbing-fall-bei-flink/

Vergleich über Mobbing-Fall bei Flink

https://aachen.fau.org/vergleich-ueber-mobbing-fall-bei-flink/

Processing the stream of Wikipedia edits has been a #Flink demo I've come back to many times over the last couple years. It's a fun, easy-to-explain use case for Flink SQL with freely available real data

I needed to give this demo again for the recent Hursley Summit event, so took the chance to grab a few recordings

https://dalelane.co.uk/blog/?p=5304

Современный дата-стек: потоковая система из «LEGO»

Вы слышали о Kafka , MQTT , S3 , Iceberg , Trino , PostgreSQL , Redis и Flink ? А насколько хорошо вы знаете эти технологии? По каждой из них написаны огромные книги («Kafka: The Definitive Guide», около 800 страниц), и каждый день выходят новые публикации про тонкости. Эта статья про другое. Вместо внутренностей движков и законов распределённых систем посмотрим на эти технологии как на кубики LEGO: какую роль каждая из них играет в архитектуре и как они стыкуются друг с другом. Это будет практический туториал: начнём с минимальной конфигурации и постепенно соберём сложную систему. Статью можно просто читать как обзор архитектуры, а можно запускать каждую конфигурацию и изучать её в деталях. Для этого достаточно Git , Git LFS и Docker Compose . Всё запускается в контейнерах. Даже примеры на Java собираются через Docker multi-stage build .

https://habr.com/ru/articles/1022970/

#Kafka #Flink #Redis #Iceberg #Java #Docker #dockercompse

A few weeks ago, I needed to explain why it's difficult to say the number of CPU cores needed for #Flink to process 100k #Kafka events/sec (in the absence of any info about the data, the environment, the nature of the processing, etc.)

Two dozen graphs and one Doctor Who meme later, that turned into a blog post 😀

https://dalelane.co.uk/blog/?p=6001

Volga: движок обработки real-time данных для AI/ML — аналог Spark и Flink на Rust (Arrow + DataFusion)

Volga — open-source движок обработки данных, созданный как альтернатива Apache Spark и Apache Flink и ориентированный на требования real-time AI/ML систем: консистентное вычисление фичей между online и offline режимами, point-in-time корректные агрегации, длинные скользящие окна, а также ML-ориентированные функции, такие как top- и категориальные агрегации. В статье рассматриваются мотивация и история разработки, архитектура системы и её ключевые компоненты, а также проводится сравнение с ML-ориентированными решениями (Chronon, OpenMLDB) и универсальными стриминговыми движками (Apache Flink, Apache Spark, Arroyo).

https://habr.com/ru/articles/1021290/

#rust #spark #flink #ai #ml #mlops #kubernetes #sql #python #streaming

I've written up some #Flink thoughts : event-stream processing project don't have to be accessible SQL *or* powerful Java. UDFs let you work in SQL, and write Java to extend what SQL can do when you need.

I've come up with six examples of when it helps to extend Flink SQL with Java functions.

https://dalelane.co.uk/blog/?p=5920

I presented at our annual online #IBMTechCon event yesterday about Deploying an Apache #Flink job into production.

I gave a walk-through of what is involved taking an event processing flow, and deploying it into Kubernetes.

I tried to fit a lot in the hour!

https://dalelane.co.uk/blog/?p=5906

creating #Kafka and #Flink demos for TechCon 2026 - our virtual event later this month

TechCon is about live and in-depth technical sessions on integration, automation, messaging, and event driven architectures - we can't get away with just slides! ;-)

https://www.ibm.com/events/reg/flow/ibm/l2ma0vmb/landing/page/landing

#Flink has largely replaced #Kafka Streams for me.

I do miss Streams... maybe I'm getting old and prone to nostalgia, or maybe I'm sad to move on because of the amount of time I spent learning Streams' quirks!

This is a better intro to how they compare than my gut gives :)

https://xebia.com/blog/making-right-choice-flink-or-kafka-streams/

Open Table Formats — Iceberg vs Paimon — практика использования

Привет, Хабр. Меня зовут Василий Мельник, я product owner решения для потоковой обработки данных Data Ocean SDI в компании Data Sapience. Наша команда приобрела большой практический опыт работы с Apache Iceberg в задачах на стыке традиционной пакетной обработки и near real-time и конкретно с использованием технологий на базе Flink, поэтому мы не могли пройти мимо нового открытого табличного формата (OTF) Paimon от разработчиков Apache Flink. В этой статье я опишу наш опыт и те практические выводы, которые мы сделали на промышленных средах, в виде репрезентативного тестирования, на котором проиллюстрирую ключевые практические сценарии.

https://habr.com/ru/companies/datasapience/articles/988308/

#iceberg #Paimon #Open_Table_Format #тесты_производительности #flink #spark

I've started using (generated) click tracking events as a data source when introducing #FlinkSQL - it's simple, yet still rich enough to let me explain a variety of nice #Flink features.

I've written up a few examples at https://dalelane.co.uk/blog/?p=5806

Bij #TacoMundo besteld en nu aan het duimen dat ze ook langskomen. #Flink liet me laatst eerst voor mijn boodschappen betalen om daarna toch maar de bestelling te annuleren. #AlbertHeijn en #Picnic leveren pas met Sint Juttemis.

Zou Taco Mundo ook in de categorie "noodpakket" vallen?

#sneeuw

𝗙𝗹𝗶𝘁𝘀𝗯𝗲𝘇𝗼𝗿𝗴𝗲𝗿 𝗙𝗹𝗶𝗻𝗸 𝘀𝗹𝘂𝗶𝘁 𝗹𝗼𝗰𝗮𝘁𝗶𝗲𝘀 𝗱𝗼𝗼𝗿 𝘀𝗻𝗲𝗲𝘂𝘄, 𝗹𝗮𝗻𝗴𝗲𝗿𝗲 𝘄𝗮𝗰𝗵𝘁𝘁𝗶𝗷𝗱𝗲𝗻 𝗯𝗶𝗷 𝗧𝗵𝘂𝗶𝘀𝗯𝗲𝘇𝗼𝗿𝗴𝗱

Wie in deze omstandigheden eten of boodschappen wil laten bezorgen omdat 'ie zelf de deur niet uit durft, moet geduld hebben. Door het winterse weer kampen bezorgdiensten zoals Thuisbezorgd en Flink met vertragingen. In sommige regio's zijn locaties...

https://www.rtl.nl/nieuws/binnenland/artikel/5551528/sneeuw-legt-bezorgdiensten-deels-plat-langere-wachttijden-en

#Flink #sneeuw #wachttijden

Flink Stateful Functions https://nightlies.apache.org/flink/flink-statefun-docs-stable/ hasn't had an update in several years and is still compiled against an old version of Apache Flink.

I spent some time during the holidays uplifting it to Flink 2.2.0 https://github.com/fransking/flink-statefun/commit/25b2dfcc3feafd701eb2fec32d413fab56e1cfe6

Notionally it appears to be working as expected.

#flink #flinkStatefun #apacheFlink

Flink Kubernetes operator: опыт построения стриминговой Big Data платформы

Всем привет! Меня зовут Артемий, я работаю SRE-инженером в команде RTP (real time processing) Clickstream в Авито . Сегодня мы хотим поделиться нашей историей о том, как мы переехали в Kubernetes, развернув Apache Flink с помощью Flink k8s operator.

https://habr.com/ru/companies/avito/articles/972412/

#data #dwh #DataOps #bigdata #flink #sql #realtime #analytics #analytical_engine

От минут к секундам, от ClickHouse к StarRocks: путь к real‑time в Hello

Кейс Hello: миграция 100+ млрд строк с ClickHouse на StarRocks. Как ускорить аналитику в 5 раз, снизить расходы на инфраструктуру на 80% и построить real-time DWH. Разбор архитектуры, самописных инструментов валидации и подводных камней перехода.

https://habr.com/ru/articles/970388/

#StarRocks #ClickHouse #Big_Data #OLAP #миграция_данных #realtime_analytics #Data_Lake #Flink #оптимизация #DWH

FlinkSQL в Авито: что внутри и как нам это помогает

Привет! Меня зовут Артемий, я инженер в команде Processing и веду фичатрек по развитию FlinkSQL в Авито . Сегодня я расскажу про инструмент, который мы развиваем в Avito — FlinkSQL. Он использует потоковые данные для аналитики в реальном времени: метрики, временные срезы, A/B-расчеты, поиск аномалий. Все это на привычном SQL, чтобы команда видела картину и могла действовать сразу.

https://habr.com/ru/companies/avito/articles/959382/

#Flink #kubernetes #bigdata #k8s #operator #kubernetes_operator #flink_kubernetes_operator #Apache_Flink #DataOps #dataops_platform

a quick example of using LISTAGG and ARRAY_AGG in #Flink SQL (and I managed to avoid mentioning how much the inconsistent use of underscores in SQL bugs me 😜)

https://dalelane.co.uk/blog/?p=5713

Some suggestions of open source tools for data #analytics for people thinking which tools to use or consider to use.

#Plausible for #web analytics. It's very lightweight and #privacy-friendly, #GDPR-compliant. It's possible to self-host, but their #SaaS offering is affordable and meets needs.

#Metabase (self-hosted) for #business intelligence and organizing business/customer #data. It takes some time to configure and prepare #datasets, but for long-term is worthy.

#Clickhouse for sub-second #OLAP analytics.

Depending on projects/business scenarios, Apache Software Foundation's tools like #Doris, #Airflow, #Druid, #Flink, #Cassandra. They require some time to learn, but it's good idea to be familiar with them.
#dataanalytics #business #opensource #tech

Join us in #Lucerne on October 15, 2025 for an exciting talk by Viktor Gamov about #StreamProcessing with #Apache #Flink!

Stream processing has come a long way. Today’s systems handle strict correctness guarantees, low latency, and terabytes of state. In this talk, Viktor will introduce #ApacheFlink, explain concepts like stateful and event-time stream processing, and explore its APIs and ecosystem.

More info & registration: https://www.jug.ch/html/events/2025/stateful_stream_processing.html

#Java #Flink #Kafka #CloudNative