#polars — Public Fediverse posts

So I moved into industry 1.5 months ago, which has meant a proper switch from R :rstats: to Python :python: (I love both). Here are a few observations for statistics-related stuff in this switch (mainly GLMs, statistical inference, contrasts)

- #polars is really great, I love LazyFrames & streaming millions of rows of parquet files, categorical data, missing data.
- I don't really like using #statsmodels, the interface is clunky and the formula API is unfinished

1/n

#DataScience #Statistics

So I moved into industry 1.5 months ago, which has meant a proper switch from R :rstats: to Python :python: (I love both). Here are a few observations for statistics-related stuff in this switch (mainly GLMs, statistical inference, contrasts)

- #polars is really great, I love LazyFrames & streaming millions of rows of parquet files, categorical data, missing data.
- I don't really like using #statsmodels, the interface is clunky and the formula API is unfinished

1/n

#DataScience #Statistics

So I moved into industry 1.5 months ago, which has meant a proper switch from R :rstats: to Python :python: (I love both). Here are a few observations for statistics-related stuff in this switch (mainly GLMs, statistical inference, contrasts)

- #polars is really great, I love LazyFrames & streaming millions of rows of parquet files, categorical data, missing data.
- I don't really like using #statsmodels, the interface is clunky and the formula API is unfinished

1/n

#DataScience #Statistics

So I moved into industry 1.5 months ago, which has meant a proper switch from R :rstats: to Python :python: (I love both). Here are a few observations for statistics-related stuff in this switch (mainly GLMs, statistical inference, contrasts)

- #polars is really great, I love LazyFrames & streaming millions of rows of parquet files, categorical data, missing data.
- I don't really like using #statsmodels, the interface is clunky and the formula API is unfinished

1/n

#DataScience #Statistics

So I moved into industry 1.5 months ago, which has meant a proper switch from R :rstats: to Python :python: (I love both). Here are a few observations for statistics-related stuff in this switch (mainly GLMs, statistical inference, contrasts)

- #polars is really great, I love LazyFrames & streaming millions of rows of parquet files, categorical data, missing data.
- I don't really like using #statsmodels, the interface is clunky and the formula API is unfinished

1/n

#DataScience #Statistics

Alltså... Polars LazyFrames är ju min nya bästa kompis. Har haft "lära sig polars" på att-göra-listan i tusen år... får igen gräma sig över att det tagit så länge att sätta tänderna i det.

#python #polars #datascience

@thealexmerced thanks! Added to wish list in manning. Better 2buy there vs Amazon to get the ai features?

I guess Manning got rid of old option to buy coins 2 read individual pages? was a cool feature 2 bad.

Thanks for reminder about #datafusion i guess it & #polars have excellent #iceberg support & can be used from #rust

I was thinking about replacing a #pyspark glue job with a rust #lambda on #aws

Just found your excellent medium account. Best of luck at your upcoming talk!

@thealexmerced thanks! Added to wish list in manning. Better 2buy there vs Amazon to get the ai features?

I guess Manning got rid of old option to buy coins 2 read individual pages? was a cool feature 2 bad.

Thanks for reminder about #datafusion i guess it & #polars have excellent #iceberg support & can be used from #rust

I was thinking about replacing a #pyspark glue job with a rust #lambda on #aws

Just found your excellent medium account. Best of luck at your upcoming talk!

@thealexmerced congrats on new #iceberg book! Looks good & good timing with all the new features coming out lately. Do you cover much re: cloud architecture or is that too specific (& which cloud would you choose anyway)?

saw you wrote #polars book as well. What do you think about using polars from #rust ? should work even better than from #python i would think but wasn’t sure. For career security in #ai age i was thinking about switching my #dataengineering focus to rust — thoughts?

@thealexmerced congrats on new #iceberg book! Looks good & good timing with all the new features coming out lately. Do you cover much re: cloud architecture or is that too specific (& which cloud would you choose anyway)?

saw you wrote #polars book as well. What do you think about using polars from #rust ? should work even better than from #python i would think but wasn’t sure. For career security in #ai age i was thinking about switching my #dataengineering focus to rust — thoughts?

Just updated my small :python: package polarsgrid for tidyverse-style expand_grid functionality in python polars 🐻‍❄️

https://pypi.org/project/polarsgrid/

Version 0.4.0 has unit tests, more efficient row-index computation, better CI.

Major new user-facing improvement is that you can now enter any iterable as the input, not just lists. So create your grid with range(10) instead of list(range(10)).

See this preprint for use-case
https://arxiv.org/abs/2509.11741

#python #polars #rstats

RE: https://mastodon.energy/@catalystcoop/116165894396269040

It's easy to query the bulk Parquet outputs with #polars or @duckdb or @pandas_dev

So far we've only applied basic transforms -- real dtypes & NULL values, standardized categorical values, etc. But the upgrade to a modern cloud-native format is a huge improvement over nested zipfiles.

And a big thanks to the folks at the AWS Open Data Registry for giving us a TB of free public storage so we can publish big data like this conveniently.

Let us know what you think, and what additional kinds of data cleaning, entity classification, record linkage, or additional aggregated outputs would be useful.

#OpenData #Energy #FOSS

Here is how you can explore massive datasets from the terminal 💯

🌀 **datui** — A high-performance TUI for analyzing tabular data

🔥 Query with SQL, render charts, transform data & stream huge files with Polars

🦀 Written in Rust & built with @ratatui_rs

⭐ GitHub: https://github.com/derekwisong/datui

#rustlang #ratatui #tui #data #analytics #polars #cli #devtools

Polars is a lightning fast DataFrame library/in-memory query engine with parallel execution and cache efficiency. And now you can use is with the tidyverse syntax: https://www.tidypolars.etiennebacher.com/ #rstats #polars #optimisation

Happy 3rd anniversary, Bamboo Weekly!

This is issue 156, marking 3 years of weekly Pandas challenges.

This week, we look at Winter Olympic data. Since they love snow so much, we'll use #Polars along with #Python #Pandas.

Check it out, at https://BambooWeekly.com.

AU CARNOTZET - Le 30 janvier, je vous retrouve au Carnotzet de La Russille pour parler polars! Rendez-vous à 20 h. Dédicaces et vente de livres après la rencontre 📚
https://larussille.ch/activites/retrouvons-nous/soiree-polar-emmanuelle-robert
#vd #polars #thrillers #culture #suisseromande #livres #carnotzet

AU CARNOTZET - Le 30 janvier, je vous retrouve au Carnotzet de La Russille pour parler polars! Rendez-vous à 20 h. Dédicaces et vente de livres après la rencontre 📚
https://larussille.ch/activites/retrouvons-nous/soiree-polar-emmanuelle-robert
#vd #polars #thrillers #culture #suisseromande #livres #carnotzet

AU CARNOTZET - Le 30 janvier, je vous retrouve au Carnotzet de La Russille pour parler polars! Rendez-vous à 20 h. Dédicaces et vente de livres après la rencontre 📚
https://larussille.ch/activites/retrouvons-nous/soiree-polar-emmanuelle-robert
#vd #polars #thrillers #culture #suisseromande #livres #carnotzet

AU CARNOTZET - Le 30 janvier, je vous retrouve au Carnotzet de La Russille pour parler polars! Rendez-vous à 20 h. Dédicaces et vente de livres après la rencontre 📚
https://larussille.ch/activites/retrouvons-nous/soiree-polar-emmanuelle-robert
#vd #polars #thrillers #culture #suisseromande #livres #carnotzet

Je fignole ma première infolettre de l'année. Pour vous abonner et participer aux concours (livres à gagner): https://emmanuellerobert.ch/#lecontact
(Je l'envoie avec la solution suisse d'Infomaniak)
#newsletter #infolettre #polar #polars #suisseromande

Je fignole ma première infolettre de l'année. Pour vous abonner et participer aux concours (livres à gagner): https://emmanuellerobert.ch/#lecontact
(Je l'envoie avec la solution suisse d'Infomaniak)
#newsletter #infolettre #polar #polars #suisseromande

Je fignole ma première infolettre de l'année. Pour vous abonner et participer aux concours (livres à gagner): https://emmanuellerobert.ch/#lecontact
(Je l'envoie avec la solution suisse d'Infomaniak)
#newsletter #infolettre #polar #polars #suisseromande

data challenge: rolling median

library(data.table)
set.seed(108)
x = rnorm(1e8)
n = 1000
frollmedian(x, n) |> system.time()
# user system elapsed
# 8.439 0.727 3.212

#pandas #polars #data #datascience #rdatatable #rstats

Прививаем машине музыкальный вкус: фильтруем плейлист на основе предпочтений

Раньше это было способом скоротать время в дороге, но теперь чтобы найти музыкальную "жемчужину" нужно несколько часов сфокусированного прослушивания новинок. Встал выбор: забить или.. Однажды у меня возникла идея, что с моим музыкальным хобби мне могло бы помочь ML. БОльшая часть входящего материала не соответствует моему персональному фильтру. Если убрать ее, то я снова смогу делать подборку в фоне и получать удовольствие Я не эксперт в ML, но задача вроде бы понятная - готовим датасет, берем модель, обучаем, приключение на 20 минут. . ..сейчас, спустя год, когда мой pet-project наконец-то работает. Я смотрю на путь, который привел меня к этому результату. Даже не с точки зрения технологий(про ML лучше писать мастерам игры), а с точки зрения логики решения глазами разработчика. Вот этим я и хочу поделиться

https://habr.com/ru/articles/979484/

#музыка #рекомендации #polars #essentia #librosa #telethon

Прививаем машине музыкальный вкус: фильтруем плейлист на основе предпочтений

Раньше это было способом скоротать время в дороге, но теперь чтобы найти музыкальную "жемчужину" нужно несколько часов сфокусированного прослушивания новинок. Встал выбор: забить или.. Однажды у меня возникла идея, что с моим музыкальным хобби мне могло бы помочь ML. БОльшая часть входящего материала не соответствует моему персональному фильтру. Если убрать ее, то я снова смогу делать подборку в фоне и получать удовольствие Я не эксперт в ML, но задача вроде бы понятная - готовим датасет, берем модель, обучаем, приключение на 20 минут. . ..сейчас, спустя год, когда мой pet-project наконец-то работает. Я смотрю на путь, который привел меня к этому результату. Даже не с точки зрения технологий(про ML лучше писать мастерам игры), а с точки зрения логики решения глазами разработчика. Вот этим я и хочу поделиться

https://habr.com/ru/articles/979484/

#музыка #рекомендации #polars #essentia #librosa #telethon

Прививаем машине музыкальный вкус: фильтруем плейлист на основе предпочтений

Раньше это было способом скоротать время в дороге, но теперь чтобы найти музыкальную "жемчужину" нужно несколько часов сфокусированного прослушивания новинок. Встал выбор: забить или.. Однажды у меня возникла идея, что с моим музыкальным хобби мне могло бы помочь ML. БОльшая часть входящего материала не соответствует моему персональному фильтру. Если убрать ее, то я снова смогу делать подборку в фоне и получать удовольствие Я не эксперт в ML, но задача вроде бы понятная - готовим датасет, берем модель, обучаем, приключение на 20 минут. . ..сейчас, спустя год, когда мой pet-project наконец-то работает. Я смотрю на путь, который привел меня к этому результату. Даже не с точки зрения технологий(про ML лучше писать мастерам игры), а с точки зрения логики решения глазами разработчика. Вот этим я и хочу поделиться

https://habr.com/ru/articles/979484/

#музыка #рекомендации #polars #essentia #librosa #telethon

Прививаем машине музыкальный вкус: фильтруем плейлист на основе предпочтений

Раньше это было способом скоротать время в дороге, но теперь чтобы найти музыкальную "жемчужину" нужно несколько часов сфокусированного прослушивания новинок. Встал выбор: забить или.. Однажды у меня возникла идея, что с моим музыкальным хобби мне могло бы помочь ML. БОльшая часть входящего материала не соответствует моему персональному фильтру. Если убрать ее, то я снова смогу делать подборку в фоне и получать удовольствие Я не эксперт в ML, но задача вроде бы понятная - готовим датасет, берем модель, обучаем, приключение на 20 минут. . ..сейчас, спустя год, когда мой pet-project наконец-то работает. Я смотрю на путь, который привел меня к этому результату. Даже не с точки зрения технологий(про ML лучше писать мастерам игры), а с точки зрения логики решения глазами разработчика. Вот этим я и хочу поделиться

https://habr.com/ru/articles/979484/

#музыка #рекомендации #polars #essentia #librosa #telethon

"Most of the time, a #Polars job will be completed while we are still waiting for the #Spark cluster to coldstart" https://pola.rs/posts/case-decathlon/#:~:text=cluster%20to%20coldstart.-,Most%20of%20the%20time%2C%20a%20Polars%20job%20will%20be%20completed%20while%20we%20are%20still%20waiting%20for%20the%20Spark%20cluster%20to%20coldstart,-. #Python #BigData

Discover how Decathlon, one of the world’s leading sports retailers, adopted the #opensource library #Polars to optimize its data workflows.

By migrating from Apache Spark to Polars for small input datasets, Decathlon achieved:
• Significant speed
• Meaningful cost savings

👉 Learn more: https://bit.ly/4qmb2zc

#InfoQ #AI #ApacheSpark

LangChain + Polars tạo nên agent độc đáo: Trí thông minh dữ liệu (Data Engineering) kết hợp kiểm toán cực kỳ cẩn trọng. Agent xử lý dữ liệu nhanh (Polars) + logic linh hoạt (LangChain) cho kết quả an toàn, hiệu quả. #LangChain #Polars #DataEngineering #AgentAI #KhoaHocDuLieu

https://www.reddit.com/r/SideProject/comments/1pqnkss/if_a_senior_data_engineer_and_a_paranoid_auditor/

[Перевод] Почему Python — не лучший язык для data science. Часть 2 — Python против R

Команда Python for Devs подготовила перевод статьи о том, почему Python — несмотря на свою популярность — не всегда идеален для Data Science. Автор показывает, как отсутствие нестандартной оценки выражений усложняет анализ данных, и сравнивает Python с R, где такие задачи решаются куда элегантнее.

https://habr.com/ru/articles/971372/

#python #datascience #tidyverse #pandas #векторизация #polars

Восемь высокопроизводительных Python-библиотек в копилку разработчикам

Когда в 1991 году Гвидо ван Россум представил миру Python, никто не мог предсказать, какое место через несколько десятилетий этот язык займет в веб-разработке, Data Science и Machine Learning. Сейчас Python продолжает развиваться: с новым поколением инструментов в прошлое уходят традиционные ограничения — производительность, GIL и сложность параллельных вычислений. Привет, Хабр! С вами Леша Жиряков, я руковожу бэкенд-направлением витрины KION, возглавляю гильдию по Python и пишу для блога MWS на Хабре. Я каждый день сталкиваюсь с вызовами высоконагруженных систем и сформировался пул инструментов, которые помогают решать критические проблемы современной разработки — от обработки данных с Polars до управления зависимостями с UV. В этом материале я сделаю обзор Python-библиотек, с которыми можно создавать системы, сравнимые по производительности с Go и Rust.

https://habr.com/ru/companies/ru_mts/articles/968776/

#библиотеки #python #fastapi #litestar #polars #httpx #dask #Pydantic_V2 #ruff #Pithon_UV

The more I work with #polars in #python, the more I appreciate how good it is. Syntax means that R and {dplyr} will always have a place in my heart, but polars fun too.

It was only today I realised that in `polars.Expr.replace()`, "passing a mapping with replacements is also supported as syntactic sugar."

Just what I wanted. Thanks to all who worked on it.

https://docs.pola.rs/api/python/stable/reference/expressions/api/polars.Expr.replace.html

So, when is geopolars coming?
maybe I want geonarwhals?

:blob_clown: #pandas #polars #narwhals #python #geopandas #geodata

In our latest blog post we compare the syntax of two Python libraries, Pandas and Polars for standard data-manipulation tasks.

#python #polars #pandas
https://www.jumpingrivers.com/blog/python-df-syntax/

Polars is a lightning fast DataFrame library/in-memory query engine with parallel execution and cache efficiency. And now you can use is with the tidyverse syntax: https://www.tidypolars.etiennebacher.com/ #rstats #polars #optimisation

"Personally, I would not recommend working with the Rust API for #polars yet. Suddenly, they rip out an interoperability function like the support for the official Arrow implementation, and you scramble to fix it. The Polars #rust library serves as a WIP for the Python project, and the rough edges feel endless.

The documentation tells a similar story. The deeper you go, the worse the documentation gets. This truly rears its ugly head when you must use the internal Polars crates like polars-arrow."

https://kindberg.earth/blog/polars-dataframe-to-duckdb-with-arrow/#easy-roundtrip-through-the-filesystem

Cannot agree more.

@arildsen @mkennedy

Found out today that Nushell is using #Polars and that plugins can be written in :python: https://fosstodon.org/@tsvenson/115406094496385448

Gradignan : des navettes gratuites depuis Bordeaux pour profiter pleinement du festival Lire en Poche

Et si ce week-end, vous alliez sortie littéraire et déplacement bas-carbone. À l’occasion de la 20e édition du…
#Bordeaux #FR #France #Actu #News #Europe #EU #actu #Actualités #bordeauxmétropole #bus #europe #Festival #Gradignan #lireenpoche #Littératurejeunesse #manga #navette #NouvelleAquitaine #placedesquinconces #polars #Républiquefrançaise #TBM
https://www.europesays.com/fr/448599/

https://www.europesays.com/fr/448599/ Gradignan : des navettes gratuites depuis Bordeaux pour profiter pleinement du festival Lire en Poche #actu #Actualités #Bordeaux #BordeauxMétropole #bus #EU #europe #Festival #FR #France #Gradignan #LireEnPoche #LittératureJeunesse #manga #navette #News #NouvelleAquitaine #PlaceDesQuinconces #polars #RépubliqueFrançaise #TBM

The startup behind open source tool Polars raises $21M from Accel

https://web.brid.gy/r/https://techcrunch.com/2025/09/29/the-startup-behind-open-source-tool-polars-raises-21m-from-accel/

Polars — «убийца Pandas» на максималках

Всем привет! Меня зовут Александр Андреев, я инженер данных. Сегодня я хочу рассказать вам о библиотеке Polars - потенциальной замене Pandas, любимой у большинства дата-инженеров и дата-саентистов библиотеки для работы с данными. В своей статье я последовательно пройдусь от истории библиотеки Polars до примеров кода, технических аспектов ее производительности и в конце дам ссылки на все бенчмарки, обучающие материалы и дополнительные статьи, которые использовались для написания данного обзора-туториала по этой замечательной библиотеке.

https://habr.com/ru/articles/946788/

#polars #pandas #data_engineering #data_science #data_analysis #dataframe #library #python #rust #dataset

Polars — «убийца Pandas» на максималках

Всем привет! Меня зовут Александр Андреев, я инженер данных. Сегодня я хочу рассказать вам о библиотеке Polars - потенциальной замене Pandas, любимой у большинства дата-инженеров и дата-саентистов библиотеки для работы с данными. В своей статье я последовательно пройдусь от истории библиотеки Polars до примеров кода, технических аспектов ее производительности и в конце дам ссылки на все бенчмарки, обучающие материалы и дополнительные статьи, которые использовались для написания данного обзора-туториала по этой замечательной библиотеке.

https://habr.com/ru/articles/946788/

#polars #pandas #data_engineering #data_science #data_analysis #dataframe #library #python #rust #dataset

Polars — «убийца Pandas» на максималках

Всем привет! Меня зовут Александр Андреев, я инженер данных. Сегодня я хочу рассказать вам о библиотеке Polars - потенциальной замене Pandas, любимой у большинства дата-инженеров и дата-саентистов библиотеки для работы с данными. В своей статье я последовательно пройдусь от истории библиотеки Polars до примеров кода, технических аспектов ее производительности и в конце дам ссылки на все бенчмарки, обучающие материалы и дополнительные статьи, которые использовались для написания данного обзора-туториала по этой замечательной библиотеке.

https://habr.com/ru/articles/946788/

#polars #pandas #data_engineering #data_science #data_analysis #dataframe #library #python #rust #dataset

Polars — «убийца Pandas» на максималках

Всем привет! Меня зовут Александр Андреев, я инженер данных. Сегодня я хочу рассказать вам о библиотеке Polars - потенциальной замене Pandas, любимой у большинства дата-инженеров и дата-саентистов библиотеки для работы с данными. В своей статье я последовательно пройдусь от истории библиотеки Polars до примеров кода, технических аспектов ее производительности и в конце дам ссылки на все бенчмарки, обучающие материалы и дополнительные статьи, которые использовались для написания данного обзора-туториала по этой замечательной библиотеке.

https://habr.com/ru/articles/946788/

#polars #pandas #data_engineering #data_science #data_analysis #dataframe #library #python #rust #dataset

Polars offers a blazing fast alternative to Pandas with 3-22x performance improvements on common operations. Built in Rust with automatic parallelisation, it uses familiar DataFrame syntax but thinks in expressions rather than columns. Migration can be gradual - start with data loading for immediate wins, then adopt lazy evaluation for full pipeline optimisation. #Polars #Pandas #DataScience #Python #Performance #DataAnalysis #MachineLearning #BigData https://www.kdnuggets.com/polars-for-pandas-users-a-blazing-fast-dataframe-alternative

https://www.europesays.com/fr/370625/ “La Honte”, par Arttu Tuominen : la mère à boire #2025 #arttu #bibliobs #boire #Books #Divertissement #Entertainment #FR #France #honte #Livres #mère #polars #tuominen

🐻‍❄️ If you're a fan of Polars dataframes, you’ll be thrilled to know that Spyder 6.1 will support them out of the box!! 🥳🥰

There’s one minor caveat though ...

🧐 For this you’ll need to install the Pyarrow package as well.

😎 But fear not, we’ll give you a nice warning when Pyarrow is missing.

#Spyder #Python #IDE #Polars

Навайбкодил самый быстрый xlsx editor

Предыстория: я фрилансер, основные деньги получаю, делая инструменты для редактирования xlsx файлов. Когда работы с Excel много, часто скапливаются задачи, что можно автоматизировать, но они делаются вручную. Я и пишу программы, что получают xlsx файл и обрабатывают данные с листов в удобный вид. Всё быстро, просто, понятно (одну кнопку нажать) и удобно.

https://habr.com/ru/articles/929592/

#rust #python #excel #xlsx #polars #вайбкодинг