#polars — Public Fediverse posts

@thealexmerced thanks! Added to wish list in manning. Better 2buy there vs Amazon to get the ai features?

I guess Manning got rid of old option to buy coins 2 read individual pages? was a cool feature 2 bad.

Thanks for reminder about #datafusion i guess it & #polars have excellent #iceberg support & can be used from #rust

I was thinking about replacing a #pyspark glue job with a rust #lambda on #aws

Just found your excellent medium account. Best of luck at your upcoming talk!

AU CARNOTZET - Le 30 janvier, je vous retrouve au Carnotzet de La Russille pour parler polars! Rendez-vous à 20 h. Dédicaces et vente de livres après la rencontre 📚
https://larussille.ch/activites/retrouvons-nous/soiree-polar-emmanuelle-robert
#vd #polars #thrillers #culture #suisseromande #livres #carnotzet

Прививаем машине музыкальный вкус: фильтруем плейлист на основе предпочтений

Раньше это было способом скоротать время в дороге, но теперь чтобы найти музыкальную "жемчужину" нужно несколько часов сфокусированного прослушивания новинок. Встал выбор: забить или.. Однажды у меня возникла идея, что с моим музыкальным хобби мне могло бы помочь ML. БОльшая часть входящего материала не соответствует моему персональному фильтру. Если убрать ее, то я снова смогу делать подборку в фоне и получать удовольствие Я не эксперт в ML, но задача вроде бы понятная - готовим датасет, берем модель, обучаем, приключение на 20 минут. . ..сейчас, спустя год, когда мой pet-project наконец-то работает. Я смотрю на путь, который привел меня к этому результату. Даже не с точки зрения технологий(про ML лучше писать мастерам игры), а с точки зрения логики решения глазами разработчика. Вот этим я и хочу поделиться

https://habr.com/ru/articles/979484/

#музыка #рекомендации #polars #essentia #librosa #telethon

Восемь высокопроизводительных Python-библиотек в копилку разработчикам

Когда в 1991 году Гвидо ван Россум представил миру Python, никто не мог предсказать, какое место через несколько десятилетий этот язык займет в веб-разработке, Data Science и Machine Learning. Сейчас Python продолжает развиваться: с новым поколением инструментов в прошлое уходят традиционные ограничения — производительность, GIL и сложность параллельных вычислений. Привет, Хабр! С вами Леша Жиряков, я руковожу бэкенд-направлением витрины KION, возглавляю гильдию по Python и пишу для блога MWS на Хабре. Я каждый день сталкиваюсь с вызовами высоконагруженных систем и сформировался пул инструментов, которые помогают решать критические проблемы современной разработки — от обработки данных с Polars до управления зависимостями с UV. В этом материале я сделаю обзор Python-библиотек, с которыми можно создавать системы, сравнимые по производительности с Go и Rust.

https://habr.com/ru/companies/ru_mts/articles/968776/

#библиотеки #python #fastapi #litestar #polars #httpx #dask #Pydantic_V2 #ruff #Pithon_UV

The startup behind open source tool Polars raises $21M from Accel

https://web.brid.gy/r/https://techcrunch.com/2025/09/29/the-startup-behind-open-source-tool-polars-raises-21m-from-accel/

Polars — «убийца Pandas» на максималках

Всем привет! Меня зовут Александр Андреев, я инженер данных. Сегодня я хочу рассказать вам о библиотеке Polars - потенциальной замене Pandas, любимой у большинства дата-инженеров и дата-саентистов библиотеки для работы с данными. В своей статье я последовательно пройдусь от истории библиотеки Polars до примеров кода, технических аспектов ее производительности и в конце дам ссылки на все бенчмарки, обучающие материалы и дополнительные статьи, которые использовались для написания данного обзора-туториала по этой замечательной библиотеке.

https://habr.com/ru/articles/946788/

#polars #pandas #data_engineering #data_science #data_analysis #dataframe #library #python #rust #dataset

Polars — «убийца Pandas» на максималках

Всем привет! Меня зовут Александр Андреев, я инженер данных. Сегодня я хочу рассказать вам о библиотеке Polars - потенциальной замене Pandas, любимой у большинства дата-инженеров и дата-саентистов библиотеки для работы с данными. В своей статье я последовательно пройдусь от истории библиотеки Polars до примеров кода, технических аспектов ее производительности и в конце дам ссылки на все бенчмарки, обучающие материалы и дополнительные статьи, которые использовались для написания данного обзора-туториала по этой замечательной библиотеке.

https://habr.com/ru/articles/946788/

#polars #pandas #data_engineering #data_science #data_analysis #dataframe #library #python #rust #dataset

Polars — «убийца Pandas» на максималках

Всем привет! Меня зовут Александр Андреев, я инженер данных. Сегодня я хочу рассказать вам о библиотеке Polars - потенциальной замене Pandas, любимой у большинства дата-инженеров и дата-саентистов библиотеки для работы с данными. В своей статье я последовательно пройдусь от истории библиотеки Polars до примеров кода, технических аспектов ее производительности и в конце дам ссылки на все бенчмарки, обучающие материалы и дополнительные статьи, которые использовались для написания данного обзора-туториала по этой замечательной библиотеке.

https://habr.com/ru/articles/946788/

#polars #pandas #data_engineering #data_science #data_analysis #dataframe #library #python #rust #dataset

Polars — «убийца Pandas» на максималках

Всем привет! Меня зовут Александр Андреев, я инженер данных. Сегодня я хочу рассказать вам о библиотеке Polars - потенциальной замене Pandas, любимой у большинства дата-инженеров и дата-саентистов библиотеки для работы с данными. В своей статье я последовательно пройдусь от истории библиотеки Polars до примеров кода, технических аспектов ее производительности и в конце дам ссылки на все бенчмарки, обучающие материалы и дополнительные статьи, которые использовались для написания данного обзора-туториала по этой замечательной библиотеке.

https://habr.com/ru/articles/946788/

#polars #pandas #data_engineering #data_science #data_analysis #dataframe #library #python #rust #dataset

🐻‍❄️ If you're a fan of Polars dataframes, you’ll be thrilled to know that Spyder 6.1 will support them out of the box!! 🥳🥰

There’s one minor caveat though ...

🧐 For this you’ll need to install the Pyarrow package as well.

😎 But fear not, we’ll give you a nice warning when Pyarrow is missing.

#Spyder #Python #IDE #Polars

Навайбкодил самый быстрый xlsx editor

Предыстория: я фрилансер, основные деньги получаю, делая инструменты для редактирования xlsx файлов. Когда работы с Excel много, часто скапливаются задачи, что можно автоматизировать, но они делаются вручную. Я и пишу программы, что получают xlsx файл и обрабатывают данные с листов в удобный вид. Всё быстро, просто, понятно (одну кнопку нажать) и удобно.

https://habr.com/ru/articles/929592/

#rust #python #excel #xlsx #polars #вайбкодинг

I was annoyed that there is no "expand_grid()" function in :python: #Python as in :rstats: #RStats #tidyverse

So I just published a small package on #PyPI !

Introducing polarsgrid
https://pypi.org/project/polarsgrid/

Using the excellent #polars 🐻‍❄️ package, easily create a table with product of factors:

from polarsgrid import expand_grid
expand_grid(a=[1, 2, 3], b=["x", "y"])

Yields all combinations of its inputs as a #DataFrame

It can also produce a #LazyFrame for streaming extra-big tables to disk

I was annoyed that there is no "expand_grid()" function in :python: #Python as in :rstats: #RStats #tidyverse

So I just published a small package on #PyPI !

Introducing polarsgrid
https://pypi.org/project/polarsgrid/

Using the excellent #polars 🐻‍❄️ package, easily create a table with product of factors:

from polarsgrid import expand_grid
expand_grid(a=[1, 2, 3], b=["x", "y"])

Yields all combinations of its inputs as a #DataFrame

It can also produce a #LazyFrame for streaming extra-big tables to disk

I was annoyed that there is no "expand_grid()" function in :python: #Python as in :rstats: #RStats #tidyverse

So I just published a small package on #PyPI !

Introducing polarsgrid
https://pypi.org/project/polarsgrid/

Using the excellent #polars 🐻‍❄️ package, easily create a table with product of factors:

from polarsgrid import expand_grid
expand_grid(a=[1, 2, 3], b=["x", "y"])

Yields all combinations of its inputs as a #DataFrame

It can also produce a #LazyFrame for streaming extra-big tables to disk

I was annoyed that there is no "expand_grid()" function in :python: #Python as in :rstats: #RStats #tidyverse

So I just published a small package on #PyPI !

Introducing polarsgrid
https://pypi.org/project/polarsgrid/

Using the excellent #polars 🐻‍❄️ package, easily create a table with product of factors:

from polarsgrid import expand_grid
expand_grid(a=[1, 2, 3], b=["x", "y"])

Yields all combinations of its inputs as a #DataFrame

It can also produce a #LazyFrame for streaming extra-big tables to disk

I was annoyed that there is no "expand_grid()" function in :python: #Python as in :rstats: #RStats #tidyverse

So I just published a small package on #PyPI !

Introducing polarsgrid
https://pypi.org/project/polarsgrid/

Using the excellent #polars 🐻‍❄️ package, easily create a table with product of factors:

from polarsgrid import expand_grid
expand_grid(a=[1, 2, 3], b=["x", "y"])

Yields all combinations of its inputs as a #DataFrame

It can also produce a #LazyFrame for streaming extra-big tables to disk

Looking for something to do after lunch? There are a bunch of open spaces tarting at 2:00 PM:

Room 308: AI for data science
Room 309: CTF tips & tricks
Room 315: Free-threaded #Python
Room 316: #WheelNext - Let's re-invent the Wheel
Room 318: All things tabular (#Pandas, #Polars, @duckdb

https://us.pycon.org/2025/schedule/open-spaces/

#PyConUS #PyConUS2025 #PyConUSOpenSpaces

At last night’s @mug meeting we looked at a lot of different solutions to #adventofcode day 1 in many different languages. Two that were very interesting to me were #Zig and #haskell. The way these two languages worked was really quite fascinating. After seeing real code in these two languages, I can tell they are not for me; but they were interesting and illuminating nonetheless.

There was a solution entirely in #SQL. Another in #vim9script. Another in #swiftlang #swift (I don’t think that one’s in the repo yet). I wrote several implementations myself. The one I felt most proud of is #Python with the core written in #rustlang #rust tied together with #PyO3. The one I felt was maybe the best tool for the job was entirely based on #pandas. As I said in a previous post, I tried to solve it in #polars, but the API exposed by Polars at least as far as I could tell, made it no better than simple lists in Python. I need to get deeper knowledge here.

The repo lives here: https://github.com/MichiganUnixUserGroup/MUG-2025-03-11-Advent-of-Code.

Just caught up with the recent Delta Lake webinar,

> Revolutionizing Delta Lake workflows on AWS Lambda with Polars, DuckDB, Daft & Rust

Some interesting hints there regarding lightweight processing of big-ish data. Easy to relate to any other framework instead of Lambda, e.g. #ApacheAirflow tasks

https://youtu.be/BR9oFD0QMAs

#dataengineering #datascience #duckdb #daft #polars #pandas #python #spark #deltalake #databricks #airflow #bigdata #smalldata

"Estáticas básicas de texto com #Polars e #Spacy - #NLP 03 " #Python https://www.youtube.com/watch?v=FgsdmxILSFo

Great Tables is in need of great reviewers! We’re looking for volunteer reviewers with expertise in Pandas or Polars DataFrames and an interest in making beautiful tables to help review the Great Tables Python package.

🫶 New to reviewing? We offer mentorship!

⚡ Learn more about Great Tables: https://github.com/posit-dev/great-tables
💜 Apply today: https://bit.ly/pyOSReviewer

#OpenSource #OpenScience #Python #pyOpenSci #Volunteer #GreatTables #Pandas #Polars

Self-Hosting Kusto

This is going to be an unusual one, partly because it is about a Microsoft thing (which I typically avoid) and because it’s going to be a bit of a brain dump.(...)

#adx #ai #azure #docker #jupyter #kql #kusto #ml #parquet #polars

https://taoofmac.com/space/blog/2024/06/28/2100

Client libraries are better when they have no API: https://csvbase.com/blog/7

#CSV #pandas #polars #dask #curl #fsspec

Did you miss the #PyData #Pittsburgh event about building a modern #data analysis and #visualization pipeline for the @codeandsupply Compensation Survey Report with #Polars, #Jupyter, #papermill, #Plotly, and more? Now you can catch a recording of the presentation here!

https://www.youtube.com/watch?v=bbjMVXs-nQc

Join us *tonight* for a talk from @colindean about how @codeandsupply used #Polars, #Jupyter, #papermill, #Plotly, and other open source tools to generate the C&S Compensation Survey Report, a 100+ page research paper chock full of data analysis and visualization.

See you there!

https://www.meetup.com/pydata-pittsburgh/events/298352661/

Want to learn about how to use #Polars, #Jupyter, #papermill, #Plotly, and other open source tools to create a modern, reproducible data analysis and visualization pipeline?

Join #PyData #Pittsburgh on Wednesday, January 17 for the talk "Data Engineering: The Code & Supply Compensation Survey Report" from @colindean, managing director at @codeandsupply!

https://www.meetup.com/pydata-pittsburgh/events/298352661/

📝 "Small molecules in ChEMBL database"

👤 Jennifer HY Lin (@jhylin)

🔗 https://jhylin.github.io/Data_in_life_blog/posts/08_ML1-1_Small_molecules_in_ChEMBL_database/ML1-1_chembl_cpds.html

#pyladies #python #machinelearningprojects #scikitlearn #polars #jupyter #chembldatabase #cheminformatics

📝 "Molecular visualisation (Molviz) web application"

👤 Jennifer HY Lin (@jhylin)

🔗 https://jhylin.github.io/Data_in_life_blog/posts/15_Molviz/itables.html

#pyladies #python #datamol #pandas #polars #itables

📝 "Molecular visualisation (Molviz) web application"

👤 Jennifer HY Lin (@jhylin)

🔗 https://jhylin.github.io/Data_in_life_blog/posts/15_Molviz/Molviz.html

#pyladies #python #datamol #shiny #pandas #polars #itables

📝 "Working with scaffolds in small molecules"

👤 Jennifer HY Lin (@jhylin)

🔗 https://jhylin.github.io/Data_in_life_blog/posts/14_Scaffolds_in_small_molecules/chembl_anti-inf_data_prep_current.html

#pyladies #python #rdkit #datamol #pandas #polars #cheminformatics

The moment we were waiting for - @ritchie46 talking about the future of Polars at #PyConLT!

#polars #python #pydata

That's a wrap for my talk "Analyze your data at the speed of light with Polars and Kedro"! See the workshop materials on my GitHub:

https://github.com/astrojuanlu/workshop-jupyter-kedro

And follow @kedro on Mastodon 🔶

Enjoy the rest of #PyConLT ! #python #kedro #polars #PyData

Noticias sobre Python y Datos de la semana, episodio 76 🐍⚙️

En resumen: Edición ultrarrápida de domingo por la tarde: versiones nuevas de numba, statsmodels y geopandas, por qué no usar leyendas en matplotlib, y primeras pruebas con StarCoder.

https://buttondown.email/astrojuanlu/archive/episodio-76/

Apoya el noticiero suscribiéndote por correo 📬

#noticieropythonydatos #python #pydata #numba #statsmodels #geopandas #matplotlib #starcoder #polars

¡Sigue a @numba y @geopandas en Mastodon!

New release of #qsv, the CSV toolkit, is out! 🎉

The `diff` command now sorts by line when no other sort option is given (before, order of diffresult was not stable across runs). 🧮 📃

This release also introduces a new command `joinp` - the first command that is powered by pola.rs! 🚀

Check the full release notes here:
https://github.com/jqnatividad/qsv/releases/tag/0.90.0

#CSV #CLI #Terminal #Rust #RustLang #OpenSource #Data #DataScience #Polars

Noticias sobre Python científico de la semana, episodio 62 🐍⚙️🗳

En resumen: Nace Arrow Database Connectivity, más out-of-core en Polars, análisis sintácticos, imparcialidad, machine learning ilustrado, y ¿cambio de nombre? https://astrojuanlu.substack.com/p/episodio-62 Apoya el noticiero suscribiéndote por correo 📫

#arrow #polars #nlp #aiethics #aifairness #pydata #python

Noticias sobre Python científico de la semana, episodio 62 🐍⚙️🗳

En resumen: Nace Arrow Database Connectivity, más out-of-core en Polars, análisis sintácticos, imparcialidad, machine learning ilustrado, y ¿cambio de nombre? https://astrojuanlu.substack.com/p/episodio-62 Apoya el noticiero suscribiéndote por correo 📫

#arrow #polars #nlp #aiethics #aifairness #pydata #python

Why Polars uses less memory than Pandas. By Itamar Turner-Trauring https://pythonspeed.com/articles/polars-memory-pandas/

«Pandas is a eager API: you tell it to do something, and it immediately does it. […] The alternative is a lazy API that allows you to string together a series of operations—loading, filtering, aggregating, transforming—without actually doing any work. After creating this series of operations, you can then separately tell the library to execute the whole thing».

#Progamming #Python #Pandas #Polars

@smranaldi I have used Julia and would recommend it for this field. But I wanted to try Rust for numerical computations very soon. Check out #polars, #ndarray and #plotters.

If you're interested in #dataframes, seems like it starts to be many of us in Mastodon: @jorisvandenbossche @marcogorelli (#pandas) @maartenbreddels (#vaex) @ritchie46 (#polars) @andygrove (#datafusion) @bkamins (#JuliaLang)

And probably others (feel free to comment with anyone I missed).

One of the most promising projects around https://github.com/pola-rs/polars/ :polarbear:

#polars #python #data #dataframes #rust #rustlang

Using Polars to analyze 1M+ Stack Overflow questions

https://www.orchest.io/blog/the-great-python-dataframe-showdown-part-3-lightning-fast-queries-with-polars

#python #dataframes #dataengineering #datascience #polars