#pandas — Public Fediverse posts

Как за один вечер я написал сервис инвентаризации оргтехники для филиальной сети из 16 локаций

Знакомая работает в IT-департаменте организации с 16 филиалами и ~5000 единиц оргтехники на балансе. Попросила: “Сделай сервис, чтобы загрузить фотку шильдика, и он сказал, у кого эта железка стоит”. Звучит просто. На практике это вылилось в production-сервис с распознаванием по фото через Claude vision, ETL из бухгалтерских .xls (привет, xlrd 1.2), нормализацией грязных инвентарных номеров и автопушем в Google Sheets. Рассказываю про все грабли — от deadlock pandas vs xlrd до бага, который считал две разные железки одной

https://habr.com/ru/articles/1039940/

#Python #FastAPI #SQLite #ETL #pandas #инвентаризация #Claude_vision #OpenRouter #SQLAlchemy

5 фатальных ошибок при работе с Pandas (и как их избежать)

Pandas — швейцарский нож дата-аналитика. Пара строк, и данные отфильтрованы, сгруппированы и готовы к работе. Но часто бывает так: изящный скрипт, летавший на тестовом датасете, на реальных объемах превращается в тормозящего монстра, который воет кулером и выплевывает MemoryError. Почему так происходит? Главная беда — наши привычки из чистого Python. Циклы for, apply и построчная обработка идут вразрез с архитектурой Pandas, построенной поверх массивов NumPy. В этой статье разберем 5 самых частых (и фатальных) ошибок при работе с DataFrame. Посмотрим, как безобидные решения убивают производительность и память, и научимся переписывать код так, чтобы всё работало быстро, элегантно и «по-пандасовски». Спойлер: циклов не будет.

https://habr.com/ru/articles/1008910/

#python #pandas #анализ_данных #data_science #оптимизация_кода #антипаттерны #векторизация #numpy #memoryerror

Модуль Python для обновления данных в БД — DBMerge

Хочу рассказать о своей разработке и поделиться ей с сообществом habr в виде готового модуля для Python. Этот модуль решает задачу обновления данных в базе данных. Он выполняет insert/update/delete в одном действии. Модуль DBMerge проектировался для упрощения ETL процессов по загрузке данных из множества внешних источников в SQL базу. Для взаимодействия с базой данных используется SQLAlchemy и ее универсальные механизмы, таким образом, разработка не имеет привязки к конкретной БД. (На момент написания статьи, детальные тесты проводились для PostgreSQL, MariaDB, SQLite, MS SQL) Принцип действия Принцип действия следующий: модуль создает временную таблицу в базе и записывает в нее весь входящий датасет через операцию массового insert. Далее он выполняет инструкции UPDATE, INSERT, DELETE для целевой таблицы.

https://habr.com/ru/articles/985306/

#sql #sqlalchemy #python #etl #postgresql #pandas

[Перевод] Почему Python — не лучший язык для data science. Часть 2 — Python против R

Команда Python for Devs подготовила перевод статьи о том, почему Python — несмотря на свою популярность — не всегда идеален для Data Science. Автор показывает, как отсутствие нестандартной оценки выражений усложняет анализ данных, и сравнивает Python с R, где такие задачи решаются куда элегантнее.

https://habr.com/ru/articles/971372/

#python #datascience #tidyverse #pandas #векторизация #polars

International Red Panda Day.

#redpanda #panda #pandas #pandalover #pandalove #redpandas #pandabear #pandalife #animals #pandastyle #zoo #redpandasofinstagram #giantpanda #pandababy #babypanda #pandaworld #pandalovers #cuteanimals #cute #pandaeyes #pandapanda #pandapower #redpandalove #animal #wildlife #animalphotography #zoophotography #art #pandagram #babyanimals

https://itsmostamazingindia.wordpress.com/2025/09/20/international-red-panda-day/

Чем опасен apply() и почему его стоит заменить

Привет, Хабр! Сегодня рассмотрим почему DataFrame.apply() — это так себе инструмент в 2025 году, чем его заменять и как писать dataframe-логику так, чтобы она летала вместо того, чтобы жечь CPU и бюджет.

https://habr.com/ru/companies/otus/articles/913742/

#pandas #производительность_данных #векторизация #обработка_датафреймов #эффективная_аналитика #большие_данные

#TalkPythonToMe 503: The #PyArrow Revolution

Episode webpage: https://talkpython.fm/episodes/show/503/the-pyarrow-revolution

Media file: https://talkpython.fm/episodes/download/503/the-pyarrow-revolution.mp3

#PyConUS #Python #pandas #FLOSS

Ciao Mondo.
Mi pare di capire che stamattina ci sentiamo come i #panda

#pandas
#pandabear
#orsopanda
#orso
#wwf
#modellarelacreta
#homedecor
#decor
#handmade
#airdryclay
#claysculpting
#modellarelacreta

TODAY! I'll be LIVE drawing with Julián Nariño on my IGTV! We'll start at 4PM PT! Get in shape and join the fun with your #grickledoodle requests! #cartoon #drawing #art #funny #pandas #80s #aerobics https://www.instagram.com/grickle14/

Ironia losu: kiedy właśnie dodałeś blokera na #PyArrow w ebuildzie #Gentoo dla #pandas, bo powoduje, że #CPython się wykrzacza, a potem czytasz, że zależność od PyArrow będzie obowiązkowa w przyszłości. Wzdych.

https://github.com/pandas-dev/pandas/issues/54466

Irony: when you've just added a blocker on #PyArrow in the #Gentoo ebuild for #pandas because it causes #CPython to crash, and then read that pandas are planning on making PyArrow obligatory. Sigh.

https://github.com/pandas-dev/pandas/issues/54466

Drawing Histograms is so Simple in Python!

Drawing histograms in Python is so simple. Just import pandas, create a DataFrame and use the plot() function!

#python #pythonlearning #pandas #dataanalytic #coding #dataviz