#pandas — Public Fediverse posts

Ускоряем и оптимизируем numpy, pandas, scipy и sklearn

С момента публикации статьи на Хабре « Импортозамещаем numpy, pandas, scipy и sklearn » прошло почти три года. В течение этого времени я приостановил работу над проектом из-за нехватки времени, ресурсов и сил. К тому же, меня расстроило, что не смог выполнить просьбу пользователя @N-Cube , который активно интересовался моей библиотекой и хотел ускорить работу своего Jupyter Notebook. В самый критический момент на помощь пришел волшебный AI, который, хоть и иногда проявлял недостаток гибкости, с готовностью исполнял все пожелания своего хозяина. Благодаря этому проект начал продвигаться вперед. За это время в библиотеки были добавлены поддержка CUDA, множество ручных SIMD-оптимизаций с динамическим выбором SIMD, несколько реализаций линейной регрессии и многое другое. Давайте рассмотрим, что на сегодняшний день позволяет сделать моя библиотека. Я представлю несколько тестовых примеров в двух вариантах: с использованием AVX-2 на процессоре Intel® Core™ i7-4790K и AVX-512 на Intel® Xeon. Также покажу результаты замеров для каждого из них. Все тесты проводились без использования GPU, исключительно на процессоре. Это позволяет сравнивать производительность Python и моей библиотеки на равных условиях. Операционная система – Ubuntu 24.04, компилятор – GNU 13.3.0.

https://habr.com/ru/articles/1039866/

#C++ #numpy #pandas #scipy #sklearn #opensource #datascience #data_analysis

Парсинг тарифов интернета и ТВ: Анализируем тарифы провайдеров с инструментами Pandas, Seaborn, Matplotlib

Даже на относительно небольшой выборке данных анализ получился весьма интересным. Я провел исследование тарифных сеток двух крупных провайдеров России - Ростелекому и Дом.ру, в шести городах-миллионниках: Москва, Санкт-Петербург, Екатеринбург, Казань, Новосибирск, Красноярск. И вот какой результат получил, расскажу и покажу всё на графиках:

https://habr.com/ru/articles/1025008/

#аналитика #pandas #seaborn #провайдеры_интернет #провайдеры_связи #цены_на_тарифы #сравни #сравнительный_обзор #сравнительный_анализ

Парсинг тарифов интернета и ТВ: Анализируем тарифы провайдеров с инструментами Pandas, Seaborn, Matplotlib

Даже на относительно небольшой выборке данных анализ получился весьма интересным. Я провел исследование тарифных сеток двух крупных провайдеров России - Ростелекому и Дом.ру, в шести городах-миллионниках: Москва, Санкт-Петербург, Екатеринбург, Казань, Новосибирск, Красноярск. И вот какой результат получил, расскажу и покажу всё на графиках:

https://habr.com/ru/articles/1025008/

#аналитика #pandas #seaborn #провайдеры_интернет #провайдеры_связи #цены_на_тарифы #сравни #сравнительный_обзор #сравнительный_анализ

Парсинг тарифов интернета и ТВ: Анализируем тарифы провайдеров с инструментами Pandas, Seaborn, Matplotlib

Даже на относительно небольшой выборке данных анализ получился весьма интересным. Я провел исследование тарифных сеток двух крупных провайдеров России - Ростелекому и Дом.ру, в шести городах-миллионниках: Москва, Санкт-Петербург, Екатеринбург, Казань, Новосибирск, Красноярск. И вот какой результат получил, расскажу и покажу всё на графиках:

https://habr.com/ru/articles/1025008/

#аналитика #pandas #seaborn #провайдеры_интернет #провайдеры_связи #цены_на_тарифы #сравни #сравнительный_обзор #сравнительный_анализ

В эмиграции Цветаеву окружала серость и сырость. Установлено NLTK анализом с помощью Python

На примере стихотворения "Рассвет на рельсах" можно увидеть эмоции и настроения марины Цветаевой после отъезда в эмиграцию. В нём преобладают серые унылые тона. Но в то же время есть вера восстановить Россию.

https://habr.com/ru/articles/997036/

#python #nltk #nltk_python #nlpмодели #pandas #seaborn #matplotlib #чтение #поэзия #поэзия_серебряного_века

В эмиграции Цветаеву окружала серость и сырость. Установлено NLTK анализом с помощью Python

На примере стихотворения "Рассвет на рельсах" можно увидеть эмоции и настроения марины Цветаевой после отъезда в эмиграцию. В нём преобладают серые унылые тона. Но в то же время есть вера восстановить Россию.

https://habr.com/ru/articles/997036/

#python #nltk #nltk_python #nlpмодели #pandas #seaborn #matplotlib #чтение #поэзия #поэзия_серебряного_века

В эмиграции Цветаеву окружала серость и сырость. Установлено NLTK анализом с помощью Python

На примере стихотворения "Рассвет на рельсах" можно увидеть эмоции и настроения марины Цветаевой после отъезда в эмиграцию. В нём преобладают серые унылые тона. Но в то же время есть вера восстановить Россию.

https://habr.com/ru/articles/997036/

#python #nltk #nltk_python #nlpмодели #pandas #seaborn #matplotlib #чтение #поэзия #поэзия_серебряного_века

С помощью Python реабилитировал алкогольную романтику у Довлатова

Я проанализировал эпизоды с упоминанием алкоголя в полном корпусе произведений Довлатова и посмотрел, как и для чего он использует алкоголь в рассказах.

https://habr.com/ru/articles/985126/

#python #slovnet #razdel #natasha #pandas #pymorphy #seaborn #counter

С помощью Python реабилитировал алкогольную романтику у Довлатова

Я проанализировал эпизоды с упоминанием алкоголя в полном корпусе произведений Довлатова и посмотрел, как и для чего он использует алкоголь в рассказах.

https://habr.com/ru/articles/985126/

#python #slovnet #razdel #natasha #pandas #pymorphy #seaborn #counter

С помощью Python реабилитировал алкогольную романтику у Довлатова

Я проанализировал эпизоды с упоминанием алкоголя в полном корпусе произведений Довлатова и посмотрел, как и для чего он использует алкоголь в рассказах.

https://habr.com/ru/articles/985126/

#python #slovnet #razdel #natasha #pandas #pymorphy #seaborn #counter

Книга «Python для инженерных задач»

Приветствуем, коллеги. Расскажем вам о нашей долгожданной новинке – «

https://habr.com/ru/companies/bhv_publishing/articles/973246/

#Python #самоучитель #математика #инженерия #matplotlib #numpy #scipy #pandas #книги_по_программированию

#30DayMapChallenge : #Fire

The #Volcanic Isles . A brief history of volcanism across The British Isles.

Quite pleased with how this one turned out.

Location of volcanoes taken from wikipedia (spotted a mistake and got to make an edit to wikipedia in the process); fault lines from the #BGS 625k bedrock dataset and the IE GSI 500k Bedrock Geology for Ireland. Font: League-Spartan by the League of Moveable Type.

#requests, #pandas and #geopandas for scraping and wrangling.#scipy for making the proximity surface (that's the colour scheme), #matplotlib for plotting. With all labeling done manually in #inkscape.

EDIT: I've been kindly and helpfully informed that (a) Ben Nevis' age is closer to 399 Ma; (b) some are missing; (c) others perhaps shouldn't be there; (d) it's complicated. So, maybe don't use this map to make any strategic decisions.

#volcanism #volcano #imNotExtinctImDormant #magma #geology #faultlines

New to data science? Dive into 5 hands‑on projects that walk you through practical Pandas EDA—cleaning missing values, spotting outliers, visualizing with seaborn, and more. Perfect for absolute beginners who want solid, reproducible workflows. Start exploring your own data today! #DataScience #Pandas #EDA #seaborn

🔗 https://aidailypost.com/news/5-data-science-projects-practical-pandas-eda-absolute-beginners

New to data science? Dive into 5 hands‑on projects that walk you through practical Pandas EDA—cleaning missing values, spotting outliers, visualizing with seaborn, and more. Perfect for absolute beginners who want solid, reproducible workflows. Start exploring your own data today! #DataScience #Pandas #EDA #seaborn

🔗 https://aidailypost.com/news/5-data-science-projects-practical-pandas-eda-absolute-beginners

New to data science? Dive into 5 hands‑on projects that walk you through practical Pandas EDA—cleaning missing values, spotting outliers, visualizing with seaborn, and more. Perfect for absolute beginners who want solid, reproducible workflows. Start exploring your own data today! #DataScience #Pandas #EDA #seaborn

🔗 https://aidailypost.com/news/5-data-science-projects-practical-pandas-eda-absolute-beginners

New to data science? Dive into 5 hands‑on projects that walk you through practical Pandas EDA—cleaning missing values, spotting outliers, visualizing with seaborn, and more. Perfect for absolute beginners who want solid, reproducible workflows. Start exploring your own data today! #DataScience #Pandas #EDA #seaborn

🔗 https://aidailypost.com/news/5-data-science-projects-practical-pandas-eda-absolute-beginners

Making Math Less Stressful with a Python Super-Calculator https://hackaday.com/2025/10/26/making-math-less-stressful-with-a-python-super-calculator/ #WolframMathematica #datavisualization #SoftwareHacks #matplotlib #Seaborn #Pandas #python #maple #numpy #scipy #SymPy

Making Math Less Stressful with a Python Super-Calculator https://hackaday.com/2025/10/26/making-math-less-stressful-with-a-python-super-calculator/ #WolframMathematica #datavisualization #SoftwareHacks #matplotlib #Seaborn #Pandas #python #maple #numpy #scipy #SymPy

Making Math Less Stressful with a Python Super-Calculator https://hackaday.com/2025/10/26/making-math-less-stressful-with-a-python-super-calculator/ #WolframMathematica #datavisualization #SoftwareHacks #matplotlib #Seaborn #Pandas #python #maple #numpy #scipy #SymPy

Making Math Less Stressful with a Python Super-Calculator https://hackaday.com/2025/10/26/making-math-less-stressful-with-a-python-super-calculator/ #WolframMathematica #datavisualization #SoftwareHacks #matplotlib #Seaborn #Pandas #python #maple #numpy #scipy #SymPy

Making Math Less Stressful with a Python Super-Calculator - In a recent write-up, [David Delony] explains how he built a Wolfram Mathematica-l... - https://hackaday.com/2025/10/26/making-math-less-stressful-with-a-python-super-calculator/ #wolframmathematica #datavisualization #softwarehacks #matplotlib #seaborn #pandas #python #maple #numpy #scipy #sympy

Making Math Less Stressful with a Python Super-Calculator - In a recent write-up, [David Delony] explains how he built a Wolfram Mathematica-l... - https://hackaday.com/2025/10/26/making-math-less-stressful-with-a-python-super-calculator/ #wolframmathematica #datavisualization #softwarehacks #matplotlib #seaborn #pandas #python #maple #numpy #scipy #sympy

Making Math Less Stressful with a Python Super-Calculator - In a recent write-up, [David Delony] explains how he built a Wolfram Mathematica-l... - https://hackaday.com/2025/10/26/making-math-less-stressful-with-a-python-super-calculator/ #wolframmathematica #datavisualization #softwarehacks #matplotlib #seaborn #pandas #python #maple #numpy #scipy #sympy

Making Math Less Stressful with a Python Super-Calculator - In a recent write-up, [David Delony] explains how he built a Wolfram Mathematica-l... - https://hackaday.com/2025/10/26/making-math-less-stressful-with-a-python-super-calculator/ #wolframmathematica #datavisualization #softwarehacks #matplotlib #seaborn #pandas #python #maple #numpy #scipy #sympy

Making Math Less Stressful with a Python Super-Calculator - In a recent write-up, [David Delony] explains how he built a Wolfram Mathematica-l... - https://hackaday.com/2025/10/26/making-math-less-stressful-with-a-python-super-calculator/ #wolframmathematica #datavisualization #softwarehacks #matplotlib #seaborn #pandas #python #maple #numpy #scipy #sympy

🐊 How do skills acquired through DataCamp translate to a better understanding of biodiversity data?

For Ibrahim Abdel Basir Gomaa, who completed courses in #Pandas, #Seaborn, machine learning, #SQL and statistics, these skills enabled him to confidently query large biodiversity datasets from sources like GBIF. 🔎

“One of my proudest achievements was developing a predictive model to assess species distribution patterns based on environmental factors...."

7 кругов ада: практический гид по выбору стека для ML-разработки

Сколько раз за последние пару-тройку вы меняли свой AI/ML стек? Если ответ «ни разу» — либо у вас железная дисциплина, либо вы просто не следите за тем, что происходит в индустрии. McKinsey Global Survey показывает, что adoption AI вырос с 50% до 72% только за последний год. Это означает, что пока вы размышляете над выбором между PyTorch и TensorFlow, ваши конкуренты уже запускают production-модели на совершенно других стеках. Проблема не в том, что инструментов мало — а в том, что их чертовски много. Современный ML/AI стек превратился в слоеный пирог из семи уровней: от ИИ-инфраструктуры в самом низу до слоя ИИ-решений наверху. Каждый уровень предлагает десятки вариантов, от которых глаза разбегаются даже у матерых разработчиков, но хаос поддается систематизации. В этой статье мы расскажем о любимых инструментах, препарируем популярные решения, и разберемся, как выбрать стек, который не превратится в тыкву через полгода.

https://habr.com/ru/companies/magnus-tech/articles/932714/

#ml #стек #инструменты_разработки #PyTorch #TensorFlow #Grafana #Python #postgresql #pandas #kubernetes

Контролируем качество данных с помощью Python

В работе с данными одной из самых больших трудностей является обеспечение их качества. В процессе анализа и обработки информации приходится сталкиваться с множеством проблем, таких как отсутствие нужных значений, неправильно отформатированные данные или ошибки, появляющиеся при сборе данных с веб-ресурсов. В этой статье мы рассмотрим, как с помощью Python можно автоматизировать процесс проверки и очистки данных, используя популярные библиотеки, такие как pandas и pyspark. Мы исследуем практические подходы к подготовке данных для анализа, включая поиск аномалий, постобработку и работу с пустыми значениями, что поможет обеспечить высокое качество данных для дальнейших исследований и принятия решений.

https://habr.com/ru/companies/otus/articles/903634/

#qa #data_analysis #качество_данных #аналитика_данных #Python_для_анализа_данных #pandas #Pyspark #Очистка_данных #Аномалии_в_данных

Es peor que lo que pensábamos. El PR (Pull Request) de la corrección de ese bug se hizo en octubre del 2023, va para la version 3.0 y la última liberada de #Pandas es la 2.2.2

No me dejen empezar con #PySpark que es otro manojo de incoherencias. #OdioPython

EDICION
Era 2023, no 2024. Pa’ mas piedra!

Penny Ling! 🐼

#littlestpetshop #art #artist #lps #hasbro #pandas #furry

🤔 Ever wondered how we can manage and load data into a DuckDB instance? Check out the next blog in our SQL course!

Built around Python and SQL, this guide delves deep into numerous Python libraries such as 'requests', 'pandas' and DuckDB's Python API to guide you through the process.

🔗 Read about it here:
https://ploomber-sql.readthedocs.io/en/latest/packaging-your-sql-project/intro-to-etl-pipelines-with-python-and-sql.html

#DataEngineering #DataAnalytics #Python #SQL #ETLPipeline #DuckDB #Pandas #DataTransformation #GitHub #DataScience