home.social

#pandas — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #pandas, aggregated by home.social.

  1. Ускоряем и оптимизируем numpy, pandas, scipy и sklearn

    С момента публикации статьи на Хабре « Импортозамещаем numpy, pandas, scipy и sklearn » прошло почти три года. В течение этого времени я приостановил работу над проектом из-за нехватки времени, ресурсов и сил. К тому же, меня расстроило, что не смог выполнить просьбу пользователя @N-Cube , который активно интересовался моей библиотекой и хотел ускорить работу своего Jupyter Notebook. В самый критический момент на помощь пришел волшебный AI, который, хоть и иногда проявлял недостаток гибкости, с готовностью исполнял все пожелания своего хозяина. Благодаря этому проект начал продвигаться вперед. За это время в библиотеки были добавлены поддержка CUDA, множество ручных SIMD-оптимизаций с динамическим выбором SIMD, несколько реализаций линейной регрессии и многое другое. Давайте рассмотрим, что на сегодняшний день позволяет сделать моя библиотека. Я представлю несколько тестовых примеров в двух вариантах: с использованием AVX-2 на процессоре Intel® Core™ i7-4790K и AVX-512 на Intel® Xeon. Также покажу результаты замеров для каждого из них. Все тесты проводились без использования GPU, исключительно на процессоре. Это позволяет сравнивать производительность Python и моей библиотеки на равных условиях. Операционная система – Ubuntu 24.04, компилятор – GNU 13.3.0.

    habr.com/ru/articles/1039866/

    #C++ #numpy #pandas #scipy #sklearn #opensource #datascience #data_analysis

  2. Метрики упали в лужу

    Метрики могут «упасть» даже если вы ничего не меняли в модели. Разбираемся, как распознать distribution shift и что с ним делать в продакшене.

    habr.com/ru/articles/1024380/

    #eda #анализ_данных #мониторинг #статистика #предобработка_данных #pandas #data_science #machine_learning #data_analysis #production

  3. Рейтинг языков программирования на GitHub: анализ 2024–2025 в JupyterLab и Anaconda

    Мы не стали спорить с TIOBE и RedMonk и собрали свой рейтинг языков программирования на основе GitHub. Данные за 2024–2025 показывают неожиданные вещи: JavaScript впереди, TypeScript резко растёт, а Rust и Go выигрывают по качеству проектов. Разбираем, что стоит за цифрами и где могут быть искажения.

    habr.com/ru/companies/hostkey/

    #Python #GitHub_API #JupyterLab #анализ_данных #визуализация_данных #pandas #рейтинг_языков_программирования #репозитории #Data_Engineering #hostkey

  4. Ускоряем pandas, не переписывая код. Мой опыт с FireDucks

    Привет! Меня зовут Егор Лукьянов, я старший аналитик данных в Ozon Tech. В своей работе я часто сталкиваюсь с проблемой масштабируемости в pandas . Код, который быстро работает на гигабайте данных, начинает невыносимо тормозить на десяти. Уверен, эта боль знакома многим. Сейчас есть быстрые альтернативы, например, Polars . Я сам пробовал переводить на него свои проекты. Скорость действительно впечатляет, но как в анекдоте есть нюанс: приходится переписывать чуть ли не весь код и привыкать к новому синтаксису. А это большая работа, на которую не всегда есть время. И вот здесь я наткнулся на FireDucks — библиотеку, которая обещает решить эту проблему, просто заменив одну строку импорта. Звучало слишком хорошо, чтобы быть правдой. После опыта с Polars я был уверен, что где-то должен быть подвох. Я решил проверить FireDucks на нескольких типичных задачах. В этой статье я хочу без лишнего хайпа поделиться тем, что у меня получилось. Мы посмотрим на реальные примеры кода, сравним скорость и разберёмся, где эта библиотека действительно хороша, а где могут быть проблемы.

    habr.com/ru/companies/ozontech

    #pandas #data_analysis #data_engineering #python

  5. #30DayMapChallenge : #Fire

    The #Volcanic Isles . A brief history of volcanism across The British Isles.

    Quite pleased with how this one turned out.

    Location of volcanoes taken from wikipedia (spotted a mistake and got to make an edit to wikipedia in the process); fault lines from the #BGS 625k bedrock dataset and the IE GSI 500k Bedrock Geology for Ireland. Font: League-Spartan by the League of Moveable Type.

    #requests, #pandas and #geopandas for scraping and wrangling.#scipy for making the proximity surface (that's the colour scheme), #matplotlib for plotting. With all labeling done manually in #inkscape.

    EDIT: I've been kindly and helpfully informed that (a) Ben Nevis' age is closer to 399 Ma; (b) some are missing; (c) others perhaps shouldn't be there; (d) it's complicated. So, maybe don't use this map to make any strategic decisions.

    #volcanism #volcano #imNotExtinctImDormant #magma #geology #faultlines

  6. Polars — «убийца Pandas» на максималках

    Всем привет! Меня зовут Александр Андреев, я инженер данных. Сегодня я хочу рассказать вам о библиотеке Polars - потенциальной замене Pandas, любимой у большинства дата-инженеров и дата-саентистов библиотеки для работы с данными. В своей статье я последовательно пройдусь от истории библиотеки Polars до примеров кода, технических аспектов ее производительности и в конце дам ссылки на все бенчмарки, обучающие материалы и дополнительные статьи, которые использовались для написания данного обзора-туториала по этой замечательной библиотеке.

    habr.com/ru/articles/946788/

    #polars #pandas #data_engineering #data_science #data_analysis #dataframe #library #python #rust #dataset

  7. Discovery reveals giant flying squirrel once soared over Southern Appalachia
    phys.org/news/2025-02-discover paper: link.springer.com/article/10.1

    "A giant #FlyingSquirrel—about the size of today's house cats—once soared through the skies over what is now Southern #Appalachia, gliding above #rhinos, #mastodons and red #pandas... closest relatives are the giant #FlyingSquirrels in Japan, China and Indonesia... somehow they crossed the Bering Land Bridge alongside other #mammals about 5 million years ago."

  8. Some #FavoriteTools

    #perplexity.ai for thoughtful web queries. (Shows reasoning and references.)

    #Vim for #TextEditing

    #Firefox w/ #Tridactyl #uBlockOrigin

    #Raindrop for #Tagging and #Bookmarking web pages

    #Inoreader #RSS reader

    #Pandoc for document creation/conversion

    #Ubuntu #Linux (even if it's running under Windows #wsl

    #Python w/ #Jupyter #Pandas #Matplotlib #numpy #scipy #plac

    #TheBrain for #KnowledgeManagement (but considering moving to #Obsidian)

    #MoonReader for ebooks and PDFs

    #RolandFP90 and A-88 for #piano

    #transcribe for working through #music #video

    #Leatherman #SkeletoolCX for EDC multitool

    #Benchmade #Griptilian when I need more of an actual knife

    #Signal for #messaging

    #mastodon for social media

    #antennapod for podcasts

    #streamlightwedgext for #EDC flashlight