home.social

#scipy — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #scipy, aggregated by home.social.

  1. Ускоряем и оптимизируем numpy, pandas, scipy и sklearn

    С момента публикации статьи на Хабре « Импортозамещаем numpy, pandas, scipy и sklearn » прошло почти три года. В течение этого времени я приостановил работу над проектом из-за нехватки времени, ресурсов и сил. К тому же, меня расстроило, что не смог выполнить просьбу пользователя @N-Cube , который активно интересовался моей библиотекой и хотел ускорить работу своего Jupyter Notebook. В самый критический момент на помощь пришел волшебный AI, который, хоть и иногда проявлял недостаток гибкости, с готовностью исполнял все пожелания своего хозяина. Благодаря этому проект начал продвигаться вперед. За это время в библиотеки были добавлены поддержка CUDA, множество ручных SIMD-оптимизаций с динамическим выбором SIMD, несколько реализаций линейной регрессии и многое другое. Давайте рассмотрим, что на сегодняшний день позволяет сделать моя библиотека. Я представлю несколько тестовых примеров в двух вариантах: с использованием AVX-2 на процессоре Intel® Core™ i7-4790K и AVX-512 на Intel® Xeon. Также покажу результаты замеров для каждого из них. Все тесты проводились без использования GPU, исключительно на процессоре. Это позволяет сравнивать производительность Python и моей библиотеки на равных условиях. Операционная система – Ubuntu 24.04, компилятор – GNU 13.3.0.

    habr.com/ru/articles/1039866/

    #C++ #numpy #pandas #scipy #sklearn #opensource #datascience #data_analysis

  2. Ускоряем и оптимизируем numpy, pandas, scipy и sklearn

    С момента публикации статьи на Хабре « Импортозамещаем numpy, pandas, scipy и sklearn » прошло почти три года. В течение этого времени я приостановил работу над проектом из-за нехватки времени, ресурсов и сил. К тому же, меня расстроило, что не смог выполнить просьбу пользователя @N-Cube , который активно интересовался моей библиотекой и хотел ускорить работу своего Jupyter Notebook. В самый критический момент на помощь пришел волшебный AI, который, хоть и иногда проявлял недостаток гибкости, с готовностью исполнял все пожелания своего хозяина. Благодаря этому проект начал продвигаться вперед. За это время в библиотеки были добавлены поддержка CUDA, множество ручных SIMD-оптимизаций с динамическим выбором SIMD, несколько реализаций линейной регрессии и многое другое. Давайте рассмотрим, что на сегодняшний день позволяет сделать моя библиотека. Я представлю несколько тестовых примеров в двух вариантах: с использованием AVX-2 на процессоре Intel® Core™ i7-4790K и AVX-512 на Intel® Xeon. Также покажу результаты замеров для каждого из них. Все тесты проводились без использования GPU, исключительно на процессоре. Это позволяет сравнивать производительность Python и моей библиотеки на равных условиях. Операционная система – Ubuntu 24.04, компилятор – GNU 13.3.0.

    habr.com/ru/articles/1039866/

    #C++ #numpy #pandas #scipy #sklearn #opensource #datascience #data_analysis

  3. Ускоряем и оптимизируем numpy, pandas, scipy и sklearn

    С момента публикации статьи на Хабре « Импортозамещаем numpy, pandas, scipy и sklearn » прошло почти три года. В течение этого времени я приостановил работу над проектом из-за нехватки времени, ресурсов и сил. К тому же, меня расстроило, что не смог выполнить просьбу пользователя @N-Cube , который активно интересовался моей библиотекой и хотел ускорить работу своего Jupyter Notebook. В самый критический момент на помощь пришел волшебный AI, который, хоть и иногда проявлял недостаток гибкости, с готовностью исполнял все пожелания своего хозяина. Благодаря этому проект начал продвигаться вперед. За это время в библиотеки были добавлены поддержка CUDA, множество ручных SIMD-оптимизаций с динамическим выбором SIMD, несколько реализаций линейной регрессии и многое другое. Давайте рассмотрим, что на сегодняшний день позволяет сделать моя библиотека. Я представлю несколько тестовых примеров в двух вариантах: с использованием AVX-2 на процессоре Intel® Core™ i7-4790K и AVX-512 на Intel® Xeon. Также покажу результаты замеров для каждого из них. Все тесты проводились без использования GPU, исключительно на процессоре. Это позволяет сравнивать производительность Python и моей библиотеки на равных условиях. Операционная система – Ubuntu 24.04, компилятор – GNU 13.3.0.

    habr.com/ru/articles/1039866/

    #C++ #numpy #pandas #scipy #sklearn #opensource #datascience #data_analysis

  4. Ускоряем и оптимизируем numpy, pandas, scipy и sklearn

    С момента публикации статьи на Хабре « Импортозамещаем numpy, pandas, scipy и sklearn » прошло почти три года. В течение этого времени я приостановил работу над проектом из-за нехватки времени, ресурсов и сил. К тому же, меня расстроило, что не смог выполнить просьбу пользователя @N-Cube , который активно интересовался моей библиотекой и хотел ускорить работу своего Jupyter Notebook. В самый критический момент на помощь пришел волшебный AI, который, хоть и иногда проявлял недостаток гибкости, с готовностью исполнял все пожелания своего хозяина. Благодаря этому проект начал продвигаться вперед. За это время в библиотеки были добавлены поддержка CUDA, множество ручных SIMD-оптимизаций с динамическим выбором SIMD, несколько реализаций линейной регрессии и многое другое. Давайте рассмотрим, что на сегодняшний день позволяет сделать моя библиотека. Я представлю несколько тестовых примеров в двух вариантах: с использованием AVX-2 на процессоре Intel® Core™ i7-4790K и AVX-512 на Intel® Xeon. Также покажу результаты замеров для каждого из них. Все тесты проводились без использования GPU, исключительно на процессоре. Это позволяет сравнивать производительность Python и моей библиотеки на равных условиях. Операционная система – Ubuntu 24.04, компилятор – GNU 13.3.0.

    habr.com/ru/articles/1039866/

    #C++ #numpy #pandas #scipy #sklearn #opensource #datascience #data_analysis

  5. - statistical distributions in are great too. I even used a scaled-shifted beta-prime distribution a few weeks ago! (???) (Still :julia: Distributions.jl is my fave)
    - works exactly as expected (which is great) but the post-processing of mcmc draws is a bit more cumbersome in R than in Python in my opinion (arviz in Python vs posterior in R) although this might again be matplotlib vs ggplot (did I mention I am not a matplotlib fan?)

    4/n

  6. That's a wrap, #PyConUS! I loved all the conversational talks, documentation writing, and PRS this week. Looking forward to following up with many of you and more collaborations in the future!

    If you missed the #python dashboarding tutorial using Shiny, I have all my materials here: chendaniely.github.io/pycon-20

    If you missed it, hopefully I'll catch you at #SciPy in July!

  7. @rzeta0 my friend, what do you think about the code using np.roll() (in the linked sketch)?

    I'm afraid it would be a bit hard to explain on a short class. So I'll use the simpler inefficient function...

    The next big step in efficiency would be using #scipy I think:

    def count_live_neighbors(status):
    """Counts the number of neighboring live cells"""
    kernel = np.array([
    [1, 1, 1],
    [1, 0, 1],
    [1, 1, 1]
    ])
    return scipy.signal.convolve2d(status, kernel, mode='same', boundary="wrap")
  8. Hi all,

    Hope you're fine and safe

    An important #announcement about #tyssue , a Python modeling library :

    github.com/DamCB/tyssue/blob/m

    Please 🔁 this message to reach the few and far apart people that might be impacted :pray:

    #openScience #scipy

  9. Python Package Guru by Fabrizio Damicelli

    pypkg.guru

    search over #PyPI #python #packages
    faster than on pypi.org and interactively

    discover packages based on their capabilities (eg, try out "fast dataframe")

    #neurodon #neuroscience #compsci #scipy

  10. CW: Advent of Code 2025 Day 10 Spoilers

    Today I "cheated" and used scipy's MILP solver for Part 2. Discretion is the better part of valor, as they say, and writing a constraint solver by hand is not what I had planned for this Wednesday morning. The existence of `uv` to deal with all the dependencies makes reaching for scipy for even little scripts like this an easy choice.

    Part 1 was trivial. Treat the lights and the buttons as bitmasks and recognize that buttons XOR themselves so they're pressed at most 1 time each. Generate the smallest combination of buttons that XOR to the target.

    Part 2 is probably solvable via something like DFS before the heat death of the universe, but it would take way too long. Instead, I used scipy's integer linear programming solver, defined the constraints, objective, and bounds, and let it do its thing.

    github.com/biesnecker/aoc-anyh

    #adventofcode #adventofcode2025 #python #scipy

  11. #30DayMapChallenge : #Fire

    The #Volcanic Isles . A brief history of volcanism across The British Isles.

    Quite pleased with how this one turned out.

    Location of volcanoes taken from wikipedia (spotted a mistake and got to make an edit to wikipedia in the process); fault lines from the #BGS 625k bedrock dataset and the IE GSI 500k Bedrock Geology for Ireland. Font: League-Spartan by the League of Moveable Type.

    #requests, #pandas and #geopandas for scraping and wrangling.#scipy for making the proximity surface (that's the colour scheme), #matplotlib for plotting. With all labeling done manually in #inkscape.

    EDIT: I've been kindly and helpfully informed that (a) Ben Nevis' age is closer to 399 Ma; (b) some are missing; (c) others perhaps shouldn't be there; (d) it's complicated. So, maybe don't use this map to make any strategic decisions.

    #volcanism #volcano #imNotExtinctImDormant #magma #geology #faultlines

  12. #30DayMapChallenge : #Fire

    The #Volcanic Isles . A brief history of volcanism across The British Isles.

    Quite pleased with how this one turned out.

    Location of volcanoes taken from wikipedia (spotted a mistake and got to make an edit to wikipedia in the process); fault lines from the #BGS 625k bedrock dataset and the IE GSI 500k Bedrock Geology for Ireland. Font: League-Spartan by the League of Moveable Type.

    #requests, #pandas and #geopandas for scraping and wrangling.#scipy for making the proximity surface (that's the colour scheme), #matplotlib for plotting. With all labeling done manually in #inkscape.

    EDIT: I've been kindly and helpfully informed that (a) Ben Nevis' age is closer to 399 Ma; (b) some are missing; (c) others perhaps shouldn't be there; (d) it's complicated. So, maybe don't use this map to make any strategic decisions.

    #volcanism #volcano #imNotExtinctImDormant #magma #geology #faultlines

  13. #30DayMapChallenge : #Fire

    The #Volcanic Isles . A brief history of volcanism across The British Isles.

    Quite pleased with how this one turned out.

    Location of volcanoes taken from wikipedia (spotted a mistake and got to make an edit to wikipedia in the process); fault lines from the #BGS 625k bedrock dataset and the IE GSI 500k Bedrock Geology for Ireland. Font: League-Spartan by the League of Moveable Type.

    #requests, #pandas and #geopandas for scraping and wrangling.#scipy for making the proximity surface (that's the colour scheme), #matplotlib for plotting. With all labeling done manually in #inkscape.

    EDIT: I've been kindly and helpfully informed that (a) Ben Nevis' age is closer to 399 Ma; (b) some are missing; (c) others perhaps shouldn't be there; (d) it's complicated. So, maybe don't use this map to make any strategic decisions.

    #volcanism #volcano #imNotExtinctImDormant #magma #geology #faultlines

  14. #30DayMapChallenge : #Fire

    The #Volcanic Isles . A brief history of volcanism across The British Isles.

    Quite pleased with how this one turned out.

    Location of volcanoes taken from wikipedia (spotted a mistake and got to make an edit to wikipedia in the process); fault lines from the #BGS 625k bedrock dataset and the IE GSI 500k Bedrock Geology for Ireland. Font: League-Spartan by the League of Moveable Type.

    #requests, #pandas and #geopandas for scraping and wrangling.#scipy for making the proximity surface (that's the colour scheme), #matplotlib for plotting. With all labeling done manually in #inkscape.

    EDIT: I've been kindly and helpfully informed that (a) Ben Nevis' age is closer to 399 Ma; (b) some are missing; (c) others perhaps shouldn't be there; (d) it's complicated. So, maybe don't use this map to make any strategic decisions.

    #volcanism #volcano #imNotExtinctImDormant #magma #geology #faultlines

  15. #30DayMapChallenge : #Fire

    The #Volcanic Isles . A brief history of volcanism across The British Isles.

    Quite pleased with how this one turned out.

    Location of volcanoes taken from wikipedia (spotted a mistake and got to make an edit to wikipedia in the process); fault lines from the #BGS 625k bedrock dataset and the IE GSI 500k Bedrock Geology for Ireland. Font: League-Spartan by the League of Moveable Type.

    #requests, #pandas and #geopandas for scraping and wrangling.#scipy for making the proximity surface (that's the colour scheme), #matplotlib for plotting. With all labeling done manually in #inkscape.

    #volcanism #volcano #imNotExtinctImDormant #magma #geology #faultlines

  16. Все об устройстве Q65 с примерами на Python (часть 1)

    Q65 — цифровой протокол, разработанный Джо Тейлором (K1JT) и его командой в 2021 году для проведения минимальных связей в условиях сложных трасс прохождения радиосигнала, в том числе для проведения связи через отражение сигнала от Луны, где сигналы не только очень сильно ослабевают, но и имеют Доплеровский разброс. В этой статье будут рассмотрены подробности работы протокола. Статья может быть интересна радиолюбителям, как знакомым, так и не знакомым с Q65, а также тем, кто хочет понять устройство этого протокола.

    habr.com/ru/articles/965862/

    #ham #hamradio #numpy #scipy #python #python3 #LDPC #QRA #GF #Q65

  17. Все об устройстве Q65 с примерами на Python (часть 1)

    Q65 — цифровой протокол, разработанный Джо Тейлором (K1JT) и его командой в 2021 году для проведения минимальных связей в условиях сложных трасс прохождения радиосигнала, в том числе для проведения связи через отражение сигнала от Луны, где сигналы не только очень сильно ослабевают, но и имеют Доплеровский разброс. В этой статье будут рассмотрены подробности работы протокола. Статья может быть интересна радиолюбителям, как знакомым, так и не знакомым с Q65, а также тем, кто хочет понять устройство этого протокола.

    habr.com/ru/articles/965862/

    #ham #hamradio #numpy #scipy #python #python3 #LDPC #QRA #GF #Q65

  18. Все об устройстве Q65 с примерами на Python (часть 1)

    Q65 — цифровой протокол, разработанный Джо Тейлором (K1JT) и его командой в 2021 году для проведения минимальных связей в условиях сложных трасс прохождения радиосигнала, в том числе для проведения связи через отражение сигнала от Луны, где сигналы не только очень сильно ослабевают, но и имеют Доплеровский разброс. В этой статье будут рассмотрены подробности работы протокола. Статья может быть интересна радиолюбителям, как знакомым, так и не знакомым с Q65, а также тем, кто хочет понять устройство этого протокола.

    habr.com/ru/articles/965862/

    #ham #hamradio #numpy #scipy #python #python3 #LDPC #QRA #GF #Q65

  19. Все об устройстве Q65 с примерами на Python (часть 1)

    Q65 — цифровой протокол, разработанный Джо Тейлором (K1JT) и его командой в 2021 году для проведения минимальных связей в условиях сложных трасс прохождения радиосигнала, в том числе для проведения связи через отражение сигнала от Луны, где сигналы не только очень сильно ослабевают, но и имеют Доплеровский разброс. В этой статье будут рассмотрены подробности работы протокола. Статья может быть интересна радиолюбителям, как знакомым, так и не знакомым с Q65, а также тем, кто хочет понять устройство этого протокола.

    habr.com/ru/articles/965862/

    #ham #hamradio #numpy #scipy #python #python3 #LDPC #QRA #GF #Q65

  20. RE: hachyderm.io/@ponderingpothos/

    Scipy is a phenomenal library. It's not every day that one can beat its performance by 1-2 orders of magnitude. Today is that day, though!

    Must-read post if you care about any of:
    - high performance Rust
    - numerical methods
    - how Rust can make Python faster

    #rust #rustlang #scipy #python #optimization

  21. Все об устройстве MSK144 с примерами на Python (часть 2)

    MSK144 — цифровой протокол, разработанный Джо Тейлором (K1JT) и его командой в 2016 году для проведения связей через метеорное рассеивание. В предыдущей части были рассмотрены общие характеристики протокола, а также алгоритмы, формирующие сигнал. В этой части статьи рассматриваются механизмы детектирования и декодирования сигналов в протоколе MSK144. Статья может быть интересна радиолюбителям и людям, интересующимся темой цифровой обработки сигналов.

    habr.com/ru/articles/956582/

    #ham #hamradio #python #python3 #scipy #numpy #msk #msk144 #ldpc #crc

  22. Все об устройстве MSK144 с примерами на Python (часть 2)

    MSK144 — цифровой протокол, разработанный Джо Тейлором (K1JT) и его командой в 2016 году для проведения связей через метеорное рассеивание. В предыдущей части были рассмотрены общие характеристики протокола, а также алгоритмы, формирующие сигнал. В этой части статьи рассматриваются механизмы детектирования и декодирования сигналов в протоколе MSK144. Статья может быть интересна радиолюбителям и людям, интересующимся темой цифровой обработки сигналов.

    habr.com/ru/articles/956582/

    #ham #hamradio #python #python3 #scipy #numpy #msk #msk144 #ldpc #crc

  23. Все об устройстве MSK144 с примерами на Python (часть 2)

    MSK144 — цифровой протокол, разработанный Джо Тейлором (K1JT) и его командой в 2016 году для проведения связей через метеорное рассеивание. В предыдущей части были рассмотрены общие характеристики протокола, а также алгоритмы, формирующие сигнал. В этой части статьи рассматриваются механизмы детектирования и декодирования сигналов в протоколе MSK144. Статья может быть интересна радиолюбителям и людям, интересующимся темой цифровой обработки сигналов.

    habr.com/ru/articles/956582/

    #ham #hamradio #python #python3 #scipy #numpy #msk #msk144 #ldpc #crc

  24. Все об устройстве MSK144 с примерами на Python (часть 2)

    MSK144 — цифровой протокол, разработанный Джо Тейлором (K1JT) и его командой в 2016 году для проведения связей через метеорное рассеивание. В предыдущей части были рассмотрены общие характеристики протокола, а также алгоритмы, формирующие сигнал. В этой части статьи рассматриваются механизмы детектирования и декодирования сигналов в протоколе MSK144. Статья может быть интересна радиолюбителям и людям, интересующимся темой цифровой обработки сигналов.

    habr.com/ru/articles/956582/

    #ham #hamradio #python #python3 #scipy #numpy #msk #msk144 #ldpc #crc

  25. Коротко об устройстве протокола MSK144 с примерами на Python

    MSK144 — цифровой протокол, разработанный Джо Тейлором (K1JT) и его командой в 2016 году для проведения связей через метеорное рассеивание. В этой статье будут рассмотрены подробности работы протокола. Статья может быть интересна радиолюбителям, как знакомым, так и не знакомым с MSK144 и связью через метеорное рассеивание, а также тем, кто хочет понять устройство этого протокола.

    habr.com/ru/articles/946898/

    #ham #hamradio #python #python3 #scipy #numpy #msk #msk144 #ldpc #crc

  26. Коротко об устройстве протокола MSK144 с примерами на Python

    MSK144 — цифровой протокол, разработанный Джо Тейлором (K1JT) и его командой в 2016 году для проведения связей через метеорное рассеивание. В этой статье будут рассмотрены подробности работы протокола. Статья может быть интересна радиолюбителям, как знакомым, так и не знакомым с MSK144 и связью через метеорное рассеивание, а также тем, кто хочет понять устройство этого протокола.

    habr.com/ru/articles/946898/

    #ham #hamradio #python #python3 #scipy #numpy #msk #msk144 #ldpc #crc

  27. Коротко об устройстве протокола MSK144 с примерами на Python

    MSK144 — цифровой протокол, разработанный Джо Тейлором (K1JT) и его командой в 2016 году для проведения связей через метеорное рассеивание. В этой статье будут рассмотрены подробности работы протокола. Статья может быть интересна радиолюбителям, как знакомым, так и не знакомым с MSK144 и связью через метеорное рассеивание, а также тем, кто хочет понять устройство этого протокола.

    habr.com/ru/articles/946898/

    #ham #hamradio #python #python3 #scipy #numpy #msk #msk144 #ldpc #crc

  28. Коротко об устройстве протокола MSK144 с примерами на Python

    MSK144 — цифровой протокол, разработанный Джо Тейлором (K1JT) и его командой в 2016 году для проведения связей через метеорное рассеивание. В этой статье будут рассмотрены подробности работы протокола. Статья может быть интересна радиолюбителям, как знакомым, так и не знакомым с MSK144 и связью через метеорное рассеивание, а также тем, кто хочет понять устройство этого протокола.

    habr.com/ru/articles/946898/

    #ham #hamradio #python #python3 #scipy #numpy #msk #msk144 #ldpc #crc

  29. @hisold Citing a plain website or GitHub repo is kinda unprofessional. Many widespead software packages have a publication that is well citable, e.g. has this one with a proper DOI: doi.org/10.7717/peerj-cs.103, same for , , , etc. Some have at least a entry (with a DOI) to be properly citable. apparently has none of those.

  30. Did you know the main driver behind NumPy/SciPy didn't get tenure? 🧐
    I guess that board was wrong about Travis Oliphant.

    Literally everything I did in my scientific work since 2008 heavily depends on work like (and in my case particularly) NumPy/SciPy. #numpy #scipy #python #ScientificComputing

    youtu.be/-xhai2iu_QY

  31. Really thankful for the hard work that Travis Oliphant has done.

    youtube.com/watch?v=-xhai2iu_Q