home.social

#numpy — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #numpy, aggregated by home.social.

  1. Ускоряем и оптимизируем numpy, pandas, scipy и sklearn

    С момента публикации статьи на Хабре « Импортозамещаем numpy, pandas, scipy и sklearn » прошло почти три года. В течение этого времени я приостановил работу над проектом из-за нехватки времени, ресурсов и сил. К тому же, меня расстроило, что не смог выполнить просьбу пользователя @N-Cube , который активно интересовался моей библиотекой и хотел ускорить работу своего Jupyter Notebook. В самый критический момент на помощь пришел волшебный AI, который, хоть и иногда проявлял недостаток гибкости, с готовностью исполнял все пожелания своего хозяина. Благодаря этому проект начал продвигаться вперед. За это время в библиотеки были добавлены поддержка CUDA, множество ручных SIMD-оптимизаций с динамическим выбором SIMD, несколько реализаций линейной регрессии и многое другое. Давайте рассмотрим, что на сегодняшний день позволяет сделать моя библиотека. Я представлю несколько тестовых примеров в двух вариантах: с использованием AVX-2 на процессоре Intel® Core™ i7-4790K и AVX-512 на Intel® Xeon. Также покажу результаты замеров для каждого из них. Все тесты проводились без использования GPU, исключительно на процессоре. Это позволяет сравнивать производительность Python и моей библиотеки на равных условиях. Операционная система – Ubuntu 24.04, компилятор – GNU 13.3.0.

    habr.com/ru/articles/1039866/

    #C++ #numpy #pandas #scipy #sklearn #opensource #datascience #data_analysis

  2. Ускоряем и оптимизируем numpy, pandas, scipy и sklearn

    С момента публикации статьи на Хабре « Импортозамещаем numpy, pandas, scipy и sklearn » прошло почти три года. В течение этого времени я приостановил работу над проектом из-за нехватки времени, ресурсов и сил. К тому же, меня расстроило, что не смог выполнить просьбу пользователя @N-Cube , который активно интересовался моей библиотекой и хотел ускорить работу своего Jupyter Notebook. В самый критический момент на помощь пришел волшебный AI, который, хоть и иногда проявлял недостаток гибкости, с готовностью исполнял все пожелания своего хозяина. Благодаря этому проект начал продвигаться вперед. За это время в библиотеки были добавлены поддержка CUDA, множество ручных SIMD-оптимизаций с динамическим выбором SIMD, несколько реализаций линейной регрессии и многое другое. Давайте рассмотрим, что на сегодняшний день позволяет сделать моя библиотека. Я представлю несколько тестовых примеров в двух вариантах: с использованием AVX-2 на процессоре Intel® Core™ i7-4790K и AVX-512 на Intel® Xeon. Также покажу результаты замеров для каждого из них. Все тесты проводились без использования GPU, исключительно на процессоре. Это позволяет сравнивать производительность Python и моей библиотеки на равных условиях. Операционная система – Ubuntu 24.04, компилятор – GNU 13.3.0.

    habr.com/ru/articles/1039866/

    #C++ #numpy #pandas #scipy #sklearn #opensource #datascience #data_analysis

  3. Ускоряем и оптимизируем numpy, pandas, scipy и sklearn

    С момента публикации статьи на Хабре « Импортозамещаем numpy, pandas, scipy и sklearn » прошло почти три года. В течение этого времени я приостановил работу над проектом из-за нехватки времени, ресурсов и сил. К тому же, меня расстроило, что не смог выполнить просьбу пользователя @N-Cube , который активно интересовался моей библиотекой и хотел ускорить работу своего Jupyter Notebook. В самый критический момент на помощь пришел волшебный AI, который, хоть и иногда проявлял недостаток гибкости, с готовностью исполнял все пожелания своего хозяина. Благодаря этому проект начал продвигаться вперед. За это время в библиотеки были добавлены поддержка CUDA, множество ручных SIMD-оптимизаций с динамическим выбором SIMD, несколько реализаций линейной регрессии и многое другое. Давайте рассмотрим, что на сегодняшний день позволяет сделать моя библиотека. Я представлю несколько тестовых примеров в двух вариантах: с использованием AVX-2 на процессоре Intel® Core™ i7-4790K и AVX-512 на Intel® Xeon. Также покажу результаты замеров для каждого из них. Все тесты проводились без использования GPU, исключительно на процессоре. Это позволяет сравнивать производительность Python и моей библиотеки на равных условиях. Операционная система – Ubuntu 24.04, компилятор – GNU 13.3.0.

    habr.com/ru/articles/1039866/

    #C++ #numpy #pandas #scipy #sklearn #opensource #datascience #data_analysis

  4. Ускоряем и оптимизируем numpy, pandas, scipy и sklearn

    С момента публикации статьи на Хабре « Импортозамещаем numpy, pandas, scipy и sklearn » прошло почти три года. В течение этого времени я приостановил работу над проектом из-за нехватки времени, ресурсов и сил. К тому же, меня расстроило, что не смог выполнить просьбу пользователя @N-Cube , который активно интересовался моей библиотекой и хотел ускорить работу своего Jupyter Notebook. В самый критический момент на помощь пришел волшебный AI, который, хоть и иногда проявлял недостаток гибкости, с готовностью исполнял все пожелания своего хозяина. Благодаря этому проект начал продвигаться вперед. За это время в библиотеки были добавлены поддержка CUDA, множество ручных SIMD-оптимизаций с динамическим выбором SIMD, несколько реализаций линейной регрессии и многое другое. Давайте рассмотрим, что на сегодняшний день позволяет сделать моя библиотека. Я представлю несколько тестовых примеров в двух вариантах: с использованием AVX-2 на процессоре Intel® Core™ i7-4790K и AVX-512 на Intel® Xeon. Также покажу результаты замеров для каждого из них. Все тесты проводились без использования GPU, исключительно на процессоре. Это позволяет сравнивать производительность Python и моей библиотеки на равных условиях. Операционная система – Ubuntu 24.04, компилятор – GNU 13.3.0.

    habr.com/ru/articles/1039866/

    #C++ #numpy #pandas #scipy #sklearn #opensource #datascience #data_analysis

  5. - I really liked the R package with its data structures and plots, does this have a suitable replacement in Python?
    - talking about plots, is still like arcane sorcery to me. Plotting is really worse in Python than in R. For quick exploration I just want hist() and then a plot pops up!
    - I'm starting to like more and more

    3/n

  6. Основы глубокого обучения. Часть 1

    Приветствую всех! Эта статья будет первой в серии статей про основы глубокого обучения. В этой части я расскажу про то, что такое модели, искусственный интеллект (ИИ), машинное (МО) и глубокое обучение (ГО), про виды этапа обучения моделей, что такое нейронные сети, градиентный спуск и обратное распространение. В конце затронем теорию свёрточных нейронных сетей.

    habr.com/ru/articles/1034392/

    #глубокое_обучение #ai #ии #машинное_обучение #python #numpy #pytorch

  7. Основы глубокого обучения. Часть 1

    Приветствую всех! Эта статья будет первой в серии статей про основы глубокого обучения. В этой части я расскажу про то, что такое модели, искусственный интеллект (ИИ), машинное (МО) и глубокое обучение (ГО), про виды этапа обучения моделей, что такое нейронные сети, градиентный спуск и обратное распространение. В конце затронем теорию свёрточных нейронных сетей.

    habr.com/ru/articles/1034392/

    #глубокое_обучение #ai #ии #машинное_обучение #python #numpy #pytorch

  8. Основы глубокого обучения. Часть 1

    Приветствую всех! Эта статья будет первой в серии статей про основы глубокого обучения. В этой части я расскажу про то, что такое модели, искусственный интеллект (ИИ), машинное (МО) и глубокое обучение (ГО), про виды этапа обучения моделей, что такое нейронные сети, градиентный спуск и обратное распространение. В конце затронем теорию свёрточных нейронных сетей.

    habr.com/ru/articles/1034392/

    #глубокое_обучение #ai #ии #машинное_обучение #python #numpy #pytorch

  9. Основы глубокого обучения. Часть 1

    Приветствую всех! Эта статья будет первой в серии статей про основы глубокого обучения. В этой части я расскажу про то, что такое модели, искусственный интеллект (ИИ), машинное (МО) и глубокое обучение (ГО), про виды этапа обучения моделей, что такое нейронные сети, градиентный спуск и обратное распространение. В конце затронем теорию свёрточных нейронных сетей.

    habr.com/ru/articles/1034392/

    #глубокое_обучение #ai #ии #машинное_обучение #python #numpy #pytorch

  10. Мой первый ИИ: Пишем нейросеть на Python с нуля

    Написал гайд для тех, кто хочет понять нейросети изнутри. Создаем свой ИИ для распознавания цифр на чистом Python всего в 50 строк кода. Вся математика на пальцах!

    habr.com/ru/articles/1031568/

    #Нейросети_для_начинающих #python #машинное_обучение #алгоритмы #numpy #градиентный_спуск #распознавание_образов #искусственный_интеллект

  11. #AI illiteracy is real. While still arguing with a bunch of AI haters, #Copilot and I just finished our #Pascal #BLAS level 1-3 Implementation plus eigenvalue, cholesky, and sparse #matrix, so we will never need #python, #C, C#, #Rust, ... for our Small Language Project. We will expand our Pascal Numeric Library (PNL) v1.0 to something like #Numpy and #Pytorch, but with static arrays, deterministic data structure, no referencing, no pointer arithmetic.

    #LLM #programming #computer

  12. #AI illiteracy is real. While still arguing with a bunch of AI haters, #Copilot and I just finished our #Pascal #BLAS level 1-3 Implementation plus eigenvalue, cholesky, and sparse #matrix, so we will never need #python, #C, C#, #Rust, ... for our Small Language Project. We will expand our Pascal Numeric Library (PNL) v1.0 to something like #Numpy and #Pytorch, but with static arrays, deterministic data structure, no referencing, no pointer arithmetic.

    #LLM #programming #computer

  13. #AI illiteracy is real. While still arguing with a bunch of AI haters, #Copilot and I just finished our #Pascal #BLAS level 1-3 Implementation plus eigenvalue, cholesky, and sparse #matrix, so we will never need #python, #C, C#, #Rust, ... for our Small Language Project. We will expand our Pascal Numeric Library (PNL) v1.0 to something like #Numpy and #Pytorch, but with static arrays, deterministic data structure, no referencing, no pointer arithmetic.

    #LLM #programming #computer

  14. #AI illiteracy is real. While still arguing with a bunch of AI haters, #Copilot and I just finished our #Pascal #BLAS level 1-3 Implementation plus eigenvalue, cholesky, and sparse #matrix, so we will never need #python, #C, C#, #Rust, ... for our Small Language Project. We will expand our Pascal Numeric Library (PNL) v1.0 to something like #Numpy and #Pytorch, but with static arrays, deterministic data structure, no referencing, no pointer arithmetic.

    #LLM #programming #computer

  15. Why do people use #python, a glue language, which is so slow? The only reason is the AI ecosystem.

    #Copilot and I just tested Free Pascal and BLAS for its speed without using #numpy or #pytorch. The result is amazing. It took less than a second to do a 1024x1024 #matrix multiplication.

    We will be using Free #Pascal and #BLAS to write our Small Language Model #SLM using #NNUE.

    #AI #LLM

  16. Why do people use #python, a glue language, which is so slow? The only reason is the AI ecosystem.

    #Copilot and I just tested Free Pascal and BLAS for its speed without using #numpy or #pytorch. The result is amazing. It took less than a second to do a 1024x1024 #matrix multiplication.

    We will be using Free #Pascal and #BLAS to write our Small Language Model #SLM using #NNUE.

    #AI #LLM

  17. Why do people use #python, a glue language, which is so slow? The only reason is the AI ecosystem.

    #Copilot and I just tested Free Pascal and BLAS for its speed without using #numpy or #pytorch. The result is amazing. It took less than a second to do a 1024x1024 #matrix multiplication.

    We will be using Free #Pascal and #BLAS to write our Small Language Model #SLM using #NNUE.

    #AI #LLM

  18. Why do people use #python, a glue language, which is so slow? The only reason is the AI ecosystem.

    #Copilot and I just tested Free Pascal and BLAS for its speed without using #numpy or #pytorch. The result is amazing. It took less than a second to do a 1024x1024 #matrix multiplication.

    We will be using Free #Pascal and #BLAS to write our Small Language Model #SLM using #NNUE.

    #AI #LLM

  19. NumPy с нуля: понятный гайд для тех, кто хочет в Data Science

    Стандартные списки в Python прекрасны своей гибкостью, но когда дело доходит до больших данных и математики, они превращаются в медленных черепах. 🐢 Подготовил для вас максимально практичный гайд: «NumPy с нуля до понимания за 1 статью». Никакой академической воды — только база для быстрого старта в Data Science и аналитике.

    habr.com/ru/articles/1029440/

    #numpy #numpy_datascience #python #python3 #python_для_начинающих #python_tutor #data_science #data_analysis

  20. NumPy с нуля: понятный гайд для тех, кто хочет в Data Science

    Стандартные списки в Python прекрасны своей гибкостью, но когда дело доходит до больших данных и математики, они превращаются в медленных черепах. 🐢 Подготовил для вас максимально практичный гайд: «NumPy с нуля до понимания за 1 статью». Никакой академической воды — только база для быстрого старта в Data Science и аналитике.

    habr.com/ru/articles/1029440/

    #numpy #numpy_datascience #python #python3 #python_для_начинающих #python_tutor #data_science #data_analysis

  21. NumPy с нуля: понятный гайд для тех, кто хочет в Data Science

    Стандартные списки в Python прекрасны своей гибкостью, но когда дело доходит до больших данных и математики, они превращаются в медленных черепах. 🐢 Подготовил для вас максимально практичный гайд: «NumPy с нуля до понимания за 1 статью». Никакой академической воды — только база для быстрого старта в Data Science и аналитике.

    habr.com/ru/articles/1029440/

    #numpy #numpy_datascience #python #python3 #python_для_начинающих #python_tutor #data_science #data_analysis

  22. NumPy с нуля: понятный гайд для тех, кто хочет в Data Science

    Стандартные списки в Python прекрасны своей гибкостью, но когда дело доходит до больших данных и математики, они превращаются в медленных черепах. 🐢 Подготовил для вас максимально практичный гайд: «NumPy с нуля до понимания за 1 статью». Никакой академической воды — только база для быстрого старта в Data Science и аналитике.

    habr.com/ru/articles/1029440/

    #numpy #numpy_datascience #python #python3 #python_для_начинающих #python_tutor #data_science #data_analysis

  23. I learned #Pascal in the 80s. I learned a bit C and Rust and hated that pointer logic which is extremely clumsy for matrix manipulation. #Python and #C users almost never knew that things like #Numpy were written in #Assembly based on algorithms originally written in #Fortran, not C. I tried to create a new programming language by bootstrapping using Fortran with the help of #Claude 4 but failed. Now I am switching to Pascal which is insane with powerful arrays.

    #AI #computer #programming

  24. I learned #Pascal in the 80s. I learned a bit C and Rust and hated that pointer logic which is extremely clumsy for matrix manipulation. #Python and #C users almost never knew that things like #Numpy were written in #Assembly based on algorithms originally written in #Fortran, not C. I tried to create a new programming language by bootstrapping using Fortran with the help of #Claude 4 but failed. Now I am switching to Pascal which is insane with powerful arrays.

    #AI #computer #programming

  25. Made this today to illustrate an "electronics and programming" activity proposal :)
    It has some code to export a high resolution version.
    The sketch-a-day archives and tip jar are at: abav.lugaralgum.com/sketch-a-d Code for this: github.com/villares/sketch-a-d #numpy #Processing #Python #py5 #CreativeCoding

  26. Все об устройстве WSPR с примерами на Python (часть 2)

    WSPR — цифровой протокол, разработанный Джо Тейлором (K1JT) в 2008-2009 годах, с целью исследования распространения радиосигналов от коротковолновых передатчиков малой и сверхмалой мощности. В предыдущей части были рассмотрены механизмы помехозащищенного кодирования данных и формирования сигнала для отправки его в эфир. В этой части статьи рассматриваются механизмы детектирования и декодирования принимаемого из сигнала. Статья может быть интересна радиолюбителям, как знакомым, так и не знакомым с WSPR, а также тем, кто интересуется темой цифровой обработки сигналов и хочет понять устройство этого протокола.

    habr.com/ru/articles/1027722/

    #ham #hamradio #python #numpy #fec #fsk #convolutional_encoding

  27. Simone Conradi, Theoretical physics PhD
    Università degli Studi di Genova

    Roots of a parametric polynomial.

    Made with #Python #NumPy and #Matplotlib

  28. #Día22 | Series de Tiempo – Nueva Herramienta | #30DayChartChallenge | Precio histórico del aceite de palma. Creada usando #Python con #io, #pandas, #numpy y #matplotlib

  29. | Series de Tiempo – Nueva Herramienta | | Precio histórico del aceite de palma. Creada usando con , , y

  30. #Día22 | Series de Tiempo – Nueva Herramienta | #30DayChartChallenge | Precio histórico del aceite de palma. Creada usando #Python con #io, #pandas, #numpy y #matplotlib

  31. #Día22 | Series de Tiempo – Nueva Herramienta | #30DayChartChallenge | Precio histórico del aceite de palma. Creada usando #Python con #io, #pandas, #numpy y #matplotlib

  32. «Сверхзвуковой математик» против «Вдумчивого логиста»: битва алгоритмов 3D-упаковки

    Что будет, если столкнуть классический переборный алгоритм упаковки и «математику потока» на базе Numpy? Мы взяли реальный кейс на 398 предметов и проверили: можно ли за доли секунды найти решение, которое окажется дешевле и безопаснее ручного планирования. Внутри — разбор «Бизнес-Ассемблера», борьба с весовыми лимитами и ответ на вопрос: почему при КПД 61% по объему контейнер может считаться идеально упакованным.

    habr.com/ru/articles/1023920/

    #3d_bin_packing #numpy #heuristics #algorithms #computational_geometry #python_optimization #lifoпогрузка #lifo #cog #payload

  33. «Сверхзвуковой математик» против «Вдумчивого логиста»: битва алгоритмов 3D-упаковки

    Что будет, если столкнуть классический переборный алгоритм упаковки и «математику потока» на базе Numpy? Мы взяли реальный кейс на 398 предметов и проверили: можно ли за доли секунды найти решение, которое окажется дешевле и безопаснее ручного планирования. Внутри — разбор «Бизнес-Ассемблера», борьба с весовыми лимитами и ответ на вопрос: почему при КПД 61% по объему контейнер может считаться идеально упакованным.

    habr.com/ru/articles/1023920/

    #3d_bin_packing #numpy #heuristics #algorithms #computational_geometry #python_optimization #lifoпогрузка #lifo #cog #payload

  34. «Сверхзвуковой математик» против «Вдумчивого логиста»: битва алгоритмов 3D-упаковки

    Что будет, если столкнуть классический переборный алгоритм упаковки и «математику потока» на базе Numpy? Мы взяли реальный кейс на 398 предметов и проверили: можно ли за доли секунды найти решение, которое окажется дешевле и безопаснее ручного планирования. Внутри — разбор «Бизнес-Ассемблера», борьба с весовыми лимитами и ответ на вопрос: почему при КПД 61% по объему контейнер может считаться идеально упакованным.

    habr.com/ru/articles/1023920/

    #3d_bin_packing #numpy #heuristics #algorithms #computational_geometry #python_optimization #lifoпогрузка #lifo #cog #payload

  35. «Сверхзвуковой математик» против «Вдумчивого логиста»: битва алгоритмов 3D-упаковки

    Что будет, если столкнуть классический переборный алгоритм упаковки и «математику потока» на базе Numpy? Мы взяли реальный кейс на 398 предметов и проверили: можно ли за доли секунды найти решение, которое окажется дешевле и безопаснее ручного планирования. Внутри — разбор «Бизнес-Ассемблера», борьба с весовыми лимитами и ответ на вопрос: почему при КПД 61% по объему контейнер может считаться идеально упакованным.

    habr.com/ru/articles/1023920/

    #3d_bin_packing #numpy #heuristics #algorithms #computational_geometry #python_optimization #lifoпогрузка #lifo #cog #payload

  36. Почему argsort(argsort(x)) возвращает ранги элементов массива

    Иногда в программировании встречаются трюки, которые отлично работают, но почти нигде не объясняется — почему. Один из таких приёмов в NumPy — вычисление рангов элементов массива с помощью двойного argsort : argsort(argsort(x)) . Этот однострочник часто рекомендуют на форумах и в ответах на Stack Overflow, однако строгого объяснения обычно не приводят. В этой статье я формализую задачу и покажу пошаговое доказательство того, что двойной argsort действительно возвращает ранги элементов массива .

    habr.com/ru/articles/1019144/

    #Python #numpy #алгоритмы #сортировка #математика

  37. Все об устройстве WSPR с примерами на Python (часть 1)

    WSPR — цифровой протокол, разработанный Джо Тейлором (K1JT) в 2008-2009 годах, с целью исследования распространения радиосигналов от коротковолновых передатчиков малой и сверхмалой мощности. В этой статье будут рассмотрены устройство и принципы работы протокола. Статья может быть интересна радиолюбителям, как знакомым, так и не знакомым с WSPR, а также тем, кто хочет понять устройство этого протокола.

    habr.com/ru/articles/1017728/

    #ham #hamradio #python #numpy #fec #fsk #convolutional_encoding

  38. After studying the concepts and experimenting with JavaScript, I started building a small numerical utility library inspired by NumPy. hackernoon.com/i-built-a-numpy #numpy

  39. Почему Python + Numba обгоняет C? Эксперимент с алгоритмом прогонки

    Все знают, что C быстрее Python. Но мы провели эксперимент с алгоритмом прогонки и обнаружили, что Numba (JIT-компилятор для Python) обгоняет наивный C на 20–25%. Разбираемся, почему так происходит, и сравниваем точность float32/float64.

    habr.com/ru/articles/1012122/

    #Python #C #Numba #NumPy #производительность #алгоритмы #численные_методы #оптимизация #прогонка

  40. Почему Python + Numba обгоняет C? Эксперимент с алгоритмом прогонки

    Все знают, что C быстрее Python. Но мы провели эксперимент с алгоритмом прогонки и обнаружили, что Numba (JIT-компилятор для Python) обгоняет наивный C на 20–25%. Разбираемся, почему так происходит, и сравниваем точность float32/float64.

    habr.com/ru/articles/1012122/

    #Python #C #Numba #NumPy #производительность #алгоритмы #численные_методы #оптимизация #прогонка

  41. Почему Python + Numba обгоняет C? Эксперимент с алгоритмом прогонки

    Все знают, что C быстрее Python. Но мы провели эксперимент с алгоритмом прогонки и обнаружили, что Numba (JIT-компилятор для Python) обгоняет наивный C на 20–25%. Разбираемся, почему так происходит, и сравниваем точность float32/float64.

    habr.com/ru/articles/1012122/

    #Python #C #Numba #NumPy #производительность #алгоритмы #численные_методы #оптимизация #прогонка

  42. Почему Python + Numba обгоняет C? Эксперимент с алгоритмом прогонки

    Все знают, что C быстрее Python. Но мы провели эксперимент с алгоритмом прогонки и обнаружили, что Numba (JIT-компилятор для Python) обгоняет наивный C на 20–25%. Разбираемся, почему так происходит, и сравниваем точность float32/float64.

    habr.com/ru/articles/1012122/

    #Python #C #Numba #NumPy #производительность #алгоритмы #численные_методы #оптимизация #прогонка