#autograd — Public Fediverse posts

Python: как один из самых медленных языков стал королем нейросетей

Python. IT-курсы разрекламировали его как один из самых легких языков для входа в разработку, любители ИИ создают на нем свои первые нейросети, а некоторые сеньоры Java и C++ по-прежнему смотрят на него свысока, считая недостаточно строгим и производительным для «серьезной» разработки. В любом случае сегодня о Python знают все. Поскольку заметный рост его популярности пришелся на 2010-е годы, многие считают, что язык появился сравнительно недавно. Но это неверно: Python старше большинства современных веб- и ML-фреймворков, массовой мобильной разработки и нынешнего AI-бума. Как язык с репутацией медленного стал основным инструментом data science и машинного обучения, почему он поднялся на вершину рейтингов популярности и какую роль в этом сыграли его архитектура и экосистема — разберем в этой статье.

https://habr.com/ru/articles/1061952/

#Python #CPython #машинное_обучение #нейросети #PyTorch #TensorFlow #c++ #CUDA #autograd #deep_learning

Python: как один из самых медленных языков стал королем нейросетей

Python. IT-курсы разрекламировали его как один из самых легких языков для входа в разработку, любители ИИ создают на нем свои первые нейросети, а некоторые сеньоры Java и C++ по-прежнему смотрят на него свысока, считая недостаточно строгим и производительным для «серьезной» разработки. В любом случае сегодня о Python знают все. Поскольку заметный рост его популярности пришелся на 2010-е годы, многие считают, что язык появился сравнительно недавно. Но это неверно: Python старше большинства современных веб- и ML-фреймворков, массовой мобильной разработки и нынешнего AI-бума. Как язык с репутацией медленного стал основным инструментом data science и машинного обучения, почему он поднялся на вершину рейтингов популярности и какую роль в этом сыграли его архитектура и экосистема — разберем в этой статье.

https://habr.com/ru/articles/1061952/

#Python #CPython #машинное_обучение #нейросети #PyTorch #TensorFlow #c++ #CUDA #autograd #deep_learning

Python: как один из самых медленных языков стал королем нейросетей

Python. IT-курсы разрекламировали его как один из самых легких языков для входа в разработку, любители ИИ создают на нем свои первые нейросети, а некоторые сеньоры Java и C++ по-прежнему смотрят на него свысока, считая недостаточно строгим и производительным для «серьезной» разработки. В любом случае сегодня о Python знают все. Поскольку заметный рост его популярности пришелся на 2010-е годы, многие считают, что язык появился сравнительно недавно. Но это неверно: Python старше большинства современных веб- и ML-фреймворков, массовой мобильной разработки и нынешнего AI-бума. Как язык с репутацией медленного стал основным инструментом data science и машинного обучения, почему он поднялся на вершину рейтингов популярности и какую роль в этом сыграли его архитектура и экосистема — разберем в этой статье.

https://habr.com/ru/articles/1061952/

#Python #CPython #машинное_обучение #нейросети #PyTorch #TensorFlow #c++ #CUDA #autograd #deep_learning

Запрещённая математика в твоём autograd: бесконечно малые, дуальные числа и нестандартный анализ

Когда вы пишете loss.backward() в PyTorch, ваш autograd делает то, что 200 лет считалось математической ересью: оперирует бесконечно малыми как настоящими числами. В 1960 году Абрахам Робинсон формализовал эту «ересь» в виде нестандартного анализа. В этой статье мы разберём, как математики изгнали, а затем вернули бесконечно малые, что такое гиперреалы и монады, а затем реализуем эту идею в коде.

https://habr.com/ru/articles/1030680/

#autograd #математика #нестандартный_анализ #дуальные_числа #pytorch #градиенты #бесконечно_малые #дифференцирование #python #машинное_обучение

MyTorch – Minimalist autograd in 450 lines of Python

https://github.com/obround/mytorch

#HackerNews #MyTorch #Minimalist #Autograd #Python #450Lines #MachineLearning

MyTorch – Minimalist autograd in 450 lines of Python

https://github.com/obround/mytorch

#HackerNews #MyTorch #Minimalist #Autograd #Python #450Lines #MachineLearning

Глубокое обучение: Слой линейного преобразования и полносвязная нейросеть. Теория и реализация на самодельном autograd

Всем привет. В этой статье я расскажу про слой линейного преобразования. Идею для реализации я взял из книги «Грокаем глубокое обучение». Здесь рассмотрим как использовать самодельный алгоритм автоматического дифференцирования при создании и обучении нейросети, про который я сделал разбор ранее. Меня зовут Алмаз Хуснутдинов. Я занимаюсь проектом "Теория цифрового интеллекта" - бесплатный и открытый проект, направленный на развитие мышления в направлении создания программы, обладающей интеллектом. Если вам не нужно разбираться в том, как работает нейросеть на низком уровне, то просто прочитайте ту часть статьи, где рассказывается про использование слоев и реализацию нейросети. Содержание: идея слоя прямого распространения, новые операции: операция умножения и деления матрицы на число, линейный слой и дополнительный функционал, задача «логическое или», как происходит обучение линейного слоя и набор данных digits.

https://habr.com/ru/articles/885466/

#полносвязный_слой #обучение_нейросети #полносвязная_нейросеть #autograd #автоматическое_дифференцирование