#backpropagation — Public Fediverse posts

Я удалил backpropagation из нейросети. Она обучилась методами XIX века

Все началось с того, что я открыл PyTorch и удалил из модели .backward(). Взял и стер как строчку, которая «вроде ничего не делала». Только вот эта строчка делала вообще все. Я хотел понять одну вещь: а что, если забыть, что backpropagation существует? Не как упражнение, чтобы вспомнить основы, а буквально обучить нейросеть, ни разу не посчитав градиент. То есть без всего того математического аппарата, который мы с вами воспринимаем как воздух. И у меня получилось. Правда попутно я обнаружил, что Adam — это, по сути, уравнение движения с трением, записанное на Python. (Лагранж бы такое одобрил, наверное).

https://habr.com/ru/companies/selectel/articles/1025542/

#нейронные_сети #backpropagation #градиентный_спуск #оптимизация #SGD #momentum #метод_Ланжевена #случайный_поиск #история_математики #selectel

Автодифференцирование на C++: обратное распространение через лямбды и std::function

Привет, Хабр! Меня зовут Кирилл Колодяжный, я разрабатываю системы хранения данных в YADRO. Это третья, заключительная часть моего цикла о паттернах C++, которые я применяю для решения задач машинного обучения, а вы можете использовать и в другой работе. В этой статье поговорим, как построить вычислительные графы и реализовать обратное распространение ошибки без сложных иерархий классов, с помощью лямбда-функций и стандартной библиотеки. В конце материала я сравнил свой подход с вариантом PyTorch и оставил ссылки на полезные материалы, в том числе на предыдущие части цикла.

https://habr.com/ru/companies/yadro/articles/1002784/

#с++ #backpropagation #graph #machinelearning

Нейро сети для самых маленьких

Нейро сети для самых маленьких Каждый раз, когда вы говорите нейросети « Спасибо », вы запускаете конвейер, в котором перемножаются сотни матриц с миллиардами элементов, и сжигаете электричества столько же, сколько светодиодная лампа за несколько секунд. Это первая статья из небольшого цикла, посвящённого сетям для AI/ML-кластеров и HPC. В этой серии мы коснёмся принципов работы и обучения моделей, параллелизации, технологий DMA и RDMA, сетевых топологий, InfiniBand и RoCE, а ещё пофилософствуем на тему общих и специальных решений. Конкретно в этой статье мы разберёмся, что представляет из себя нейросеть, как она работает, как происходит её обучение, а самое главное, почему для неё нужны сотни дорогущих GPU-карточек и какая-то особенная сеть. Рефрен сегодняшней истории: в нейросетях нет никакой магии — это просто множество простых операций над числами, которые выполняются на компьютерах со специальными чипами. Магии нет ни в том, как они работают, ни в той инфраструктуре, на которой они запускаются. Ныряем!

https://habr.com/ru/articles/982820/

#ai #ml #roce #infiniband #трансформеры #нейросети #llm #mlp #backpropagation

Neural Networks Explained: A Beginner's Guide to AI

https://jivoice.com/understanding-neural-networks-2/

#deeplearning #recurrentneuralnetwork #datascience #convolutionalneuralnetwork #howneuralnetswork #hiddenlayers #artificialintelligencebasics #aimodels #backpropagation #artificialneuron

Neural Networks Explained: A Beginner's Guide to AI

https://jivoice.com/understanding-neural-networks-2/

#deeplearning #recurrentneuralnetwork #datascience #convolutionalneuralnetwork #howneuralnetswork #hiddenlayers #artificialintelligencebasics #aimodels #backpropagation #artificialneuron

Neural Networks Explained: A Beginner's Guide to AI

https://jivoice.com/understanding-neural-networks-2/

#deeplearning #recurrentneuralnetwork #datascience #convolutionalneuralnetwork #howneuralnetswork #hiddenlayers #artificialintelligencebasics #aimodels #backpropagation #artificialneuron

Neural Networks Explained: A Beginner's Guide to AI

https://jivoice.com/understanding-neural-networks-2/

#deeplearning #recurrentneuralnetwork #datascience #convolutionalneuralnetwork #howneuralnetswork #hiddenlayers #artificialintelligencebasics #aimodels #backpropagation #artificialneuron

Neural Networks Explained: A Beginner's Guide to AI

https://jivoice.com/understanding-neural-networks-2/

#deeplearning #recurrentneuralnetwork #datascience #convolutionalneuralnetwork #howneuralnetswork #hiddenlayers #artificialintelligencebasics #aimodels #backpropagation #artificialneuron

Gradient-adjusted Incremental Target Propagation Provides Effective Credit Assignment in Deep Neu...

Sander Dalm, Nasir Ahmad, Luca Ambrogioni, Marcel van Gerven

https://openreview.net/forum?id=Lx19EyKX77

#backpropagation #synaptic #trained

In his new paper https://www.cs.toronto.edu/~hinton/FFA13.pdf, G. Hinton points our how current #neuralmodels based on #backpropagation should be replaced by mechanisms that don't contradict biological evidence and that "may be superior to backpropagation as a model of learning in cortex and as a way of making use of very low-power analog hardware without resorting to #reinforcementlearning".
In "Cognitive Design for Artificial Minds", 2021 (https://www.amazon.com/dp/1138207950/), I argued the same! #AI & #CogSci converge again!