#градиентный_спуск — Public Fediverse posts

Обратное распространение ошибки: от интуиции до кода

Многие умеют вызывать loss.backward() в PyTorch, но не всегда понимают, что именно происходит под капотом. Как сеть вычисляет, какой из миллионов весов нужно изменить? В этой статье мы развеем магию обратного распространения ошибки (backprop). Разберем алгоритм на простых аналогиях с заводским конвейером, вспомним школьное правило дифференцирования и, чтобы закрепить понимание, напишем свой микро-фреймворк для автоматического вычисления градиентов на чистом Python с нуля.

https://habr.com/ru/articles/1031986/

#машинное_обучение #нейросети #backpropagation #обратное_распространение_ошибки #градиентный_спуск #deep_learning #python #математика #вычислительные_графы #micrograd

Обратное распространение ошибки: от интуиции до кода

Многие умеют вызывать loss.backward() в PyTorch, но не всегда понимают, что именно происходит под капотом. Как сеть вычисляет, какой из миллионов весов нужно изменить? В этой статье мы развеем магию обратного распространения ошибки (backprop). Разберем алгоритм на простых аналогиях с заводским конвейером, вспомним школьное правило дифференцирования и, чтобы закрепить понимание, напишем свой микро-фреймворк для автоматического вычисления градиентов на чистом Python с нуля.

https://habr.com/ru/articles/1031986/

#машинное_обучение #нейросети #backpropagation #обратное_распространение_ошибки #градиентный_спуск #deep_learning #python #математика #вычислительные_графы #micrograd

Мой первый ИИ: Пишем нейросеть на Python с нуля

Написал гайд для тех, кто хочет понять нейросети изнутри. Создаем свой ИИ для распознавания цифр на чистом Python всего в 50 строк кода. Вся математика на пальцах!

https://habr.com/ru/articles/1031568/

#Нейросети_для_начинающих #python #машинное_обучение #алгоритмы #numpy #градиентный_спуск #распознавание_образов #искусственный_интеллект

Я удалил backpropagation из нейросети. Она обучилась методами XIX века

Все началось с того, что я открыл PyTorch и удалил из модели .backward(). Взял и стер как строчку, которая «вроде ничего не делала». Только вот эта строчка делала вообще все. Я хотел понять одну вещь: а что, если забыть, что backpropagation существует? Не как упражнение, чтобы вспомнить основы, а буквально обучить нейросеть, ни разу не посчитав градиент. То есть без всего того математического аппарата, который мы с вами воспринимаем как воздух. И у меня получилось. Правда попутно я обнаружил, что Adam — это, по сути, уравнение движения с трением, записанное на Python. (Лагранж бы такое одобрил, наверное).

https://habr.com/ru/companies/selectel/articles/1025542/

#нейронные_сети #backpropagation #градиентный_спуск #оптимизация #SGD #momentum #метод_Ланжевена #случайный_поиск #история_математики #selectel

Я удалил backpropagation из нейросети. Она обучилась методами XIX века

Все началось с того, что я открыл PyTorch и удалил из модели .backward(). Взял и стер как строчку, которая «вроде ничего не делала». Только вот эта строчка делала вообще все. Я хотел понять одну вещь: а что, если забыть, что backpropagation существует? Не как упражнение, чтобы вспомнить основы, а буквально обучить нейросеть, ни разу не посчитав градиент. То есть без всего того математического аппарата, который мы с вами воспринимаем как воздух. И у меня получилось. Правда попутно я обнаружил, что Adam — это, по сути, уравнение движения с трением, записанное на Python. (Лагранж бы такое одобрил, наверное).

https://habr.com/ru/companies/selectel/articles/1025542/

#нейронные_сети #backpropagation #градиентный_спуск #оптимизация #SGD #momentum #метод_Ланжевена #случайный_поиск #история_математики #selectel

Я удалил backpropagation из нейросети. Она обучилась методами XIX века

Все началось с того, что я открыл PyTorch и удалил из модели .backward(). Взял и стер как строчку, которая «вроде ничего не делала». Только вот эта строчка делала вообще все. Я хотел понять одну вещь: а что, если забыть, что backpropagation существует? Не как упражнение, чтобы вспомнить основы, а буквально обучить нейросеть, ни разу не посчитав градиент. То есть без всего того математического аппарата, который мы с вами воспринимаем как воздух. И у меня получилось. Правда попутно я обнаружил, что Adam — это, по сути, уравнение движения с трением, записанное на Python. (Лагранж бы такое одобрил, наверное).

https://habr.com/ru/companies/selectel/articles/1025542/

#нейронные_сети #backpropagation #градиентный_спуск #оптимизация #SGD #momentum #метод_Ланжевена #случайный_поиск #история_математики #selectel

Я удалил backpropagation из нейросети. Она обучилась методами XIX века

Все началось с того, что я открыл PyTorch и удалил из модели .backward(). Взял и стер как строчку, которая «вроде ничего не делала». Только вот эта строчка делала вообще все. Я хотел понять одну вещь: а что, если забыть, что backpropagation существует? Не как упражнение, чтобы вспомнить основы, а буквально обучить нейросеть, ни разу не посчитав градиент. То есть без всего того математического аппарата, который мы с вами воспринимаем как воздух. И у меня получилось. Правда попутно я обнаружил, что Adam — это, по сути, уравнение движения с трением, записанное на Python. (Лагранж бы такое одобрил, наверное).

https://habr.com/ru/companies/selectel/articles/1025542/

#нейронные_сети #backpropagation #градиентный_спуск #оптимизация #SGD #momentum #метод_Ланжевена #случайный_поиск #история_математики #selectel

Игра в угадайку

Играют двое: загадывающий и отгадывающий. Загадывающий загадывает целое число в известном диапазоне — скажем, от 1 до 100 включительно. Отгадывающий пытается это число отгадать, называя варианты. После каждого неверного варианта загадывающий говорит: «больше» или «меньше». Задача: отгадать число за минимальное количество попыток, используя минимальный объем вычислений. Вам кажется, что это очень просто? Поверьте, это совсем не так!

https://habr.com/ru/articles/1017752/

#угадай_число #максимин #монтекарло #градиентный_спуск #эволюционные_алгоритмы #оптимальная_игра #вредные_советы

Игра в угадайку

Играют двое: загадывающий и отгадывающий. Загадывающий загадывает целое число в известном диапазоне — скажем, от 1 до 100 включительно. Отгадывающий пытается это число отгадать, называя варианты. После каждого неверного варианта загадывающий говорит: «больше» или «меньше». Задача: отгадать число за минимальное количество попыток, используя минимальный объем вычислений. Вам кажется, что это очень просто? Поверьте, это совсем не так!

https://habr.com/ru/articles/1017752/

#угадай_число #максимин #монтекарло #градиентный_спуск #эволюционные_алгоритмы #оптимальная_игра #вредные_советы

Игра в угадайку

Играют двое: загадывающий и отгадывающий. Загадывающий загадывает целое число в известном диапазоне — скажем, от 1 до 100 включительно. Отгадывающий пытается это число отгадать, называя варианты. После каждого неверного варианта загадывающий говорит: «больше» или «меньше». Задача: отгадать число за минимальное количество попыток, используя минимальный объем вычислений. Вам кажется, что это очень просто? Поверьте, это совсем не так!

https://habr.com/ru/articles/1017752/

#угадай_число #максимин #монтекарло #градиентный_спуск #эволюционные_алгоритмы #оптимальная_игра #вредные_советы

Игра в угадайку

Играют двое: загадывающий и отгадывающий. Загадывающий загадывает целое число в известном диапазоне — скажем, от 1 до 100 включительно. Отгадывающий пытается это число отгадать, называя варианты. После каждого неверного варианта загадывающий говорит: «больше» или «меньше». Задача: отгадать число за минимальное количество попыток, используя минимальный объем вычислений. Вам кажется, что это очень просто? Поверьте, это совсем не так!

https://habr.com/ru/articles/1017752/

#угадай_число #максимин #монтекарло #градиентный_спуск #эволюционные_алгоритмы #оптимальная_игра #вредные_советы

Бинарная классификация: как работает логистическая регрессия

Недавно мне предстояло написать реализацию LogisiticRegression для одного проекта в Школе 21, так что было необходимо разложить всё по полочкам и разобраться в бинарной классификации в целом. Хочу поделиться также этой информацией здесь, потому что не нашла статьи, которая была бы понятна и обширна лично в моём случае.

https://habr.com/ru/articles/994376/

#ml #логистическая_регрессия #линейная_регрессия #бинарная_классификация #roc_auc #gini_coefficient #бернулли #сигмоида #градиентный_спуск #sgd

Методы оптимизации в машинном и глубоком обучении. От простого к сложному

В данной статье представлен обзор различных популярных (и не только) оптимизаторов, которые применяются в машинном и глубоком обучении, в частности для обучения нейронных сетей. Мы рассмотрим их основную идею и ключевые особенности, переходя от простых к более сложным концепциям. Помимо этого, в самом конце вы сможете найти большое количество дополнительных источников для более детального ознакомления с материалом.

https://habr.com/ru/articles/813221/

#python #методы_оптимизации #градиентный_спуск #momentum #rmsprop #adam #метод_ньютона #bfgs #ista #глубокое_обучение

Математические основы рекуррентных нейросетей (детские вопросы и ответы, о которых не принято говорить)

Подробно разбираем математику рекуррентных нейросетей на базе самой простой нейросети от одного из основателей Open AI, а попутно задаёмся разными вопросами, которых нет в книжках, но которые обязательно задали бы дети. Узнаем сложно ли продифференцировать вектор по матрице, что не так с обратным распространением ошибки и как нейросети пробудили у автора его детские воспоминания.

https://habr.com/ru/articles/993824/

#rnn #нейросеть #искусственный_интеллект #градиентный_спуск #обратное_распространение_ошибки

Математические основы рекуррентных нейросетей (детские вопросы и ответы, о которых не принято говорить)

Подробно разбираем математику рекуррентных нейросетей на базе самой простой нейросети от одного из основателей Open AI, а попутно задаёмся разными вопросами, которых нет в книжках, но которые обязательно задали бы дети. Узнаем сложно ли продифференцировать вектор по матрице, что не так с обратным распространением ошибки и как нейросети пробудили у автора его детские воспоминания.

https://habr.com/ru/articles/993824/

#rnn #нейросеть #искусственный_интеллект #градиентный_спуск #обратное_распространение_ошибки

Математические основы рекуррентных нейросетей (детские вопросы и ответы, о которых не принято говорить)

Подробно разбираем математику рекуррентных нейросетей на базе самой простой нейросети от одного из основателей Open AI, а попутно задаёмся разными вопросами, которых нет в книжках, но которые обязательно задали бы дети. Узнаем сложно ли продифференцировать вектор по матрице, что не так с обратным распространением ошибки и как нейросети пробудили у автора его детские воспоминания.

https://habr.com/ru/articles/993824/

#rnn #нейросеть #искусственный_интеллект #градиентный_спуск #обратное_распространение_ошибки

Математические основы рекуррентных нейросетей (детские вопросы и ответы, о которых не принято говорить)

Подробно разбираем математику рекуррентных нейросетей на базе самой простой нейросети от одного из основателей Open AI, а попутно задаёмся разными вопросами, которых нет в книжках, но которые обязательно задали бы дети. Узнаем сложно ли продифференцировать вектор по матрице, что не так с обратным распространением ошибки и как нейросети пробудили у автора его детские воспоминания.

https://habr.com/ru/articles/993824/

#rnn #нейросеть #искусственный_интеллект #градиентный_спуск #обратное_распространение_ошибки

Backpropagation для взрослых: простое обьяснение

Перед обсуждением обратного распространения ошибки давайте рассмотрим, что такое нейронная сеть? Концептуально — что она делает — она пытается преобразовать ряд входных данных (например, изображения) в ряд выходных данных (ответы на вопросы, например, есть ли на этих картинках собаки) посредством процесса трансформации этих изображений, пропуская их через сеть нейронов. Изображения — это просто массивы байтов, так как это происходит?

https://habr.com/ru/companies/raft/articles/811371/

#backpropagation #обратное_распространение_ошибки #градиентный_спуск #нейросети #описание

Backpropagation для взрослых: простое обьяснение

Перед обсуждением обратного распространения ошибки давайте рассмотрим, что такое нейронная сеть? Концептуально — что она делает — она пытается преобразовать ряд входных данных (например, изображения) в ряд выходных данных (ответы на вопросы, например, есть ли на этих картинках собаки) посредством процесса трансформации этих изображений, пропуская их через сеть нейронов. Изображения — это просто массивы байтов, так как это происходит?

https://habr.com/ru/companies/raft/articles/811371/

#backpropagation #обратное_распространение_ошибки #градиентный_спуск #нейросети #описание

Задача распознавания эмоций. Часть 2. Три кита качества

Данная часть будет посвящена теоретическому обзору проблем ML и их решений в контексте задачи распознавания эмоций. Не смотря на то, что многие из перечисленных проблем уже давно изучены, а методы борьбы с ними реализованы в существующих фреймворках, знать хотя бы об их существовании будет очень полезно. В этой части мы коротко поговорим о данных, о работе сверточных нейросетей и о глобальных параметрах. От том что такое СГС и почему нельзя решать задачу в виде линейного уравнения. Затронем тему оптимизаторов и ответим на вопрос почему нельзя просто использовать обычный градиентный спуск. В общем, обо всех деталях коротко и структурно.

https://habr.com/ru/articles/827884/

#computer_vision #data_science #машинное_зрение #градиентный_спуск #cnn #регуляризация #adam #loss #optimizer #классификатор

[Перевод] Как прямая помогает обучать машины

В контексте компьютеров, обучение — это всего лишь превращение плохих догадок в более качественные. В этом посте мы увидим, что всё начинается с прямой линии: линейная регрессия даёт первую догадку, а градиентный спуск продолжает её улучшать. Давайте начнём с чего-то близкого нам: цен на недвижимость. Большие дома стоят больше, маленькие — меньше. Подобный паттерн можно заметить даже без анализа: чем больше места, тем дороже. Если создать график цен, то его форма будет очевидной: идущая вверх нечёткая кривая с долей шума, но вполне определённым трендом. Взаимное движение цены и размера как будто предсказуемо. Однако оно не ограничено фиксированными шагами или категориями, их масштаб скользит. Дом может стоить 180 тысяч, 305 тысяч или иметь какую-то промежуточную цену. Теперь представьте, что вы продаёте свой дом. Его площадь 1850 квадратных футов (~172 квадратных метра) — больше среднего, но явно не особняк. Вы видели, почём продаются дома в вашем районе, но цены колеблются. Какой будет справедливая цена?

https://habr.com/ru/articles/915948/

#линейная_регрессия #градиентный_спуск #стохастический_градиентный_спуск #глубокое_обучение

Ошибайся смело: жизненные уроки из мира machine learning

Всем привет, меня зовут Максим Шаланкин, Data Science Team Lead в команде Финтеха Big Data МТС. На ошибках учатся, и это не просто слова. Идея данного поста возникла из моих ежедневных наблюдений: многие люди вокруг остро реагируют на свои ошибки и теряют мотивацию из-за неудач. Я хочу показать, что промахиваться — нормально и даже полезно для будущего профессионального роста. А сделаю я это на примере machine learning — сферы, в которой у меня широкая экспертиза. Между обучением человека и алгоритма ML больше общего, чем может показаться на первый взгляд. В этом тексте я проведу параллели и сравню различные жизненные ситуации и процессы обучения ML-алгоритмов.

https://habr.com/ru/companies/ru_mts/articles/867710/

#machine_learning #машинное_обучение #fail_fast #карьерный_рост #профессиональное_развитие #байесовская_оптимизация #Generative_Adversarial_Networks #линейная_регрессия #градиентный_спуск #градиентный_бустинг

Применение вариационного исчисления к задаче выделения границ: вывод уравнения Эйлера-Лагранжа

Представьте, что вам нужно обвести объект на картинке — не просто тыкая в пиксели, а проведя одну идеальную, плавную и уверенную линию. Та самая, которую набросал бы на бумаге художник. Как объяснить компьютеру, что значит «идеальная граница»? Как заставить его искать не среди груды точек, а в бесконечном море возможных кривых? Оказывается, на этот вопрос уже давно ответила математика, а именно — вариационное исчисление. Это тот самый инструмент, который стоит за знаменитыми алгоритмами вроде «активных контуров» (snakes) или «уровневых множеств». Часто в статьях показывают готовые формулы и код, а саму красивую логику оставляют за кадром. Давайте вместе разберем эту связь. Начнем с простого: как найти минимум у обычной функции. А потом — шаг за шагом — расширим эту идею до целых кривых. Ключевой момент на пути — уравнение Эйлера-Лагранжа. Мы не просто запишем его, а честно выведем: от замысла «энергии» контура до финального условия, используя лишь базовую лемму вариационного исчисления и интегрирование по частям. Самое интересное — это уравнение не просто абстракция. Оно описывает баланс, равновесие сил. Оптимальная граница — результат «борьбы»: с одной стороны, она хочет оставаться гладкой и аккуратной, с другой — стремится лечь точно на резкий перепад цвета или яркости на изображении. Как только вы это поймете, работа с алгоритмами сегментации перестает быть магией. Вы начинаете осмысленно настраивать параметры, предсказывать поведение и даже придумывать собственные критерии для «идеальной границы».

https://habr.com/ru/articles/979872/

#active_contours #сегментация_изображений #уравнение_Эйлера__Лангранжа #Matlab__реализация #вариационное_исчисление #компьютерное_зрение #snakes_алгоритм #градиентный_спуск #энергетический_функционал #анализ_границ

Градиентный спуск: как «слепой в лабиринте» находит выход в миллиардном пространстве — и почему это сердце любого ML

Пошаговый разбор с метафорами, формулами и лайфхаками, которые спасут ваш fit() Привет, хабровчане! В мире ML градиентный спуск это двигатель внутреннего сгорания: он везде, он работает, но мало кто заглядывает под капот, а ведь именно он превращает случайные веса в модель, которая угадывает котиков, переводит тексты и генерирует картинки. Вы запускаете model.fit () - и через 100 эпох у вас есть результат, но как именно нейросеть «находит выход» из хаоса параметров? Почему иногда она перепрыгивает минимум, а иногда зависает в тупике? И как настроить learning_rate, чтобы не ждать до пенсии? Полный разбор с нуля , с формулами и примерами. Давайте разберём по полочкам, чтобы было понятно даже новичку.

https://habr.com/ru/articles/960970/

#ии #ии_и_машинное_обучение #искусственный_интеллект #градиентный_спуск #нейросети #нейросеть #deeplearning #обучение #ai #adam

Введение в многокритериальную оптимизацию, или как потерять чуть меньше денег на крипте

"Лежит на струнах пыль Ржавеет под окном Разбитый телевизор Ты сгладил все углы И жизнь твоя сплошной Проклятый компромисс Ни вверх ни вниз" Так поёт группа Би-2 в песне "Компромисс" и с ними трудно не согласиться. Наша жизнь действительно состоит из сплошных проклятых компромиссов между несколькими решениями. Мы пытаемся найти максимально дешёвую, но качественную электронику, ищем экономичный, но быстрый автомобиль и красивого, но надёжного партнёра для отношений. Каждая из этих повседневных задач заключается в поиске оптимума нескольких конфликтующих между собой функций. Это называется многокритериальная оптимизация (Multi-objective optimization). В этой статье мы ближе познакомимся с этой задачей, посмотрим на 2 популярных метода её решения и узнаем, как с её помощью заработать на криптовалюте с минимальным риском.

https://habr.com/ru/articles/884426/

#оптимизация #генетические_алгоритмы #многокритериальная_оптимизация #NSGAII #градиентный_спуск #инвестиции #инвестиции_для_новичков #криптовалюта #MOEAD

Введение в многокритериальную оптимизацию, или как потерять чуть меньше денег на крипте

"Лежит на струнах пыль Ржавеет под окном Разбитый телевизор Ты сгладил все углы И жизнь твоя сплошной Проклятый компромисс Ни вверх ни вниз" Так поёт группа Би-2 в песне "Компромисс" и с ними трудно не согласиться. Наша жизнь действительно состоит из сплошных проклятых компромиссов между несколькими решениями. Мы пытаемся найти максимально дешёвую, но качественную электронику, ищем экономичный, но быстрый автомобиль и красивого, но надёжного партнёра для отношений. Каждая из этих повседневных задач заключается в поиске оптимума нескольких конфликтующих между собой функций. Это называется многокритериальная оптимизация (Multi-objective optimization). В этой статье мы ближе познакомимся с этой задачей, посмотрим на 2 популярных метода её решения и узнаем, как с её помощью заработать на криптовалюте с минимальным риском.

https://habr.com/ru/articles/884426/

#оптимизация #генетические_алгоритмы #многокритериальная_оптимизация #NSGAII #градиентный_спуск #инвестиции #инвестиции_для_новичков #криптовалюта #MOEAD

Введение в многокритериальную оптимизацию, или как потерять чуть меньше денег на крипте

"Лежит на струнах пыль Ржавеет под окном Разбитый телевизор Ты сгладил все углы И жизнь твоя сплошной Проклятый компромисс Ни вверх ни вниз" Так поёт группа Би-2 в песне "Компромисс" и с ними трудно не согласиться. Наша жизнь действительно состоит из сплошных проклятых компромиссов между несколькими решениями. Мы пытаемся найти максимально дешёвую, но качественную электронику, ищем экономичный, но быстрый автомобиль и красивого, но надёжного партнёра для отношений. Каждая из этих повседневных задач заключается в поиске оптимума нескольких конфликтующих между собой функций. Это называется многокритериальная оптимизация (Multi-objective optimization). В этой статье мы ближе познакомимся с этой задачей, посмотрим на 2 популярных метода её решения и узнаем, как с её помощью заработать на криптовалюте с минимальным риском.

https://habr.com/ru/articles/884426/

#оптимизация #генетические_алгоритмы #многокритериальная_оптимизация #NSGAII #градиентный_спуск #инвестиции #инвестиции_для_новичков #криптовалюта #MOEAD

Введение в многокритериальную оптимизацию, или как потерять чуть меньше денег на крипте

"Лежит на струнах пыль Ржавеет под окном Разбитый телевизор Ты сгладил все углы И жизнь твоя сплошной Проклятый компромисс Ни вверх ни вниз" Так поёт группа Би-2 в песне "Компромисс" и с ними трудно не согласиться. Наша жизнь действительно состоит из сплошных проклятых компромиссов между несколькими решениями. Мы пытаемся найти максимально дешёвую, но качественную электронику, ищем экономичный, но быстрый автомобиль и красивого, но надёжного партнёра для отношений. Каждая из этих повседневных задач заключается в поиске оптимума нескольких конфликтующих между собой функций. Это называется многокритериальная оптимизация (Multi-objective optimization). В этой статье мы ближе познакомимся с этой задачей, посмотрим на 2 популярных метода её решения и узнаем, как с её помощью заработать на криптовалюте с минимальным риском.

https://habr.com/ru/articles/884426/

#оптимизация #генетические_алгоритмы #многокритериальная_оптимизация #NSGAII #градиентный_спуск #инвестиции #инвестиции_для_новичков #криптовалюта #MOEAD