#backpropagation — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #backpropagation, aggregated by home.social.
-
Memorization vs Generalization: что действительно умеет языковая модель (TLM) на 2 160 параметров (v1.1.0)
Продолжая тему Крошечной Языковой Модели на Nodejs мы поймем где проходит граница ее возможностей. На примере Крошечной Языковой Модели (TLM) из 2 160 параметров мы проведём воспроизводимый эксперимент и увидим в цифрах: знакомый шаблон - 99,93%, перестановка токенов - 81,69%, неизвестная структура -?%.
https://habr.com/ru/articles/1065160/
#machinelearning #machine_learning #backpropagation #selfattention #autograd #nodejs #javascript #sft #нейронная_сеть #transformer
-
Memorization vs Generalization: что действительно умеет языковая модель (TLM) на 2 160 параметров (v1.1.0)
Продолжая тему Крошечной Языковой Модели на Nodejs мы поймем где проходит граница ее возможностей. На примере Крошечной Языковой Модели (TLM) из 2 160 параметров мы проведём воспроизводимый эксперимент и увидим в цифрах: знакомый шаблон - 99,93%, перестановка токенов - 81,69%, неизвестная структура -?%.
https://habr.com/ru/articles/1065160/
#machinelearning #machine_learning #backpropagation #selfattention #autograd #nodejs #javascript #sft #нейронная_сеть #transformer
-
Memorization vs Generalization: что действительно умеет языковая модель (TLM) на 2 160 параметров (v1.1.0)
Продолжая тему Крошечной Языковой Модели на Nodejs мы поймем где проходит граница ее возможностей. На примере Крошечной Языковой Модели (TLM) из 2 160 параметров мы проведём воспроизводимый эксперимент и увидим в цифрах: знакомый шаблон - 99,93%, перестановка токенов - 81,69%, неизвестная структура -?%.
https://habr.com/ru/articles/1065160/
#machinelearning #machine_learning #backpropagation #selfattention #autograd #nodejs #javascript #sft #нейронная_сеть #transformer
-
[Перевод] Языковая Модель без магии: Крошечная Language Model на чистом Node.js
Мы создаем крошечную языковую модель с нуля на чистом Node.js без использования TensorFlow или PyTorch, реализуя нейроны, автоград, эмбеддинги, механизм самовнимания (self-attention), полносвязную сеть (FFN), обратное распространение ошибки и SFT, одновременно наблюдая за тем, как отдельные веса и целые матрицы изменяются в процессе обучения Это не новая GPT и не прод ML...
https://habr.com/ru/articles/1063406/
#machinelearning #machine_learning #backpropagation #selfattention #autograd #nodejs #javascript #sft #нейронная_сеть #transformer
-
[Перевод] Языковая Модель без магии: Крошечная Language Model на чистом Node.js
Мы создаем крошечную языковую модель с нуля на чистом Node.js без использования TensorFlow или PyTorch, реализуя нейроны, автоград, эмбеддинги, механизм самовнимания (self-attention), полносвязную сеть (FFN), обратное распространение ошибки и SFT, одновременно наблюдая за тем, как отдельные веса и целые матрицы изменяются в процессе обучения Это не новая GPT и не прод ML...
https://habr.com/ru/articles/1063406/
#machinelearning #machine_learning #backpropagation #selfattention #autograd #nodejs #javascript #sft #нейронная_сеть #transformer
-
[Перевод] Языковая Модель без магии: Крошечная Language Model на чистом Node.js
Мы создаем крошечную языковую модель с нуля на чистом Node.js без использования TensorFlow или PyTorch, реализуя нейроны, автоград, эмбеддинги, механизм самовнимания (self-attention), полносвязную сеть (FFN), обратное распространение ошибки и SFT, одновременно наблюдая за тем, как отдельные веса и целые матрицы изменяются в процессе обучения Это не новая GPT и не прод ML...
https://habr.com/ru/articles/1063406/
#machinelearning #machine_learning #backpropagation #selfattention #autograd #nodejs #javascript #sft #нейронная_сеть #transformer
-
Архитектура высокоэффективных нейросетевых вычислений на C++ для прогнозирования динамики ВВП
Принято считать, что для анализа макроэкономики и прогнозирования ВВП необходимы мощные серверы. Обычно разработчики используют Python и тяжелые библиотеки вроде TensorFlow или PyTorch. Однако бывают случаи когда надо чтобы модель была доступна на обычно ноутбуке или мы хотим применить наработки модели и переложить их на платы ардуино с лимитом памяти 32 кб и ценой в розничном магазине 300 - 400 рублей за штуку? Решением проблемы становится полный отказ от сторонних фреймворков. Вся математика нейронных слоев написана с нуля на чистом C++20, а для быстрого подбора весов на ПК применяется технология NVIDIA CUDA. Сама модель имитирует реальные циклы оборота капитала. Четыре скрытых слоя нелинейной сети сжимаются до шести проекционных нейронов по методологии Всемирного банка. Вообще идея применять нейронные сети для предсказания экономических процессов зародилась в конце XX века. Ученые искали замену обычным линейным моделям. Одними из первых нелинейные свойства ИНС для макроэкономических рядов США исследовали N. R. Swanson и H. White [2]. Они доказали, что гибкие связи лучше находят скрытые циклы.C.-M. Kuan и T. Liu [4] выявили, что очистка данных перед подачей в сеть сильно снижает ошибку. В начале 2000-х годов началось активное сравнение нейронных сетей с классическими методами вроде ARIMA. M. Marcellino [5], K. Neusser и M. Wagner [9] доказали превосходство многослойных сетей при анализе ВВП европейских стран на длинных дистанциях, а переключение весов C.-M. Lin и P.-H. Chen [7] помогает предсказывать кризисные периоды. Современный этап связан с обработкой больших массивов информации. В Индии S. Ghosh [6], M. C. Medeiros с соавторами [8] успешно применили нейросети для поиска скрытых зависимостей в индийской экономике.Q. Zhang и Y. Bian [3] в 2024 году провели масштабные тесты по отслеживанию темпов роста китайского ВВП. Они подтвердили преимущество нелинейных функций активации.
https://habr.com/ru/articles/1049856/
#c++20 #nvidia_cuda #нейронные_сети #экономика #оптимизация_кода #backpropagation #макроэкономика #финансы
-
Архитектура высокоэффективных нейросетевых вычислений на C++ для прогнозирования динамики ВВП
Принято считать, что для анализа макроэкономики и прогнозирования ВВП необходимы мощные серверы. Обычно разработчики используют Python и тяжелые библиотеки вроде TensorFlow или PyTorch. Однако бывают случаи когда надо чтобы модель была доступна на обычно ноутбуке или мы хотим применить наработки модели и переложить их на платы ардуино с лимитом памяти 32 кб и ценой в розничном магазине 300 - 400 рублей за штуку? Решением проблемы становится полный отказ от сторонних фреймворков. Вся математика нейронных слоев написана с нуля на чистом C++20, а для быстрого подбора весов на ПК применяется технология NVIDIA CUDA. Сама модель имитирует реальные циклы оборота капитала. Четыре скрытых слоя нелинейной сети сжимаются до шести проекционных нейронов по методологии Всемирного банка. Вообще идея применять нейронные сети для предсказания экономических процессов зародилась в конце XX века. Ученые искали замену обычным линейным моделям. Одними из первых нелинейные свойства ИНС для макроэкономических рядов США исследовали N. R. Swanson и H. White [2]. Они доказали, что гибкие связи лучше находят скрытые циклы.C.-M. Kuan и T. Liu [4] выявили, что очистка данных перед подачей в сеть сильно снижает ошибку. В начале 2000-х годов началось активное сравнение нейронных сетей с классическими методами вроде ARIMA. M. Marcellino [5], K. Neusser и M. Wagner [9] доказали превосходство многослойных сетей при анализе ВВП европейских стран на длинных дистанциях, а переключение весов C.-M. Lin и P.-H. Chen [7] помогает предсказывать кризисные периоды. Современный этап связан с обработкой больших массивов информации. В Индии S. Ghosh [6], M. C. Medeiros с соавторами [8] успешно применили нейросети для поиска скрытых зависимостей в индийской экономике.Q. Zhang и Y. Bian [3] в 2024 году провели масштабные тесты по отслеживанию темпов роста китайского ВВП. Они подтвердили преимущество нелинейных функций активации.
https://habr.com/ru/articles/1049856/
#c++20 #nvidia_cuda #нейронные_сети #экономика #оптимизация_кода #backpropagation #макроэкономика #финансы
-
Архитектура высокоэффективных нейросетевых вычислений на C++ для прогнозирования динамики ВВП
Принято считать, что для анализа макроэкономики и прогнозирования ВВП необходимы мощные серверы. Обычно разработчики используют Python и тяжелые библиотеки вроде TensorFlow или PyTorch. Однако бывают случаи когда надо чтобы модель была доступна на обычно ноутбуке или мы хотим применить наработки модели и переложить их на платы ардуино с лимитом памяти 32 кб и ценой в розничном магазине 300 - 400 рублей за штуку? Решением проблемы становится полный отказ от сторонних фреймворков. Вся математика нейронных слоев написана с нуля на чистом C++20, а для быстрого подбора весов на ПК применяется технология NVIDIA CUDA. Сама модель имитирует реальные циклы оборота капитала. Четыре скрытых слоя нелинейной сети сжимаются до шести проекционных нейронов по методологии Всемирного банка. Вообще идея применять нейронные сети для предсказания экономических процессов зародилась в конце XX века. Ученые искали замену обычным линейным моделям. Одними из первых нелинейные свойства ИНС для макроэкономических рядов США исследовали N. R. Swanson и H. White [2]. Они доказали, что гибкие связи лучше находят скрытые циклы.C.-M. Kuan и T. Liu [4] выявили, что очистка данных перед подачей в сеть сильно снижает ошибку. В начале 2000-х годов началось активное сравнение нейронных сетей с классическими методами вроде ARIMA. M. Marcellino [5], K. Neusser и M. Wagner [9] доказали превосходство многослойных сетей при анализе ВВП европейских стран на длинных дистанциях, а переключение весов C.-M. Lin и P.-H. Chen [7] помогает предсказывать кризисные периоды. Современный этап связан с обработкой больших массивов информации. В Индии S. Ghosh [6], M. C. Medeiros с соавторами [8] успешно применили нейросети для поиска скрытых зависимостей в индийской экономике.Q. Zhang и Y. Bian [3] в 2024 году провели масштабные тесты по отслеживанию темпов роста китайского ВВП. Они подтвердили преимущество нелинейных функций активации.
https://habr.com/ru/articles/1049856/
#c++20 #nvidia_cuda #нейронные_сети #экономика #оптимизация_кода #backpropagation #макроэкономика #финансы
-
Гиперсвязные нейронные сети. Имитация биологических нейронов: ОС, прунинг, ингибирование и межбатчевая связь
Вы когда-нибудь задумывались о том, что принципиально отличает настоящую нервную систему от ее искусственных аналогов? Почему масштабирование модели не дает сопоставимого прироста качества? Не говоря уже об эмерджентных свойствах, которые теоретики пророчат для сложный моделей. Давайте разберемся в этом вместе, а так же подумаем, как доработать механику нейросетей так, чтобы каждый слой/блок имел представление о глобальной задаче всей модели. В этой статье я расскажу о собственных наработках, которые должны помочь связать признаки из разных слоев внутри одной сети. Как встроить возможность обобщения потока данных в саму механику модели, путем объединения показаний слоев на разных батчах. И о том, как адаптировать технологию для различных архитектур.
https://habr.com/ru/articles/1036164/
#нейроны #deeplearning #pruning #гиперсвязность #математика_для_data_science #граф_вычислений #обратное_распространение #backpropagation #python #программирование
-
Гиперсвязные нейронные сети. Имитация биологических нейронов: ОС, прунинг, ингибирование и межбатчевая связь
Вы когда-нибудь задумывались о том, что принципиально отличает настоящую нервную систему от ее искусственных аналогов? Почему масштабирование модели не дает сопоставимого прироста качества? Не говоря уже об эмерджентных свойствах, которые теоретики пророчат для сложный моделей. Давайте разберемся в этом вместе, а так же подумаем, как доработать механику нейросетей так, чтобы каждый слой/блок имел представление о глобальной задаче всей модели. В этой статье я расскажу о собственных наработках, которые должны помочь связать признаки из разных слоев внутри одной сети. Как встроить возможность обобщения потока данных в саму механику модели, путем объединения показаний слоев на разных батчах. И о том, как адаптировать технологию для различных архитектур.
https://habr.com/ru/articles/1036164/
#нейроны #deeplearning #pruning #гиперсвязность #математика_для_data_science #граф_вычислений #обратное_распространение #backpropagation #python #программирование
-
Гиперсвязные нейронные сети. Имитация биологических нейронов: ОС, прунинг, ингибирование и межбатчевая связь
Вы когда-нибудь задумывались о том, что принципиально отличает настоящую нервную систему от ее искусственных аналогов? Почему масштабирование модели не дает сопоставимого прироста качества? Не говоря уже об эмерджентных свойствах, которые теоретики пророчат для сложный моделей. Давайте разберемся в этом вместе, а так же подумаем, как доработать механику нейросетей так, чтобы каждый слой/блок имел представление о глобальной задаче всей модели. В этой статье я расскажу о собственных наработках, которые должны помочь связать признаки из разных слоев внутри одной сети. Как встроить возможность обобщения потока данных в саму механику модели, путем объединения показаний слоев на разных батчах. И о том, как адаптировать технологию для различных архитектур.
https://habr.com/ru/articles/1036164/
#нейроны #deeplearning #pruning #гиперсвязность #математика_для_data_science #граф_вычислений #обратное_распространение #backpropagation #python #программирование
-
Обратное распространение ошибки: от интуиции до кода
Многие умеют вызывать loss.backward() в PyTorch, но не всегда понимают, что именно происходит под капотом. Как сеть вычисляет, какой из миллионов весов нужно изменить? В этой статье мы развеем магию обратного распространения ошибки (backprop). Разберем алгоритм на простых аналогиях с заводским конвейером, вспомним школьное правило дифференцирования и, чтобы закрепить понимание, напишем свой микро-фреймворк для автоматического вычисления градиентов на чистом Python с нуля.
https://habr.com/ru/articles/1031986/
#машинное_обучение #нейросети #backpropagation #обратное_распространение_ошибки #градиентный_спуск #deep_learning #python #математика #вычислительные_графы #micrograd
-
Обратное распространение ошибки: от интуиции до кода
Многие умеют вызывать loss.backward() в PyTorch, но не всегда понимают, что именно происходит под капотом. Как сеть вычисляет, какой из миллионов весов нужно изменить? В этой статье мы развеем магию обратного распространения ошибки (backprop). Разберем алгоритм на простых аналогиях с заводским конвейером, вспомним школьное правило дифференцирования и, чтобы закрепить понимание, напишем свой микро-фреймворк для автоматического вычисления градиентов на чистом Python с нуля.
https://habr.com/ru/articles/1031986/
#машинное_обучение #нейросети #backpropagation #обратное_распространение_ошибки #градиентный_спуск #deep_learning #python #математика #вычислительные_графы #micrograd
-
Обратное распространение ошибки: от интуиции до кода
Многие умеют вызывать loss.backward() в PyTorch, но не всегда понимают, что именно происходит под капотом. Как сеть вычисляет, какой из миллионов весов нужно изменить? В этой статье мы развеем магию обратного распространения ошибки (backprop). Разберем алгоритм на простых аналогиях с заводским конвейером, вспомним школьное правило дифференцирования и, чтобы закрепить понимание, напишем свой микро-фреймворк для автоматического вычисления градиентов на чистом Python с нуля.
https://habr.com/ru/articles/1031986/
#машинное_обучение #нейросети #backpropagation #обратное_распространение_ошибки #градиентный_спуск #deep_learning #python #математика #вычислительные_графы #micrograd
-
Я удалил backpropagation из нейросети. Она обучилась методами XIX века
Все началось с того, что я открыл PyTorch и удалил из модели .backward(). Взял и стер как строчку, которая «вроде ничего не делала». Только вот эта строчка делала вообще все. Я хотел понять одну вещь: а что, если забыть, что backpropagation существует? Не как упражнение, чтобы вспомнить основы, а буквально обучить нейросеть, ни разу не посчитав градиент. То есть без всего того математического аппарата, который мы с вами воспринимаем как воздух. И у меня получилось. Правда попутно я обнаружил, что Adam — это, по сути, уравнение движения с трением, записанное на Python. (Лагранж бы такое одобрил, наверное).
https://habr.com/ru/companies/selectel/articles/1025542/
#нейронные_сети #backpropagation #градиентный_спуск #оптимизация #SGD #momentum #метод_Ланжевена #случайный_поиск #история_математики #selectel
-
Я удалил backpropagation из нейросети. Она обучилась методами XIX века
Все началось с того, что я открыл PyTorch и удалил из модели .backward(). Взял и стер как строчку, которая «вроде ничего не делала». Только вот эта строчка делала вообще все. Я хотел понять одну вещь: а что, если забыть, что backpropagation существует? Не как упражнение, чтобы вспомнить основы, а буквально обучить нейросеть, ни разу не посчитав градиент. То есть без всего того математического аппарата, который мы с вами воспринимаем как воздух. И у меня получилось. Правда попутно я обнаружил, что Adam — это, по сути, уравнение движения с трением, записанное на Python. (Лагранж бы такое одобрил, наверное).
https://habr.com/ru/companies/selectel/articles/1025542/
#нейронные_сети #backpropagation #градиентный_спуск #оптимизация #SGD #momentum #метод_Ланжевена #случайный_поиск #история_математики #selectel
-
Я удалил backpropagation из нейросети. Она обучилась методами XIX века
Все началось с того, что я открыл PyTorch и удалил из модели .backward(). Взял и стер как строчку, которая «вроде ничего не делала». Только вот эта строчка делала вообще все. Я хотел понять одну вещь: а что, если забыть, что backpropagation существует? Не как упражнение, чтобы вспомнить основы, а буквально обучить нейросеть, ни разу не посчитав градиент. То есть без всего того математического аппарата, который мы с вами воспринимаем как воздух. И у меня получилось. Правда попутно я обнаружил, что Adam — это, по сути, уравнение движения с трением, записанное на Python. (Лагранж бы такое одобрил, наверное).
https://habr.com/ru/companies/selectel/articles/1025542/
#нейронные_сети #backpropagation #градиентный_спуск #оптимизация #SGD #momentum #метод_Ланжевена #случайный_поиск #история_математики #selectel
-
Автодифференцирование на C++: обратное распространение через лямбды и std::function
Привет, Хабр! Меня зовут Кирилл Колодяжный, я разрабатываю системы хранения данных в YADRO. Это третья, заключительная часть моего цикла о паттернах C++, которые я применяю для решения задач машинного обучения, а вы можете использовать и в другой работе. В этой статье поговорим, как построить вычислительные графы и реализовать обратное распространение ошибки без сложных иерархий классов, с помощью лямбда-функций и стандартной библиотеки. В конце материала я сравнил свой подход с вариантом PyTorch и оставил ссылки на полезные материалы, в том числе на предыдущие части цикла.
-
Автодифференцирование на C++: обратное распространение через лямбды и std::function
Привет, Хабр! Меня зовут Кирилл Колодяжный, я разрабатываю системы хранения данных в YADRO. Это третья, заключительная часть моего цикла о паттернах C++, которые я применяю для решения задач машинного обучения, а вы можете использовать и в другой работе. В этой статье поговорим, как построить вычислительные графы и реализовать обратное распространение ошибки без сложных иерархий классов, с помощью лямбда-функций и стандартной библиотеки. В конце материала я сравнил свой подход с вариантом PyTorch и оставил ссылки на полезные материалы, в том числе на предыдущие части цикла.
-
Автодифференцирование на C++: обратное распространение через лямбды и std::function
Привет, Хабр! Меня зовут Кирилл Колодяжный, я разрабатываю системы хранения данных в YADRO. Это третья, заключительная часть моего цикла о паттернах C++, которые я применяю для решения задач машинного обучения, а вы можете использовать и в другой работе. В этой статье поговорим, как построить вычислительные графы и реализовать обратное распространение ошибки без сложных иерархий классов, с помощью лямбда-функций и стандартной библиотеки. В конце материала я сравнил свой подход с вариантом PyTorch и оставил ссылки на полезные материалы, в том числе на предыдущие части цикла.
-
Трансформер своими руками: с нуля до Numpy реализации и обучения
В этой статье пойдет речь об одной из самых сложных и интересных архитектур — трансформере, лежащей в основе современных моделей от OpenAI и Google DeepMind. И это не научпоп для обывателя с наивным уровнем объяснения, а полноценный учебный материал, который поможет вам понять работу трансформера на фундаментальном уровне без черных ящиков типа TensorFlow и Pytorch. А для того чтобы лучше вникнуть, давайте напишем настоящий мини-трансформер на процедурном Python и обучим его! Данный материал можно изучать в разных режимах: * Как объяснение архитектуры для общего представления; * Как полноценный гайд с чтением кода и самостоятельной практикой; * Как основу для собственных экспериментов. Вы сами можете выбрать тот режим, который нужен для ваших целей на данный момент. Наш трансформер будет довольно простым: со статическим графом и одноблочными энкодером и декодером. Сам код написан в парадигме процедурного программирования (за исключением некоторых модулей) и может быть прочитан на любом уровне и без знания ООП. И все же это будет полноценный обучаемый трансформер с мультиголовым вниманием, батчами данных, параллельным вычислением и множеством параметров. Для закрепления материала, выполните Домашнее задание, которое ждет вас в конце статьи. Напишем трансформер!
https://habr.com/ru/articles/982268/
#transformer #encoder #decoder #numpy #с_нуля #deeplearning #attention #backpropagation #нейросети #pytorch
-
Трансформер своими руками: с нуля до Numpy реализации и обучения
В этой статье пойдет речь об одной из самых сложных и интересных архитектур — трансформере, лежащей в основе современных моделей от OpenAI и Google DeepMind. И это не научпоп для обывателя с наивным уровнем объяснения, а полноценный учебный материал, который поможет вам понять работу трансформера на фундаментальном уровне без черных ящиков типа TensorFlow и Pytorch. А для того чтобы лучше вникнуть, давайте напишем настоящий мини-трансформер на процедурном Python и обучим его! Данный материал можно изучать в разных режимах: * Как объяснение архитектуры для общего представления; * Как полноценный гайд с чтением кода и самостоятельной практикой; * Как основу для собственных экспериментов. Вы сами можете выбрать тот режим, который нужен для ваших целей на данный момент. Наш трансформер будет довольно простым: со статическим графом и одноблочными энкодером и декодером. Сам код написан в парадигме процедурного программирования (за исключением некоторых модулей) и может быть прочитан на любом уровне и без знания ООП. И все же это будет полноценный обучаемый трансформер с мультиголовым вниманием, батчами данных, параллельным вычислением и множеством параметров. Для закрепления материала, выполните Домашнее задание, которое ждет вас в конце статьи. Напишем трансформер!
https://habr.com/ru/articles/982268/
#transformer #encoder #decoder #numpy #с_нуля #deeplearning #attention #backpropagation #нейросети #pytorch
-
Трансформер своими руками: с нуля до Numpy реализации и обучения
В этой статье пойдет речь об одной из самых сложных и интересных архитектур — трансформере, лежащей в основе современных моделей от OpenAI и Google DeepMind. И это не научпоп для обывателя с наивным уровнем объяснения, а полноценный учебный материал, который поможет вам понять работу трансформера на фундаментальном уровне без черных ящиков типа TensorFlow и Pytorch. А для того чтобы лучше вникнуть, давайте напишем настоящий мини-трансформер на процедурном Python и обучим его! Данный материал можно изучать в разных режимах: * Как объяснение архитектуры для общего представления; * Как полноценный гайд с чтением кода и самостоятельной практикой; * Как основу для собственных экспериментов. Вы сами можете выбрать тот режим, который нужен для ваших целей на данный момент. Наш трансформер будет довольно простым: со статическим графом и одноблочными энкодером и декодером. Сам код написан в парадигме процедурного программирования (за исключением некоторых модулей) и может быть прочитан на любом уровне и без знания ООП. И все же это будет полноценный обучаемый трансформер с мультиголовым вниманием, батчами данных, параллельным вычислением и множеством параметров. Для закрепления материала, выполните Домашнее задание, которое ждет вас в конце статьи. Напишем трансформер!
https://habr.com/ru/articles/982268/
#transformer #encoder #decoder #numpy #с_нуля #deeplearning #attention #backpropagation #нейросети #pytorch
-
SoftMax: как нейросети превращают сырые числа в уверенные вероятности — разбор с примерами и математикой
В реальности всё полно оттенков: ничего чисто чёрного или белого, то же в машинном обучении, тк решения редко бывают абсолютными. Возьмём задачу: нейросеть анализирует фото еды и определяет, это пицца, суши или салат. Для двух классов хватит сигмоиды, но с несколькими нужна функция, которая раздаст вероятности по всем вариантам, чтобы их сумма была точно 1. Вот где и выходит SoftMax- стандарт для многоклассовой классификации. Сегодня разберём её от А до Я: интуицию, шаги, формулы и хитрости.
https://habr.com/ru/articles/988936/
#softmax #pytorch #функция_активации #backpropagation #deep_learning #нейросети #нейронные_сети #tensorflow #вероятностное_моделирование #функция_потерь
-
SoftMax: как нейросети превращают сырые числа в уверенные вероятности — разбор с примерами и математикой
В реальности всё полно оттенков: ничего чисто чёрного или белого, то же в машинном обучении, тк решения редко бывают абсолютными. Возьмём задачу: нейросеть анализирует фото еды и определяет, это пицца, суши или салат. Для двух классов хватит сигмоиды, но с несколькими нужна функция, которая раздаст вероятности по всем вариантам, чтобы их сумма была точно 1. Вот где и выходит SoftMax- стандарт для многоклассовой классификации. Сегодня разберём её от А до Я: интуицию, шаги, формулы и хитрости.
https://habr.com/ru/articles/988936/
#softmax #pytorch #функция_активации #backpropagation #deep_learning #нейросети #нейронные_сети #tensorflow #вероятностное_моделирование #функция_потерь
-
SoftMax: как нейросети превращают сырые числа в уверенные вероятности — разбор с примерами и математикой
В реальности всё полно оттенков: ничего чисто чёрного или белого, то же в машинном обучении, тк решения редко бывают абсолютными. Возьмём задачу: нейросеть анализирует фото еды и определяет, это пицца, суши или салат. Для двух классов хватит сигмоиды, но с несколькими нужна функция, которая раздаст вероятности по всем вариантам, чтобы их сумма была точно 1. Вот где и выходит SoftMax- стандарт для многоклассовой классификации. Сегодня разберём её от А до Я: интуицию, шаги, формулы и хитрости.
https://habr.com/ru/articles/988936/
#softmax #pytorch #функция_активации #backpropagation #deep_learning #нейросети #нейронные_сети #tensorflow #вероятностное_моделирование #функция_потерь
-
Lan truyền niềm tin (Belief Propagation) đang được xem xét là một lựa chọn tiềm năng để thay thế phương pháp Lan truyền ngược (Backpropagation) phổ biến, đặc biệt trong việc đào tạo các mô hình trí tuệ nhân tạo chuyên về khả năng suy luận.
#TríTuệNhânTạo #HọcMáy #ThuậtToán #LanTruyềnNiềmTin #AI #MachineLearning #BeliefPropagation #Backpropagation
https://www.reddit.com/r/programming/comments/1q7h4rz/belief_propagation_obscure_alternative_to/
-
🧠 New preprint by Lee et al.: Fast dendritic excitations primarily mediate #backpropagation in #CA1 pyramidal #neurons during #behavior
Using kHz #VoltageImaging across the full #dendritic tree, they show that fast dendritic spikes are usually driven by somatic #bAPs, not independently initiated. #bAP propagation into apical dendrites is contin. modulated by pre-spike dendritic voltage & can trigger slower plateau potentials linked to complex spikes.
-
🧠 New preprint by Lee et al.: Fast dendritic excitations primarily mediate #backpropagation in #CA1 pyramidal #neurons during #behavior
Using kHz #VoltageImaging across the full #dendritic tree, they show that fast dendritic spikes are usually driven by somatic #bAPs, not independently initiated. #bAP propagation into apical dendrites is contin. modulated by pre-spike dendritic voltage & can trigger slower plateau potentials linked to complex spikes.
-
🧠 New preprint by Lee et al.: Fast dendritic excitations primarily mediate #backpropagation in #CA1 pyramidal #neurons during #behavior
Using kHz #VoltageImaging across the full #dendritic tree, they show that fast dendritic spikes are usually driven by somatic #bAPs, not independently initiated. #bAP propagation into apical dendrites is contin. modulated by pre-spike dendritic voltage & can trigger slower plateau potentials linked to complex spikes.
-
🧠 New preprint by Lee et al.: Fast dendritic excitations primarily mediate #backpropagation in #CA1 pyramidal #neurons during #behavior
Using kHz #VoltageImaging across the full #dendritic tree, they show that fast dendritic spikes are usually driven by somatic #bAPs, not independently initiated. #bAP propagation into apical dendrites is contin. modulated by pre-spike dendritic voltage & can trigger slower plateau potentials linked to complex spikes.
-
🧠 New preprint by Lee et al.: Fast dendritic excitations primarily mediate #backpropagation in #CA1 pyramidal #neurons during #behavior
Using kHz #VoltageImaging across the full #dendritic tree, they show that fast dendritic spikes are usually driven by somatic #bAPs, not independently initiated. #bAP propagation into apical dendrites is contin. modulated by pre-spike dendritic voltage & can trigger slower plateau potentials linked to complex spikes.
-
Нейро сети для самых маленьких
Нейро сети для самых маленьких Каждый раз, когда вы говорите нейросети « Спасибо », вы запускаете конвейер, в котором перемножаются сотни матриц с миллиардами элементов, и сжигаете электричества столько же, сколько светодиодная лампа за несколько секунд. Это первая статья из небольшого цикла, посвящённого сетям для AI/ML-кластеров и HPC. В этой серии мы коснёмся принципов работы и обучения моделей, параллелизации, технологий DMA и RDMA, сетевых топологий, InfiniBand и RoCE, а ещё пофилософствуем на тему общих и специальных решений. Конкретно в этой статье мы разберёмся, что представляет из себя нейросеть, как она работает, как происходит её обучение, а самое главное, почему для неё нужны сотни дорогущих GPU-карточек и какая-то особенная сеть. Рефрен сегодняшней истории: в нейросетях нет никакой магии — это просто множество простых операций над числами, которые выполняются на компьютерах со специальными чипами. Магии нет ни в том, как они работают, ни в той инфраструктуре, на которой они запускаются. Ныряем!
https://habr.com/ru/articles/982820/
#ai #ml #roce #infiniband #трансформеры #нейросети #llm #mlp #backpropagation
-
Нейро сети для самых маленьких
Нейро сети для самых маленьких Каждый раз, когда вы говорите нейросети « Спасибо », вы запускаете конвейер, в котором перемножаются сотни матриц с миллиардами элементов, и сжигаете электричества столько же, сколько светодиодная лампа за несколько секунд. Это первая статья из небольшого цикла, посвящённого сетям для AI/ML-кластеров и HPC. В этой серии мы коснёмся принципов работы и обучения моделей, параллелизации, технологий DMA и RDMA, сетевых топологий, InfiniBand и RoCE, а ещё пофилософствуем на тему общих и специальных решений. Конкретно в этой статье мы разберёмся, что представляет из себя нейросеть, как она работает, как происходит её обучение, а самое главное, почему для неё нужны сотни дорогущих GPU-карточек и какая-то особенная сеть. Рефрен сегодняшней истории: в нейросетях нет никакой магии — это просто множество простых операций над числами, которые выполняются на компьютерах со специальными чипами. Магии нет ни в том, как они работают, ни в той инфраструктуре, на которой они запускаются. Ныряем!
https://habr.com/ru/articles/982820/
#ai #ml #roce #infiniband #трансформеры #нейросети #llm #mlp #backpropagation
-
Нейро сети для самых маленьких
Нейро сети для самых маленьких Каждый раз, когда вы говорите нейросети « Спасибо », вы запускаете конвейер, в котором перемножаются сотни матриц с миллиардами элементов, и сжигаете электричества столько же, сколько светодиодная лампа за несколько секунд. Это первая статья из небольшого цикла, посвящённого сетям для AI/ML-кластеров и HPC. В этой серии мы коснёмся принципов работы и обучения моделей, параллелизации, технологий DMA и RDMA, сетевых топологий, InfiniBand и RoCE, а ещё пофилософствуем на тему общих и специальных решений. Конкретно в этой статье мы разберёмся, что представляет из себя нейросеть, как она работает, как происходит её обучение, а самое главное, почему для неё нужны сотни дорогущих GPU-карточек и какая-то особенная сеть. Рефрен сегодняшней истории: в нейросетях нет никакой магии — это просто множество простых операций над числами, которые выполняются на компьютерах со специальными чипами. Магии нет ни в том, как они работают, ни в той инфраструктуре, на которой они запускаются. Ныряем!
https://habr.com/ru/articles/982820/
#ai #ml #roce #infiniband #трансформеры #нейросети #llm #mlp #backpropagation
-
🎓 Ah, the age-old tale: students whine about actually needing to learn things. Apparently, understanding #backpropagation 🤔 is just too much to ask from those who think #TensorFlow is a magic wand. Who knew that mastering the basics might be useful in, you know, real life? 🙄
https://karpathy.medium.com/yes-you-should-understand-backprop-e2f06eab496b #studentsneedtostudy #realworldskills #learningstruggles #HackerNews #ngated -
🎓 Ah, the age-old tale: students whine about actually needing to learn things. Apparently, understanding #backpropagation 🤔 is just too much to ask from those who think #TensorFlow is a magic wand. Who knew that mastering the basics might be useful in, you know, real life? 🙄
https://karpathy.medium.com/yes-you-should-understand-backprop-e2f06eab496b #studentsneedtostudy #realworldskills #learningstruggles #HackerNews #ngated -
🎓 Ah, the age-old tale: students whine about actually needing to learn things. Apparently, understanding #backpropagation 🤔 is just too much to ask from those who think #TensorFlow is a magic wand. Who knew that mastering the basics might be useful in, you know, real life? 🙄
https://karpathy.medium.com/yes-you-should-understand-backprop-e2f06eab496b #studentsneedtostudy #realworldskills #learningstruggles #HackerNews #ngated -
🎓 Ah, the age-old tale: students whine about actually needing to learn things. Apparently, understanding #backpropagation 🤔 is just too much to ask from those who think #TensorFlow is a magic wand. Who knew that mastering the basics might be useful in, you know, real life? 🙄
https://karpathy.medium.com/yes-you-should-understand-backprop-e2f06eab496b #studentsneedtostudy #realworldskills #learningstruggles #HackerNews #ngated -
Yes, you should understand backprop (2016)
https://karpathy.medium.com/yes-you-should-understand-backprop-e2f06eab496b
#HackerNews #backpropagation #understanding #machinelearning #neuralnetworks #education #2016
-
Yes, you should understand backprop (2016)
https://karpathy.medium.com/yes-you-should-understand-backprop-e2f06eab496b
#HackerNews #backpropagation #understanding #machinelearning #neuralnetworks #education #2016
-
Yes, you should understand backprop (2016)
https://karpathy.medium.com/yes-you-should-understand-backprop-e2f06eab496b
#HackerNews #backpropagation #understanding #machinelearning #neuralnetworks #education #2016
-
Yes, you should understand backprop (2016)
https://karpathy.medium.com/yes-you-should-understand-backprop-e2f06eab496b
#HackerNews #backpropagation #understanding #machinelearning #neuralnetworks #education #2016
-
Yes, you should understand backprop (2016)
https://karpathy.medium.com/yes-you-should-understand-backprop-e2f06eab496b
#HackerNews #backpropagation #understanding #machinelearning #neuralnetworks #education #2016
-
Neural Networks Explained: A Beginner's Guide to AI
https://jivoice.com/understanding-neural-networks-2/
#deeplearning #recurrentneuralnetwork #datascience #convolutionalneuralnetwork #howneuralnetswork #hiddenlayers #artificialintelligencebasics #aimodels #backpropagation #artificialneuron
-
Neural Networks Explained: A Beginner's Guide to AI
https://jivoice.com/understanding-neural-networks-2/
#deeplearning #recurrentneuralnetwork #datascience #convolutionalneuralnetwork #howneuralnetswork #hiddenlayers #artificialintelligencebasics #aimodels #backpropagation #artificialneuron
-
Neural Networks Explained: A Beginner's Guide to AI
https://jivoice.com/understanding-neural-networks-2/
#deeplearning #recurrentneuralnetwork #datascience #convolutionalneuralnetwork #howneuralnetswork #hiddenlayers #artificialintelligencebasics #aimodels #backpropagation #artificialneuron
-
Neural Networks Explained: A Beginner's Guide to AI
https://jivoice.com/understanding-neural-networks-2/
#deeplearning #recurrentneuralnetwork #datascience #convolutionalneuralnetwork #howneuralnetswork #hiddenlayers #artificialintelligencebasics #aimodels #backpropagation #artificialneuron
-
🎩🤓 Look out, math nerds! The life's work of countless physicists has been distilled into a "simple trick" for backpropagating through #einsum, which we all know is basically just fancy #emoji math. Grab your #numpy and prepare to be dazzled by the groundbreaking revelation that i, j, and k were *not* just randomly chosen letters! 🙄🔍
https://tripplyons.com/blog/backprop-trick #mathnerds #backpropagation #physics #HackerNews #ngated -
🎩🤓 Look out, math nerds! The life's work of countless physicists has been distilled into a "simple trick" for backpropagating through #einsum, which we all know is basically just fancy #emoji math. Grab your #numpy and prepare to be dazzled by the groundbreaking revelation that i, j, and k were *not* just randomly chosen letters! 🙄🔍
https://tripplyons.com/blog/backprop-trick #mathnerds #backpropagation #physics #HackerNews #ngated -
🎩🤓 Look out, math nerds! The life's work of countless physicists has been distilled into a "simple trick" for backpropagating through #einsum, which we all know is basically just fancy #emoji math. Grab your #numpy and prepare to be dazzled by the groundbreaking revelation that i, j, and k were *not* just randomly chosen letters! 🙄🔍
https://tripplyons.com/blog/backprop-trick #mathnerds #backpropagation #physics #HackerNews #ngated -
🎩🤓 Look out, math nerds! The life's work of countless physicists has been distilled into a "simple trick" for backpropagating through #einsum, which we all know is basically just fancy #emoji math. Grab your #numpy and prepare to be dazzled by the groundbreaking revelation that i, j, and k were *not* just randomly chosen letters! 🙄🔍
https://tripplyons.com/blog/backprop-trick #mathnerds #backpropagation #physics #HackerNews #ngated -
A Trick for Backpropagation of Linear Transformations
https://tripplyons.com/blog/backprop-trick
#HackerNews #Backpropagation #LinearTransformations #MachineLearning #AITricks #DeepLearning
-
A Trick for Backpropagation of Linear Transformations
https://tripplyons.com/blog/backprop-trick
#HackerNews #Backpropagation #LinearTransformations #MachineLearning #AITricks #DeepLearning
-
A Trick for Backpropagation of Linear Transformations
https://tripplyons.com/blog/backprop-trick
#HackerNews #Backpropagation #LinearTransformations #MachineLearning #AITricks #DeepLearning
-
A Trick for Backpropagation of Linear Transformations
https://tripplyons.com/blog/backprop-trick
#HackerNews #Backpropagation #LinearTransformations #MachineLearning #AITricks #DeepLearning
-
A Trick for Backpropagation of Linear Transformations
https://tripplyons.com/blog/backprop-trick
#HackerNews #Backpropagation #LinearTransformations #MachineLearning #AITricks #DeepLearning
-
На дворе LLM, а книгу о перцептроне так никто и не открыл!?
Сложно следить за околонаучными темами, и понимать, что ветка эволюции научного направления пошла не туда. Сейчас случился некий бум псевдонаучного взлета LLM, и я приведу в качестве современной статьи на хабре лишь одну, но это по прежнему массовое явление. Например, в статье компании Friflex за 2024 год История LLM-агентов: 10 ярких моментов по прежнему утверждается " На смену однослойному перцептрону Розэнблатта пришел многослойный. В статье Learning representations by back-propagating errors («Обучение представлений с помощью обратного распространения ошибки») Румельхарт и Хинтон показали, что многослойный перцептрон справляется с задачами, которые были не под силу его однослойному предшественнику. Например, с XOR. ". Совершенно излишне говорить, что это полное вранье, а авторы статьи даже не потрудились открыть эту статью, чтобы её прочитать. Это стало массовым явлением, и я его наблюдаю как минимум 20 лет, я когда то написал тут на хабре цикл статей объясняющих детали, лучше всего посмотреть эту Какова роль первого «случайного» слоя в перцептроне Розенблатта . Поэтому к этому возвращаться не будем. Я не знаю почему, может это массовая культура так влияет на людей, а порог вхождения в тематику ИИ слишком сложный? Не знаю, но не важно. Чтобы продемонстрировать скорость обучения перцептрона я написал несколько реализаций перцептрона Розенблатта и выложил их на гитхабе. А затем мы коснемся LLM.
-
На дворе LLM, а книгу о перцептроне так никто и не открыл!?
Сложно следить за околонаучными темами, и понимать, что ветка эволюции научного направления пошла не туда. Сейчас случился некий бум псевдонаучного взлета LLM, и я приведу в качестве современной статьи на хабре лишь одну, но это по прежнему массовое явление. Например, в статье компании Friflex за 2024 год История LLM-агентов: 10 ярких моментов по прежнему утверждается " На смену однослойному перцептрону Розэнблатта пришел многослойный. В статье Learning representations by back-propagating errors («Обучение представлений с помощью обратного распространения ошибки») Румельхарт и Хинтон показали, что многослойный перцептрон справляется с задачами, которые были не под силу его однослойному предшественнику. Например, с XOR. ". Совершенно излишне говорить, что это полное вранье, а авторы статьи даже не потрудились открыть эту статью, чтобы её прочитать. Это стало массовым явлением, и я его наблюдаю как минимум 20 лет, я когда то написал тут на хабре цикл статей объясняющих детали, лучше всего посмотреть эту Какова роль первого «случайного» слоя в перцептроне Розенблатта . Поэтому к этому возвращаться не будем. Я не знаю почему, может это массовая культура так влияет на людей, а порог вхождения в тематику ИИ слишком сложный? Не знаю, но не важно. Чтобы продемонстрировать скорость обучения перцептрона я написал несколько реализаций перцептрона Розенблатта и выложил их на гитхабе. А затем мы коснемся LLM.