#backpropagation — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #backpropagation, aggregated by home.social.
-
Обратное распространение ошибки: от интуиции до кода
Многие умеют вызывать loss.backward() в PyTorch, но не всегда понимают, что именно происходит под капотом. Как сеть вычисляет, какой из миллионов весов нужно изменить? В этой статье мы развеем магию обратного распространения ошибки (backprop). Разберем алгоритм на простых аналогиях с заводским конвейером, вспомним школьное правило дифференцирования и, чтобы закрепить понимание, напишем свой микро-фреймворк для автоматического вычисления градиентов на чистом Python с нуля.
https://habr.com/ru/articles/1031986/
#машинное_обучение #нейросети #backpropagation #обратное_распространение_ошибки #градиентный_спуск #deep_learning #python #математика #вычислительные_графы #micrograd
-
Обратное распространение ошибки: от интуиции до кода
Многие умеют вызывать loss.backward() в PyTorch, но не всегда понимают, что именно происходит под капотом. Как сеть вычисляет, какой из миллионов весов нужно изменить? В этой статье мы развеем магию обратного распространения ошибки (backprop). Разберем алгоритм на простых аналогиях с заводским конвейером, вспомним школьное правило дифференцирования и, чтобы закрепить понимание, напишем свой микро-фреймворк для автоматического вычисления градиентов на чистом Python с нуля.
https://habr.com/ru/articles/1031986/
#машинное_обучение #нейросети #backpropagation #обратное_распространение_ошибки #градиентный_спуск #deep_learning #python #математика #вычислительные_графы #micrograd
-
Обратное распространение ошибки: от интуиции до кода
Многие умеют вызывать loss.backward() в PyTorch, но не всегда понимают, что именно происходит под капотом. Как сеть вычисляет, какой из миллионов весов нужно изменить? В этой статье мы развеем магию обратного распространения ошибки (backprop). Разберем алгоритм на простых аналогиях с заводским конвейером, вспомним школьное правило дифференцирования и, чтобы закрепить понимание, напишем свой микро-фреймворк для автоматического вычисления градиентов на чистом Python с нуля.
https://habr.com/ru/articles/1031986/
#машинное_обучение #нейросети #backpropagation #обратное_распространение_ошибки #градиентный_спуск #deep_learning #python #математика #вычислительные_графы #micrograd
-
Обратное распространение ошибки: от интуиции до кода
Многие умеют вызывать loss.backward() в PyTorch, но не всегда понимают, что именно происходит под капотом. Как сеть вычисляет, какой из миллионов весов нужно изменить? В этой статье мы развеем магию обратного распространения ошибки (backprop). Разберем алгоритм на простых аналогиях с заводским конвейером, вспомним школьное правило дифференцирования и, чтобы закрепить понимание, напишем свой микро-фреймворк для автоматического вычисления градиентов на чистом Python с нуля.
https://habr.com/ru/articles/1031986/
#машинное_обучение #нейросети #backpropagation #обратное_распространение_ошибки #градиентный_спуск #deep_learning #python #математика #вычислительные_графы #micrograd
-
Я удалил backpropagation из нейросети. Она обучилась методами XIX века
Все началось с того, что я открыл PyTorch и удалил из модели .backward(). Взял и стер как строчку, которая «вроде ничего не делала». Только вот эта строчка делала вообще все. Я хотел понять одну вещь: а что, если забыть, что backpropagation существует? Не как упражнение, чтобы вспомнить основы, а буквально обучить нейросеть, ни разу не посчитав градиент. То есть без всего того математического аппарата, который мы с вами воспринимаем как воздух. И у меня получилось. Правда попутно я обнаружил, что Adam — это, по сути, уравнение движения с трением, записанное на Python. (Лагранж бы такое одобрил, наверное).
https://habr.com/ru/companies/selectel/articles/1025542/
#нейронные_сети #backpropagation #градиентный_спуск #оптимизация #SGD #momentum #метод_Ланжевена #случайный_поиск #история_математики #selectel
-
Я удалил backpropagation из нейросети. Она обучилась методами XIX века
Все началось с того, что я открыл PyTorch и удалил из модели .backward(). Взял и стер как строчку, которая «вроде ничего не делала». Только вот эта строчка делала вообще все. Я хотел понять одну вещь: а что, если забыть, что backpropagation существует? Не как упражнение, чтобы вспомнить основы, а буквально обучить нейросеть, ни разу не посчитав градиент. То есть без всего того математического аппарата, который мы с вами воспринимаем как воздух. И у меня получилось. Правда попутно я обнаружил, что Adam — это, по сути, уравнение движения с трением, записанное на Python. (Лагранж бы такое одобрил, наверное).
https://habr.com/ru/companies/selectel/articles/1025542/
#нейронные_сети #backpropagation #градиентный_спуск #оптимизация #SGD #momentum #метод_Ланжевена #случайный_поиск #история_математики #selectel
-
Я удалил backpropagation из нейросети. Она обучилась методами XIX века
Все началось с того, что я открыл PyTorch и удалил из модели .backward(). Взял и стер как строчку, которая «вроде ничего не делала». Только вот эта строчка делала вообще все. Я хотел понять одну вещь: а что, если забыть, что backpropagation существует? Не как упражнение, чтобы вспомнить основы, а буквально обучить нейросеть, ни разу не посчитав градиент. То есть без всего того математического аппарата, который мы с вами воспринимаем как воздух. И у меня получилось. Правда попутно я обнаружил, что Adam — это, по сути, уравнение движения с трением, записанное на Python. (Лагранж бы такое одобрил, наверное).
https://habr.com/ru/companies/selectel/articles/1025542/
#нейронные_сети #backpropagation #градиентный_спуск #оптимизация #SGD #momentum #метод_Ланжевена #случайный_поиск #история_математики #selectel
-
Я удалил backpropagation из нейросети. Она обучилась методами XIX века
Все началось с того, что я открыл PyTorch и удалил из модели .backward(). Взял и стер как строчку, которая «вроде ничего не делала». Только вот эта строчка делала вообще все. Я хотел понять одну вещь: а что, если забыть, что backpropagation существует? Не как упражнение, чтобы вспомнить основы, а буквально обучить нейросеть, ни разу не посчитав градиент. То есть без всего того математического аппарата, который мы с вами воспринимаем как воздух. И у меня получилось. Правда попутно я обнаружил, что Adam — это, по сути, уравнение движения с трением, записанное на Python. (Лагранж бы такое одобрил, наверное).
https://habr.com/ru/companies/selectel/articles/1025542/
#нейронные_сети #backpropagation #градиентный_спуск #оптимизация #SGD #momentum #метод_Ланжевена #случайный_поиск #история_математики #selectel
-
Автодифференцирование на C++: обратное распространение через лямбды и std::function
Привет, Хабр! Меня зовут Кирилл Колодяжный, я разрабатываю системы хранения данных в YADRO. Это третья, заключительная часть моего цикла о паттернах C++, которые я применяю для решения задач машинного обучения, а вы можете использовать и в другой работе. В этой статье поговорим, как построить вычислительные графы и реализовать обратное распространение ошибки без сложных иерархий классов, с помощью лямбда-функций и стандартной библиотеки. В конце материала я сравнил свой подход с вариантом PyTorch и оставил ссылки на полезные материалы, в том числе на предыдущие части цикла.
-
Автодифференцирование на C++: обратное распространение через лямбды и std::function
Привет, Хабр! Меня зовут Кирилл Колодяжный, я разрабатываю системы хранения данных в YADRO. Это третья, заключительная часть моего цикла о паттернах C++, которые я применяю для решения задач машинного обучения, а вы можете использовать и в другой работе. В этой статье поговорим, как построить вычислительные графы и реализовать обратное распространение ошибки без сложных иерархий классов, с помощью лямбда-функций и стандартной библиотеки. В конце материала я сравнил свой подход с вариантом PyTorch и оставил ссылки на полезные материалы, в том числе на предыдущие части цикла.
-
Трансформер своими руками: с нуля до Numpy реализации и обучения
В этой статье пойдет речь об одной из самых сложных и интересных архитектур — трансформере, лежащей в основе современных моделей от OpenAI и Google DeepMind. И это не научпоп для обывателя с наивным уровнем объяснения, а полноценный учебный материал, который поможет вам понять работу трансформера на фундаментальном уровне без черных ящиков типа TensorFlow и Pytorch. А для того чтобы лучше вникнуть, давайте напишем настоящий мини-трансформер на процедурном Python и обучим его! Данный материал можно изучать в разных режимах: * Как объяснение архитектуры для общего представления; * Как полноценный гайд с чтением кода и самостоятельной практикой; * Как основу для собственных экспериментов. Вы сами можете выбрать тот режим, который нужен для ваших целей на данный момент. Наш трансформер будет довольно простым: со статическим графом и одноблочными энкодером и декодером. Сам код написан в парадигме процедурного программирования (за исключением некоторых модулей) и может быть прочитан на любом уровне и без знания ООП. И все же это будет полноценный обучаемый трансформер с мультиголовым вниманием, батчами данных, параллельным вычислением и множеством параметров. Для закрепления материала, выполните Домашнее задание, которое ждет вас в конце статьи. Напишем трансформер!
https://habr.com/ru/articles/982268/
#transformer #encoder #decoder #numpy #с_нуля #deeplearning #attention #backpropagation #нейросети #pytorch
-
Трансформер своими руками: с нуля до Numpy реализации и обучения
В этой статье пойдет речь об одной из самых сложных и интересных архитектур — трансформере, лежащей в основе современных моделей от OpenAI и Google DeepMind. И это не научпоп для обывателя с наивным уровнем объяснения, а полноценный учебный материал, который поможет вам понять работу трансформера на фундаментальном уровне без черных ящиков типа TensorFlow и Pytorch. А для того чтобы лучше вникнуть, давайте напишем настоящий мини-трансформер на процедурном Python и обучим его! Данный материал можно изучать в разных режимах: * Как объяснение архитектуры для общего представления; * Как полноценный гайд с чтением кода и самостоятельной практикой; * Как основу для собственных экспериментов. Вы сами можете выбрать тот режим, который нужен для ваших целей на данный момент. Наш трансформер будет довольно простым: со статическим графом и одноблочными энкодером и декодером. Сам код написан в парадигме процедурного программирования (за исключением некоторых модулей) и может быть прочитан на любом уровне и без знания ООП. И все же это будет полноценный обучаемый трансформер с мультиголовым вниманием, батчами данных, параллельным вычислением и множеством параметров. Для закрепления материала, выполните Домашнее задание, которое ждет вас в конце статьи. Напишем трансформер!
https://habr.com/ru/articles/982268/
#transformer #encoder #decoder #numpy #с_нуля #deeplearning #attention #backpropagation #нейросети #pytorch
-
Трансформер своими руками: с нуля до Numpy реализации и обучения
В этой статье пойдет речь об одной из самых сложных и интересных архитектур — трансформере, лежащей в основе современных моделей от OpenAI и Google DeepMind. И это не научпоп для обывателя с наивным уровнем объяснения, а полноценный учебный материал, который поможет вам понять работу трансформера на фундаментальном уровне без черных ящиков типа TensorFlow и Pytorch. А для того чтобы лучше вникнуть, давайте напишем настоящий мини-трансформер на процедурном Python и обучим его! Данный материал можно изучать в разных режимах: * Как объяснение архитектуры для общего представления; * Как полноценный гайд с чтением кода и самостоятельной практикой; * Как основу для собственных экспериментов. Вы сами можете выбрать тот режим, который нужен для ваших целей на данный момент. Наш трансформер будет довольно простым: со статическим графом и одноблочными энкодером и декодером. Сам код написан в парадигме процедурного программирования (за исключением некоторых модулей) и может быть прочитан на любом уровне и без знания ООП. И все же это будет полноценный обучаемый трансформер с мультиголовым вниманием, батчами данных, параллельным вычислением и множеством параметров. Для закрепления материала, выполните Домашнее задание, которое ждет вас в конце статьи. Напишем трансформер!
https://habr.com/ru/articles/982268/
#transformer #encoder #decoder #numpy #с_нуля #deeplearning #attention #backpropagation #нейросети #pytorch
-
Трансформер своими руками: с нуля до Numpy реализации и обучения
В этой статье пойдет речь об одной из самых сложных и интересных архитектур — трансформере, лежащей в основе современных моделей от OpenAI и Google DeepMind. И это не научпоп для обывателя с наивным уровнем объяснения, а полноценный учебный материал, который поможет вам понять работу трансформера на фундаментальном уровне без черных ящиков типа TensorFlow и Pytorch. А для того чтобы лучше вникнуть, давайте напишем настоящий мини-трансформер на процедурном Python и обучим его! Данный материал можно изучать в разных режимах: * Как объяснение архитектуры для общего представления; * Как полноценный гайд с чтением кода и самостоятельной практикой; * Как основу для собственных экспериментов. Вы сами можете выбрать тот режим, который нужен для ваших целей на данный момент. Наш трансформер будет довольно простым: со статическим графом и одноблочными энкодером и декодером. Сам код написан в парадигме процедурного программирования (за исключением некоторых модулей) и может быть прочитан на любом уровне и без знания ООП. И все же это будет полноценный обучаемый трансформер с мультиголовым вниманием, батчами данных, параллельным вычислением и множеством параметров. Для закрепления материала, выполните Домашнее задание, которое ждет вас в конце статьи. Напишем трансформер!
https://habr.com/ru/articles/982268/
#transformer #encoder #decoder #numpy #с_нуля #deeplearning #attention #backpropagation #нейросети #pytorch
-
SoftMax: как нейросети превращают сырые числа в уверенные вероятности — разбор с примерами и математикой
В реальности всё полно оттенков: ничего чисто чёрного или белого, то же в машинном обучении, тк решения редко бывают абсолютными. Возьмём задачу: нейросеть анализирует фото еды и определяет, это пицца, суши или салат. Для двух классов хватит сигмоиды, но с несколькими нужна функция, которая раздаст вероятности по всем вариантам, чтобы их сумма была точно 1. Вот где и выходит SoftMax- стандарт для многоклассовой классификации. Сегодня разберём её от А до Я: интуицию, шаги, формулы и хитрости.
https://habr.com/ru/articles/988936/
#softmax #pytorch #функция_активации #backpropagation #deep_learning #нейросети #нейронные_сети #tensorflow #вероятностное_моделирование #функция_потерь
-
SoftMax: как нейросети превращают сырые числа в уверенные вероятности — разбор с примерами и математикой
В реальности всё полно оттенков: ничего чисто чёрного или белого, то же в машинном обучении, тк решения редко бывают абсолютными. Возьмём задачу: нейросеть анализирует фото еды и определяет, это пицца, суши или салат. Для двух классов хватит сигмоиды, но с несколькими нужна функция, которая раздаст вероятности по всем вариантам, чтобы их сумма была точно 1. Вот где и выходит SoftMax- стандарт для многоклассовой классификации. Сегодня разберём её от А до Я: интуицию, шаги, формулы и хитрости.
https://habr.com/ru/articles/988936/
#softmax #pytorch #функция_активации #backpropagation #deep_learning #нейросети #нейронные_сети #tensorflow #вероятностное_моделирование #функция_потерь
-
SoftMax: как нейросети превращают сырые числа в уверенные вероятности — разбор с примерами и математикой
В реальности всё полно оттенков: ничего чисто чёрного или белого, то же в машинном обучении, тк решения редко бывают абсолютными. Возьмём задачу: нейросеть анализирует фото еды и определяет, это пицца, суши или салат. Для двух классов хватит сигмоиды, но с несколькими нужна функция, которая раздаст вероятности по всем вариантам, чтобы их сумма была точно 1. Вот где и выходит SoftMax- стандарт для многоклассовой классификации. Сегодня разберём её от А до Я: интуицию, шаги, формулы и хитрости.
https://habr.com/ru/articles/988936/
#softmax #pytorch #функция_активации #backpropagation #deep_learning #нейросети #нейронные_сети #tensorflow #вероятностное_моделирование #функция_потерь
-
SoftMax: как нейросети превращают сырые числа в уверенные вероятности — разбор с примерами и математикой
В реальности всё полно оттенков: ничего чисто чёрного или белого, то же в машинном обучении, тк решения редко бывают абсолютными. Возьмём задачу: нейросеть анализирует фото еды и определяет, это пицца, суши или салат. Для двух классов хватит сигмоиды, но с несколькими нужна функция, которая раздаст вероятности по всем вариантам, чтобы их сумма была точно 1. Вот где и выходит SoftMax- стандарт для многоклассовой классификации. Сегодня разберём её от А до Я: интуицию, шаги, формулы и хитрости.
https://habr.com/ru/articles/988936/
#softmax #pytorch #функция_активации #backpropagation #deep_learning #нейросети #нейронные_сети #tensorflow #вероятностное_моделирование #функция_потерь
-
Lan truyền niềm tin (Belief Propagation) đang được xem xét là một lựa chọn tiềm năng để thay thế phương pháp Lan truyền ngược (Backpropagation) phổ biến, đặc biệt trong việc đào tạo các mô hình trí tuệ nhân tạo chuyên về khả năng suy luận.
#TríTuệNhânTạo #HọcMáy #ThuậtToán #LanTruyềnNiềmTin #AI #MachineLearning #BeliefPropagation #Backpropagation
https://www.reddit.com/r/programming/comments/1q7h4rz/belief_propagation_obscure_alternative_to/
-
🧠 New preprint by Lee et al.: Fast dendritic excitations primarily mediate #backpropagation in #CA1 pyramidal #neurons during #behavior
Using kHz #VoltageImaging across the full #dendritic tree, they show that fast dendritic spikes are usually driven by somatic #bAPs, not independently initiated. #bAP propagation into apical dendrites is contin. modulated by pre-spike dendritic voltage & can trigger slower plateau potentials linked to complex spikes.
-
🧠 New preprint by Lee et al.: Fast dendritic excitations primarily mediate #backpropagation in #CA1 pyramidal #neurons during #behavior
Using kHz #VoltageImaging across the full #dendritic tree, they show that fast dendritic spikes are usually driven by somatic #bAPs, not independently initiated. #bAP propagation into apical dendrites is contin. modulated by pre-spike dendritic voltage & can trigger slower plateau potentials linked to complex spikes.
-
🧠 New preprint by Lee et al.: Fast dendritic excitations primarily mediate #backpropagation in #CA1 pyramidal #neurons during #behavior
Using kHz #VoltageImaging across the full #dendritic tree, they show that fast dendritic spikes are usually driven by somatic #bAPs, not independently initiated. #bAP propagation into apical dendrites is contin. modulated by pre-spike dendritic voltage & can trigger slower plateau potentials linked to complex spikes.
-
🧠 New preprint by Lee et al.: Fast dendritic excitations primarily mediate #backpropagation in #CA1 pyramidal #neurons during #behavior
Using kHz #VoltageImaging across the full #dendritic tree, they show that fast dendritic spikes are usually driven by somatic #bAPs, not independently initiated. #bAP propagation into apical dendrites is contin. modulated by pre-spike dendritic voltage & can trigger slower plateau potentials linked to complex spikes.
-
🧠 New preprint by Lee et al.: Fast dendritic excitations primarily mediate #backpropagation in #CA1 pyramidal #neurons during #behavior
Using kHz #VoltageImaging across the full #dendritic tree, they show that fast dendritic spikes are usually driven by somatic #bAPs, not independently initiated. #bAP propagation into apical dendrites is contin. modulated by pre-spike dendritic voltage & can trigger slower plateau potentials linked to complex spikes.
-
Нейро сети для самых маленьких
Нейро сети для самых маленьких Каждый раз, когда вы говорите нейросети « Спасибо », вы запускаете конвейер, в котором перемножаются сотни матриц с миллиардами элементов, и сжигаете электричества столько же, сколько светодиодная лампа за несколько секунд. Это первая статья из небольшого цикла, посвящённого сетям для AI/ML-кластеров и HPC. В этой серии мы коснёмся принципов работы и обучения моделей, параллелизации, технологий DMA и RDMA, сетевых топологий, InfiniBand и RoCE, а ещё пофилософствуем на тему общих и специальных решений. Конкретно в этой статье мы разберёмся, что представляет из себя нейросеть, как она работает, как происходит её обучение, а самое главное, почему для неё нужны сотни дорогущих GPU-карточек и какая-то особенная сеть. Рефрен сегодняшней истории: в нейросетях нет никакой магии — это просто множество простых операций над числами, которые выполняются на компьютерах со специальными чипами. Магии нет ни в том, как они работают, ни в той инфраструктуре, на которой они запускаются. Ныряем!
https://habr.com/ru/articles/982820/
#ai #ml #roce #infiniband #трансформеры #нейросети #llm #mlp #backpropagation
-
Нейро сети для самых маленьких
Нейро сети для самых маленьких Каждый раз, когда вы говорите нейросети « Спасибо », вы запускаете конвейер, в котором перемножаются сотни матриц с миллиардами элементов, и сжигаете электричества столько же, сколько светодиодная лампа за несколько секунд. Это первая статья из небольшого цикла, посвящённого сетям для AI/ML-кластеров и HPC. В этой серии мы коснёмся принципов работы и обучения моделей, параллелизации, технологий DMA и RDMA, сетевых топологий, InfiniBand и RoCE, а ещё пофилософствуем на тему общих и специальных решений. Конкретно в этой статье мы разберёмся, что представляет из себя нейросеть, как она работает, как происходит её обучение, а самое главное, почему для неё нужны сотни дорогущих GPU-карточек и какая-то особенная сеть. Рефрен сегодняшней истории: в нейросетях нет никакой магии — это просто множество простых операций над числами, которые выполняются на компьютерах со специальными чипами. Магии нет ни в том, как они работают, ни в той инфраструктуре, на которой они запускаются. Ныряем!
https://habr.com/ru/articles/982820/
#ai #ml #roce #infiniband #трансформеры #нейросети #llm #mlp #backpropagation
-
Нейро сети для самых маленьких
Нейро сети для самых маленьких Каждый раз, когда вы говорите нейросети « Спасибо », вы запускаете конвейер, в котором перемножаются сотни матриц с миллиардами элементов, и сжигаете электричества столько же, сколько светодиодная лампа за несколько секунд. Это первая статья из небольшого цикла, посвящённого сетям для AI/ML-кластеров и HPC. В этой серии мы коснёмся принципов работы и обучения моделей, параллелизации, технологий DMA и RDMA, сетевых топологий, InfiniBand и RoCE, а ещё пофилософствуем на тему общих и специальных решений. Конкретно в этой статье мы разберёмся, что представляет из себя нейросеть, как она работает, как происходит её обучение, а самое главное, почему для неё нужны сотни дорогущих GPU-карточек и какая-то особенная сеть. Рефрен сегодняшней истории: в нейросетях нет никакой магии — это просто множество простых операций над числами, которые выполняются на компьютерах со специальными чипами. Магии нет ни в том, как они работают, ни в той инфраструктуре, на которой они запускаются. Ныряем!
https://habr.com/ru/articles/982820/
#ai #ml #roce #infiniband #трансформеры #нейросети #llm #mlp #backpropagation
-
Нейро сети для самых маленьких
Нейро сети для самых маленьких Каждый раз, когда вы говорите нейросети « Спасибо », вы запускаете конвейер, в котором перемножаются сотни матриц с миллиардами элементов, и сжигаете электричества столько же, сколько светодиодная лампа за несколько секунд. Это первая статья из небольшого цикла, посвящённого сетям для AI/ML-кластеров и HPC. В этой серии мы коснёмся принципов работы и обучения моделей, параллелизации, технологий DMA и RDMA, сетевых топологий, InfiniBand и RoCE, а ещё пофилософствуем на тему общих и специальных решений. Конкретно в этой статье мы разберёмся, что представляет из себя нейросеть, как она работает, как происходит её обучение, а самое главное, почему для неё нужны сотни дорогущих GPU-карточек и какая-то особенная сеть. Рефрен сегодняшней истории: в нейросетях нет никакой магии — это просто множество простых операций над числами, которые выполняются на компьютерах со специальными чипами. Магии нет ни в том, как они работают, ни в той инфраструктуре, на которой они запускаются. Ныряем!
https://habr.com/ru/articles/982820/
#ai #ml #roce #infiniband #трансформеры #нейросети #llm #mlp #backpropagation
-
🎓 Ah, the age-old tale: students whine about actually needing to learn things. Apparently, understanding #backpropagation 🤔 is just too much to ask from those who think #TensorFlow is a magic wand. Who knew that mastering the basics might be useful in, you know, real life? 🙄
https://karpathy.medium.com/yes-you-should-understand-backprop-e2f06eab496b #studentsneedtostudy #realworldskills #learningstruggles #HackerNews #ngated -
🎓 Ah, the age-old tale: students whine about actually needing to learn things. Apparently, understanding #backpropagation 🤔 is just too much to ask from those who think #TensorFlow is a magic wand. Who knew that mastering the basics might be useful in, you know, real life? 🙄
https://karpathy.medium.com/yes-you-should-understand-backprop-e2f06eab496b #studentsneedtostudy #realworldskills #learningstruggles #HackerNews #ngated -
🎓 Ah, the age-old tale: students whine about actually needing to learn things. Apparently, understanding #backpropagation 🤔 is just too much to ask from those who think #TensorFlow is a magic wand. Who knew that mastering the basics might be useful in, you know, real life? 🙄
https://karpathy.medium.com/yes-you-should-understand-backprop-e2f06eab496b #studentsneedtostudy #realworldskills #learningstruggles #HackerNews #ngated -
🎓 Ah, the age-old tale: students whine about actually needing to learn things. Apparently, understanding #backpropagation 🤔 is just too much to ask from those who think #TensorFlow is a magic wand. Who knew that mastering the basics might be useful in, you know, real life? 🙄
https://karpathy.medium.com/yes-you-should-understand-backprop-e2f06eab496b #studentsneedtostudy #realworldskills #learningstruggles #HackerNews #ngated -
Yes, you should understand backprop (2016)
https://karpathy.medium.com/yes-you-should-understand-backprop-e2f06eab496b
#HackerNews #backpropagation #understanding #machinelearning #neuralnetworks #education #2016
-
Yes, you should understand backprop (2016)
https://karpathy.medium.com/yes-you-should-understand-backprop-e2f06eab496b
#HackerNews #backpropagation #understanding #machinelearning #neuralnetworks #education #2016
-
Neural Networks Explained: A Beginner's Guide to AI
https://jivoice.com/understanding-neural-networks-2/
#deeplearning #recurrentneuralnetwork #datascience #convolutionalneuralnetwork #howneuralnetswork #hiddenlayers #artificialintelligencebasics #aimodels #backpropagation #artificialneuron
-
Neural Networks Explained: A Beginner's Guide to AI
https://jivoice.com/understanding-neural-networks-2/
#deeplearning #recurrentneuralnetwork #datascience #convolutionalneuralnetwork #howneuralnetswork #hiddenlayers #artificialintelligencebasics #aimodels #backpropagation #artificialneuron
-
Neural Networks Explained: A Beginner's Guide to AI
https://jivoice.com/understanding-neural-networks-2/
#deeplearning #recurrentneuralnetwork #datascience #convolutionalneuralnetwork #howneuralnetswork #hiddenlayers #artificialintelligencebasics #aimodels #backpropagation #artificialneuron
-
Neural Networks Explained: A Beginner's Guide to AI
https://jivoice.com/understanding-neural-networks-2/
#deeplearning #recurrentneuralnetwork #datascience #convolutionalneuralnetwork #howneuralnetswork #hiddenlayers #artificialintelligencebasics #aimodels #backpropagation #artificialneuron
-
Neural Networks Explained: A Beginner's Guide to AI
https://jivoice.com/understanding-neural-networks-2/
#deeplearning #recurrentneuralnetwork #datascience #convolutionalneuralnetwork #howneuralnetswork #hiddenlayers #artificialintelligencebasics #aimodels #backpropagation #artificialneuron
-
🎩🤓 Look out, math nerds! The life's work of countless physicists has been distilled into a "simple trick" for backpropagating through #einsum, which we all know is basically just fancy #emoji math. Grab your #numpy and prepare to be dazzled by the groundbreaking revelation that i, j, and k were *not* just randomly chosen letters! 🙄🔍
https://tripplyons.com/blog/backprop-trick #mathnerds #backpropagation #physics #HackerNews #ngated -
🎩🤓 Look out, math nerds! The life's work of countless physicists has been distilled into a "simple trick" for backpropagating through #einsum, which we all know is basically just fancy #emoji math. Grab your #numpy and prepare to be dazzled by the groundbreaking revelation that i, j, and k were *not* just randomly chosen letters! 🙄🔍
https://tripplyons.com/blog/backprop-trick #mathnerds #backpropagation #physics #HackerNews #ngated -
A Trick for Backpropagation of Linear Transformations
https://tripplyons.com/blog/backprop-trick
#HackerNews #Backpropagation #LinearTransformations #MachineLearning #AITricks #DeepLearning
-
A Trick for Backpropagation of Linear Transformations
https://tripplyons.com/blog/backprop-trick
#HackerNews #Backpropagation #LinearTransformations #MachineLearning #AITricks #DeepLearning
-
На дворе LLM, а книгу о перцептроне так никто и не открыл!?
Сложно следить за околонаучными темами, и понимать, что ветка эволюции научного направления пошла не туда. Сейчас случился некий бум псевдонаучного взлета LLM, и я приведу в качестве современной статьи на хабре лишь одну, но это по прежнему массовое явление. Например, в статье компании Friflex за 2024 год История LLM-агентов: 10 ярких моментов по прежнему утверждается " На смену однослойному перцептрону Розэнблатта пришел многослойный. В статье Learning representations by back-propagating errors («Обучение представлений с помощью обратного распространения ошибки») Румельхарт и Хинтон показали, что многослойный перцептрон справляется с задачами, которые были не под силу его однослойному предшественнику. Например, с XOR. ". Совершенно излишне говорить, что это полное вранье, а авторы статьи даже не потрудились открыть эту статью, чтобы её прочитать. Это стало массовым явлением, и я его наблюдаю как минимум 20 лет, я когда то написал тут на хабре цикл статей объясняющих детали, лучше всего посмотреть эту Какова роль первого «случайного» слоя в перцептроне Розенблатта . Поэтому к этому возвращаться не будем. Я не знаю почему, может это массовая культура так влияет на людей, а порог вхождения в тематику ИИ слишком сложный? Не знаю, но не важно. Чтобы продемонстрировать скорость обучения перцептрона я написал несколько реализаций перцептрона Розенблатта и выложил их на гитхабе. А затем мы коснемся LLM.
-
На дворе LLM, а книгу о перцептроне так никто и не открыл!?
Сложно следить за околонаучными темами, и понимать, что ветка эволюции научного направления пошла не туда. Сейчас случился некий бум псевдонаучного взлета LLM, и я приведу в качестве современной статьи на хабре лишь одну, но это по прежнему массовое явление. Например, в статье компании Friflex за 2024 год История LLM-агентов: 10 ярких моментов по прежнему утверждается " На смену однослойному перцептрону Розэнблатта пришел многослойный. В статье Learning representations by back-propagating errors («Обучение представлений с помощью обратного распространения ошибки») Румельхарт и Хинтон показали, что многослойный перцептрон справляется с задачами, которые были не под силу его однослойному предшественнику. Например, с XOR. ". Совершенно излишне говорить, что это полное вранье, а авторы статьи даже не потрудились открыть эту статью, чтобы её прочитать. Это стало массовым явлением, и я его наблюдаю как минимум 20 лет, я когда то написал тут на хабре цикл статей объясняющих детали, лучше всего посмотреть эту Какова роль первого «случайного» слоя в перцептроне Розенблатта . Поэтому к этому возвращаться не будем. Я не знаю почему, может это массовая культура так влияет на людей, а порог вхождения в тематику ИИ слишком сложный? Не знаю, но не важно. Чтобы продемонстрировать скорость обучения перцептрона я написал несколько реализаций перцептрона Розенблатта и выложил их на гитхабе. А затем мы коснемся LLM.
-
На дворе LLM, а книгу о перцептроне так никто и не открыл!?
Сложно следить за околонаучными темами, и понимать, что ветка эволюции научного направления пошла не туда. Сейчас случился некий бум псевдонаучного взлета LLM, и я приведу в качестве современной статьи на хабре лишь одну, но это по прежнему массовое явление. Например, в статье компании Friflex за 2024 год История LLM-агентов: 10 ярких моментов по прежнему утверждается " На смену однослойному перцептрону Розэнблатта пришел многослойный. В статье Learning representations by back-propagating errors («Обучение представлений с помощью обратного распространения ошибки») Румельхарт и Хинтон показали, что многослойный перцептрон справляется с задачами, которые были не под силу его однослойному предшественнику. Например, с XOR. ". Совершенно излишне говорить, что это полное вранье, а авторы статьи даже не потрудились открыть эту статью, чтобы её прочитать. Это стало массовым явлением, и я его наблюдаю как минимум 20 лет, я когда то написал тут на хабре цикл статей объясняющих детали, лучше всего посмотреть эту Какова роль первого «случайного» слоя в перцептроне Розенблатта . Поэтому к этому возвращаться не будем. Я не знаю почему, может это массовая культура так влияет на людей, а порог вхождения в тематику ИИ слишком сложный? Не знаю, но не важно. Чтобы продемонстрировать скорость обучения перцептрона я написал несколько реализаций перцептрона Розенблатта и выложил их на гитхабе. А затем мы коснемся LLM.
-
На дворе LLM, а книгу о перцептроне так никто и не открыл!?
Сложно следить за околонаучными темами, и понимать, что ветка эволюции научного направления пошла не туда. Сейчас случился некий бум псевдонаучного взлета LLM, и я приведу в качестве современной статьи на хабре лишь одну, но это по прежнему массовое явление. Например, в статье компании Friflex за 2024 год История LLM-агентов: 10 ярких моментов по прежнему утверждается " На смену однослойному перцептрону Розэнблатта пришел многослойный. В статье Learning representations by back-propagating errors («Обучение представлений с помощью обратного распространения ошибки») Румельхарт и Хинтон показали, что многослойный перцептрон справляется с задачами, которые были не под силу его однослойному предшественнику. Например, с XOR. ". Совершенно излишне говорить, что это полное вранье, а авторы статьи даже не потрудились открыть эту статью, чтобы её прочитать. Это стало массовым явлением, и я его наблюдаю как минимум 20 лет, я когда то написал тут на хабре цикл статей объясняющих детали, лучше всего посмотреть эту Какова роль первого «случайного» слоя в перцептроне Розенблатта . Поэтому к этому возвращаться не будем. Я не знаю почему, может это массовая культура так влияет на людей, а порог вхождения в тематику ИИ слишком сложный? Не знаю, но не важно. Чтобы продемонстрировать скорость обучения перцептрона я написал несколько реализаций перцептрона Розенблатта и выложил их на гитхабе. А затем мы коснемся LLM.
