#softmax — Public Fediverse posts

От фич и каскадов к генеративной модели: как мы переосмыслили рекомендации с помощью ARGUS

Классические рекомендательные системы в крупных компаниях — это десятки микросервисов, каскадная фильтрация и тысячи ручных признаков. Такой стек может надёжно работать годами, но неизбежно упирается в фундаментальную проблему: он перестаёт масштабироваться. Качество выходит на плато — всё меньше отдачи от новых фич, усложнения моделей и наращивания данных. Генеративная постановка, когда модель восстанавливает целые последовательности пользовательских действий, обещает принести в рекомендации законы масштабирования, снизить операционную сложность и открыть путь к единой кросс‑сервисной модели. Но между обещанием и продакшеном — огромная дистанция. Нужно понять, какая токенизация работает, как устроить претрейн, что делать с контекстом, негативами и задержками в реальных распределённых системах. Последний год мы адаптировали нашу генеративную модель персонализации ARGUS под разные домены внутри Яндекса, меняли архитектуру, пересобирали обучение и пробовали новые способы интеграции в продакшене. В этой статье я расскажу, какие решения сработали, какие — нет и что нам дала генеративная постановка в реальных рекомендательных системах.

https://habr.com/ru/companies/yandex/articles/1037766/

#рекомендации #machinelearning #ai #ml #рекомендательные_системы #recsys #argus #алгоритмы #softmax

От фич и каскадов к генеративной модели: как мы переосмыслили рекомендации с помощью ARGUS

Классические рекомендательные системы в крупных компаниях — это десятки микросервисов, каскадная фильтрация и тысячи ручных признаков. Такой стек может надёжно работать годами, но неизбежно упирается в фундаментальную проблему: он перестаёт масштабироваться. Качество выходит на плато — всё меньше отдачи от новых фич, усложнения моделей и наращивания данных. Генеративная постановка, когда модель восстанавливает целые последовательности пользовательских действий, обещает принести в рекомендации законы масштабирования, снизить операционную сложность и открыть путь к единой кросс‑сервисной модели. Но между обещанием и продакшеном — огромная дистанция. Нужно понять, какая токенизация работает, как устроить претрейн, что делать с контекстом, негативами и задержками в реальных распределённых системах. Последний год мы адаптировали нашу генеративную модель персонализации ARGUS под разные домены внутри Яндекса, меняли архитектуру, пересобирали обучение и пробовали новые способы интеграции в продакшене. В этой статье я расскажу, какие решения сработали, какие — нет и что нам дала генеративная постановка в реальных рекомендательных системах.

https://habr.com/ru/companies/yandex/articles/1037766/

#рекомендации #machinelearning #ai #ml #рекомендательные_системы #recsys #argus #алгоритмы #softmax

От фич и каскадов к генеративной модели: как мы переосмыслили рекомендации с помощью ARGUS

Классические рекомендательные системы в крупных компаниях — это десятки микросервисов, каскадная фильтрация и тысячи ручных признаков. Такой стек может надёжно работать годами, но неизбежно упирается в фундаментальную проблему: он перестаёт масштабироваться. Качество выходит на плато — всё меньше отдачи от новых фич, усложнения моделей и наращивания данных. Генеративная постановка, когда модель восстанавливает целые последовательности пользовательских действий, обещает принести в рекомендации законы масштабирования, снизить операционную сложность и открыть путь к единой кросс‑сервисной модели. Но между обещанием и продакшеном — огромная дистанция. Нужно понять, какая токенизация работает, как устроить претрейн, что делать с контекстом, негативами и задержками в реальных распределённых системах. Последний год мы адаптировали нашу генеративную модель персонализации ARGUS под разные домены внутри Яндекса, меняли архитектуру, пересобирали обучение и пробовали новые способы интеграции в продакшене. В этой статье я расскажу, какие решения сработали, какие — нет и что нам дала генеративная постановка в реальных рекомендательных системах.

https://habr.com/ru/companies/yandex/articles/1037766/

#рекомендации #machinelearning #ai #ml #рекомендательные_системы #recsys #argus #алгоритмы #softmax

От фич и каскадов к генеративной модели: как мы переосмыслили рекомендации с помощью ARGUS

Классические рекомендательные системы в крупных компаниях — это десятки микросервисов, каскадная фильтрация и тысячи ручных признаков. Такой стек может надёжно работать годами, но неизбежно упирается в фундаментальную проблему: он перестаёт масштабироваться. Качество выходит на плато — всё меньше отдачи от новых фич, усложнения моделей и наращивания данных. Генеративная постановка, когда модель восстанавливает целые последовательности пользовательских действий, обещает принести в рекомендации законы масштабирования, снизить операционную сложность и открыть путь к единой кросс‑сервисной модели. Но между обещанием и продакшеном — огромная дистанция. Нужно понять, какая токенизация работает, как устроить претрейн, что делать с контекстом, негативами и задержками в реальных распределённых системах. Последний год мы адаптировали нашу генеративную модель персонализации ARGUS под разные домены внутри Яндекса, меняли архитектуру, пересобирали обучение и пробовали новые способы интеграции в продакшене. В этой статье я расскажу, какие решения сработали, какие — нет и что нам дала генеративная постановка в реальных рекомендательных системах.

https://habr.com/ru/companies/yandex/articles/1037766/

#рекомендации #machinelearning #ai #ml #рекомендательные_системы #recsys #argus #алгоритмы #softmax

🤔🎓 So apparently, there's this mystical #math sorcery called "Softmax" that nobody can shut up about. It's like a viral #TikTok trend for tech bros, except even they can't agree if deriving the #Jacobian is worth the brain cells. But hey, at least it's more exciting than watching paint dry, right? 🤷‍♂️🙄
https://idlemachines.co.uk/essays/softmax #Softmax #TechBros #ViralTrends #HackerNews #ngated

Softmax, can you derive the Jacobian? And should you care?

https://idlemachines.co.uk/essays/softmax

#HackerNews #softmax #jacobian #machinelearning #derivatives #deep #learning #research

SoftMax: как нейросети превращают сырые числа в уверенные вероятности — разбор с примерами и математикой

В реальности всё полно оттенков: ничего чисто чёрного или белого, то же в машинном обучении, тк решения редко бывают абсолютными. Возьмём задачу: нейросеть анализирует фото еды и определяет, это пицца, суши или салат. Для двух классов хватит сигмоиды, но с несколькими нужна функция, которая раздаст вероятности по всем вариантам, чтобы их сумма была точно 1. Вот где и выходит SoftMax- стандарт для многоклассовой классификации. Сегодня разберём её от А до Я: интуицию, шаги, формулы и хитрости.

https://habr.com/ru/articles/988936/

#softmax #pytorch #функция_активации #backpropagation #deep_learning #нейросети #нейронные_сети #tensorflow #вероятностное_моделирование #функция_потерь

SoftMax: как нейросети превращают сырые числа в уверенные вероятности — разбор с примерами и математикой

В реальности всё полно оттенков: ничего чисто чёрного или белого, то же в машинном обучении, тк решения редко бывают абсолютными. Возьмём задачу: нейросеть анализирует фото еды и определяет, это пицца, суши или салат. Для двух классов хватит сигмоиды, но с несколькими нужна функция, которая раздаст вероятности по всем вариантам, чтобы их сумма была точно 1. Вот где и выходит SoftMax- стандарт для многоклассовой классификации. Сегодня разберём её от А до Я: интуицию, шаги, формулы и хитрости.

https://habr.com/ru/articles/988936/

#softmax #pytorch #функция_активации #backpropagation #deep_learning #нейросети #нейронные_сети #tensorflow #вероятностное_моделирование #функция_потерь

SoftMax: как нейросети превращают сырые числа в уверенные вероятности — разбор с примерами и математикой

В реальности всё полно оттенков: ничего чисто чёрного или белого, то же в машинном обучении, тк решения редко бывают абсолютными. Возьмём задачу: нейросеть анализирует фото еды и определяет, это пицца, суши или салат. Для двух классов хватит сигмоиды, но с несколькими нужна функция, которая раздаст вероятности по всем вариантам, чтобы их сумма была точно 1. Вот где и выходит SoftMax- стандарт для многоклассовой классификации. Сегодня разберём её от А до Я: интуицию, шаги, формулы и хитрости.

https://habr.com/ru/articles/988936/

#softmax #pytorch #функция_активации #backpropagation #deep_learning #нейросети #нейронные_сети #tensorflow #вероятностное_моделирование #функция_потерь

SoftMax: как нейросети превращают сырые числа в уверенные вероятности — разбор с примерами и математикой

В реальности всё полно оттенков: ничего чисто чёрного или белого, то же в машинном обучении, тк решения редко бывают абсолютными. Возьмём задачу: нейросеть анализирует фото еды и определяет, это пицца, суши или салат. Для двух классов хватит сигмоиды, но с несколькими нужна функция, которая раздаст вероятности по всем вариантам, чтобы их сумма была точно 1. Вот где и выходит SoftMax- стандарт для многоклассовой классификации. Сегодня разберём её от А до Я: интуицию, шаги, формулы и хитрости.

https://habr.com/ru/articles/988936/

#softmax #pytorch #функция_активации #backpropagation #deep_learning #нейросети #нейронные_сети #tensorflow #вероятностное_моделирование #функция_потерь

[Перевод] Путешествие токена: что конкретно происходит внутри трансформера

Из этой статьи вы узнаете о том, как трансформеры преобразуют входные данные в контекстно-зависимые представления и, в итоге, выдают вероятности, влияющие на выбор слов, которые генерируют большие языковые модели.

https://habr.com/ru/companies/wunderfund/articles/974300/

#Искусственный_интеллект #трафнсформеры #softmax

go-simd-softmax

Is a Go-oriented SIMD/avx softmax implementation with optimisations in amd64 / x64 assembler.

Up to 3.5x faster than equivalent function written using stdlib only. See benchmarks.

https://github.com/ha1tch/go-simd-softmax?tab=readme-ov-file#simd-accelerated-softmax

#go #foss #softmax #asm #assembler #x86_64 #x64 #amd64 #assembly #golang

go-simd-softmax

Is a Go-oriented SIMD/avx softmax implementation with optimisations in amd64 / x64 assembler.

Up to 3.5x faster than equivalent function written using stdlib only. See benchmarks.

https://github.com/ha1tch/go-simd-softmax?tab=readme-ov-file#simd-accelerated-softmax

#go #foss #softmax #asm #assembler #x86_64 #x64 #amd64 #assembly #golang

go-simd-softmax

Is a Go-oriented SIMD/avx softmax implementation with optimisations in amd64 / x64 assembler.

Up to 3.5x faster than equivalent function written using stdlib only. See benchmarks.

https://github.com/ha1tch/go-simd-softmax?tab=readme-ov-file#simd-accelerated-softmax

#go #foss #softmax #asm #assembler #x86_64 #x64 #amd64 #assembly #golang

go-simd-softmax

Is a Go-oriented SIMD/avx softmax implementation with optimisations in amd64 / x64 assembler.

Up to 3.5x faster than equivalent function written using stdlib only. See benchmarks.

https://github.com/ha1tch/go-simd-softmax?tab=readme-ov-file#simd-accelerated-softmax

#go #foss #softmax #asm #assembler #x86_64 #x64 #amd64 #assembly #golang

go-simd-softmax

Is a Go-oriented SIMD/avx softmax implementation with optimisations in amd64 / x64 assembler.

Up to 3.5x faster than equivalent function written using stdlib only. See benchmarks.

https://github.com/ha1tch/go-simd-softmax?tab=readme-ov-file#simd-accelerated-softmax

#go #foss #softmax #asm #assembler #x86_64 #x64 #amd64 #assembly #golang

What is #softmax and why is it important for machine learning? Check out my refresher tutorial on multiclass classification in neural networks and how you can build your own from scratch in @SnapCloud, (or) your favorite programming language:
https://snap.berkeley.edu/project?username=jens&projectname=Multiclass%20Neural%20Network%20Tutorial

Ich möchte in Calc ausrechnen: e^A1+e^B1+e^C1, also =exp(A1)+exp(B1)+exp(C1) und so weiter, das aber für viele Zellen A1 bis ABB1 etwa.
Leider habe ich keinen Weg gefunden, das anders als über eine derart lange Formel zu lösen. Klar geht: Kopie jeder Zelle anlegen in Zeile darunter, und das dann summieren, dann muss man nicht tippen, nur kopieren. Gibt es wirklich keine Formel, mit der das einfacher geht?
#Calc #Tabellenkalkulation #Softmax #normalisierteExponentialfunktion

Gelöst, siehe unten!

Векторы в RISC-V на практике: вычисление softmax

С 10 по 14 апреля 2025 года прошел первый онлайн RISC-V хакатон , организованный Ассоциацией RISC-V. Участникам на выбор давались 2 задачи. Одна задача от Codasip -доработать программу и кастомный процессор для вычисления LLM трансформера. Другая от Andes - улучшить вычисление функции softmax. Для демонстрации работы векторного расширения RISC-V задача с softmax мне показалась более подходящей. Интересно было изучить, как в процессорах реализуется вычисление нелинейных функций, как например экспоненциальная функция, нужная для softmax.

https://habr.com/ru/articles/915866/

#softmax #riscv #float

Former Twitch CEO Emmett Shear, who served as OpenAI's interim CEO in 2023, launches Softmax, a startup focused on AI alignment. 🤖 #EmmettShear #AIAlignment #Softmax #Startup #OpenAI #TechNews #AI #Leadership #Twitch #ArtificialIntelligence

Former Twitch CEO Emmett Shear, who served as OpenAI's interim CEO in 2023, launches Softmax, a startup focused on AI alignment. 🤖 #EmmettShear #AIAlignment #Softmax #Startup #OpenAI #TechNews #AI #Leadership #Twitch #ArtificialIntelligence

Former Twitch CEO Emmett Shear, who served as OpenAI's interim CEO in 2023, launches Softmax, a startup focused on AI alignment. 🤖 #EmmettShear #AIAlignment #Softmax #Startup #OpenAI #TechNews #AI #Leadership #Twitch #ArtificialIntelligence

Former Twitch CEO Emmett Shear, who served as OpenAI's interim CEO in 2023, launches Softmax, a startup focused on AI alignment. 🤖 #EmmettShear #AIAlignment #Softmax #Startup #OpenAI #TechNews #AI #Leadership #Twitch #ArtificialIntelligence

Former Twitch CEO Emmett Shear, who served as OpenAI's interim CEO in 2023, launches Softmax, a startup focused on AI alignment. 🤖 #EmmettShear #AIAlignment #Softmax #Startup #OpenAI #TechNews #AI #Leadership #Twitch #ArtificialIntelligence

'Matryoshka Policy Gradient for Entropy-Regularized RL: Convergence and Global Optimality', by François G. Ged, Maria Han Veiga.

http://jmlr.org/papers/v25/23-0879.html

#softmax #optimality #optimal

'Improved Random Features for Dot Product Kernels', by Jonas Wacker, Motonobu Kanagawa, Maurizio Filippone.

http://jmlr.org/papers/v25/22-0118.html

#softmax #features #feature

Логистическая и Softmax-регрессии. Теоретические основы и реализация с нуля на Python

Начнём с более простого. Логистическая регрессия — линейный бинарный классификатор, основанный на применении сигмоидальной функции к линейной комбинации признаков, результатом которого является вероятность принадлежности к определённому классу. Обычно порог устанавливается 0.5: если вероятность меньше порога — класс относится к 0, а если больше — к 1. В принципе, условия определения логистической регрессии такие же как и у линейной за исключением бинаризации таргета.

https://habr.com/ru/articles/803397/

#логистическая_регрессия #logistic_regression #softmax #линейная_классификация #принцип_работы #реализация_с_нуля #python #data_science #машинное_обучение

Логистическая и Softmax-регрессии. Теоретические основы и реализация с нуля на Python

Начнём с более простого. Логистическая регрессия — линейный бинарный классификатор, основанный на применении сигмоидальной функции к линейной комбинации признаков, результатом которого является вероятность принадлежности к определённому классу. Обычно порог устанавливается 0.5: если вероятность меньше порога — класс относится к 0, а если больше — к 1. В принципе, условия определения логистической регрессии такие же как и у линейной за исключением бинаризации таргета.

https://habr.com/ru/articles/803397/

#логистическая_регрессия #logistic_regression #softmax #линейная_классификация #принцип_работы #реализация_с_нуля #python #data_science #машинное_обучение

Логистическая и Softmax-регрессии. Теоретические основы и реализация с нуля на Python

Начнём с более простого. Логистическая регрессия — линейный бинарный классификатор, основанный на применении сигмоидальной функции к линейной комбинации признаков, результатом которого является вероятность принадлежности к определённому классу. Обычно порог устанавливается 0.5: если вероятность меньше порога — класс относится к 0, а если больше — к 1. В принципе, условия определения логистической регрессии такие же как и у линейной за исключением бинаризации таргета.

https://habr.com/ru/articles/803397/

#логистическая_регрессия #logistic_regression #softmax #линейная_классификация #принцип_работы #реализация_с_нуля #python #data_science #машинное_обучение

Contrastive Attraction and Contrastive Repulsion for Representation Learning

Huangjie Zheng, Xu Chen, Jiangchao Yao et al.

Action editor: Yanwei Fu.

https://openreview.net/forum?id=f39UIDkwwc

#softmax #representations #imagenet

Temperature check: theory and practice for training models with softmax-cross-entropy losses

Atish Agarwala, Samuel Stern Schoenholz, Jeffrey Pennington, Yann Dauphin

https://openreview.net/forum?id=LBA2Jj5Gqn

#softmax #entropy #models