#нейронка — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #нейронка, aggregated by home.social.
-
Осторожно, двери закрываются. Следующая станция – Матрица
Я сейчас пребываю в перманентном шоке от происходящего. И дело все в нейронках, а точнее в NanoBanana, Suno и Kling. Мы за каких-то три-четыре года дошли от первых попыток через Midjourney сгенерировать что-то реалистичное на фото, до генерации неотличимого от настоящего видео. Да, всего каких-то три года, и все соцсети уже завалены роликами, сгенерированными полностью нейронками. И самое печальное, что теперь непонятно, вот эта говорящая голова настоящая, или это цифровой аватар. А голос настоящий, или нет? Или локация в кадре вообще существует в реальности? А что будет еще через пару лет?
-
Reformer на TRAX?
Что такое Reformer и почему он круче Transformer’a (GPT-4...)? Давайте предварительно начнем с того, что же такой Reformer и почему благодаря ему мы можем рассчитывать на расширение контекстов вплоть до десятков тысяч слов. В классической архитектуре Transformer механизм внимания работает со сложностью, которая масштабируется квадратично с увеличением длины последовательности. Это происходит потому, что каждый токен в последовательности должен вычислять оценки внимания со всеми другими токенами, что приводит к плотной матрице внимания, размер которой растет с квадратом длины последовательности – мрак для вычислительных способностей наших TPU и GPU.
https://habr.com/ru/articles/818521/
#TRAX #JAX #tensorflow #трансформер #как_написать_реформер #нейронка #машинное_обучение #машинное_обучение_python #LLM