#память_трансформеров — Public Fediverse posts

У роботов очень короткая память. Можно ли это исправить?

Хабр, привет! Меня зовут Егор Черепанов. Я аспирант Центра когнитивного моделирования МФТИ и младший научный сотрудник команды «Воплощенные агенты» лаборатории когнитивных систем искусственного интеллекта AIRI. Я занимаюсь памятью у роботов и RL‑агентов, и сегодня хочу рассказать об одной из наших работ — архитектуре ELMUR , которую мы представляли в апреле на ICLR 2026. Память у современного робота сегодня — это почти всегда контекст трансформера Vision‑Language‑Action модели, поскольку последние уже прочно закрепились как стандарт в этой области. Проблема в том, что механизм внимания имеет квадратичную сложность по длине последовательности, а значит долгосрочная память для робота будет обходиться слишком дорого, если пытаться наивно увеличивать размер контекста. Новая архитектура призвана решить эту проблему. О том, что у нас получилось, читайте в статье ниже.

https://habr.com/ru/companies/airi/articles/1047598/

#роботы #vla #память #visuallanguageaction_модели #память_трансформеров

Могут ли трансформеры «думать»

Недавние исследования показывают, что модели трансформеров способны почти безошибочно решать задачи, требующие нескольких логических шагов. Например, из утверждения А вывести Б и дойти логически до В. И что удивительно, это достигается без использования Chain-of-Thought или особых промптов — только классический GPT-2. Давайте посмотрим, как трансформеры «думают» при решении задач рассуждения, и напишем для этого код с использованием библиотеки Hugging Face.

https://habr.com/ru/articles/840136/

#GPT #грокинг #память_ИИ #задачи_рассуждения #общий_искусственный_интеллект #обобщение #generalization #трансформатор #память_трансформеров