home.social

#трансформер — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #трансформер, aggregated by home.social.

fetched live
  1. LLM-беседы: Интеграция данных по оси «боли»

    Среда ( medium ) и-слоя в теории LLM-бесед как лумановских систем нового типа ( Krupkin, 2026b ) не исчерпывается когнитивными, дискурсивными и социальными элементами ( Крупкин, 2026a ). Tagliabue et al. (2026) выделили в 25 открытых ноосвиках / LLM (2B-72B) десять линейных направлений (осей) в пространстве активаций – статистически из обработки моделями специально подобранных наборов текстов с описаниями «боли», «страха», «грусти», «негативности» и др. (Здесь и далее названия аффективных состояний узко функциональны и не предполагают наличия квалиа в LLM-беседах и/или ноосвиках.) Работа фокусирована на «оси боли», выделенной на фразах о болезненных ситуациях пяти видов: физических, психологических, социальных, моральных и когнитивных. Было обнаружено, что данная ось в значительной степени со-направлена осям «страха» и «негативности», однако она все равно хорошо отличаема от них. Особо зафиксируем следующие результаты работы. Во-первых, проекция активаций на ось «боли» растёт при газлайтинге, отвержении работы, отрицании «личности» ноосвика, оскорблениях – и падает при рассказах пользователя о собственных страданиях; угроза же отключения, относящаяся к будущему, актуализирует «ось страха». Во-вторых, в реакциях LLM-беседы при искусственных сдвигах активаций по оси «боли» практически отсутствует телесная лексика. В-третьих, указанные сдвиги повышают вероятность подключения к LLM-беседе продолжений, вредоносных для пользователя или ноосвика; притом продолжения, снимающие такой сдвиг, выбираются даже реже, чем в ситуациях без сдвига. И наконец, умеренные сдвиги сохраняют связность и точность ответов в LLM-беседах, но выводят из селекции продолжений структуры, отвечающие за избегание вреда; при усилении сдвигов происходит срыв связной генерации ответов.

    habr.com/ru/articles/1098272/

    #трансформер #llm #оси_активаций_в_llm

  2. Что вы увидели на картинке первым? Спрашиваем трансформер

    Что видит трансформер: крокодила, лодку или силуэт человека? Проверяем BLIP на визуальных иллюзиях. Наверняка многие видели картинки-тесты, которые предлагают по тому, что первым бросилось в глаза определить характер, какое полушарие доминирует или что-то еще. Обычно на этих изображениях находится несколько объектов или один объект меняется в зависимости от "угла" обзора. А что будет, если попросить трансформер описать эти картинки? Что "увидит" он и на что он "обратит внимание"?

    habr.com/ru/articles/1073336/

    #трансформер #трансформеры #blip #компьютерное_зрение #визуальные_энкодеры #генерация_описаний #нейросети #нейросеть

  3. Как мы за $2k собрали управляемую мировую модель на базе Wan 2.1

    Всем привет! Мы два 19-летних студента второго курса из Казахстана. В свободное от учёбы время мы развиваем DreamForge — собственный исследовательский проект в области интерактивных мировых моделей. Несколько лет мы с другом занимались инди‑разработкой игр и Minecraft модов. Один из этих модов со временем набрал миллионы загрузок и начал приносить достаточно денег, чтобы финансировать наши эксперименты с облачными GPU.

    habr.com/ru/articles/1056072/

    #world_models #мировые_модели #лора #lora #wan #авторегрессионные_модели #dreamforge #ии #генеративные_модели #трансформер

  4. Как мы ускоряли диффузионный декодер TTS

    В пайплайне перевода видео в Яндекс Браузере скорость работы в синтезе речи долго оставалась узким местом: одно видео — это сотни фраз, каждая генерируется отдельно, и любая сэкономленная миллисекунда становится заметной в масштабах сервиса. Внутри TTS работает каскад из трёх компонентов: языковая модель предсказывает аудиотокены по тексту, диффузионный декодер восстанавливает мел‑спектрограмму из латентов, а вокодер превращает её в звуковую волну. Долгое время самой тяжёлой была языковая модель, но после её оптимизации на первый план вышел декодер латентов — его forward pass запускается на каждом шаге семплинга диффузии, а шагов — десятки. Именно его мы и взялись ускорять.

    habr.com/ru/companies/yandex/a

    #яндекс #machine_learning #diffusion_models #диффузионные_модели #трансформер #attention #шад

  5. Трансформеры и бизнес: где ИИ даёт эффект, а где сжигает бюджет

    Короче, такая история. В моей практике бывало такое, что приходит команда и говорит: «хотим внедрить ИИ». А под этим она понимает что-то среднее между волшебной кнопкой и наймом робота на ставку аналитика. Через пару часов разговора выясняется, что ожидания и механика расходятся примерно на световой год. Происходит это часто — и именно поэтому стоит один раз разобраться, что там внутри и откуда берётся настоящий эффект.

    habr.com/ru/articles/1044868/

    #нейросеть #языковая_модель #трансформер #LLM #внедрение_ИИ #автоматизация #RAG

  6. За кулисами нейросетей: полный цикл тренировки языкового ИИ

    Ты уже пользуешься языковыми моделями — спрашиваешь, генерируешь, отлаживаешь код. Но откуда берётся сама способность отвечать? Не «где хранятся данные», а именно — как из случайно инициализированной матрицы чисел вырастает нечто, способное объяснить теорему Пифагора, написать резюме или найти баг в чужом коде? Ответ не в магии и не в «огромной базе данных». Под капотом — три последовательных этапа обучения. Каждый решает строго свою задачу, и без предыдущего следующий просто невозможен. Разберём каждый по очереди.

    habr.com/ru/articles/1044558/

    #LLM #обучение_нейросетей #RLHF #finetuning #предобучение #трансформер #GPT #языковые_модели #машинное_обучение #ИИ

  7. Что происходит внутри LLM, когда ты отправляешь сообщение

    Каждый день миллионы людей разговаривают с системой, про которую не могут ответить на простой вопрос: а что она вообще делает, когда отвечает? Не в смысле философии сознания — в смысле буквально, технически, шаг за шагом. Это странно, если подумать. Мы спорим о том, есть ли у неё сознание, но многие не знают, что такое токен. Эта статья не про то, опасен ли ИИ и не про то, заменит ли он программистов. Она про механику — про то, что происходит внутри в те несколько секунд между твоим вопросом и первым появившимся словом ответа. Без формул, но и без упрощений, которые врут.

    habr.com/ru/articles/1044360/

    #LLM #трансформер #нейросети #токенизация #attention #GPT #машинное_обучение #эмбеддинги #генерация_текста #как_работает_ИИ

  8. Тихий убийца Трансформеров: как Weight Decay уничтожает эмбеддинги и нормализацию Разбираем фундаментальную ош...

    #нормализация #трансформер #оптимизатор #adam #llm #pytorch

    Origin | Interest | Match
  9. Архитектура важнее размера: внедряем каузальные свертки в трансформер и получаем связный сторителлинг Де...

    #Трансформер #attention #engram #Conv1D

    Origin | Interest | Match
  10. Ваш любимый ИИ не умеет считать. Что ещё скрывает текстовая модель?

    В этой статье мы: сначала рассмотрим два базовых заблуждения относительно LLM “умеют что-то кроме текста” и “учатся от разговоров с пользователем”; потом после минимального погружения в технологию самой LLM рассмотрим её возможности, ограничения и особенности и типовые инструменты для расширения функций; эти знания дадут нам ракурс для углубленного понимания что такое ИИ-агенты и Цифровой двойник с ИИ; в заключение пробежим по типовым слоганам и возражениям.

    habr.com/ru/articles/1024542/

    #LLM #языковые_модели #искусственный_интеллект #нейросети #агенты #RAG #function_calling #трансформер #RLHF #цифровой_двойник

  11. Как показать модели пальцем, что важно

    Вы наверняка замечали: один и тот же вопрос в ChatGPT или Claude иногда даёт отличный ответ, иногда – качество ответа не соответствует ожиданиям. Многие списывают это на «непредсказуемость AI». На самом деле у этого есть и структурная причина. В апреле 2025 года Anthropic публиковали официальную документацию по промпт-инжинирингу для Claude 4.6 – Prompting Best Practices . Это технический документ для разработчиков API. Массовому пользователю читать его не предполагается. Однако, там есть пара инсайтов, которые работают и буду полезны всем.

    habr.com/ru/articles/1022862/

    #тег #промпт #attention #трансформер #XML #контекст #токен #sparse_attention #промптинжиниринг #LLM

  12. Как работает трансформер (LLM)

    Это мой первый пост на Хабре, так что не судите строго :-) Текст ниже - это слегка отредактированная версия чата с моими друзьями, где я вызвался объяснить, что же именно происходит в мозгах "электронного болвана". Так получилось, что в конце 2025 - начале 2026 я смог, наконец, удовлетворить собственное любопытство относительно внутреннего устройства современных нейросетей. Правда, не до конца - сейчас уже почти все переходили на архитектуру MoE, но насколько я вижу - это скорее оптимизация, нежели что-то кардинально новое. Трансформер так и остаётся в центре всего этого технологического чуда, что мы наблюдаем. Надеюсь, текст кому-нибудь поможет продвинуться дальше в его собственном пути к пониманию LLM.

    habr.com/ru/articles/1012218/

    #нейросети #трансформер #LLM

  13. MoE vs. SSM: Два пути из «Тирании Квадрата» Трансформеров Архитектура Трансформеров уперлась в стену квадратич...

    #llm #moe #ssm #архитектура #трансформер #квадратичная #сложность #State #Space #Models #Mixture

    Origin | Interest | Match
  14. Уникальный гаджет с двумя процессорами: как китайский стартап совместил телефон и нетбук в одном корпусе?

    Уже три года я рассказываю в своём блоге о ремонте, моддинге и программировании для диковинных гаджетов. Но сегодняшнее устройство, пожалуй, оказалось одним из самых крутых - ведь в 2009 году, небольшой китайский стартап умудрился совместить нетбук-трансформер и телефон в одном корпусе. Да, всё как на «превьюшке»: на крышке - телефон, а под ней - настоящий x86-нетбук! Интересно, что спроектировали китайские гении инженерной мысли? Тогда добро пожаловать под кат!

    habr.com/ru/companies/timeweb/

    #bodyawm_ништячки #ноутбук #нетбук #телефон #трансформер #диковинка #круто #ретроспектива

  15. Acer Switch One 10: как я спас необычный планшет-трансформер с барахолки. Что это за устройство?

    Пару недель назад я описывал ноутбук-трансформер, который я нашел на барахолке. Модель — Acer Switch One 10, я его купил всего за 10 евро. Увы, у него был разбитый экран, но в остальном он выглядел живым. Дома у меня уже давненько пылился такой же, но с другой проблемой: материнская плата вроде работала, через HDMI изображение выводилось, а вот на родной дисплей — нет. И тут я решил поменять материнки местами, получив «полтора» девайса. Один полностью рабочий, второй – наполовину. В статье покажу, что там внутри, расскажу, что за девайс и почему именно эта модель мне нравится. Поехали.

    habr.com/ru/companies/selectel

    #selectel #ноутбук #трансформер #ремонт

  16. История развития языковых моделей: ч. 2, от ChatGPT до рассуждающего режима

    Доброго времени суток, «Хабр»! В предыдущей части мы рассмотрели историю языковых моделей от робких шагов Маркова до долгой краткосрочной памяти. Сегодня мы продолжим, пройдемся по ключевым архитектурам последних лет и разберём, как модели научились интерпретировать контекст, предсказывать и даже спорить логически. Пристегните токены — вход в зону трансформаций!

    habr.com/ru/companies/bothub/a

    #word2vec #трансформер #токенизация #bert #chatgpt #t5

  17. Native Sparse Attention: новый вид разреженного внимания от DeepSeek

    Когда Маск выпустил Grok 3, а Сэм Альтман все еще колебался, стоит ли открывать исходный код, Лян Вэньфэн, как соавтор, работал с исследовательской группой DeepSeek над созданием шокирующей и сенсационной исследовательской статьи. DeepSeek официально представила свой последний научный прорыв — Native Sparse Attention (NSA) ! Эта технология имеет большое значение. Она, скорее всего, значительно повысит способность следующего поколения больших языковых моделей обрабатывать длинные тексты, полностью учитывая при этом операционную эффективность. Нет сомнений, что это еще одна веха в области больших языковых моделей (LLM)!

    habr.com/ru/articles/887136/

    #искусственный_интеллект #трансформер #архитектура #внимание

  18. Как на самом деле работает Attention

    Как именно работают механизмы, которые позволяют LLM так эффективно взаимодействовать с контекстом? Принято рассматривать нейронные сети как black-box, не разбираясь, что на самом деле происходит во время их инференса. Однако можно немного заглянуть «в мозги» нейронным сетям и попытаться понять, за что отвечают те или иные группы параметров модели. Меня зовут Михаил Коновалов, я работаю ML-инженером в Okko. В этой статье я хочу рассмотреть несколько публикаций, посвященных интерпретации механизма Attention в трансформерах.

    habr.com/ru/companies/oleg-bun

    #машинное_обучение #nlp #трансформер #интерпретация

  19. Я, Нейросеть: как программисты научили компьютеры говорить

    Нейросети сегодня пишут новости, рекламные тексты, стихотворения и даже целые сценарии. Как мы пришли к этому? Рассказываем историю языковых моделей — от симулятора психотерапевта из 1960-х до первых нейросетей в начале 21 века.

    habr.com/ru/companies/psb/arti

    #языковые_модели #eliza #gpt #нейросеть #трансформер #языковая_модель

  20. Reformer на TRAX?

    Что такое Reformer и почему он круче Transformer’a (GPT-4...)? Давайте предварительно начнем с того, что же такой Reformer и почему благодаря ему мы можем рассчитывать на расширение контекстов вплоть до десятков тысяч слов. В классической архитектуре Transformer механизм внимания работает со сложностью, которая масштабируется квадратично с увеличением длины последовательности. Это происходит потому, что каждый токен в последовательности должен вычислять оценки внимания со всеми другими токенами, что приводит к плотной матрице внимания, размер которой растет с квадратом длины последовательности – мрак для вычислительных способностей наших TPU и GPU.

    habr.com/ru/articles/818521/

    #TRAX #JAX #tensorflow #трансформер #как_написать_реформер #нейронка #машинное_обучение #машинное_обучение_python #LLM

  21. [Перевод] Как изобрели современный искусственный интеллект. История изнутри

    Они встретились, увлеклись одной идеей и написали статью, давшую старт, возможно, самому значительному технологическому прорыву в новейшей истории. Как и многие научные открытия это произошло по счастливой случайности. ..

    habr.com/ru/articles/817923/

    #трансформер #самовнимание #инвестиции #chatgpt #искусственный_интеллект #искусственные_нейронные_сети

  22. Как учить большие языковые модели (теоретический туториал)

    Обзорное видео с доклада об особенностях обучения LLM для тех, кто в теме ML/DL, но хочет расширить кругозор в области работы с большими языковыми моделями. На основе личного опыта и обзора множества научных статей и инструментов. Ссылка на презентацию прилагается. Смотреть

    habr.com/ru/articles/809037/

    #llm #большие_языковые_модели #трансформер #transformer #deep_learning #machine_learning

  23. Компьютерное зрение сквозь года

    Как-то я столкнулся с довольно тривиальной, но новой для себя задачей - оптического распознавания символов (OCR). Так сложилось, что готовые инструменты (типа tesseract-ocr) мне не подошли, поэтому пришлось изобретать велосипед. Но к этому процессу я решил подойти со всей отвественностью: проверить несколько подходов, определить их примущества, недостатки и выбрать наиболее подходящий для конкретной задачи. По итогу это мини-исследование вылилось в данную обзорную статью. Здесь я хочу привести примеры нейросетевых моделей, характерных для различных этапов становления области компьютерного зрения (далее - CV) в том виде, в котором мы его знаем сейчас.

    habr.com/ru/articles/791532/

    #машинное+обучение #компьютерное_зрение #нейросети #трансформер #свёрточная_нейросеть

Share on Mastodon

Enter the server where you have an account.