#основания_промптинга — Public Fediverse posts

Математика смыслов: Как слова становятся векторами в мире GPT

Эта статья открывает цикл, посвященный фундаментальным принципам работы GPT-моделей. Цель — последовательно разобрать их устройство, чтобы перейти к осознанному и эффективному проектированию инструкций, к промптингу . План всего цикла следующий: Математика смыслов (эта статья) : Фундамент. Разбираем, как слова превращаются в векторы и что такое семантическое пространство. Архитектура GPT : Как устроена сама нейросеть, что такое механизм внимания и как генерируется текст. Свойства GPT : разберём казуальное чтение, заморозку семантики в KV Cache, суперпозиция смыслов, семантические графы и другие свойства. Техники промптинга : Как знание основ помогает конструировать эффективные запросы. В первой статье этого цикла мы сознательно не говорим о нейросетях, а фокусируемся на базовых концепциях: как смысл слова представляется в виде математического вектора, как с этими векторами можно проводить арифметические операции ( Король - Мужчина + Женщина ≈ Королева ), почему контекст определяет значение, и как графы помогают структурировать знания. Читать далее про математику смыслов

https://habr.com/ru/articles/948006/

#GPT #основания_промптинга #ai #промптинг #семантика #математика