#токенизатор — Public Fediverse posts

Писать агенту по-английски ради экономии? 40 прогонов: разница 12 токенов на задачу

Частый совет: пишите агенту по-английски, русский съедает в полтора раза больше токенов. Токенизатор это подтверждает: 194 токена против 132 на одном и том же абзаце. Я прогнал пять рутинных задач на двух моделях, на обоих языках, по два раза. Сорок прогонов. Оба языка решили по 17 задач из 20, русский промпт к задаче длиннее в среднем на 12 токенов, а это 0,005% от того, что агент читает за прогон. Разброс между двумя одинаковыми запусками доходит до 3,4 раза. Рассказываю, куда делись полтора раза и где язык всё-таки стоит денег.

https://habr.com/ru/articles/1090848/

#промпты #токены #токенизатор #русский_язык #Claude_Code #кодингагенты #LLM #стоимость_LLM

Русский текст в Claude Opus 5 стоит в 3,9 раза дороже, чем в GPT-5.5, при одинаковой цене за токен

Claude Opus 5 тратит на русский текст в 3,9 раза больше токенов, чем GPT-5.5, — при одинаковой цене за токен счёт выходит почти вчетверо выше. Я замерил 11 токенизаторов на параллельных текстах на русском и английском: от одного символа на токен у Claude Opus 5 до пяти у YandexGPT и GigaChat, у которых русский текст даже короче английского. Внутри — методика, пересчёт в рубли за тысячу символов, находка про «usage» у агрегаторов и код, чтобы повторить замер на своих текстах.

https://habr.com/ru/articles/1089148/

#токенизация #llm #токенизатор #стоимость_api #claude #gpt #gigachat #yandexgpt #deepseek #русский_язык

Положил http:// в строку, и ассемблер молча собрал 0 байт

Мой ассемблер резал исходник построчными правилами: срезал комментарий, искал двоеточие, делил по запятым. Я заменил это одним проходом с состоянием и попутно проверил, нельзя ли было обойтись заплатками. Нельзя: вторая заплатка ломает то, что починила первая. Куда делись байты?

https://habr.com/ru/articles/1080490/

#лексер #токенизатор #разбор_текста #ассемблер #RISCV #комментарии #строковые_литералы #регрессия #RV32I

Почему токенайзер реж ет сло ва не там где нужно

Заголовок этой статьи, частично, наглядная демонстрация того, как его видит языковая модель. Куски слов, нарезанные по логике, которая к русскому языку не имеет вообще никакого отношения. И из этой нарезки растет длинный список вещей, которые иногда списывают на «глупую нейронку» (особенно если речь идет о небольших локальных моделях): модель не может посчитать буквы в слове, путается в арифметике, коверкает редкие фамилии, а русский текст обходится вдвое дороже английского при том же смысле. А еще оттуда же растут вещи, которые с токенами вообще вроде бы не связаны. Например: почему «давай рассуждать по шагам» реально работает, и почему лишний пробел в конце промпта портит ответ. Виноват во всем этом компонент стека, который первым в пайплайне, никогда не обучается вместе с моделью и которому обычно посвящают полтора абзаца в начале туториала. Что ж, давайте по порядку.

https://habr.com/ru/companies/selectel/articles/1068446/

#токенизация #токенизатор #BPE #byte_pair_encoding #LLM #языковые_модели #эмбеддинги #контекстное_окно #промптинжиниринг #selectel

Показываю, как я заменил JSON на TOON в LLM-промптах и сэкономил 40% токенов

Привет! Меня зовут Андрей, я фронтенд-разработчик в

https://habr.com/ru/companies/cloud_ru/articles/1020430/

#ai #llm #tokens #api #json #toon #токенизация_данных #токенизатор

MVP по «умному» поиску данных

Всем привет, меня зовут Александр, я аналитик в Альфа-Банке. Совместно с командой мы разрабатываем и развиваем платформу для дата-инженеров (DE) и дата-саентистов (DS), именуемую Feature Store. Она даёт возможность коллегам работать с большими данными и упрощает бюрократию жизненного цикла создания ETL и ввода моделей в промышленную эксплуатацию. Но хотелось бы улучшить процесс по поиску данных в ней, так как объёмы информации стремительно растут. Классический поиск выдаёт результаты по точному совпадению, и это не самый удобный вариант, когда данных много. Поэтому нужную информацию, если ты точно не знаешь как найти, невозможно отыскать. Озадачившись этой проблемой, я решил сделать MVP «умного» поиска, который позволяет искать данные/фичи/поля не по точному совпадению, а с учётом смысла. Надеюсь, данная статья поможет показать и пролить свет на вопрос — «А как же ещё бывает?»

https://habr.com/ru/companies/alfa/articles/915012/

#mvp #gpt #ai #feature_store #data_science #datamarket #mlops #токенизатор #классификация