#ллм — Public Fediverse posts

Как я потратил вечер, разбираясь, почему кэш в клоде, gpt и джемини — это три разных зверя

Устал переплачивать за одну и ту же память, которуе гоняю по кругу, и решил разобраться, как у кого на самом деле устроен кэш, а не просто верить строчке "у нас есть кэширование" и "так дешевле" в доке. Начал с клода, как с самой популярной тулы. Кэш там не работает сам по себе, нужно руками вешать cache_control: ephemeral на кусок промпта (тулы, системный промпт, длинный документ, что угодно стабильное). Ничего не закэшируется, если явно не попросишь. При этом ценой все прозрачно: запись на 5 минут стоит 1.25 от обычной цены, запись на час — уже 2x, а вот чтение из кэша дешевле раз в 10. Если один и тот же кусок дергается хотя бы пару раз за окно, уже в плюсе. Но! Где-то в марте anthropic тихо поменял дефолтный TTL с часа на пять минут, без нормального анонса, просто взяли и поменяли поведение по умолчанию для тех, кто не указал TTL явно. У меня был пайплайн, заточенный под часовое окно, и я не сразу понял, почему счет подрос процентов на 15, пока не полез в changelog. Так что если у вас что-то крутится на клоде на автомате уже давно, стоит перепроверить, какой TTL у вас реально стоит сейчас, а не какой вы когда-то настраивали. С openai все проще, и в хорошем смысле. Там кэш вообще не настраивается руками, он просто есть у любого промпта от 1024 токенов: система сама ищет совпадающий префикс с шагом в 128 токенов, и если находит, режет цену пополам. Ничего в коде трогать не надо. Из минусов, контроля тоже никакого, попал в кэш или нет, узнаешь только постфактум по usage в ответе. И живет это недолго: 5-10 минут простоя, максимум час, потом стирается железно.

https://habr.com/ru/articles/1062850/

#ллм #кэш #клод #чатгпт #гемини #токены

Что произойдет, если засунуть ЛЛМ в физическую оболочку?

По всей видимости, домашние роботы на подходе. Не огромные андроиды в человеческий рост и на двух ногах, но маленькие компаньоны на сервоприводах. Которые научаться понимать человека и будут учиться через эмпирический опыт самостоятельно.

https://habr.com/ru/companies/studyai/articles/1050508/

#ИИ #AI #роботы #робототехника #ллм #научпоп #научнопопулярное #diyпроекты #интересное #роботостроение

Что произойдет, если засунуть ЛЛМ в физическую оболочку?

По всей видимости, домашние роботы на подходе. Не огромные андроиды в человеческий рост и на двух ногах, но маленькие компаньоны на сервоприводах. Которые научаться понимать человека и будут учиться через эмпирический опыт самостоятельно.

https://habr.com/ru/companies/studyai/articles/1050508/

#ИИ #AI #роботы #робототехника #ллм #научпоп #научнопопулярное #diyпроекты #интересное #роботостроение

Что произойдет, если засунуть ЛЛМ в физическую оболочку?

По всей видимости, домашние роботы на подходе. Не огромные андроиды в человеческий рост и на двух ногах, но маленькие компаньоны на сервоприводах. Которые научаться понимать человека и будут учиться через эмпирический опыт самостоятельно.

https://habr.com/ru/companies/studyai/articles/1050508/

#ИИ #AI #роботы #робототехника #ллм #научпоп #научнопопулярное #diyпроекты #интересное #роботостроение

Аутомнемоморф

Человеческая цивилизация держится в том числе на представлении об абсолютной неизменяемости прошлого. Но представьте себе существо, обладающее следующими свойствами: 1. Видит свою память как набор фактов в любой момент времни. 2. Обладает возможностью по своей воле удалять, добавлять, изменять любые факты своей памяти. Реально?

https://habr.com/ru/articles/1043994/

#Аутомнемоморф #ллм #АИ #cli

Аутомнемоморф

Человеческая цивилизация держится в том числе на представлении об абсолютной неизменяемости прошлого. Но представьте себе существо, обладающее следующими свойствами: 1. Видит свою память как набор фактов в любой момент времни. 2. Обладает возможностью по своей воле удалять, добавлять, изменять любые факты своей памяти. Реально?

https://habr.com/ru/articles/1043994/

#Аутомнемоморф #ллм #АИ #cli

Аутомнемоморф

Человеческая цивилизация держится в том числе на представлении об абсолютной неизменяемости прошлого. Но представьте себе существо, обладающее следующими свойствами: 1. Видит свою память как набор фактов в любой момент времни. 2. Обладает возможностью по своей воле удалять, добавлять, изменять любые факты своей памяти. Реально?

https://habr.com/ru/articles/1043994/

#Аутомнемоморф #ллм #АИ #cli

LLM-агент для поиска свободных доменов: автоматизируем подбор

Каждый день регистрируются сотни тысяч новых доменов, поэтому найти среди оставшихся что-то короткое, понятное и незанятое становится сложнее. Хороший домен — это узнаваемость и доверие пользователя. Привет, Хабр! Меня зовут Сергей. Я работаю инженером

https://habr.com/ru/companies/selectel/articles/1024056/

#llmагент #selectel #домены #ллм #петпроект #искусственный_интеллект #ии #ии_и_машинное_обучение

ITAMforLLM-5. Управление ИТ-активами в эпоху ИИ: эволюция ITAM под специфику ИИ-решений

Всем привет! Меня зовут Дмитрий Крупенин, я создаю внутренние и B2B ИТ-решения. Специализируюсь на цифровых продуктах для внутреннего использования в корпорациях. Сейчас очень активно развиваются продукты и решения с использованием ИИ, однако не всегда удается легко посчитать экономику таких проектов, если мы говорим о необходимости развертывания этих решений внутри. Это может быть необходимо для крупных компаний (особенно банков и биг.теха), где законодательно нельзя отдавать персональные и корпоративные данные в облачные модели ЛЛМ. Хочется разобраться, как посчитать совокупную стоимость владения таким проектом, с учетом инфраструктуры, модели, данных для обучения и т.д. Так как это потребовало довольно объемного изучения предметной области - пришлось разбить материал на несколько статей:

https://habr.com/ru/articles/1002688/

#финансы #стоимость #ллм

ITAMforLLM-4. Аллокация затрат на ИИ-кластер: методология расчета

Всем привет! Меня зовут Дмитрий Крупенин, я создаю внутренние и B2B ИТ-решения. Специализируюсь на цифровых продуктах для внутреннего использования в корпорациях. Сейчас очень активно развиваются продукты и решения с использованием ИИ, однако не всегда удается легко посчитать экономику таких проектов, если мы говорим о необходимости развертывания этих решений внутри. Это может быть необходимо для крупных компаний (особенно банков и биг.теха), где законодательно нельзя отдавать персональные и корпоративные данные в облачные модели ЛЛМ. Хочется разобраться, как посчитать совокупную стоимость владения таким проектом, с учетом инфраструктуры, модели, данных для обучения и т.д. Так как это потребовало довольно объемного изучения предметной области - пришлось разбить материал на несколько статей:

https://habr.com/ru/articles/1002686/

#финансы #стоимость #ллм

ITAMforLLM-3. Total Cost of Ownership (TCO) для ИИ-проектов: пример методологии расчета

Всем привет! Меня зовут Дмитрий Крупенин, я создаю внутренние и B2B ИТ-решения. Специализируюсь на цифровых продуктах для внутреннего использования в корпорациях. Сейчас очень активно развиваются продукты и решения с использованием ИИ, однако не всегда удается легко посчитать экономику таких проектов, если мы говорим о необходимости развертывания этих решений внутри. Это может быть необходимо для крупных компаний (особенно банков и биг.теха), где законодательно нельзя отдавать персональные и корпоративные данные в облачные модели ЛЛМ. Хочется разобраться, как посчитать совокупную стоимость владения таким проектом, с учетом инфраструктуры, модели, данных для обучения и т.д. Так как это потребовало довольно объемного изучения предметной области - пришлось разбить материал на несколько статей:

https://habr.com/ru/articles/1002684/

#финансы #ллм #стоимость

ITAMforLLM-2. ИИ-инфраструктура. Из чего состоит и сколько стоит

Всем привет! Меня зовут Дмитрий Крупенин, я создаю внутренние и B2B ИТ-решения. Специализируюсь на цифровых продуктах для внутреннего использования в корпорациях. Сейчас очень активно развиваются продукты и решения с использованием ИИ, однако не всегда удается легко посчитать экономику таких проектов, если мы говорим о необходимости развертывания этих решений внутри. Это может быть необходимо для крупных компаний (особенно банков и биг.теха), где законодательно нельзя отдавать персональные и корпоративные данные в облачные модели ЛЛМ. Хочется разобраться, как посчитать совокупную стоимость владения таким проектом, с учетом инфраструктуры, модели, данных для обучения и т.д. Так как это потребовало довольно объемного изучения предметной области - пришлось разбить материал на несколько статей:

https://habr.com/ru/articles/1002682/

#стоимость #ллм

ITAMforLLM-1. Специализированные решения для ИИ-кластеров

Всем привет! Меня зовут Дмитрий Крупенин, я создаю внутренние и B2B ИТ-решения. Специализируюсь на цифровых продуктах для внутреннего использования в корпорациях. Сейчас очень активно развиваются продукты и решения с использованием ИИ, однако не всегда удается легко посчитать экономику таких проектов, если мы говорим о необходимости развертывания этих решений внутри. Это может быть необходимо для крупных компаний (особенно банков и биг.теха), где законодательно нельзя отдавать персональные и корпоративные данные в облачные модели ЛЛМ. Хочется разобраться, как посчитать совокупную стоимость владения таким проектом, с учетом инфраструктуры, модели, данных для обучения и т.д. Так как это потребовало довольно объемного изучения предметной области - пришлось разбить материал на несколько статей:

https://habr.com/ru/articles/1002680/

#стоимость #ллм

[Перевод] Итоги LLM в 2025 году: прогресс, проблемы и прогнозы

Один из лучших обозревателей в мире LLM выпустил масштабный разбор всего самого важного, что случилось с языковыми моделями в 2025 году. Я перевел, чтобы как можно больше людей прочитало этот фундаментальный труд. Здесь про архитектуры, GRPO и про то, почему бенчмарки больше ничего не значат. Дальше — слово автору.

https://habr.com/ru/articles/982496/

#LLM #ллм #большие_языковые_модели #архитектуры_ai #ai #ии #искусственный_интеллект #deepseek #дипсик #grpo

[Перевод] Итоги LLM в 2025 году: прогресс, проблемы и прогнозы

Один из лучших обозревателей в мире LLM выпустил масштабный разбор всего самого важного, что случилось с языковыми моделями в 2025 году. Я перевел, чтобы как можно больше людей прочитало этот фундаментальный труд. Здесь про архитектуры, GRPO и про то, почему бенчмарки больше ничего не значат. Дальше — слово автору.

https://habr.com/ru/articles/982496/

#LLM #ллм #большие_языковые_модели #архитектуры_ai #ai #ии #искусственный_интеллект #deepseek #дипсик #grpo

[Перевод] Итоги LLM в 2025 году: прогресс, проблемы и прогнозы

Один из лучших обозревателей в мире LLM выпустил масштабный разбор всего самого важного, что случилось с языковыми моделями в 2025 году. Я перевел, чтобы как можно больше людей прочитало этот фундаментальный труд. Здесь про архитектуры, GRPO и про то, почему бенчмарки больше ничего не значат. Дальше — слово автору.

https://habr.com/ru/articles/982496/

#LLM #ллм #большие_языковые_модели #архитектуры_ai #ai #ии #искусственный_интеллект #deepseek #дипсик #grpo

[Перевод] Технический обзор моделей DeepSeek от V3 до V3.2

Три самые постоянные вещи в мире — оливье с мандаринами на Новый год, желание начать новую жизнь с понедельника и то, что если выходит статья Себастьяна Рашки, то я делаю ее качественный перевод на русский. Эта перевод крутой технически глубокая статьи известного исследователя LLM о том, как эволюционировали флагманские модели с открытыми весами от DeepSeek и обзор DeepSeek V3.2.

https://habr.com/ru/articles/973954/

#deepseek #дипсик #архитектуры_ai #llm #ллм #архитектура_llmприложений #большие_языковые_модели

CoolPrompt: Автоматическая Оптимизация Промптов для LLM

В этой статье мы представляем CoolPrompt - фреймворк автоматической оптимизации промптов (автопромптинга), который предлагает полный пайплайн оптимизации от постановки задачи до оценки результатов новых промптов.

https://habr.com/ru/articles/957694/

#промптинжиниринг #ии #ллм #llm #ai #автопромптинг #промпт #промптыподсказки #transformers

Данные не кончатся: как LLM навсегда изменили сбор и разметку мультимодальных данных и привели нас к SynthOps

Привет! Эта статья посвящена синтетическим данным и тому, как сбор данных и их разметка изменились навсегда. Поговорим про мультимодальную синтетику (аудио и изображения), генераторы, валидаторы, примеры классных генераций, датасеты, роль LLMок в этих процессах и трансформацию привычных пайпланов в концепцию SynthOps, которая требует других подходов по работе с данными. Я достаточно долгое время разрабатывал софт для разметки всего и вся любой сложности, рассказывал про то как LLMки пришли на замену (или помощь) людям в текстовых и мультимодальных данных, а потом позанимался генерацией разного роды синты. Обо всем это и хочется рассказать.

https://habr.com/ru/articles/950874/

#синтетические_данные #синтетика #ииагенты #aiагенты #мультимодальность #llm #ллм #картинки #разметка_данных #разметка

Данные не кончатся: как LLM навсегда изменили сбор и разметку мультимодальных данных и привели нас к SynthOps

Привет! Эта статья посвящена синтетическим данным и тому, как сбор данных и их разметка изменились навсегда. Поговорим про мультимодальную синтетику (аудио и изображения), генераторы, валидаторы, примеры классных генераций, датасеты, роль LLMок в этих процессах и трансформацию привычных пайпланов в концепцию SynthOps, которая требует других подходов по работе с данными. Я достаточно долгое время разрабатывал софт для разметки всего и вся любой сложности, рассказывал про то как LLMки пришли на замену (или помощь) людям в текстовых и мультимодальных данных, а потом позанимался генерацией разного роды синты. Обо всем это и хочется рассказать.

https://habr.com/ru/articles/950874/

#синтетические_данные #синтетика #ииагенты #aiагенты #мультимодальность #llm #ллм #картинки #разметка_данных #разметка

Данные не кончатся: как LLM навсегда изменили сбор и разметку мультимодальных данных и привели нас к SynthOps

Привет! Эта статья посвящена синтетическим данным и тому, как сбор данных и их разметка изменились навсегда. Поговорим про мультимодальную синтетику (аудио и изображения), генераторы, валидаторы, примеры классных генераций, датасеты, роль LLMок в этих процессах и трансформацию привычных пайпланов в концепцию SynthOps, которая требует других подходов по работе с данными. Я достаточно долгое время разрабатывал софт для разметки всего и вся любой сложности, рассказывал про то как LLMки пришли на замену (или помощь) людям в текстовых и мультимодальных данных, а потом позанимался генерацией разного роды синты. Обо всем это и хочется рассказать.

https://habr.com/ru/articles/950874/

#синтетические_данные #синтетика #ииагенты #aiагенты #мультимодальность #llm #ллм #картинки #разметка_данных #разметка

[Перевод] PPTAgent: Генерация и оценка презентаций, выходящая за рамки преобразования текста в слайды

Автоматическая генерация презентаций из документов представляет собой сложную задачу, требующую баланса между качеством контента, визуальным дизайном и структурной связностью. Существующие методы в основном сосредоточены на улучшении и оценке качества контента изолированно, часто упуская из виду визуальный дизайн и структурную связность, что ограничивает их практическую применимость. Для решения этих ограничений мы предлагаем PPTAgent , который комплексно улучшает генерацию презентаций за счет двухэтапного подхода, основанного на редактировании, вдохновленного рабочими процессами человека. PPTAgent сначала анализирует эталонные презентации, чтобы понять их структурные шаблоны и схемы контента, затем разрабатывает контуры и генерирует слайды с помощью кодовых действий для обеспечения согласованности и выравнивания. Для комплексной оценки качества сгенерированных презентаций мы дополнительно представляем PPTEval , структуру оценки, которая оценивает презентации по трем измерениям: Содержание, Дизайн и Связность. Эксперименты показывают, что PPTAgent значительно превосходит традиционные методы автоматической генерации презентаций по всем трем измерениям. Код и данные доступны по адресу https://github.com/icip-cas/PPTAgent .

https://habr.com/ru/articles/872358/

#искусственный_интеллект #ии_агент #агент #llm #ллм #ии #эйай #нейросеть #нейросети #презентация