#ллм — Public Fediverse posts

Как я потратил вечер, разбираясь, почему кэш в клоде, gpt и джемини — это три разных зверя

Устал переплачивать за одну и ту же память, которуе гоняю по кругу, и решил разобраться, как у кого на самом деле устроен кэш, а не просто верить строчке "у нас есть кэширование" и "так дешевле" в доке. Начал с клода, как с самой популярной тулы. Кэш там не работает сам по себе, нужно руками вешать cache_control: ephemeral на кусок промпта (тулы, системный промпт, длинный документ, что угодно стабильное). Ничего не закэшируется, если явно не попросишь. При этом ценой все прозрачно: запись на 5 минут стоит 1.25 от обычной цены, запись на час — уже 2x, а вот чтение из кэша дешевле раз в 10. Если один и тот же кусок дергается хотя бы пару раз за окно, уже в плюсе. Но! Где-то в марте anthropic тихо поменял дефолтный TTL с часа на пять минут, без нормального анонса, просто взяли и поменяли поведение по умолчанию для тех, кто не указал TTL явно. У меня был пайплайн, заточенный под часовое окно, и я не сразу понял, почему счет подрос процентов на 15, пока не полез в changelog. Так что если у вас что-то крутится на клоде на автомате уже давно, стоит перепроверить, какой TTL у вас реально стоит сейчас, а не какой вы когда-то настраивали. С openai все проще, и в хорошем смысле. Там кэш вообще не настраивается руками, он просто есть у любого промпта от 1024 токенов: система сама ищет совпадающий префикс с шагом в 128 токенов, и если находит, режет цену пополам. Ничего в коде трогать не надо. Из минусов, контроля тоже никакого, попал в кэш или нет, узнаешь только постфактум по usage в ответе. И живет это недолго: 5-10 минут простоя, максимум час, потом стирается железно.

https://habr.com/ru/articles/1062850/

#ллм #кэш #клод #чатгпт #гемини #токены

Что произойдет, если засунуть ЛЛМ в физическую оболочку?

По всей видимости, домашние роботы на подходе. Не огромные андроиды в человеческий рост и на двух ногах, но маленькие компаньоны на сервоприводах. Которые научаться понимать человека и будут учиться через эмпирический опыт самостоятельно.

https://habr.com/ru/companies/studyai/articles/1050508/

#ИИ #AI #роботы #робототехника #ллм #научпоп #научнопопулярное #diyпроекты #интересное #роботостроение

Генератор идей для стартапа за выходные: как я открыл для себя «вайбкодинг»

У меня, как и у любого программиста (особенно бэкэндера), чешутся руки что-то сделать, но всегда не хватает интересных идея. Поэтому я придумал стартап по генерации идей для стартапов и решил навайбкодить его за выходные. Читайте далее, что из этого вышло))

https://habr.com/ru/articles/1046716/

#ллм #claude #идея_проекта #идея_для_стартапа

Аутомнемоморф

Человеческая цивилизация держится в том числе на представлении об абсолютной неизменяемости прошлого. Но представьте себе существо, обладающее следующими свойствами: 1. Видит свою память как набор фактов в любой момент времни. 2. Обладает возможностью по своей воле удалять, добавлять, изменять любые факты своей памяти. Реально?

https://habr.com/ru/articles/1043994/

#Аутомнемоморф #ллм #АИ #cli

LLM-агент для поиска свободных доменов: автоматизируем подбор

Каждый день регистрируются сотни тысяч новых доменов, поэтому найти среди оставшихся что-то короткое, понятное и незанятое становится сложнее. Хороший домен — это узнаваемость и доверие пользователя. Привет, Хабр! Меня зовут Сергей. Я работаю инженером

https://habr.com/ru/companies/selectel/articles/1024056/

#llmагент #selectel #домены #ллм #петпроект #искусственный_интеллект #ии #ии_и_машинное_обучение

Разработка после разработчиков. Что оставит AI?

За последние полгода произошел большой слом — написание кода с AI перестало быть забавой и стало серьезным инструментом, способным писать хороший код, проектировать архитектуру и принимать сложные решения. Меня не отпускают вопросы о том, куда из-за всего этого движутся профессии, нужны ли будут программисты и как вообще изменится продуктовая разработка. Но чтобы не стать еще одной статьей про размышления и спекуляции, я провел большой эксперимент: залез в самые внутренности AI-генераторов кода, создал сложный продукт с нуля, все сломал и починил, а затем с циферками поприкидывал насколько скоро нам всем на мороз.

https://habr.com/ru/articles/1006912/

#claude_code #llm #ллм #aiassited_coding #codex #vibecoding #вайбкодинг #разработка #телеметрия #claude

ITAMforLLM-5. Управление ИТ-активами в эпоху ИИ: эволюция ITAM под специфику ИИ-решений

Всем привет! Меня зовут Дмитрий Крупенин, я создаю внутренние и B2B ИТ-решения. Специализируюсь на цифровых продуктах для внутреннего использования в корпорациях. Сейчас очень активно развиваются продукты и решения с использованием ИИ, однако не всегда удается легко посчитать экономику таких проектов, если мы говорим о необходимости развертывания этих решений внутри. Это может быть необходимо для крупных компаний (особенно банков и биг.теха), где законодательно нельзя отдавать персональные и корпоративные данные в облачные модели ЛЛМ. Хочется разобраться, как посчитать совокупную стоимость владения таким проектом, с учетом инфраструктуры, модели, данных для обучения и т.д. Так как это потребовало довольно объемного изучения предметной области - пришлось разбить материал на несколько статей:

https://habr.com/ru/articles/1002688/

#финансы #стоимость #ллм

ITAMforLLM-4. Аллокация затрат на ИИ-кластер: методология расчета

Всем привет! Меня зовут Дмитрий Крупенин, я создаю внутренние и B2B ИТ-решения. Специализируюсь на цифровых продуктах для внутреннего использования в корпорациях. Сейчас очень активно развиваются продукты и решения с использованием ИИ, однако не всегда удается легко посчитать экономику таких проектов, если мы говорим о необходимости развертывания этих решений внутри. Это может быть необходимо для крупных компаний (особенно банков и биг.теха), где законодательно нельзя отдавать персональные и корпоративные данные в облачные модели ЛЛМ. Хочется разобраться, как посчитать совокупную стоимость владения таким проектом, с учетом инфраструктуры, модели, данных для обучения и т.д. Так как это потребовало довольно объемного изучения предметной области - пришлось разбить материал на несколько статей:

https://habr.com/ru/articles/1002686/

#финансы #стоимость #ллм

ITAMforLLM-3. Total Cost of Ownership (TCO) для ИИ-проектов: пример методологии расчета

Всем привет! Меня зовут Дмитрий Крупенин, я создаю внутренние и B2B ИТ-решения. Специализируюсь на цифровых продуктах для внутреннего использования в корпорациях. Сейчас очень активно развиваются продукты и решения с использованием ИИ, однако не всегда удается легко посчитать экономику таких проектов, если мы говорим о необходимости развертывания этих решений внутри. Это может быть необходимо для крупных компаний (особенно банков и биг.теха), где законодательно нельзя отдавать персональные и корпоративные данные в облачные модели ЛЛМ. Хочется разобраться, как посчитать совокупную стоимость владения таким проектом, с учетом инфраструктуры, модели, данных для обучения и т.д. Так как это потребовало довольно объемного изучения предметной области - пришлось разбить материал на несколько статей:

https://habr.com/ru/articles/1002684/

#финансы #ллм #стоимость

ITAMforLLM-2. ИИ-инфраструктура. Из чего состоит и сколько стоит

Всем привет! Меня зовут Дмитрий Крупенин, я создаю внутренние и B2B ИТ-решения. Специализируюсь на цифровых продуктах для внутреннего использования в корпорациях. Сейчас очень активно развиваются продукты и решения с использованием ИИ, однако не всегда удается легко посчитать экономику таких проектов, если мы говорим о необходимости развертывания этих решений внутри. Это может быть необходимо для крупных компаний (особенно банков и биг.теха), где законодательно нельзя отдавать персональные и корпоративные данные в облачные модели ЛЛМ. Хочется разобраться, как посчитать совокупную стоимость владения таким проектом, с учетом инфраструктуры, модели, данных для обучения и т.д. Так как это потребовало довольно объемного изучения предметной области - пришлось разбить материал на несколько статей:

https://habr.com/ru/articles/1002682/

#стоимость #ллм

ITAMforLLM-1. Специализированные решения для ИИ-кластеров

Всем привет! Меня зовут Дмитрий Крупенин, я создаю внутренние и B2B ИТ-решения. Специализируюсь на цифровых продуктах для внутреннего использования в корпорациях. Сейчас очень активно развиваются продукты и решения с использованием ИИ, однако не всегда удается легко посчитать экономику таких проектов, если мы говорим о необходимости развертывания этих решений внутри. Это может быть необходимо для крупных компаний (особенно банков и биг.теха), где законодательно нельзя отдавать персональные и корпоративные данные в облачные модели ЛЛМ. Хочется разобраться, как посчитать совокупную стоимость владения таким проектом, с учетом инфраструктуры, модели, данных для обучения и т.д. Так как это потребовало довольно объемного изучения предметной области - пришлось разбить материал на несколько статей:

https://habr.com/ru/articles/1002680/

#стоимость #ллм

[Перевод] Итоги LLM в 2025 году: прогресс, проблемы и прогнозы

Один из лучших обозревателей в мире LLM выпустил масштабный разбор всего самого важного, что случилось с языковыми моделями в 2025 году. Я перевел, чтобы как можно больше людей прочитало этот фундаментальный труд. Здесь про архитектуры, GRPO и про то, почему бенчмарки больше ничего не значат. Дальше — слово автору.

https://habr.com/ru/articles/982496/

#LLM #ллм #большие_языковые_модели #архитектуры_ai #ai #ии #искусственный_интеллект #deepseek #дипсик #grpo

Общалкин «Разогрев/Деловой/Боевой»

Несколько лет назад в сети ходила история про парня, который натравил ИИ на Tinder: бот общался с девушками, переводил их в Telegram, а дальше человек подключался сам. Тогда это выглядело как эксперимент на грани фантастики - слабый ИИ, отсутствие нормальных инструментов автоматизации, куча ручной работы и рисков. Сейчас ситуация принципиально другая: LLM держат контекст, автоматизация через n8n и браузерные сценарии решает рутину, интеграции стали дешевле и стабильнее. То, что раньше было хаком, сегодня — инженерная задача. Я использовал это, чтобы протестировать новый формат продаж. Идея простая: не продавать напрямую, а делать нативное упоминание в диалоге. Бот общается от лица обычного мужского профиля в дейтинге, поддерживает живой разговор и по контексту может один-два раза упомянуть товар, сервис или компанию. Без ссылок, без CTA, без «купи». Например, разговор про спорт - и между делом фраза про беговую дорожку или абонемент. По сути, product placement в переписке. На практике оказалось, что такой формат работает неожиданно хорошо. В нескольких тестах люди сами начинали уточнять детали: что за компания, доволен ли, где брал. Упоминание воспринимается не как реклама, а как личный опыт собеседника. С технической точки зрения это комбинация сценариев поведения, фильтрации контекста и строгих ограничений на частоту и уместность упоминаний - без этого бот быстро «палится». Сейчас я развиваю это как масштабируемый инструмент: выдача ключей, лицензирование, запуск под разные ниши. Интерес здесь не только маркетинговый, но и инженерный - это новый канал, где важнее не генерация текста, а управление доверием, таймингом и контекстом. Формат спорный, но как эксперимент на стыке ИИ, автоматизации и продаж он уже перестал быть теорией и стал рабочей практикой.

https://habr.com/ru/articles/978594/

#ллм #llm #bot #tg

[Перевод] Технический обзор моделей DeepSeek от V3 до V3.2

Три самые постоянные вещи в мире — оливье с мандаринами на Новый год, желание начать новую жизнь с понедельника и то, что если выходит статья Себастьяна Рашки, то я делаю ее качественный перевод на русский. Эта перевод крутой технически глубокая статьи известного исследователя LLM о том, как эволюционировали флагманские модели с открытыми весами от DeepSeek и обзор DeepSeek V3.2.

https://habr.com/ru/articles/973954/

#deepseek #дипсик #архитектуры_ai #llm #ллм #архитектура_llmприложений #большие_языковые_модели

[Перевод] Большое сравнение архитектур LLM

Это перевод классной статьи с детальным обзором архитектур главных опенсорсных LLM: очень структурировано, доходчиво и с изумительными картиночками. И такой обзор просто обязан быть на русском языке. Поговорим про DeepSeek V3/R1, OLMo 2, Gemma 3, Mistral Small 3.1, Llama 4, Qwen3, SmolLM3, Kimi K2, GPT-OSS, Grok 2.5, GLM-4.5, Qwen3-Next. Ну а дальше слово автору: Прошло семь лет с момента разработки оригинальной архитектуры GPT. На первый взгляд, оглядываясь назад на GPT-2 (2019) и вперед на DeepSeek-V3 и Llama 4 (2024-2025), можно удивиться тому, насколько структурно похожими остаются эти модели. Однако я считаю, что все еще есть большая ценность в изучении структурных изменений самих архитектур, чтобы увидеть, чем занимаются разработчики LLM в 2025 году.

https://habr.com/ru/articles/958880/

#ai #llm #qwen #kimi #chatgpt #chatgptoss #ллм #большие_языковые_модели #архитектура

CoolPrompt: Автоматическая Оптимизация Промптов для LLM

В этой статье мы представляем CoolPrompt - фреймворк автоматической оптимизации промптов (автопромптинга), который предлагает полный пайплайн оптимизации от постановки задачи до оценки результатов новых промптов.

https://habr.com/ru/articles/957694/

#промптинжиниринг #ии #ллм #llm #ai #автопромптинг #промпт #промптыподсказки #transformers

Данные не кончатся: как LLM навсегда изменили сбор и разметку мультимодальных данных и привели нас к SynthOps

Привет! Эта статья посвящена синтетическим данным и тому, как сбор данных и их разметка изменились навсегда. Поговорим про мультимодальную синтетику (аудио и изображения), генераторы, валидаторы, примеры классных генераций, датасеты, роль LLMок в этих процессах и трансформацию привычных пайпланов в концепцию SynthOps, которая требует других подходов по работе с данными. Я достаточно долгое время разрабатывал софт для разметки всего и вся любой сложности, рассказывал про то как LLMки пришли на замену (или помощь) людям в текстовых и мультимодальных данных, а потом позанимался генерацией разного роды синты. Обо всем это и хочется рассказать.

https://habr.com/ru/articles/950874/

#синтетические_данные #синтетика #ииагенты #aiагенты #мультимодальность #llm #ллм #картинки #разметка_данных #разметка

One-shot промптинг. Как я начал вайбкодить в 10? раз быстрее

Вообще, я менеджер. Но когда-то писал код и всегда любил это занятие. Серьезно прогал мобильные приложения, и даже заработал за один из ответов на SO больше 100 звездочек. Но с тех пор прошла куча времени. И последнее время меня вновь увлекла эта тема. А как она может увлечь современного человека, измученного миллиардом фреймворков и отставшего от прогресса лет на 15? Конечно-же курсором и вайб-кодингом. И я начал кодить. Собрал несколько ботов, потом замахнулся на CMS. Сейчас даже делаю свою тулзу для запуска LLM-пайплайнов с импортом их из n8n. Но в процессе всего этого неизменно сталкивался с двумя проблемами 1) Cursor (и брат его Windsurf) паршивейшим образом обходится с нетипизированными и слабо-типизированными языками. Изобретает названия переменных, меняет их по ходу, и вообще, забивает на это огромный и толстый... За пределами этого кодит он неплохо. Но данная штука лично у меня порождает 90% багов. 2)...

https://habr.com/ru/articles/908750/

#ЛЛМ #вайбкодинг #вайбкодинг #go #golang #wails #vue #vuejs #gemini

Не вздумайте переписывать код? В смысле?

В очередной раз кто-то на ЛинкедИне решил подурачиться. Говорит, мол, Илон Маск решил переписать программное обеспечение службы соцобеспечения США на новый лад. Ай-яй-яй, какой же он дурень дуболомный — не переписывайте ничего, что работает уже 40 с лишним лет. Действительно, код службы соцобеспечения написан на COBOL, и чтобы найти программистов, которые его могут поддерживать, надо долго и упорно их искать, выплачивая им по пол-ляма в год. Но у нас на дворе сейчас 2025 год.

https://habr.com/ru/articles/897334/

#телекс #служба_соцобеспечения #ллм #переписать_всё

[Перевод] PPTAgent: Генерация и оценка презентаций, выходящая за рамки преобразования текста в слайды

Автоматическая генерация презентаций из документов представляет собой сложную задачу, требующую баланса между качеством контента, визуальным дизайном и структурной связностью. Существующие методы в основном сосредоточены на улучшении и оценке качества контента изолированно, часто упуская из виду визуальный дизайн и структурную связность, что ограничивает их практическую применимость. Для решения этих ограничений мы предлагаем PPTAgent , который комплексно улучшает генерацию презентаций за счет двухэтапного подхода, основанного на редактировании, вдохновленного рабочими процессами человека. PPTAgent сначала анализирует эталонные презентации, чтобы понять их структурные шаблоны и схемы контента, затем разрабатывает контуры и генерирует слайды с помощью кодовых действий для обеспечения согласованности и выравнивания. Для комплексной оценки качества сгенерированных презентаций мы дополнительно представляем PPTEval , структуру оценки, которая оценивает презентации по трем измерениям: Содержание, Дизайн и Связность. Эксперименты показывают, что PPTAgent значительно превосходит традиционные методы автоматической генерации презентаций по всем трем измерениям. Код и данные доступны по адресу https://github.com/icip-cas/PPTAgent .

https://habr.com/ru/articles/872358/

#искусственный_интеллект #ии_агент #агент #llm #ллм #ии #эйай #нейросеть #нейросети #презентация

Как LLM меняют архитектуру систем: от простых дата-пайплайнов к интеллектуальным автономным агентам

На каждой технической конференции в последнее время обязательно звучит слово «агенты». Они преподносятся по разному: и как следующая ступенька после RAG, и как серебряная пуля для решения всех проблем, и как абсолютная замена всех классических пайплайнов. А кто еще не использует агентов — безнадежно отстал от прогресса. Но так ли это на самом деле? Данная статья вдохновлена видением компании Anthropic на применение LLM в процессах и на построение автономных агентов, поэтому давайте попробуем во всем разобраться. Поговорим про Data Pipelines, LLM Workflows и LLM Agents, а так же сравним их между собой.

https://habr.com/ru/articles/868648/

#ллм #агенты #llm #llmприложения #машинное+обучение #machine_learning #big_data #data #data_en #nlp