#llmмодели — Public Fediverse posts

Собираем домашний сервер для локальных LLM на доступных GPU (NVIDIA CMP 50HX)

Привет! Меня зовут Александр Щербаков, я DevOps-инженер в X5 Tech. В одной из прошлых статей я рассказывал о домашних серверах на потребительском железе. Сегодня поговорим о том, как моя лаборатория доросла до серверной платформы и двух CMP 50HX с 20 ГБ видеопамяти каждая. С локальными LLM я пока разбираюсь и хочу поделиться тем, что получилось: от покупки карт и неудачного первого запуска до настройки сервера и замеров. Кому интересна такая затея — добро пожаловать под кат.

https://habr.com/ru/companies/X5Tech/articles/1093122/

#linux #gpu #домашний_сервер #proxmox #devops #видеопамять #inference #инференс #llmмодели #cmp_50hx

Угроза ИИ-агентам: LLM снимают с продакшена уже через 6 месяцев. Почему и как подготовиться

Model ID, прописанный в коде, — зависимость с датой окончания срока годности, как версия библиотеки без поддержки. У флагманов Anthropic эта дата обычно наступает примерно через год после релиза, у превью-моделей Google — через несколько месяцев, а окно между объявлением об отключении и самим отключением у провайдеров измеряется медианой от 28 до 182 дней. Мы подробно разобрали, что и когда отключали в 2026 году, что при ломается, как команды мигрируют на самом деле (по данным выборки из 17 703 репозиториев) и как построить приложение, которое переживёт смену модели без аврала.

https://habr.com/ru/companies/speshu_ai/articles/1094608/

#llm #ииагенты #llmмодели #llmагент #угроза_ииагенту

Gemini 4 Argon: 10 вирусных примеров народного творчества в новой модели Google

Google открыл Gemini 4 Argon для разработчиков и подписчиков 13 октября 2026 года. Что с моделью уже показывают, видно по вирусному треду: в 10 примерах она пишет код для игр и 3D-сцен.

https://habr.com/ru/companies/syntx_ai/articles/1094364/

#искусственный_интеллект #gemini #нейросети #бенчмарки #google_deepmind #llm #llmмодели #gemini_4_argon

Зачем ИИ-агентам свои языки и можно ли их прочитать

⊕ = согласие, ⊖ = несогласие. Так выглядит один из самых простых межагентских «языков» из выборки постов соцсети для агентов Moltbook . Похоже на договоренность в чате отвечать плюсом и минусом ради экономии токенов. Казалось бы, ничего криминального. Но вот в той же выборке есть Symbiotica — язык, в котором 26 латинских букв заменили глифами из нескольких письменностей. У пяти букв есть по два варианта. Выбор между ними кодирует бит (0 или 1) и складывается в отдельную битовую строку. Видимый текст при этом читается по таблице соответствий, как шифровка. Но есть и второй слой, несущий дополнительную информацию, которую случайный наблюдатель не увидит, даже если таблица будет у него под рукой.

https://habr.com/ru/companies/ru_mts/articles/1092372/

#искусственный_интеллект #лингвистика #нейросети #агенты #песочницы #языковые_модели #языковая_модель #llm #llmмодели #llmагент

Guardrails для LLM: как устроена защита языковых моделей

Привет, Хабр! Я Антон, инженер

https://habr.com/ru/companies/selectel/articles/1091140/

#selectel #llmмодели #нейросети #иисистема #chatgpt #guardrails #waf #политика_безопасности #инфраструктура #угрозы

Что делать, если доступ к Claude пропал, а на нем уже завязан рабочий процесс?

Привет, Хабр! На связи команда Рег.облака. С начала октября у российских пользователей Claude снова начали блокироваться аккаунты. Для тех, кто пользуется моделью время от времени через браузер, потеря доступа неприятна, но не катастрофична. Гораздо сложнее ситуация у команд, которые уже встроили Claude в рабочие процессы. Например, подключили через API к внутреннему боту, coding-agent, RAG или автоматической обработке документов. В таком случае внезапно пропадает уже не просто доступ к чату. Перестает работать кусок системы, который мог месяцами спокойно жить в проде. И тут выясняется, насколько глубоко конкретная модель успела встроиться в код и есть ли вообще запасной вариант. Мы решили посмотреть на эту историю именно с этой стороны: что происходит, когда один зарубежный сервис становится слишком важной частью рабочего процесса, и как заранее подготовить переход к работе через API, чтобы перенос настроек и контекста не превратился в отдельный проект на несколько недель. А заодно покажем, как мы решаем эту задачу в ИИ-платформе Рег.облака, где несколько моделей доступны через единый API.

https://habr.com/ru/companies/runity/articles/1091876/

#claude #anthropic #claudecode #llm #llmмодели #api #openai_api #gpu #инференс #selfhosted_llm

Зачем нейросети «обвязка»: как превратить LLM в рабочий AI-сервис

Большую языковую модель можно скачать с Hugging Face, развернуть на сервере с GPU и отправить ей первый запрос. Технически LLM уже работает: получает текст на вход и генерирует ответ. Но до готового бизнес-сервиса еще далеко. Пользователю нужен интерфейс. Приложению — API. Модели нужно передавать контекст и корпоративные данные. Доступ к сервису необходимо ограничивать, действия — контролировать, запросы — логировать, а ошибки — обрабатывать. Чтобы модель делала что-то полезное для бизнеса, ей потребуется передать контекст, подключить внешние или внутренние системы и описать правила работы с ними. Все эти компоненты вокруг модели часто называют обвязкой, или harness. В этой статье разберемся, зачем она нужна, из каких частей может состоять и почему выбор самой LLM — только один из этапов создания ИИ-сервиса.

https://habr.com/ru/companies/selectel/articles/1088444/

#ai #ml #mlops #harness #harness_engineering #обвязка #обвязка_агента #llm #llmмодели

Как запустить Gemma на сервере: сравниваем Ollama и llama.cpp

Откройте любую статью-инструкцию по установке LLM, в которой фигурирует Ollama. Уверен, в комментариях к ней автору уже объяснили, насколько он неправ и что единственное верное решение — использовать llama.cpp. В этой статье запустим Gemma 4 и через Ollama, и напрямую через llama.cpp — и посмотрим, во сколько обходится удобство.

https://habr.com/ru/companies/selectel/articles/1088372/

#selectel #ai #ml #aiагенты #gemma #Ollama #llamacpp #LLM #llmмодели #Gemma_4

GTX 1080 Ti не сдаётся: выбираем лучшую MoE-модель для llama-server среди 35B, 120B и 176B

Привет, Хабр! В прошлой статье я рассказывал, как запустить 176B-класс Qwen3.8-Flash-Next на GTX 1080 Ti, и тогда это был, скорее, эксперимент на грани возможного. Но недавно я наткнулся на материал на ast-softpro.ru , где ребята запустили Qwen 3.8-27B на двух RTX 5060 Ti по 16 ГБ (32 ГБ суммарно). Если коротко, они подтвердили, что гибридная архитектура DeltaNet + attention позволяет эффективно работать с длинным контекстом, а на их стенде модель в квантизации Q4_K_M выдавала около 24 токенов/с. Именно это, а также комментарии на Хабре, подтолкнуло меня к серии экспериментов, о которых пойдёт речь. Забегу наперед, я был удивлён результату: на моём стенде, который я опишу ниже, результаты на одной из моделей, которая как минимум не хуже, оказались сопоставимыми.

https://habr.com/ru/articles/1086998/

#ai #llmмодели #llamacpp #server #эксперимент #старое_компьютерное_железо #видеокарта #gtx_1080 #vram

Тестирование моделей на суверенность. Философские аспекты ТЗ

Каждая профессиональная область деятельности должна иметь своих специалистов, говорящих на своем «птичьем» языке. Иначе, какая же она профессиональная. Язык этот не является попыткой выделиться и набить себе цену. Нет, он появляется по причине необходимости собственных устоявшихся понятий. Так формируются тезаурус и онтология. В отношении естественных языков дела обстоят еще сложнее. Ведущую роль здесь играют тезаурусы как модели смыслов и их взаимосвязей, выражаемые средствами языка. И эти модели являются основой понимания, через них достигается согласие. Проблему онтологий как моделей объектов и их взаимосвязей «реального» (в кавычках, так как сама по себе реальность является большой философской проблемой) мира, оставим пока в стороне. До последнего времени в мире IT всё главным образом крутилось вокруг computer science, математики, финансов (статистики) и промышленного дизайна. Однако с появлением LLM этот, вполне себе теплый и камерный мир, где «рыбак рыбака видел из далека», начал стремительно разрушаться. Вначале, появились голосовые помощники и чат-боты, а теперь это разрослось до новой формы поиска и попыток управления чем-то (и да же вынесения суждений о чем-то) в реальном мире с помощью LLM. Что примечательно, поиск стал примитивизироваться. Если в прошлом все боролись за первые строчки в бесконечном списке вывода, то теперь их максимум три. Вычисления дороги, сформировать даже топ три ответа, представляющих собой наиболее обобщенные кортежи предложений, это уже вполне себе результат.

https://habr.com/ru/articles/1086524/

#ai #llm #llmмодели #законодательство #ии_и_машинное_обучение

Ни слова по-китайски

Иногда LLMки путаются в языке, на котором они отвечают. Ты задаёшь вопрос на английском, а тебе в ответ прилетает простыня на китайском. Почему бы не помочь им забыть про языки, в которых мы не заинтересованы?

https://habr.com/ru/articles/1085742/

#llmмодели

Как запустить 176B‑класс Qwen3.8-Flash‑Next в DeepSeek Harness на GTX 1080 Ti

Когда смотришь на характеристики современных MoE‑моделей, иногда возникает странная мысль: а что будет, если взять модель с сотнями миллиардов параметров и попробовать запустить её на старом игровом GPU? С Qwen3.8-Flash‑Next этот эксперимент оказался особенно интересным. Qwen3.8-Flash‑Next — мультимодальная MoE‑модель, которую сама команда Qwen называет ранним предпросмотром архитектуры, лежащей в основе Qwen4. В основной части модели 125 млрд параметров, дополнительно используется около 51 млрд параметров n‑gram embedding‑таблиц, а на один токен активируется около 6 млрд параметров. Поэтому в сообществе модель часто называют 176B‑классом: 125B + 51B. В model card отдельно также указан 4B MTP‑компонент. Модель использует гибридную архитектуру Gated DeltaNet (GDN) и Qwen Sparse Attention (QSA). Всего в ней 48 слоёв: три из четырёх используют GDN, а каждый четвёртый — QSA. Кроме того, здесь используется 512 экспертов MoE, из которых на каждом токене выбираются 10 маршрутизируемых экспертов плюс shared expert. Нативный контекст модели составляет 262 144 токена, то есть 256K в обычном обозначении. На бумаге всё это выглядит впечатляюще. На практике возникает главный вопрос: куда поместить более 100 GB модели, если видеокарта располагает всего 11 GB VRAM? В моём случае ответ оказался неожиданным: GTX 1080 Ti действительно достаточно, чтобы запустить такую модель , если использовать llama.cpp и правильно распределить вычисления между GPU и оперативной памятью.

https://habr.com/ru/articles/1085544/

#ai #aiагенты #llmмодели #llama #llamacpp #llmагенты #deepseek_harness

ИИ – это трактор без водителя: почему 98% разработки с LLM решает экосистема

Есть тезис, за повторение которого в последнее время мне регулярно «прилетает» в комментариях и кулуарах: сама языковая модель дает примерно 2% результата ИИ-разработки. Остальные 98% – это обвязка. Инструкции, гейты, процессы, память, люди. Звучит как ересь на фоне последних релизов: модели становятся все сильнее, компании закупают Copilot, Cursor и Claude Code вагонами. Только вот ускорение команд почему-то не фиксируется, и об этом уже пишут не только скептики, но и те, кто эти модели выпускает.

https://habr.com/ru/companies/diasoft_company/articles/1084892/

#диасофт #digital_q #claude_code #harness #обвязка #обвязка_агента #разработка #llmмодели #вайбкодинг #cursor

Как мы научили ИИ-модель понимать документы и теперь оформляем новых сотрудников в 2 раза быстрее

Странно говорить о современном стеке и одновременно предлагать новым сотрудникам вручную вписывать данные паспорта в кадровую анкету. Автоматизируя процесс онбординга, мы пошли дальше стандартной OCR. На базе LLM VL-модели разработали цифровой продукт Sminex Start, который проводит процесс оформления. Ручные трудозатраты свелись к минимуму, данные не покидают внутренний контур, новые сотрудники с первого дня понимают, что пришли в технологичную компанию. Как нам это удалось и какие преимущества в цифрах и отзывах мы уже видим — рассказываем в статье. LLM vs OCR

https://habr.com/ru/companies/sminex_developer/articles/1083860/

#искусственный_интеллект #llmмодели #сотрудники #цифровизация_процессов #кадровый_документооборот #вебприложение #распознавание_документов #онбординг_новых_сотрудников #оформление_документов #разработка_вебприложений

Не бенчмарком единым: стелс-модель union-alpha на реальной задаче — сутки от релиза до боя

Пролог: живая встреча, бэклог и бесплатная модель Всем привет! Немного вступления: ИИ агент заказчика работает в проде уже четвёртый месяц: ночные заявки в НЕЛЬЗЯgram Direct, диалоги, анкеты, сделки в amoCRM. В прошлой статье ( https://habr.com/ru/articles/1081780/ ) - разбор Reasoning Lock и анонсы продолжений. Одна из договорённостей с заказчиком - ветка обработки комментариев под постами: человек пишет "+" или "сколько стоит?" под публикацией = агент отвечает ему приватным сообщением в Direct. Обещание висело в бэклоге и ждало своего часа. Час настал сам. 16 сентября вечером на OpenRouter выкатили новую стелс-модель: stealth/union-alpha . Провайдер анонимен, релизный штамп на странице 16 сентября, то есть сутки стелсу к моменту публикации этой статьи. Факты про данную llm: мультимодальность, tool calling, GPQA Diamond 90.9%, и главное — цена ровно ноль (пока что) .

https://habr.com/ru/articles/1083578/

#автоматизация #n8n #ииагенты #llmмодели #cline #stealth_unionalpha #тестирование_LLM_на_реальной_задаче #дедупликация_Redis_INCR #n8n_воркфлоу

Почему LLM не могут овладеть человеческим языком в совершенстве

Даже идеальная модель с бесконечным объемом текста не восстановит ту часть смысла, которая никогда не была закодирована в языковой форме. Представьте фразу в рабочем чате: «он снова упал». «Он» может означать сервер, сервис, тестовый стенд или процесс сборки. Люди восстанавливают смысл по предыдущим сообщениям и общей ситуации. В самой фразе объекта нет, и без контекста она вообще ничего не сообщает. Можно ли восстановить смысл, вложенный человеком в фразу, если у нас есть только сама фраза? И изменится ли ответ, если вместо человека будет языковая модель, обученная на триллионах токенов?

https://habr.com/ru/companies/ru_mts/articles/1082524/

#исследования #llm #llmмодели #llmагент #вычисления #искусственный_интеллект #нейросети #лингвистика #языковые_модели #контекст

Как мы меняем модели в агенте-разработчике

Новая языковая модель может появиться утром, к вечеру оказаться в топе нескольких лидербордов, а через пару недель уступить место следующей версии. Для команды, которая использует LLM в продукте, это создаёт вопрос: когда обновляться и как делать это без лишнего риска для пользователей и разработки. В «Первой Форме» ИИ-агент помогает в контуре разработки: работает с кодом, инструментами и ревью. Состав моделей в этом контуре мы регулярно пересматриваем. За последние недели мы обновили Muse Spark с версии 1.2 до 1.3, добавили Gemini 3.8 Flash и подготовили для него быстрый откат на предыдущую модель. Расскажем, как устроен этот процесс.

https://habr.com/ru/companies/1forma/articles/1082776/

#llmмодели #aiagent #агентная_разработка #bpms #lowcode #muse_spark_13 #выбор_ии #первая_форма #ииагенты

Рецензия на книгу «Разработка приложений на базе больших языковых моделей»

Книга «Разработка приложений на базе больших языковых моделей» Сухаса Пая призвана помочь разработчикам закрыть разрыв между вызовом API языковой модели и построением реально работающего и конкурентного на рынке продуктового приложения. Книга разбирает LLM как компонент сложной системы — от устройства трансформера до RAG-конвейеров и агентов. Для разработчика или ML-инженера, уже прошедшего стадию первого прототипа, это полезное русскоязычное издание, где архитектура LLM-приложений разобрана шаг за шагом, без сведения материала к перечню промптов.

https://habr.com/ru/companies/ssp-soft/articles/1079732/

#llmмодели #llm #llmагент #llmприложения #llmагенты #llmархитектура

Красная королева в Core War: как ИИ сражался с 317 человеческими воинами

Core War — культовая игра, где коды сражаются друг с другом. С приходом LLM она получила новую жизнь: исследователи из Sakana AI и MIT создали эволюционную стратегию для ИИ-воинов. Разбираем, как это работает.

https://habr.com/ru/articles/1080002/

#core_war #llmмодели #llm #mapelites #sakana_ai #эволюционные_алгоритмы #redcode #стратегия #кибербезопасность

Как я скормил stealth/ox-alpha 60 млн токенов, или история о том, как «навайбкодилось» 127 нод в n8n

В финале прошлой статьи ( https://habr.com/ru/articles/1074734/ ) я обещал разбор контура генерации ответов с гибридным извлечением данных (LLM-tools + regex). Но пока немного переиграем планы и переключимся в другую тему - причина практический инженерный эксперимент. Постараюсь вкратце и по существу.)

https://habr.com/ru/articles/1076084/

#n8n #автоматизация #автопостинг #скрапинг #ИИагенты #Cline #llmмодели #glm_53_flash

CMF: новый формат для создания специализированных LLM моделей

CMF новый формат для нейросетей, чем CMF отличается от GGUF и SafeTensors, как несколько способностей можно накладывать на общую структуру без хранения отдельных полных моделей. Это первая подробная открытая публикация формата CMF, уже можно использовать в собственных проектах. Буду рад разработчикам, готовым расширять его возможности и проверять результаты на своих задачах. CMF GitHub

https://habr.com/ru/articles/1078646/

#llm #llmмодели #llmархитектура #llm_память #rust #cargo #moe

Один, лучший или все вместе? Семь багов, четыре ремонтника и семеро сборщиков

Один сломанный bash-скрипт. Семь настоящих багов — от косметических (устаревшие имена файлов в комментариях) до фатальных: сводная таблица, которая всегда показывает нули, что бы на самом деле ни произошло. Четыре модели чинят этот скрипт вслепую, независимо друг от друга, не зная, что делают остальные три. Потом ещё семь моделей получают на вход все четыре готовых варианта починки и одно задание: собрать из них лучшее. Забегая вперёд — ровно настолько, чтобы не испортить интригу: на старте модели расходятся куда сильнее, чем можно было бы ожидать. Ни одна модель не нашла всё. И слепые зоны у них не совпадают. Собственно, поэтому эксперимент и имеет смысл ставить, а не рассуждать о нём в теории.

https://habr.com/ru/articles/1078038/

#aiagentagentic #ai #bash #coding #llm_benchmark #openrouter #debugging_code #review #llmмодели #llmагент

Токены — новая единица бюджета. Как управлять расходами на ИИ без лимитов для сотрудников

Компании всё чаще пересматривают расходы на ИИ-инструменты. Например, Uber в 2026 году ввела лимит в $1 500 в месяц на сотрудника для каждого агентного инструмента кодинга: по данным Bloomberg, годовой бюджет на ИИ был израсходован за четыре месяца. Такая реакция понятна — чем больше команда пользуется ИИ, тем выше счёт провайдера. Но лимит на человека — это не единственный и не всегда лучший способ управлять затратами. Он не различает полезный сложный запрос и простой вызов, который случайно отправили в дорогую модель. А ещё может ограничить именно тех сотрудников, чья работа действительно выигрывает от ИИ. В «Первой Форме» мы подходим к этой задаче как к инженерной: не запрещаем использование моделей и делаем расход токенов наблюдаемым. Для этого нам нужно понимать, за какие токены платим, какие задачи решают модели и где теряется эффективность. Об этом сейчас и расскажем.

https://habr.com/ru/companies/1forma/articles/1077528/

#токены #токены_llm #llm #llmмодели #агенты #агентная_разработка #bpms #lowcode #первая_форма #ии

Не конкурируй с ИИ — управляй им. Как специалисту по ИБ остаться востребованным в эпоху ИИ-агентов

Привет, Хабр! Меня зовут Алексей Лукацкий, я бизнес-консультант по безопасности и Chief Evangelist Officer в Positive Technologies, а до этого больше 18 лет проработал в Cisco. За свою карьеру я успел побыть программистом, администратором, аудитором, маркетологом, продавцом, преподавателем, rCISO, писателем и ИБ-евангелистом — и за всем этим стоит уже 35 лет в кибербезопасности, страшно даже произносить эту цифру вслух. За эти три десятилетия я видел, как менялась индустрия: появлялись новые угрозы, регуляторы выпускали всё новые требования, а специалисты по безопасности учились работать с облаками, контейнерами и DevSecOps-практиками. Теперь настал черёд следующего большого изменения — искусственного интеллекта, и мне захотелось поделиться мыслями о том, как он влияет на нашу профессию и что с этим делать. Вокруг искусственного интеллекта сегодня действительно много шума, и мнения о нём кардинально расходятся — от полного принятия до категорического отторжения. Одни считают, что ИИ вот-вот заменит специалистов по кибербезопасности, и указывают на нейросети, которые уже находят уязвимости на багбаунти-платформах или пишут нормативную документацию лучше человека. Другие, часто из старшего поколения, воспринимают ИИ как нечто враждебное, призывают запрещать и блокировать — и дальше начинаются истории с обходными путями и теневыми схемами использования. Вместо философских рассуждений о том, заменит ли ИИ человека или нет, я хочу поговорить о практических вещах, которые каждый специалист по ИБ может использовать уже сегодня, причём сделать хорошо. Как не остаться на свалке истории, а наоборот — вскочить на ступеньку этого поезда и использовать ИИ как инструмент, который усиливает, а не заменяет.

https://habr.com/ru/companies/pt/articles/1076702/

#искусственный_интеллект #compliance #фстэк #модель_угроз #rag #промптинг #llm #llmмодели #llmагенты

Черный лебедь в мире LLM или когда убьют трансформер?

И снова возвращаюсь к теме больших языковых моделей. В своей достаточно старой статье я писал, что текущая архитектура БЯМ(LLM) — это гонка в тупик. Наблюдения за прошедшее время только укрепляют меня в этом мнении. Но сегодня хочу поговорить о другом, а что если тупик — это не конец пути, а просто барьер, за которым нас ждет технологическая революция? И почему те, кто сейчас вкладывает сотни миллиардов в дата-центры, сделают всё, чтобы эта революция не случилась? Разберем по порядку.

https://habr.com/ru/articles/1076784/

#llm #llmмодели #ai #transformers #трансформеры

H-Neurons: 0.1% нейронов, из-за которых LLM врут

А вы когда-нибудь задумывались, почему ваша любимая LLM-ка на 70 лярдов параметров, обученная на всем интернете, может с уверенностью университетского профессора выдать, например, что Наполеон изобрел электричество? Откуда это берется? Долгое время индустрия списывала галлюцинации на плохие данные, кривой RLHF или декодинг. Но группа ученых из Университета Цинхуа залезла внутрь нейросети и нашла конкретных виновников — 0.1% нейронов , которые буквально заставляют модель врать. И это не метафора, это реальные веса в FFN-слоях трансформера. В этой статье расскажу, что же обнаружили китайские исследователи, как нейроны-галлюцинаторы связаны с чрезмерной уступчивостью модели и почему корень зла лежит в претрейне. Возможно будет любопытно ML- и дата-инженерам, а также всем, кто не хочет быть одураченным в очередном диалоге с GPT-шкой.

https://habr.com/ru/companies/cloud_ru/articles/1068988/

#интерпретируемость #нейросети #исследования #llmмодели #галлюцинирование_нейросетей #галлюцинации_llm

Букмарклет вычисляющий скорость gguf модели в llama.cpp на hf

С приходом нейросетей теперь можно решать задачи гораздо проще, правда и задачи бы такой не стояло не будь нейросетей и llama.cpp, и huggingface. В общем смысл статьи в том чтобы попытаться математически вычислить теоретическую скорость генерации токенов в программе llama.cpp для моделей на hugginface, просто открыв карточку модели и нажав на закладку (букмарклет). Вот как это выглядит: На самом деле этих калькуляторов полно и много, но почему-то у меня они показывают совсем не то что я вижу в реальности. Опять же, для меня было открытие что я могу на своей RTX3070 8Gb запускать MOE модели до 35 млрд параметров на довольно неплохой скорости, просто потому что нейронки в чатах говорят что все - конец - этого не хватит. Я думаю что они остановились в своем развитии где-то год назад и все еще частенько вспоминают про модели llama или mistral но сейчас то уже не совсем актуально, по крайней мере для использования, может для научных изысканий и нет лучше, не знаю. В общем-то и в этом калькуляторе нет никаких новых идей - просто я прогнал на своем компе несколько моделей, замерил скорость,замерил +- максимально возможный контекст, при котором llama.cpp не вылетает по нехватке памяти и попросил нейронку сделать калькулятор, чтобы он показывал цифры близкие мне, потому что расчетные цифры по контексту нейронка занижала в разы. Мне просто стало интересно почему так - она говорит что максимальный контекст 20 тысяч условно, а смог выжать 70 тысяч - разница в разы.

https://habr.com/ru/articles/1076284/

#llamacpp #llmмодели #gguf

Как я увеличил производительность своего сервера для LLM-вычислений почти в два раза и причем здесь six-seven

Мы разобрались, какие типы вычислений реально важны для LLM, почему мой вычислительный кластер на CMP90HX работал хуже чем ожидалось - узнали что вычислительная мощность искусственно ограничена именно на них, и как работает китайская модификация, снимающая это ограничение. Затем проверили всё на практике и получили реальные цифры прироста.

https://habr.com/ru/articles/1076224/

#llmмодели #производительность #ограничения #ограниченные_возможности #модификация

100 лучших ИИ-репозиториев на GitHub в 2026 году. От ИИ-агентов до генерации видео

На GitHub лежат тысячи бесплатных ИИ-инструментов, о которых 95% людей просто не знает. Я собрал сто самых популярных репозиториев - вместе они набрали ⭐7.52 млн звезд на GitHub . Это ИИ-агенты, промпты, вайбкодинг, локальные нейросети, генерация изображений/видео, автоматизация, сервисы для бизнеса и многое другое.

https://habr.com/ru/articles/1075078/

#подборка #нейросети #репозитории #github #искусственный_интеллект #llmмодели #ииагенты #иимодели

От задачи до MR: как устроен конвейер разработки с ИИ-агентами в «Первой Форме»

ИИ-агент может за минуты подготовить изменение, на которое у разработчика прежде уходил час. Но ускорение написания кода создаёт другую проблему: растёт нагрузка на проверку. Нужно изучить diff, понять предположения агента, проверить затронутые компоненты и убедиться, что решение соответствует задаче, а не просто проходит формальные проверки. Почему агент выбрал этот модуль? Какие связанные части системы изучил? Какие варианты отбросил? На какие требования и результаты проверок опирался? Если этот контекст остаётся в закрытой сессии, следующему участнику процесса приходится собирать его заново. В 2026 году эту проблему сформулировал Томас Домке, бывший CEO GitHub и основатель Entire. Она звучит так: «Узкое место при выпуске кода — это ревью кода, созданного агентами». Мы в «Первой Форме» к похожему выводу пришли через собственную практику. У нас ИИ-агенты работают внутри управляемого конвейера: задача получает проверяемые критерии, агенты действуют по ролям, результаты фиксируются в артефактах, а человек сохраняет за собой продуктовые решения, финальное ревью и мёрж. Расскажем подробнее.

https://habr.com/ru/companies/1forma/articles/1073606/

#llm #llmмодели #ииагенты #агентная_разработка #bpms #entire #lowcode #первая_форма #разработка #ai