#бенчмарки — Public Fediverse posts

Вышла Kimi K3.1 Pro: разбираем бенчмарки и то, как Moonshot притормозила ей кибернавыки

Moonshot AI 23 октября представила Kimi K3.1 Pro – первую модель новой серии K3.1. Это дообученная Kimi K3 с контекстом в 1 млн токенов: на постобучение компания потратила заметно больше вычислений и гоняла обучение с подкреплением сразу по сотням прикладных областей. Модель уже работает в сервисах Kimi и в API, а полные веса Moonshot обещает выложить не позднее 4 ноября. Перед выкладкой компания сознательно притормозила одну способность модели – поиск и эксплуатацию уязвимостей.

https://habr.com/ru/articles/1098746/

#искусственный_интеллект #кибербезопасность #бенчмарки #большие_языковые_модели #открытые_модели #moonshot_ai #kimi_k31_pro

Бюджетная альтернатива RTX 3090 Ti для локальных ИИ, или как китайцы воплотили пророчество майнинг-бумового юмора

Многие убеждены, что для кодинга на собственном ПК требуются железки по заоблачным ценам вроде RTX 3090ti или Mac Studio, но это не совсем так. В этой теме мы затронем противостояние старой грубой силы против нового технологического преимущества. Как китайская поделка стала реальной бюджетной альтернативой мейнстримной 3090ti? Спойлер: за меньшую цену мы получим большую выгоду.

https://habr.com/ru/articles/1096628/

#видеокарты #бенчмарки #vram #nvlink #rtx_2080_ti #rtx_3090_ti #llm #vllm #qwen

Мой агент получил высокий балл. Проверяю, что он сделал

Как проверить, что диалоговый агент выполнил задачу, если бенчмарк поставил высокий балл? В первой пробе мой агент получил награду 1 на всех пяти задачах. Потом заглушка без единого вызова инструмента набрала 34% на полном наборе. Я разрабатываю собственную экспериментальную систему и называю её ELM. В её диалоговом варианте код предлагает действия, нейросеть выбирает из них, а код исполняет вызов и собирает ответ. В проверяемом здесь режиме нейросеть не пишет текст ответа. Чтобы понять, что стоит за высокой наградой, я стал считать действия отдельно и проверил свой цикл исполнения контрольной моделью. Эта статья — разбор измерения и ошибок агента.

https://habr.com/ru/articles/1091900/

#метрики #отказы #бенчмарки #elm #aiагенты #deepseek #харнесс #tau2bench

[recovery mode] Telegram Serverless против двух VPS: нужен ли теперь хостинг для бота?

Telegram теперь может разместить код бота, базу и Mini App. Я запустил общий цифровой сад и сравнил новую площадку с двумя VPS: SQLite, пакетная запись, JSON, вычисления, параллельные запросы и растущий журнал. Показываю цифры, ограничения и объясняю, где бесплатный Serverless оказался удобнее, а почему рабочие проекты я оставляю на VPS. Посмотреть замеры

https://habr.com/ru/articles/1095716/

#javascript #vps #sqlite #бенчмарки #telegram #serverless #mini_apps

Проверяю выбор функций и значения аргументов в ELM

Если вы подключаете к чату настоящие инструменты, нужно проверить два случая: когда вызов следует выполнить и когда ни один инструмент не подходит. Я сравнил два способа: модель сама пишет вызов или выбирает функцию и аргументы из готовых вариантов.

https://habr.com/ru/articles/1095504/

#измерения #отказы #бенчмарки #elm #llm #tool_calling #bfcl #bonsai227b

Вызов инструмента без генерации: проверяю выбор функций и аргументов

Если вы подключаете к чату настоящие инструменты, нужно проверить два случая: когда вызов следует выполнить и когда ни один инструмент не подходит. Я сравнил два способа: модель сама пишет вызов или выбирает функцию и аргументы из готовых вариантов. Второй способ я исследую в собственной экспериментальной системе ELM — так я называю свой проект. Код предлагает варианты, нейросеть выбирает из них, а код собирает вызов. В проверяемом здесь режиме нейросеть не генерирует текст вызова. На сборке вызовов локальная Bonsai-2-27B заметно обошла мою систему. На задачах, где нужен отказ от неподходящего инструмента, результат был обратным: 88,3% у ELM против 15,4% у Bonsai. Разберу, что именно я измерил и где проходит граница этого сравнения.

https://habr.com/ru/articles/1091902/

#измерения #отказы #бенчмарки #elm #llm #tool_calling #bfcl #bonsai227b

Машина БЭСМ-6 и оценка её производительности в эмуляторе

БЭСМ-6 часто называют «миллионником»: её быстродействие оценивают в миллион операций в секунду. Но какие операции имеются в виду (FLOPS, KIPS) и что эта цифра может нам дать? В данной статье разберём устройство машины, её архитектуру и систему команд, запустим программы на эмуляторе Besm6.Net, а также оценим производительность на следующих бенчмарках: Dhrystone, Whetstone, Memspeed и MP-MFLOPS. Отдельно рассмотрим скорость эмуляции на современном компьютере и расчётное время выполнения на БЭСМ-6.

https://habr.com/ru/articles/1094762/

#ссср #эмуляция #ретрокомпьютинг #бенчмарки #бэсм6 #суперкомпьютеры

Gemini 4 Argon: 10 вирусных примеров народного творчества в новой модели Google

Google открыл Gemini 4 Argon для разработчиков и подписчиков 13 октября 2026 года. Что с моделью уже показывают, видно по вирусному треду: в 10 примерах она пишет код для игр и 3D-сцен.

https://habr.com/ru/companies/syntx_ai/articles/1094364/

#искусственный_интеллект #gemini #нейросети #бенчмарки #google_deepmind #llm #llmмодели #gemini_4_argon

Вышла Gemini 4 Argon: разбираем бенчмарки и карточку модели

13 октября Google начала публичную раскатку Gemini 4 Argon, анонсированной в конце сентября. Модель появилась в платном API, а в приложении Gemini ее открывают подписчикам Pro и Ultra. Вместе с релизом вышла документация, которая уточняет несколько важных деталей: когда закончится промо-цена и какие риски Google обнаружила при тестировании.

https://habr.com/ru/articles/1094026/

#google #искусственный_интеллект #бенчмарки #большие_языковые_модели #gemini_4_argon

Чат, который ничего не сочиняет: 43 гипотезы, четыре ошибки замера и одна честная стена

Идея была простая и не новая: у большой языковой модели два неприятных свойства — она стоит денег на каждый ответ и держит в памяти десятки гигабайт весов, а ещё она может уверенно написать то, чего нет нигде. Захотелось собрать систему, у которой ответ выбирается из существующего текста, а не порождается: корпус лежит на диске файлами, кандидатов находит обычный код, а нейросеть-судья только выбирает строку и проверяет её. Судья — классификатор с типизированными примитивами: «выбери один из вариантов», «это правда?», «оцени по шкале». Текст она не пишет вообще. Ответ — дословная цитата с источником, и выдумать фразу, которой нет в корпусе, система не может по построению.

https://habr.com/ru/articles/1091894/

#классификация #отказы #бенчмарки #elm #llm #rag #natural_questions #squad_20 #boolq #longbench

Самый экзотический x86-процессор: изучаем и тестируем Vortex86 [История, схемотехника, тесты, бенчмарки]

Осторожно: это большая и развернутая статья о редком процессоре. Если вам интересен полный разбор характеристик, схемотехники референсной платы, бенчмарки - статья обязательна к прочтению! Мы давно с вами привыкли к тому, что на рынке x86-процессоров бесспорными доминантами остаются Intel и AMD, и о каких-то альтернативах не слышно уже лет 15. Единицы читателей могут вспомнить процессоры Cyrix и VIA, а кто-то возможно даже слышал о TransMeta Crusoe и Эльбрусе - VLIW-процессорах с динамической ретрансляцией x86-кода в VLIW. Однако на рынке x86-процессоров есть ещё одна серия чипов, о которой знают единицы гиков - Vortex86 от компании DM&P. Эти процессоры выпускаются по сей день, на их базе делают новые недорогие компьютеры, и они не основаны на какой-либо уже существующей микроархитектуре. Недавно в мои руки попал компьютер eBox с таким процессором и в сегодняшней статье мы с вами изучим, протестируем и сравним эту экзотику с процессорами Intel/AMD на практике!

https://habr.com/ru/companies/timeweb/articles/1092190/

#процессоры #intel #amd #x86 #экзотика #бенчмарки #почитать #vortex86 #8086 #monobogdan_ништячки

Зачем быстрая реактивность за пределами DOM: ответы на вопросы и знакомство с Raph

Зачем ускорять реактивность, если всё упирается в DOM? Рассказываю об устройстве Raph/Nova и показываю, как одно ядро используется для DOM и Canvas. Большие графы, таймлайны, карта и результаты замеров.

https://habr.com/ru/articles/1092612/

#производительность #javascript #визуализация_данных #canvas #nova #webgl #бенчмарки #реактивность #управление_состоянием #raph

Полтора месяца ускорял MoE на GTX 1660 SUPER: выиграл штатный флаг llama.cpp

Я тепломеханик, начальник отдела в проектной организации, не программист. С августа ковыряю форк llama.cpp: хочу, чтобы большие MoE‑модели нормально шли на обычном домашнем ящике, где видеокарта на 6 ГБ, 24 ГБ памяти и SATA‑диск. Полигоном была gpt‑oss-20b. Итог пока обидный: выиграл штатный флаг ‑fit, на длинном запросе он в 2,44 раза быстрее привычного ‑ngl 99, а мои ускорения поверх него не дали ничего. Зато по дороге я собрал неплохую коллекцию способов, которыми замер скорости врет, и пару настроек, которые пригодятся любому владельцу небольшой видеокарты.

https://habr.com/ru/articles/1092436/

#бенчмарки #видеопамять #gtx_1660 #moe #llamacpp #gptoss #локальные_модели #kvкэш

sync.Pool теряет то, что вы хотели сохранить, и держит то, что хотели выбросить

sync.Pool легко принять за простой способ снизить аллокации: бенчмарк показывает ускорение, код уезжает в прод — а там пул внезапно теряет нужные объекты и удерживает раздутые буферы. Разбираемся, как sync.Pool на самом деле взаимодействует с GC, почему синтетические тесты могут вводить в заблуждение и в каких условиях эта оптимизация действительно окупается. Разобрать подводные камни

https://habr.com/ru/companies/otus/articles/1084908/

#syncPool #Go #Golang #сборщик_мусора #GC #управление_памятью #профилирование #оптимизация_производительности #бенчмарки #GOMAXPROCS

Claude Max против ChatGPT Pro: почему «в 5 раз выгоднее» — не совсем то, чем кажется

На днях SemiAnalysis опубликовали исследование с довольно убийственным для OpenAI выводом: подписка Claude якобы дает более чем в пять раз больше ценности , чем сопоставимая подписка ChatGPT. Но как обычно бывает, всё не так однозначно....

https://habr.com/ru/articles/1091556/

#Claude #ChatGPT #Anthropic #OpenAI #LLM #AIподписки #Claude_Max #ChatGPT_Pro #бенчмарки #стоимость_токенов

Grok 4.7, GPT-6 Astra, Claude и китайские модели, кто эффективнее?

Вчера SpaceXAI выложила Grok 4.7 . За три недели до этого OpenAI выпустила GPT-6 Astra , Anthropic — Claude Fable 5.1 . Ещё в июле рядом встал Claude Opus 5 : сама Anthropic пишет, что для большинства задач включать надо его, а Fable доставать, когда Opus уже не тянет ваши замеры. Китайские лаборатории в этой компании больше не «дешёвый запасной аэродром». Qwen3.8 Max стоит те же $2 и $6 за миллион токенов, что и Grok, и на общем индексе отстаёт на один балл. Kimi K3 на суточных инженерных задачах сидит в том же коридоре, что и свежий Grok. Ниже один набор работ: длинный код, терминал, схемы, юридические дела и счёт. Цифры лабораторий и независимый прогон Artificial Analysis лежат отдельно. На Terminal‑Bench они расходятся почти в полтора раза. Спорить «кто первый» по одной картинке из анонса после этого бесполезно.

https://habr.com/ru/articles/1086496/

#Grok_47 #GPT6_Astra #Claude_Fable #Claude_Opus #DeepSeek #Qwen #Kimi #бенчмарки #LLM

Бенчмарк Маракуйя ИИ на Terminal-Bench 4 и OSWorld 2

Всем привет! В прошлой статье я гонял Алису и Гигачат как чаты: Arena-Hard, WildBench, MultiChallenge, τ³, ПРАКТ-120. Там модель должнв была отвечать текстом в браузере - как будто она общалас с пользователем, пользователь задавал разные задания и тесты определяли, справляется ли модель. Тут - уже совсем другой экзамен. Агенту дают настоящий компьютер и настоящее задание: починить пайплайн, разобраться с проблемами в консоли сервера, собрать форму, закрыть визу, свести таблицу из почты и банка. На выходе ждут рабочий артефакт. Terminal-Bench 4 и OSWorld 2 - это два теста, которые различные лаборатории сейчас считают маст хэв. Как вы наверное заметили, мне интересно тестировать наши, отечественные модели, отечественные решения. Почему? Ну потому что в первую очередь я верю в мозги наших разработчиков, которые во всем мире всегда считались топовыми. Мне совершенно непонятно почему мы так отстаем в ИИ, и я отказываюсь в это верить. Хотя нет, понятно - все дело в отсутствии венчура, поддержки от государства и увядших мозгах наших чиновников, но это уже предмет другого обсуждения и холиворов, которые мне тут не нужны. Я общаюсь с несколькими командами, которые развиват ИИ решения в России, и все они классные и я уверен, покажут интересные результаты, а я о них напишу или даже скоро потестирую и поделюсь результатами. Надеюсь, что общение с командой Гигачата разовьется в нечто большее, чем самостоятельное проведение мной предыдущих бенчмарков, надеюсь что и разработчики Алисы сомной подружатся и мы вместе сделаем что-то интересное и полезное. Сейчас же самое интересное и просто топовая новость - агентская обвязка команды Маракуйи прошла одни из самых сложных тестов в мире с очень крутыми показателями. Читать этот жЫр полностью

https://habr.com/ru/articles/1084960/

#сезон_код_будущего #бенчмарки #бенчмарк #ии #алиса #гигачат #маракуйя #cursor #codex #claudecode

[Перевод] Проверяем Jev на открытых и внутренних данных: классификаторили фильтр?

Jev отвечает только «да/нет» или выбирает один из предложенных вариантов. 16 000 вызовов:сначала сравнение с gpt-5.4-mini и gpt-5.6-luna на четырёх открытых датасетах, затем несколько тысяч реальных решений в рабочих процессах. Где он выигрывает, где ошибается и как его использовать.

https://habr.com/ru/articles/1084770/

#jev #typesafe #классификация_текстов #LLM #бенчмарки #NLP #фильтрация_данных #ИИагенты #оценка_моделей #оптимизация_затрат

Открываем AliceAI-Foundation-80B-A3B-Base — новую языковую модель Яндекса, обученную с нуля

Сегодня мы открываем веса нашей новой модели AliceAI‑Foundation-80B‑A3B‑Base под лицензией Apache 2.0. Модель прошла полный цикл обучения в Яндексе с нуля: мы не использовали веса сторонних опенсорс‑моделей. Её создание — ещё один шаг к нашей единой рассуждающей модели (ЕРМ), на базе которой будут развиваться агентские возможности Алисы AI. В претрейн‑замерах новая модель обходит более крупные DeepSeek‑V4-Flash‑Base и Nemotron-3-Super на многих задачах — от фактологических и экспертных вопросов до математики и кода, — а на сложных задачах IMO AnswerBench и LiveCodeBench лидирует среди сравниваемых открытых претрейнов. Нашу предыдущую закрытую Alice AI LLM 235B она превосходит по фактологическим знаниям, математике, программированию и работе с длинным контекстом — при почти втрое меньшем общем числе параметров и примерно в семь раз меньшем числе активных. Недавно наши коллеги открыли претрейн Alice AI Search (кстати, он тоже обучен без применения весов опенсорс‑моделей) и рассказали, как устроена модель быстрых ответов Алисы на Поиске. Сегодня мы подхватим у них эстафетную палочку и расскажем о большом обновлении датасета, который лежал в основе обучения обеих моделей. Также продолжим историю из декабрьского техрепорта Alice AI LLM. Тогда обучение начиналось с весов Qwen3-235B‑A22B, но в этот раз мы обучали модель полностью с нуля. Благодаря накопленному командой опыту весь путь к релизу этой модели занял около полугода. За это время мы пересобрали корпус, перебрали архитектурные решения, подобрали гиперпараметры и добавили данные для рассуждений и агентских взаимодействий. За итоговыми скорами стоит много экспериментов, и нам хочется рассказать о них подробно. Поэтому вместе с весами мы публикуем большой технический отчёт: от пайплайнов подготовки данных и протоколов оценки до стабилизации обучения и scaling laws. Для ключевых решений приводим абляционные эксперименты и разбираем подходы, от которых пришлось отказаться. Вклад обновлённого корпуса, архитектуры и гиперпараметров проверили в серии обучений с нуля — по 2 трлн токенов каждое. Отдельная большая часть отчёта посвящена тому, как измерять качество претрейнов и почему это сложно. Результат базовой модели может сильно зависеть от примеров в промпте, а правильное решение сложной задачи — появляться лишь в одной из многих попыток. Мы подробно рассказываем, как выбирали протоколы замеров, строили бенчмарки, проверяли автоматическую оценку и выясняли, какие метрики позволяют предсказать качество после дообучения. Вместе с весами открываем два фактологических бенчмарка — WikiWebFacts и HardMultiQA с акцентом на русскоязычный контекст — и протоколы их оценки.

https://habr.com/ru/companies/yandex/articles/1083300/

#опенсорс_яндекса #ml #ai #opensourse #alice_ai #нейросети #бенчмарки

Сравнение Алисы (Яндекс) и Гигачат (Сбер) по 5 бенчмаркам: τ³, ПРАКТ-120, MultiChallenge, WildBench и Arena-Hard

Всем привет! Я обещал написать эту статью и я наконец-то закончил тесты и готов поделиться с вами результатами. Я потратил МНОГО времени на то, чтобы прогнать эти бенчмарки. Много времени на сетапы, много времени на ожидание тестов. Все вместе заняло около двух недель работы - модели обрывались, где-то нужно было костылять заплатки чтобы они отвечали, где-то просто ждать по несколько дней на прохождение теста (даже в многопоточном тестировании). Наконец-то я получил ответы, которые мне интересны - и, надеюсь, будут интересны и вам, и создателям Алисы и Гигачата. Почему они сами не проходят такие бенчмарки я догадываюсь, но на месте руководства этими проектами я бы наоборот, поставил бы прохождение бенчмарков в цикл. Потому что только так можно понять где твоя модель, а где мировые лидеры. Я хотел сделать обзор и Маракуйи ИИ, но ребята ушли в глубокий рефакторинг и обещают скоро вернуться с совсем новым продуктом - отечественной кодовой средой, аналогом Cursor, Claude Code, Codex, но без VPN, иностранных карт и вообще суверенное решение. Поэтому в этой статье я поделюсь результатами только трех моделей: Алиса, Гигачат Ультра, Гигачат Макс. Алиса тестировалась через веб-коннектор - именно так, как с ней взаимодействуют пользователи. В 90% случаев она в процессе оправдывалась: "Сейчас повышенная нагрузка, поэтому я включаю модель попроще". Но тест на то и есть тест: именно так с ней и взаимодействуют пользователи и именно такой результат они и получают. Гигачат - тестировался по АПИ. Бесплатных токенов, которые дают при регистрации, не хватило - поэтому я тестировал с трех аккаунтов: двух своих и с аккаунта жены. Этого хватило. Скорее читать о результатах эксперимента!

https://habr.com/ru/articles/1083664/

#сезон_код_будущего #бенчмарки #ии #ииагенты #ai #алиса #гигачат #сбер #искусственный_интеллект #исследование

SKILL.state в coding-агентах: меньше истории, но не всегда меньше работы

Кейс по мотивам исследования SKILL.state: немного инженерии контекста, бенчмарков и графиков. Эксперименты с памятью coding-агентов в OpenCode и Codex и размышления о перспективах идеи.

https://habr.com/ru/articles/1082120/

#SKILLstate #LLM #AIагенты #coding_agents #память_агентов #управление_контекстом #OpenCode #Codex #бенчмарки #экономия_токенов

Tarantool против Qdrant и pgvector: честный эксперимент на 1,18 млн векторов

Многие СУБД сегодня поддерживают поиск ближайших соседей, нужный для рекомендательных систем и антифрода. Но на практике системы даже с одинаковым алгоритмом «под капотом» могут решать эту задачу с разной эффективностью: пропускная способность (QPS) и задержки могут сильно различаться из-за накладных расходов движка хранения и модели блокировок. И для бизнеса эта разница может обернуться лишними затратами на инфраструктуру или деградацией UX в пиковые часы. Поэтому к этим параметрам нередко предъявляются особые требования. Привет, Хабр. Меня зовут Георгий Белянин. В статье я разберу архитектуру векторного поиска в Tarantool и приведу результаты сравнения скорости вставки и запросов с Qdrant и pgvector.

https://habr.com/ru/companies/vktech/articles/1080978/

#Tarantool #Qdrant #pgvector #векторные_базы_данных #векторный_поиск #ANNпоиск #HNSW #эмбеддинги #бенчмарки #vk_tech

Локальный ассистент для зумов, часть 3: кто это говорит — и почему я трижды ошибся, отвечая на этот вопрос

Обещал в прошлой части честный замер локальных моделей распознавания — выполнял целый день, и результат вышел самым обидным: менять нечего. А три дефекта, которые я за этот день торжественно нашёл, оказались дефектами не системы, а моего измерительного стенда. Про диаризацию на рабочем созвоне: как размечался эталон, почему в системном канале нет твоего собственного голоса, чем закончился A/B четырёх эмбеддеров (место в бенчмарке VoxCeleb никак не предсказало результат на живой записи), что показали VibeVoice и MOSS и почему адаптивный фильтр не вычитает эхо из микрофона.

https://habr.com/ru/articles/1080942/

#диаризация #эмбеддинги_диктора #sherpaonnx #speechtotext #локальные_llm #ассистент_встреч #onnx #методика_замеров #бенчмарки #приватность

Шаблоны против статической рефлексии в C++: пять операций, две реализации и дедупликация, которая не стоит памяти

Одна и та же операция — дедупликация списка типов — написана двумя способами: на шаблонах и на статической рефлексии из C++26. Обе реализации живут в одном дереве и проверены на идентичность результата, поэтому их можно честно вычесть друг из друга. Получилось так: шаблонная версия съедает 7,9 ГиБ памяти компилятора там, где рефлексивная не съедает ничего измеримого — ±21 МиБ на 32-кратном диапазоне размеров. А по времени обе квадратичны, и рефлексия выигрывает всего пятую часть. Разбираю, откуда берётся такая асимметрия, и заодно пять компиляторных стен, в которые упираешься по дороге, — включая sizeof…, который молча возвращает неверное число.

https://habr.com/ru/articles/1079828/

#c++ #c++26 #метапрограммирование #шаблоны_c++ #рефлексия #p2996 #clang #бенчмарки #время_компиляции

Вышла новая модель? Не смотри на бенчмарки, смотри на поисковик за её спиной

Пока СМИ спорят о лидерстве моделей в бенчмарках, бигтех перенаправляет бюджеты совсем в другую сторону. Бюджеты на обучение LLM худеют, на инфраструктуру поиска, доставки и фильтрации данных — толстеют. Копнём реальную статистику инвестиций гигантов IT за последние годы и посмотрим, как меняются требования к специалистам на рынке труда.

https://habr.com/ru/articles/1079102/

#LLM #искусственный_интеллект #AI_поиск #бенчмарки #датаинжиниринг #RAG #рынок_труда #инвестиции_в_AI #синтетические_данные

Sheeternetes: первое нагрузочное тестирование и реальные бенчмарки против Kubernetes, Docker Swarm и Nomad

В одном чате по куберу меня спросили единственное, что реально важно, когда ты собрал оркестратор контейнеров внутри таблицы: а сколько оно вообще тянет? Сколько подов, пока не ляжет. Какой образ влезает в ячейки. Сколько кластеров держит одна машина. И — раз уж мы фонд с серьёзным лицом — как это смотрится рядом с настоящими: Kubernetes, Docker Swarm, Nomad. Поэтому мы провели честное нагрузочное тестирование. Четыре измерения, два бэкенда ( .xlsx на диске и живая Google-таблица), синтетика на ноутбуке и реальные Docker-образы на облачной виртуалке . А потом поставили цифры рядом со взрослыми оркестраторами. Короткая версия: по каждой оси, которая имеет значение, мы проигрываем на 3–5 порядков. По осям, которые значения не имеют, — выигрываем вчистую. И один наш давний «факт» оказался неверным — бенчмарк нас поправил. Поехали.

https://habr.com/ru/articles/1078406/

#sncf #sheeternetes #kubernetes #nomad #swarm #бенчмарки #нагрузочноетестирование #open_source #apache2

Галлюцинации нейросетей. Как это устроено, откуда берётся и как с этим бороться. Часть 2

В предыдущей статье мы обсудили откуда берутся галлюцинации LLM и что может их спровоцировать. В этой поговорим о последствиях и методах борьбы.

https://habr.com/ru/companies/bothub/articles/1076472/

#галлюцинации_нейросетей #LLM #ChatGPT #языковые_модели #искусственный_интеллект #машинное_обучение #RAG #фактчекинг #бенчмарки #интерпретируемость_нейросетей

Go 1.27 подменил движок encoding/json. Замерил три конфигурации и нашёл, где стало хуже

В Go 1.27 encoding/json стал тонким слоем поверх нового encoding/json/v2. Собрал тулчейн из исходников, прогнал один и тот же код в четырёх конфигурациях и разобрался, почему разбор в any стал медленнее в полтора раза.

https://habr.com/ru/articles/1078082/

#golang #json #сериализация #go_127 #бенчмарки #производительность #миграция

Галлюцинации нейросетей. Как это устроено, откуда берётся и как с этим бороться. Часть 1

Одна маленькая даже не ошибка, а скорее особенность нейросетей пока мешает им развиваться и внедряться в жизнь куда более бурными темпами, чем сейчас. Хотя, казалось бы, — куда ещё быстрее? Но нет. Эта особенность стоила юристам отстранений от практики, авиакомпании — проигранного суда, а для Google стала поводом к потере примерно ста миллиардов долларов капитализации за один день. Слово «галлюцинация» станет словом года сразу в двух словарях. Как же так? Почему модель, которая помнит дату Грюнвальдской битвы, выдумывает номер ГОСТа? Откуда вообще взялся термин и почему он изначально был преимуществом ИИ? Правда ли, что новые «рассуждающие» модели врут больше старых? И можно ли это вылечить? Ответы ниже. Спойлер: полностью — нельзя. И у этого «нельзя» есть чёткое объяснение.

https://habr.com/ru/companies/bothub/articles/1076364/

#галлюцинации_нейросетей #LLM #ChatGPT #языковые_модели #искусственный_интеллект #машинное_обучение #RAG #фактчекинг #бенчмарки #интерпретируемость_нейросетей

Бенчмарки Мебиуса: зачем IBM учит ИИ проверять собственные вопросы

Для оценки эффективности ИИ уже давно и успешно используют самые разные бенчмарки. Берем модель/агента, выдаем им одинаковый набор задач, считаем долю успешных решений и получаем удобную цифру, по которой можно сравнивать системы между собой. По результатам используем ту, которая справилась с большим процентом задач. Звучит круто и даже удобно, но, как всегда, есть нюанс: все работает при условии, что сам экзамен составлен правильно. А с этим, как выясняется, бывают проблемы. Внутри бенчмарка могут оказаться некорректные эталонные ответы, противоречивые условия или правила оценки, которые засчитывают правильное решение как ошибку, и еще много всего, что исказит итоговый результат. Летом 2026 года исследователи провели независимый аудит четырех бенчмарков для агентов, работающих с внешними инструментами: BFCL v4, τ²-Bench, LiveMCPBench и MCP-Atlas. Эксперты вручную проверили 496 выполненных заданий и в 92 случаях (18,5%) не согласились с автоматической оценкой бенчмарка. Причины оказались разными: от жесткого сравнения с эталоном до нестабильной трактовки критериев самими LLM-судьями. Еще одно исследование IBM предлагает использовать LLM, чтобы проверять качество самих бенчмарков. Авторы работают с бенчмарками для task-oriented conversational agents — агентов, которые общаются с пользователем и выполняют конкретную задачу рамках заданных правил. Например, оформляют возврат в интернет-магазине или изменяют бронирование. Сегодня будем разбираться, что там наделали IBM и как так получилось, что у нас появляются бенчмарки для бенчмарков и почему в мире уже вовсю разворачивается мебиус-системы ИИ.

https://habr.com/ru/companies/ru_mts/articles/1076806/

#Тестирование_ИИ #бенчмарки #Аудит_бенчмарок #ии

Кстати, кому-то интересно будет почитать про то, какой выхлоп даёт для нейронок в #ollama апгрейд с rtx4060ti 16gb на rtx5060ti 16gb? А то может как и я – сомневаетесь, стоит ли апгрейдить свою коробочку за 50к? Если да - спрашивайте заранее свои ответы, постараюсь осветить.

#ollama #LLM #бенчмарки

Бенчмарки замість ігор, або як вийти з комп’ютерного рабства: чому ПК нещаслива платформа https://itc.ua/ua/articles/benchmarky-zamist-igor-abo-yak-vyjty-z-komp-yuternogo-rabstva-chomu-pk-neshhaslyva-platforma/ #ігровийкомп'ютер #ігроваконсоль #Технології #відеокарта #бенчмарки #Відеоігри #процесор #Апгрейд #Геймери #Статті #Ігри