#llm_as_a_judge — Public Fediverse posts

Jev は LLM ジャッジに使えるか、紛らわしい誤答72件で確かめた
https://qiita.com/taka_yayoi/items/3cc901e872209835491a?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #Databricks #MLflow #OpenRouter #LLM_as_a_Judge #Jev

Гейт зелёный, а полезные результаты теряются: три ошибки в LLM-конвейере

Модель вернула не все записи, валидатор отбросил пригодные данные, ручная очередь спрятала подходящие вакансии. Разбираю три места, где мой конвейер терял полезные результаты, и проверки, которые помогли это обнаружить.

https://habr.com/ru/articles/1078606/

#llm_as_a_judge #llmasajudge #llmops #валидация_данных #обработка_данных #human_in_the_loop #python

モデルもプロンプトも大事、さらに効いた「ハイブリッド化」── 本番LLMは“生成させず選択させる”と幻覚が消えた
https://qiita.com/ntaka329/items/79ad347893d4be665bde?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #生成AI #LLM #プロンプトエンジニアリング #LLM_as_a_Judge

AIP合格記：試験対策がてらBedrockを使って弱点特化した問題を作らせる学習システムを自作した
https://qiita.com/y_wakai/items/e4ba31be43d518b9fdbc?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #AWS #bedrock #AIP #生成AI #LLM_as_a_Judge

Промпты, RAG, LLM-тюнинг, Harness… Идём дальше?

Автономная диагностика СУБД требует от LLM-агента не просто генерации текста, а точной последовательности действий: сбора телеметрии, анализа планов запросов и блокировок. Мы провели эксперимент по оптимизации окружения ИИ-агента (Virtual DBA) для Postgres. Использовав механизм записи и ускоренного воспроизведения реальной нагрузки (record/replay), мы запустили эволюционный поиск по пространству параметров среды — от изменения промптов до перекомпоновки шагов анализа и MCP-инструментов. Результаты показывают, как автоматический выбор конфигурации влияет на качество диагностических выводов и почему избыток доступных инструментов может ухудшить итоговый вердикт.

https://habr.com/ru/companies/postgrespro/articles/1045532/

#harness #metaharness #парето #дискретная_оптимизация #prompt_tuning #RAG_tuning #harness_engineering #metaagent #metallm #llm_as_a_judge

AI Evals: Почему без оценки качества ваш продукт стоит на месте

Вы меняете системный промпт, надеетесь, что все заработало и деплоите фичу в продакшен. На следующее утро прилетает жалоба: агент выдумал дедлайн или проигнорировал важную инструкцию. Вы снова открываете IDE, правите промпт, смотрите глазами на пару примеров — «вроде стало лучше» и цикл вновь повторяется. Если это ваша повседневная реальность, у нас плохие новости: вы не управляете продуктом, вы играете в лотерею. В мире, где LLM-агенты становятся основой бизнес-процессов, AI Evals (оценки) — это не дополнительная нагрузка на инженеров, а единственная возможность контролируемых улучшений. Лидеры индустрии, от OpenAI до Anthropic, сходятся в одном: если вы не можете измерить качество работы ИИ - вы не можете им управлять.

https://habr.com/ru/articles/1037874/

#evals #оценка_качества #улучшение_llm #llm_as_a_judge #human_in_the_loop #Faithfulness #Completeness

Что не так с оценкой RAG-системи какое решение предлагает динамический бенчмарк DRAGOn

Привет, Хабр! В этот раз предлагаю разбор научной статьи DRAGOn: Designing RAG On Periodically Updated Corpus — будет полезна всем, кто интересуется RAG и хочет знать, как оценивать такие системы. Структура 1. Почему RAG сложно оценивать 2. Идея DRAGOn 3. Как строится бенчмарк 4. Проверка качества QA 5. Проверка бенчмарка на RAG-системах 6. Публичный лидерборд 7. Ограничения, проблемы и практические выводы

https://habr.com/ru/companies/ru_mts/articles/1021202/

#искусственный_интеллект #rag #бенчмарк #nlp #машинное+обучение #llm #llm_as_a_judge #датасет

LLM出力の精度90%→98%に。LLM-as-judgeとClaude Codeで自律チューニング
https://qiita.com/ntaka329/items/ecc075eed19afedbc8d3?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #LLM #プロンプトエンジニアリング #ollama #ClaudeCode #LLM_as_a_Judge

LLM Firewall: как вписать LLM в контур информационной безопасности

Привет, Хабр! Я Исмагилов Ильнур, разработчик команды Центра интеллектуальной автоматизации Innostage. В прошлой статье мы кратко рассмотрели угрозы ИИ‑сервисам и базовые меры защиты — этого достаточно, чтобы правильно стартовать внедрение ИИ в бизнес-процессы и заложить фундамент best‑практик для масштабирования. Во второй части мы смотрим на LLM Firewall как на рабочий элемент LLMSecOps: от требований приказа ФСТЭК до минимально достаточной архитектуры безопасной эксплуатации LLM в компании. Разбираем, какие защитные меры действительно имеют смысл, где проходит граница разумного контроля и как наращивать защиту по мере роста ИИ-систем, не уходя в overengineering. Материал будет полезен AI-инженерам, специалистам по информационной безопасности и руководителям ИТ и ИБ. Мы обсуждаем, как сохранить управляемость и контроль рисков при внедрении ИИ без лишних затрат, и показываем более глубокие техники выявления атак на LLM — от анализа поведенческой телеметрии до оценки угроз в реальном времени.

https://habr.com/ru/articles/981408/

#LLM_Firewall #LLMSecOps #AIGateway #LLM_as_a_judge #llm #prompt_injection