home.social

#ragas — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #ragas, aggregated by home.social.

  1. Habr @[email protected] ·

    От RAG-прототипа к агенту в продакшн: путь по метрикам, а не по моде

    На связи Сергей Смирнов, AI-инженер LLMStart.ru. Сегодня расскажу о полноценном кейсе, который мы делали для компании Айтон: агенте-консультанте по 1С:УНФ, который помогает отвечать на вопросы клиентов по базе знаний, реальным диалогам поддержки и контексту конкретного обращения. Разберу всю хронологию, нюансы и путь от первой гипотезы до продакшена, которым уже пользуются клиенты. Для бизнеса этот кейс интересен как пример реальной автоматизации через ИИ: сначала ассистент для сотрудников, потом сервис для клиентов. Для технарей — подходом, где решение эволюционировало от RAG-прототипа к агенту на основании данных и метрик, а не потому, что «так модно».

    habr.com/ru/companies/llmstart

    #RAG #LLM #ИИагенты #LangChain #LangFuse #Ragas #метрики_качества #context_engineering #мультимодальность #ии

    #ии #мультимодальность #context_engineering #метрики_качества #ragas #langfuse
  2. Habr @[email protected] ·

    От RAG-прототипа к агенту в продакшн: путь по метрикам, а не по моде

    На связи Сергей Смирнов, AI-инженер LLMStart.ru. Сегодня расскажу о полноценном кейсе, который мы делали для компании Айтон: агенте-консультанте по 1С:УНФ, который помогает отвечать на вопросы клиентов по базе знаний, реальным диалогам поддержки и контексту конкретного обращения. Разберу всю хронологию, нюансы и путь от первой гипотезы до продакшена, которым уже пользуются клиенты. Для бизнеса этот кейс интересен как пример реальной автоматизации через ИИ: сначала ассистент для сотрудников, потом сервис для клиентов. Для технарей — подходом, где решение эволюционировало от RAG-прототипа к агенту на основании данных и метрик, а не потому, что «так модно».

    habr.com/ru/companies/llmstart

    #RAG #LLM #ИИагенты #LangChain #LangFuse #Ragas #метрики_качества #context_engineering #мультимодальность #ии

    #ии #мультимодальность #context_engineering #метрики_качества #ragas #langfuse
  3. Habr @[email protected] ·

    От RAG-прототипа к агенту в продакшн: путь по метрикам, а не по моде

    На связи Сергей Смирнов, AI-инженер LLMStart.ru. Сегодня расскажу о полноценном кейсе, который мы делали для компании Айтон: агенте-консультанте по 1С:УНФ, который помогает отвечать на вопросы клиентов по базе знаний, реальным диалогам поддержки и контексту конкретного обращения. Разберу всю хронологию, нюансы и путь от первой гипотезы до продакшена, которым уже пользуются клиенты. Для бизнеса этот кейс интересен как пример реальной автоматизации через ИИ: сначала ассистент для сотрудников, потом сервис для клиентов. Для технарей — подходом, где решение эволюционировало от RAG-прототипа к агенту на основании данных и метрик, а не потому, что «так модно».

    habr.com/ru/companies/llmstart

    #RAG #LLM #ИИагенты #LangChain #LangFuse #Ragas #метрики_качества #context_engineering #мультимодальность #ии

    #ии #мультимодальность #context_engineering #метрики_качества #ragas #langfuse
  4. Habr @[email protected] ·

    От RAG-прототипа к агенту в продакшн: путь по метрикам, а не по моде

    На связи Сергей Смирнов, AI-инженер LLMStart.ru. Сегодня расскажу о полноценном кейсе, который мы делали для компании Айтон: агенте-консультанте по 1С:УНФ, который помогает отвечать на вопросы клиентов по базе знаний, реальным диалогам поддержки и контексту конкретного обращения. Разберу всю хронологию, нюансы и путь от первой гипотезы до продакшена, которым уже пользуются клиенты. Для бизнеса этот кейс интересен как пример реальной автоматизации через ИИ: сначала ассистент для сотрудников, потом сервис для клиентов. Для технарей — подходом, где решение эволюционировало от RAG-прототипа к агенту на основании данных и метрик, а не потому, что «так модно».

    habr.com/ru/companies/llmstart

    #RAG #LLM #ИИагенты #LangChain #LangFuse #Ragas #метрики_качества #context_engineering #мультимодальность #ии

    #rag #llm #ииагенты #langchain #langfuse #ragas
  5. Habr @[email protected] ·

    Инженерия качества: Как перестать надеяться на удачу и начать измерять своих ИИ-агентов [Часть 3]

    Продолжаем рассмотрение, того как правильно оценивать качество ИИ систем, в данной части поговорим про метрики характерные для RAG системы. Способах оценить полноту, точность и соответствия выдачи контексту в подобной системе. На примере библиотеки RAGAS, с разбором того, как эти метрики работают изнутри.

    habr.com/ru/articles/1035300/

    #искусственный_интеллект #качество_продукта #обработка_естественного_языка #ragas #rag #ииагенты

    #ииагенты #rag #ragas #обработка_естественного_языка #качество_продукта #искусственный_интеллект
  6. Habr @[email protected] ·

    Инженерия качества: Как перестать надеяться на удачу и начать измерять своих ИИ-агентов [Часть 3]

    Продолжаем рассмотрение, того как правильно оценивать качество ИИ систем, в данной части поговорим про метрики характерные для RAG системы. Способах оценить полноту, точность и соответствия выдачи контексту в подобной системе. На примере библиотеки RAGAS, с разбором того, как эти метрики работают изнутри.

    habr.com/ru/articles/1035300/

    #искусственный_интеллект #качество_продукта #обработка_естественного_языка #ragas #rag #ииагенты

    #ииагенты #rag #ragas #обработка_естественного_языка #качество_продукта #искусственный_интеллект
  7. Habr @[email protected] ·

    Инженерия качества: Как перестать надеяться на удачу и начать измерять своих ИИ-агентов [Часть 3]

    Продолжаем рассмотрение, того как правильно оценивать качество ИИ систем, в данной части поговорим про метрики характерные для RAG системы. Способах оценить полноту, точность и соответствия выдачи контексту в подобной системе. На примере библиотеки RAGAS, с разбором того, как эти метрики работают изнутри.

    habr.com/ru/articles/1035300/

    #искусственный_интеллект #качество_продукта #обработка_естественного_языка #ragas #rag #ииагенты

    #ииагенты #rag #ragas #обработка_естественного_языка #качество_продукта #искусственный_интеллект
  8. Habr @[email protected] ·

    Инженерия качества: Как перестать надеяться на удачу и начать измерять своих ИИ-агентов [Часть 3]

    Продолжаем рассмотрение, того как правильно оценивать качество ИИ систем, в данной части поговорим про метрики характерные для RAG системы. Способах оценить полноту, точность и соответствия выдачи контексту в подобной системе. На примере библиотеки RAGAS, с разбором того, как эти метрики работают изнутри.

    habr.com/ru/articles/1035300/

    #искусственный_интеллект #качество_продукта #обработка_естественного_языка #ragas #rag #ииагенты

    #искусственный_интеллект #качество_продукта #обработка_естественного_языка #ragas #rag #ииагенты
  9. Habr @[email protected] ·

    Инженерия качества: Как перестать надеяться на удачу и начать измерять своих ИИ-агентов [Часть 2]

    Продолжаем рассмотрение, того как правильно оценивать качество ИИ систем, в данной части поговорим о двух крайне полезных метриках: одна универсальный способ оценить, что LLM отвечает правильно, вторая для задачи суммаризации текста. На примере библиотеки RAGAS, с разбором того, как эти метрики работают изнутри.

    habr.com/ru/articles/1034358/

    #метрики_качества #ragas #aiагенты

    #aiагенты #ragas #метрики_качества
  10. Habr @[email protected] ·

    Инженерия качества: Как перестать надеяться на удачу и начать измерять своих ИИ-агентов [Часть 2]

    Продолжаем рассмотрение, того как правильно оценивать качество ИИ систем, в данной части поговорим о двух крайне полезных метриках: одна универсальный способ оценить, что LLM отвечает правильно, вторая для задачи суммаризации текста. На примере библиотеки RAGAS, с разбором того, как эти метрики работают изнутри.

    habr.com/ru/articles/1034358/

    #метрики_качества #ragas #aiагенты

    #aiагенты #ragas #метрики_качества
  11. Habr @[email protected] ·

    Инженерия качества: Как перестать надеяться на удачу и начать измерять своих ИИ-агентов [Часть 2]

    Продолжаем рассмотрение, того как правильно оценивать качество ИИ систем, в данной части поговорим о двух крайне полезных метриках: одна универсальный способ оценить, что LLM отвечает правильно, вторая для задачи суммаризации текста. На примере библиотеки RAGAS, с разбором того, как эти метрики работают изнутри.

    habr.com/ru/articles/1034358/

    #метрики_качества #ragas #aiагенты

    #aiагенты #ragas #метрики_качества
  12. Habr @[email protected] ·

    Инженерия качества: Как перестать надеяться на удачу и начать измерять своих ИИ-агентов [Часть 2]

    Продолжаем рассмотрение, того как правильно оценивать качество ИИ систем, в данной части поговорим о двух крайне полезных метриках: одна универсальный способ оценить, что LLM отвечает правильно, вторая для задачи суммаризации текста. На примере библиотеки RAGAS, с разбором того, как эти метрики работают изнутри.

    habr.com/ru/articles/1034358/

    #метрики_качества #ragas #aiагенты

    #метрики_качества #ragas #aiагенты
  13. Habr @[email protected] ·

    Инженерия качества: Как перестать надеяться на удачу и начать измерять своих ИИ-агентов [Часть 1]

    Инженерия качества: Как перестать надеяться на удачу и начать измерять своих ИИ-агентов [Часть 1] LLM глючит в продакшене? 🤖 Хватит надеяться на «vibe-check»! Узнай, как внедрить инженерный подход к качеству ИИ-агентов. В статье: 🔹 Что такое Golden Set и почему его нельзя заменить ручной проверкой 🔹 Как автоматически создать Golden Set через Knowledge Graph для RAG системы 🔹 Готовый Python-код для генерации тестов в RAGAS

    habr.com/ru/articles/1034050/

    #агенты_ии #rag #ragas #тестирование_приложений

    #тестирование_приложений #ragas #rag #агенты_ии
  14. Ireland @[email protected] ·

    europesays.com/ie/?p=418298 This IIT is solving the mental health crisis in students with ancient Indian knowledge #Éire #Health #IE #IITKanpur #IITMandi #IndianClassicalMusic #IndianKnowledgeSystems #Ireland #meditation #MentalHealth #MentalWellness #MentalHealth #ragas #StudentWellBeing #Yoga

    #yoga #studentwellbeing #ragas #mentalwellness #mentalhealth #meditation
  15. United Kingdom News Beep @[email protected] ·

    This IIT is solving the mental health crisis in students with ancient Indian knowledge

    Indian Knowledge Systems, that is the framework IIT Mandi is now drawing upon as it searches for answers…
    #NewsBeep #News #Mentalhealth #Health #IITKanpur #IITMandi #Indianclassicalmusic #Indianknowledgesystems #meditation #mentalwellness #MentalHealth #ragas #studentwell-being #UK #UnitedKingdom #yoga
    newsbeep.com/uk/510697/

    #yoga #unitedkingdom #uk #studentwell #ragas #mentalwellness
  16. UK @[email protected] ·

    europesays.com/uk/869205/ This IIT is solving the mental health crisis in students with ancient Indian knowledge #Health #IITKanpur #IITMandi #IndianClassicalMusic #IndianKnowledgeSystems #meditation #MentalHealth #MentalWellness #ragas #StudentWellBeing #UK #UnitedKingdom #yoga

    #yoga #unitedkingdom #uk #studentwellbeing #ragas #mentalwellness
  17. Habr @[email protected] ·

    Когда RAG на горе свистнет: архитектура, метрики оценки и практика тестирования в ПСБ

    Одна из ключевых проблем ИИ — склонность к «галлюцинациям», то есть к генерации убедительно звучащих, но ложных ответов. Яркий пример на картинке :) Как это можно исправить или улучшить? Есть разные способы. Одно из самых простых решений, позволяющих значительно повысить точность и достоверность ответов, — RAG (Retrieval Augmented Generation). Это генерация с дополненной выборкой. Меня зовут Михаил Костецкий, я управляющий эксперт отдела обеспечения качества в ПСБ. Мы в коллегами сейчас тоже пробуем использовать технологию RAG в разных задачах — в своей статье я хочу поделиться этим опытом. Буду рад, если моя статья станет полезна тем, кому предстоит работать с методом.

    habr.com/ru/companies/psb/arti

    #rag #ragas #rag_система #rag_техники #оценка_rag #оценка_качества

    #оценка_качества #оценка_rag #rag_техники #rag_система #ragas #rag
  18. Habr @[email protected] ·

    RAG Testing: как не сломать retrieval

    RAG ломается не так, как обычный LLM. У голой языковой модели одна поверхность отказа - генерация. У RAG-системы таких поверхностей две: retrieval и generation. И ломаются они по-разному. Retriever может вернуть нерелевантные чанки, потерять нужные документы или ранжировать их неправильно. Генератор может проигнорировать контекст и ответить из собственных весов. Стандартные LLM-метрики не ловят проблемы retrieval - они оценивают только финальный ответ. В статье - практический гайд по тестированию обеих поверхностей: 6 метрик RAGAS с production-порогами: Faithfulness ≥ 0.80, Context Precision ≥ 0.70, Context Recall ≥ 0.70, Answer Relevancy ≥ 0.70 Классические IR-метрики: Precision@K, Recall@K, MRR - для быстрой проверки retrieval без LLM-судьи Security-тесты: document poisoning, context injection, cross-tenant leakage через Promptfoo CI/CD pipeline: автоматический quality gate при обновлении knowledge base От pip install ragas до GitHub Actions - всё с кодом и конфигами.

    habr.com/ru/articles/1001682/

    #rag #ragas #llm_testing #ai_quality #promptfoo #ai_safety #deepeval

    #deepeval #ai_safety #promptfoo #ai_quality #llm_testing #ragas
  19. Habr @[email protected] ·

    RAG Testing: как не сломать retrieval

    RAG ломается не так, как обычный LLM. У голой языковой модели одна поверхность отказа - генерация. У RAG-системы таких поверхностей две: retrieval и generation. И ломаются они по-разному. Retriever может вернуть нерелевантные чанки, потерять нужные документы или ранжировать их неправильно. Генератор может проигнорировать контекст и ответить из собственных весов. Стандартные LLM-метрики не ловят проблемы retrieval - они оценивают только финальный ответ. В статье - практический гайд по тестированию обеих поверхностей: 6 метрик RAGAS с production-порогами: Faithfulness ≥ 0.80, Context Precision ≥ 0.70, Context Recall ≥ 0.70, Answer Relevancy ≥ 0.70 Классические IR-метрики: Precision@K, Recall@K, MRR - для быстрой проверки retrieval без LLM-судьи Security-тесты: document poisoning, context injection, cross-tenant leakage через Promptfoo CI/CD pipeline: автоматический quality gate при обновлении knowledge base От pip install ragas до GitHub Actions - всё с кодом и конфигами.

    habr.com/ru/articles/1001682/

    #rag #ragas #llm_testing #ai_quality #promptfoo #ai_safety #deepeval

    #deepeval #ai_safety #promptfoo #ai_quality #llm_testing #ragas
  20. Habr @[email protected] ·

    RAG Testing: как не сломать retrieval

    RAG ломается не так, как обычный LLM. У голой языковой модели одна поверхность отказа - генерация. У RAG-системы таких поверхностей две: retrieval и generation. И ломаются они по-разному. Retriever может вернуть нерелевантные чанки, потерять нужные документы или ранжировать их неправильно. Генератор может проигнорировать контекст и ответить из собственных весов. Стандартные LLM-метрики не ловят проблемы retrieval - они оценивают только финальный ответ. В статье - практический гайд по тестированию обеих поверхностей: 6 метрик RAGAS с production-порогами: Faithfulness ≥ 0.80, Context Precision ≥ 0.70, Context Recall ≥ 0.70, Answer Relevancy ≥ 0.70 Классические IR-метрики: Precision@K, Recall@K, MRR - для быстрой проверки retrieval без LLM-судьи Security-тесты: document poisoning, context injection, cross-tenant leakage через Promptfoo CI/CD pipeline: автоматический quality gate при обновлении knowledge base От pip install ragas до GitHub Actions - всё с кодом и конфигами.

    habr.com/ru/articles/1001682/

    #rag #ragas #llm_testing #ai_quality #promptfoo #ai_safety #deepeval

    #deepeval #ai_safety #promptfoo #ai_quality #llm_testing #ragas
  21. Habr @[email protected] ·

    RAG Testing: как не сломать retrieval

    RAG ломается не так, как обычный LLM. У голой языковой модели одна поверхность отказа - генерация. У RAG-системы таких поверхностей две: retrieval и generation. И ломаются они по-разному. Retriever может вернуть нерелевантные чанки, потерять нужные документы или ранжировать их неправильно. Генератор может проигнорировать контекст и ответить из собственных весов. Стандартные LLM-метрики не ловят проблемы retrieval - они оценивают только финальный ответ. В статье - практический гайд по тестированию обеих поверхностей: 6 метрик RAGAS с production-порогами: Faithfulness ≥ 0.80, Context Precision ≥ 0.70, Context Recall ≥ 0.70, Answer Relevancy ≥ 0.70 Классические IR-метрики: Precision@K, Recall@K, MRR - для быстрой проверки retrieval без LLM-судьи Security-тесты: document poisoning, context injection, cross-tenant leakage через Promptfoo CI/CD pipeline: автоматический quality gate при обновлении knowledge base От pip install ragas до GitHub Actions - всё с кодом и конфигами.

    habr.com/ru/articles/1001682/

    #rag #ragas #llm_testing #ai_quality #promptfoo #ai_safety #deepeval

    #rag #ragas #llm_testing #ai_quality #promptfoo #ai_safety
  22. Habr @[email protected] ·

    Выбор LLM и фреймворка для ИИ-агентов

    Путь от одной A100 в облаке до кластера на H200 — это не просто апгрейд железа, а история о том, как ML-команда перестала искать «ту самую идеальную модель» и начала строить экосистему. Когда под капотом миллионы строк C-кода PostgreSQL, а задачи варьируются от генерации hint-сетов до Graph-RAG, модель превращается из «черного ящика» в обычный заменяемый компонент. Рассказываем, как мы пересобрали стек на базе vLLM и MCP, почему контекст-менеджмент важнее весов модели и как заставить 0.6B-параметров работать не хуже гигантов через GRPO.

    habr.com/ru/companies/postgres

    #llm #aiагент #ииагенты #qwen3 #ragas #finetuning #дообучение #trl #grpo #gspo

    #gspo #grpo #trl #дообучение #finetuning #ragas
  23. Habr @[email protected] ·

    Выбор LLM и фреймворка для ИИ-агентов

    Путь от одной A100 в облаке до кластера на H200 — это не просто апгрейд железа, а история о том, как ML-команда перестала искать «ту самую идеальную модель» и начала строить экосистему. Когда под капотом миллионы строк C-кода PostgreSQL, а задачи варьируются от генерации hint-сетов до Graph-RAG, модель превращается из «черного ящика» в обычный заменяемый компонент. Рассказываем, как мы пересобрали стек на базе vLLM и MCP, почему контекст-менеджмент важнее весов модели и как заставить 0.6B-параметров работать не хуже гигантов через GRPO.

    habr.com/ru/companies/postgres

    #llm #aiагент #ииагенты #qwen3 #ragas #finetuning #дообучение #trl #grpo #gspo

    #gspo #grpo #trl #дообучение #finetuning #ragas
  24. Habr @[email protected] ·

    Выбор LLM и фреймворка для ИИ-агентов

    Путь от одной A100 в облаке до кластера на H200 — это не просто апгрейд железа, а история о том, как ML-команда перестала искать «ту самую идеальную модель» и начала строить экосистему. Когда под капотом миллионы строк C-кода PostgreSQL, а задачи варьируются от генерации hint-сетов до Graph-RAG, модель превращается из «черного ящика» в обычный заменяемый компонент. Рассказываем, как мы пересобрали стек на базе vLLM и MCP, почему контекст-менеджмент важнее весов модели и как заставить 0.6B-параметров работать не хуже гигантов через GRPO.

    habr.com/ru/companies/postgres

    #llm #aiагент #ииагенты #qwen3 #ragas #finetuning #дообучение #trl #grpo #gspo

    #gspo #grpo #trl #дообучение #finetuning #ragas
  25. Habr @[email protected] ·

    Выбор LLM и фреймворка для ИИ-агентов

    Путь от одной A100 в облаке до кластера на H200 — это не просто апгрейд железа, а история о том, как ML-команда перестала искать «ту самую идеальную модель» и начала строить экосистему. Когда под капотом миллионы строк C-кода PostgreSQL, а задачи варьируются от генерации hint-сетов до Graph-RAG, модель превращается из «черного ящика» в обычный заменяемый компонент. Рассказываем, как мы пересобрали стек на базе vLLM и MCP, почему контекст-менеджмент важнее весов модели и как заставить 0.6B-параметров работать не хуже гигантов через GRPO.

    habr.com/ru/companies/postgres

    #llm #aiагент #ииагенты #qwen3 #ragas #finetuning #дообучение #trl #grpo #gspo

    #llm #aiагент #ииагенты #qwen3 #ragas #finetuning
  26. Knowledge Zone @[email protected] ·

    #ITByte: #Ragas is a Python framework used for evaluating the performance of Retrieval-Augmented Generation (RAG) pipelines in Large Language Model (LLM) applications.

    It provides a suite of metrics to assess the quality of both the retrieval process and the generated answer, helping developers identify weaknesses and improve their RAG systems.

    knowledgezone.co.in/posts/Raga

    #itbyte #ragas
  27. Habr @[email protected] ·

    Как поднять точность RAG-агента: чек-лист и инструменты. Часть 2. Финал

    В первой части я разбирал архитектуру AI-агента, выбор между RAG и GraphRAG на примере AI-юриста для техподдержки. Если пропустили – habr.com/ru/articles/975230/ Во второй части решил уделить внимание тому, как добиться нормального качества поиска и точности ответов. Чтобы AI-агент не остался в песочнице и не превратился в очередной эксперимент "мы попробовали, не взлетело". Надеюсь мой опыт будет полезен и вы сэкономите себе деньги, нервы и время. А может быть и вовсе откажетесь от идеи создания агента — это тоже нормальный исход. Я уже писал про чанки, RAGAS, бенчмарки и инструменты отслеживания качества. Сегодня остановимся детально на каждом артефакте, расскажу плюсы и минусы, и почему именно их я использовал для AI-юриста. Погнали

    habr.com/ru/articles/977018/

    #openai #claude #agentic_ai #agentic_rag #ragas #qwen25max #ииассистент #ai

    #ai #ииассистент #qwen25max #ragas #agentic_rag #agentic_ai
  28. Habr @[email protected] ·

    Как поднять точность RAG-агента: чек-лист и инструменты. Часть 2. Финал

    В первой части я разбирал архитектуру AI-агента, выбор между RAG и GraphRAG на примере AI-юриста для техподдержки. Если пропустили – habr.com/ru/articles/975230/ Во второй части решил уделить внимание тому, как добиться нормального качества поиска и точности ответов. Чтобы AI-агент не остался в песочнице и не превратился в очередной эксперимент "мы попробовали, не взлетело". Надеюсь мой опыт будет полезен и вы сэкономите себе деньги, нервы и время. А может быть и вовсе откажетесь от идеи создания агента — это тоже нормальный исход. Я уже писал про чанки, RAGAS, бенчмарки и инструменты отслеживания качества. Сегодня остановимся детально на каждом артефакте, расскажу плюсы и минусы, и почему именно их я использовал для AI-юриста. Погнали

    habr.com/ru/articles/977018/

    #openai #claude #agentic_ai #agentic_rag #ragas #qwen25max #ииассистент #ai

    #ai #ииассистент #qwen25max #ragas #agentic_rag #agentic_ai
  29. Habr @[email protected] ·

    Как поднять точность RAG-агента: чек-лист и инструменты. Часть 2. Финал

    В первой части я разбирал архитектуру AI-агента, выбор между RAG и GraphRAG на примере AI-юриста для техподдержки. Если пропустили – habr.com/ru/articles/975230/ Во второй части решил уделить внимание тому, как добиться нормального качества поиска и точности ответов. Чтобы AI-агент не остался в песочнице и не превратился в очередной эксперимент "мы попробовали, не взлетело". Надеюсь мой опыт будет полезен и вы сэкономите себе деньги, нервы и время. А может быть и вовсе откажетесь от идеи создания агента — это тоже нормальный исход. Я уже писал про чанки, RAGAS, бенчмарки и инструменты отслеживания качества. Сегодня остановимся детально на каждом артефакте, расскажу плюсы и минусы, и почему именно их я использовал для AI-юриста. Погнали

    habr.com/ru/articles/977018/

    #openai #claude #agentic_ai #agentic_rag #ragas #qwen25max #ииассистент #ai

    #ai #ииассистент #qwen25max #ragas #agentic_rag #agentic_ai
  30. Habr @[email protected] ·

    Как поднять точность RAG-агента: чек-лист и инструменты. Часть 2. Финал

    В первой части я разбирал архитектуру AI-агента, выбор между RAG и GraphRAG на примере AI-юриста для техподдержки. Если пропустили – habr.com/ru/articles/975230/ Во второй части решил уделить внимание тому, как добиться нормального качества поиска и точности ответов. Чтобы AI-агент не остался в песочнице и не превратился в очередной эксперимент "мы попробовали, не взлетело". Надеюсь мой опыт будет полезен и вы сэкономите себе деньги, нервы и время. А может быть и вовсе откажетесь от идеи создания агента — это тоже нормальный исход. Я уже писал про чанки, RAGAS, бенчмарки и инструменты отслеживания качества. Сегодня остановимся детально на каждом артефакте, расскажу плюсы и минусы, и почему именно их я использовал для AI-юриста. Погнали

    habr.com/ru/articles/977018/

    #openai #claude #agentic_ai #agentic_rag #ragas #qwen25max #ииассистент #ai

    #openai #claude #agentic_ai #agentic_rag #ragas #qwen25max
  31. Habr @[email protected] ·

    RAG+Ragas: учим AI-помощника учить без галлюцинаций

    Представьте ситуацию: вы прошли онлайн-курс, начинаете применять знания на практике, но что-то не получается и надо вернуться в учебные материалы, найти, где про это что-то рассказывали. Что будете делать: пролистывать все уроки (а их может быть пара десятков), писать куратору (а он может ответить через сутки)? Мы решили облегчить путь и сделали AI-помощника, который знает все про наши онлайн-курсы. Он ответит на любой вопрос по содержанию уроков, пояснит непонятный момент в процессе обучения и сориентирует, где говорили на тему, которую надо освежить. На все, что не касается курсов или выделения ресурсов для практических заданий, продолжают отвечать кураторы. Дальше расскажу, почему мы проверяем ответы помощника с Ragas и с какими нюансами столкнулись в процессе. Но начну с архитектуры, чтобы показать, как Ragasсвязан с RAG.

    habr.com/ru/companies/cloud_ru

    #rag #ragas #aiагент #aiпомощник #онлайнкурсы

    #онлайнкурсы #aiпомощник #aiагент #ragas #rag
  32. Habr @[email protected] ·

    RAG+Ragas: учим AI-помощника учить без галлюцинаций

    Представьте ситуацию: вы прошли онлайн-курс, начинаете применять знания на практике, но что-то не получается и надо вернуться в учебные материалы, найти, где про это что-то рассказывали. Что будете делать: пролистывать все уроки (а их может быть пара десятков), писать куратору (а он может ответить через сутки)? Мы решили облегчить путь и сделали AI-помощника, который знает все про наши онлайн-курсы. Он ответит на любой вопрос по содержанию уроков, пояснит непонятный момент в процессе обучения и сориентирует, где говорили на тему, которую надо освежить. На все, что не касается курсов или выделения ресурсов для практических заданий, продолжают отвечать кураторы. Дальше расскажу, почему мы проверяем ответы помощника с Ragas и с какими нюансами столкнулись в процессе. Но начну с архитектуры, чтобы показать, как Ragasсвязан с RAG.

    habr.com/ru/companies/cloud_ru

    #rag #ragas #aiагент #aiпомощник #онлайнкурсы

    #онлайнкурсы #aiпомощник #aiагент #ragas #rag
  33. Habr @[email protected] ·

    RAG+Ragas: учим AI-помощника учить без галлюцинаций

    Представьте ситуацию: вы прошли онлайн-курс, начинаете применять знания на практике, но что-то не получается и надо вернуться в учебные материалы, найти, где про это что-то рассказывали. Что будете делать: пролистывать все уроки (а их может быть пара десятков), писать куратору (а он может ответить через сутки)? Мы решили облегчить путь и сделали AI-помощника, который знает все про наши онлайн-курсы. Он ответит на любой вопрос по содержанию уроков, пояснит непонятный момент в процессе обучения и сориентирует, где говорили на тему, которую надо освежить. На все, что не касается курсов или выделения ресурсов для практических заданий, продолжают отвечать кураторы. Дальше расскажу, почему мы проверяем ответы помощника с Ragas и с какими нюансами столкнулись в процессе. Но начну с архитектуры, чтобы показать, как Ragasсвязан с RAG.

    habr.com/ru/companies/cloud_ru

    #rag #ragas #aiагент #aiпомощник #онлайнкурсы

    #онлайнкурсы #aiпомощник #aiагент #ragas #rag
  34. Habr @[email protected] ·

    RAG+Ragas: учим AI-помощника учить без галлюцинаций

    Представьте ситуацию: вы прошли онлайн-курс, начинаете применять знания на практике, но что-то не получается и надо вернуться в учебные материалы, найти, где про это что-то рассказывали. Что будете делать: пролистывать все уроки (а их может быть пара десятков), писать куратору (а он может ответить через сутки)? Мы решили облегчить путь и сделали AI-помощника, который знает все про наши онлайн-курсы. Он ответит на любой вопрос по содержанию уроков, пояснит непонятный момент в процессе обучения и сориентирует, где говорили на тему, которую надо освежить. На все, что не касается курсов или выделения ресурсов для практических заданий, продолжают отвечать кураторы. Дальше расскажу, почему мы проверяем ответы помощника с Ragas и с какими нюансами столкнулись в процессе. Но начну с архитектуры, чтобы показать, как Ragasсвязан с RAG.

    habr.com/ru/companies/cloud_ru

    #rag #ragas #aiагент #aiпомощник #онлайнкурсы

    #rag #ragas #aiагент #aiпомощник #онлайнкурсы
  35. Habr @[email protected] ·

    Валидация RAG с помощью RAGAS. Часть 1

    Привет, меня зовут Вова Ловцов. Я дата-сайентист, работаю в команде Core DS в Читать первую часть

    habr.com/ru/companies/cloud_ru

    #ragas #rag #оценка_rag #качество_ответов #core_ds #data_science

    #data_science #core_ds #качество_ответов #оценка_rag #rag #ragas
  36. Habr @[email protected] ·

    Валидация RAG с помощью RAGAS. Часть 1

    Привет, меня зовут Вова Ловцов. Я дата-сайентист, работаю в команде Core DS в Читать первую часть

    habr.com/ru/companies/cloud_ru

    #ragas #rag #оценка_rag #качество_ответов #core_ds #data_science

    #data_science #core_ds #качество_ответов #оценка_rag #rag #ragas
  37. Habr @[email protected] ·

    Валидация RAG с помощью RAGAS. Часть 1

    Привет, меня зовут Вова Ловцов. Я дата-сайентист, работаю в команде Core DS в Читать первую часть

    habr.com/ru/companies/cloud_ru

    #ragas #rag #оценка_rag #качество_ответов #core_ds #data_science

    #data_science #core_ds #качество_ответов #оценка_rag #rag #ragas
  38. Habr @[email protected] ·

    Валидация RAG с помощью RAGAS. Часть 1

    Привет, меня зовут Вова Ловцов. Я дата-сайентист, работаю в команде Core DS в Читать первую часть

    habr.com/ru/companies/cloud_ru

    #ragas #rag #оценка_rag #качество_ответов #core_ds #data_science

    #ragas #rag #оценка_rag #качество_ответов #core_ds #data_science
  39. Habr @[email protected] ·

    Тестирование качества работы RAG. Описание и сравнение метрик

    В современном мире часто встречаются задачи с большим объемом данных, выполнение которых либо невозможно, либо сложно или затратно по времени/ресурсам автоматизировать обычными функциями и методами. Одним из способов решения для таких случаев является применение AI с использованием RAG. В этой статье мы постарались привести метрики для оценки качества работы подобных решений.

    habr.com/ru/articles/951222/

    #тестирование #ai #искусственный_интеллект #rag #ragas

    #ragas #rag #искусственный_интеллект #ai #тестирование
  40. Habr @[email protected] ·

    Прокачиваем RAG: тестируем техники и считаем их эффективность. Часть 2

    В прошлой части мы подробно разобрали 11 популярных техник RAG: как они устроены, какие у них есть сильные и слабые стороны, и в каких сценариях они могут быть полезны. Теперь пришло время перейти от теории к практике и посмотреть, как эти подходы показывают себя в деле. В этой статье мы посмотрим на результаты экспериментов: какие техники оказались наиболее эффективными на датасете Natural Questions, где они приятно удивили, а где — наоборот, не оправдали ожиданий. Для оценки будем использовать фреймворк RAGAS , а также метрики BertScore и ROUGE-2 для анализа релевантности извлечённых чанков и финальных ответов. Поэтому впереди нас ждут эксперименты, цифры, наблюдения и (надеюсь) ценные инсайты, которые помогут вам не просто понять, какая техника кажется хорошей, а выбрать оптимальную под вашу задачу.

    habr.com/ru/articles/949124/

    #Rag #rag_техники #retrieval_augmented_generation #сравнение_rag_техник #ragas #bertscore #rouge

    #rouge #bertscore #ragas #сравнение_rag_техник #retrieval_augmented_generation #rag_техники
  41. Habr @[email protected] ·

    Прокачиваем RAG: тестируем техники и считаем их эффективность. Часть 1

    При про­ектировании RAG-системы инженер каждый раз сталкивается со множеством вопросов: какую базу данных использовать, как организовать получение релевантной информации, да даже выбор эмбеддера может занять приличное время, а это лишь вершина айсберга. Что хорошо работает в одной сфере, например в техподдержке, может полностью провалиться в другой — например, при анализе юридических документов. Поэтому задачей инженера является выявление особенностей предметной области и адаптации RAG системы к ним. Однако, чтобы это сделать, необходимо не только понимать, какие приёмы можно использовать, но и знать насколько они эффективны. В данной статье мы разберём основные RAG техники, посмотрим их сильные и слабые стороны, сферы применения, а также немного поэкспериментируем. В следующей части статьи мы проведём тестирование этих техник на реальных пользовательских запросах из датасета Natural Questions и оценим качество работы с помощью RAGAS и BertScore, посмотрим на графики и разойдёмся, чтобы обдумать всё написанное. Поэтому предлагаю начать!

    habr.com/ru/articles/946888/

    #RAG #RAG_Техники #retrieval_augmented_generation #Сравнение_RAG_техник #bertscore #ragas

    #rag #rag_техники #retrieval_augmented_generation #сравнение_rag_техник #bertscore #ragas
  42. Prince Baron Sunshine @[email protected] ·

    Albums en écoute 2 Devendra Murdeshwar - Ragas - classical melodies on the flute - 1972 Sublime!
    #ragas #flute #india #hindustani #devendramurdeshwar

    #ragas #flute #india #hindustani #devendramurdeshwar
  43. Habr @[email protected] ·

    Retrieval-Augmented Generation (RAG): глубокий технический обзор

    Retrieval-Augmented Generation (RAG) – это архитектурный подход к генеративным моделям, который сочетает навыки поиска информации с генеративными возможностями больших языковых моделей (LLM). Идея RAG была предложена в 2020 году, чтобы преодолеть ограничение LLM – замкнутость на знаниях из обучающих данных. Вместо попыток «вживить» все знания в параметры модели, RAG-подход позволяет модели запрашивать актуальные сведения из внешних источников (баз знаний) во время генерации ответа . Это обеспечивает более точные и актуальные ответы, опирающиеся на факты, а не только на память модели. В этой статье мы подробно рассмотрим : архитектуру RAG, её компоненты и этапы работы, современные инструменты и практики для реализации RAG, примеры кода на Python, кейсы применения в бизнесе и науке, технические вызовы и лучшие практики, сравнение RAG с классическим fine-tuning, перспективы технологии.

    habr.com/ru/articles/931396/

    #rag #retrieval_augmented_generation #llm #ai #rag_pipeline #rag_ai #finetuning #ragas

    #ragas #finetuning #rag_ai #rag_pipeline #ai #llm
  44. EVL Magazine @[email protected] ·

    Midnight Ragas, the highly anticipated new album from downtempo electronic music producer and Thievery Corporation co-founder Eric Hilton, is finally here. #music #erichilton #midnight #ragas #album #MontSerrat #house

    evl.one/midnight-ragas-by-eric

    #music #erichilton #midnight #ragas #album #montserrat
  45. EVL Magazine @[email protected] ·

    Midnight Ragas, the highly anticipated new album from downtempo electronic music producer and Thievery Corporation co-founder Eric Hilton, is finally here. #music #erichilton #midnight #ragas #album #MontSerrat #house

    evl.one/midnight-ragas-by-eric

    #music #erichilton #midnight #ragas #album #montserrat
  46. IB Teguh TM @[email protected] ·

    Master Python Ragas AI Evaluation! Learn to effectively assess your LLMs and RAG systems for top-tier performance. Full tutorial inside. #Python #Ragas #AIEvaluation #LLM #RAG #TechTutorial #DataScience

    teguhteja.id/python-ragas-ai-e

    #python #ragas #aievaluation #llm #rag #techtutorial
  47. Prince Baron Sunshine @[email protected] ·

    Superbe exemple de la tradition Carnatique. Pour celleux qui s'y intéresserait, les gestes des mains accompagnant leur chant sont des moyens mnémo-techniques pour marquer les changements de temps, se souvenir des stophes des poèmes qui sont chantés, et des indications aux musicien.nes. Merci Nathan Daems pour le partage.
    youtube.com/watch?v=beJXJVwD3v4

    #carnatic #Indian #bhajans #ragas #ranjani&gayatri

    #carnatic #indian #bhajans #ragas #ranjani
  48. RocketshipRetro @[email protected] ·

    🟡 Gauri Ragini India Woman Peacocks Garden 17th Century⁣
    ⁣
    #17thCentury, #GauriRagini, #India, #Music, #Peacocks, #Ragamala, #Ragas, #women⁣
    ⁣
    Vintage ◦ Classic ◦ Historical | Art ◦ Design ◦ Inspiration | Restored ◦ Enhanced ◦ Remixed⁣
    ⁣
    Prints, T-Shirts, Stickers, & More by @rocketshipretro via RedBubble → bigplanetprints.com/go/Hg9aMb

    #17thcentury #gauriragini #india #music #peacocks #ragamala
  49. RocketshipRetro @[email protected] ·

    🟡 Gauri Ragini India Woman Peacocks Garden 17th Century⁣
    ⁣
    #17thCentury, #GauriRagini, #India, #Music, #Peacocks, #Ragamala, #Ragas, #women⁣
    ⁣
    Vintage ◦ Classic ◦ Historical | Art ◦ Design ◦ Inspiration | Restored ◦ Enhanced ◦ Remixed⁣
    ⁣
    Prints, T-Shirts, Stickers, & More by @rocketshipretro via RedBubble → bigplanetprints.com/go/Hg9aMb

    #women #ragas #ragamala #peacocks #music #india
  50. RocketshipRetro @[email protected] ·

    🟡 Gauri Ragini India Woman Peacocks Garden 17th Century⁣
    ⁣
    #17thCentury, #GauriRagini, #India, #Music, #Peacocks, #Ragamala, #Ragas, #women⁣
    ⁣
    Vintage ◦ Classic ◦ Historical | Art ◦ Design ◦ Inspiration | Restored ◦ Enhanced ◦ Remixed⁣
    ⁣
    Prints, T-Shirts, Stickers, & More by @rocketshipretro via RedBubble → bigplanetprints.com/go/Hg9aMb

    #17thcentury #gauriragini #india #music #peacocks #ragamala