#langfuse — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #langfuse, aggregated by home.social.
-
От RAG-прототипа к агенту в продакшн: путь по метрикам, а не по моде
На связи Сергей Смирнов, AI-инженер LLMStart.ru. Сегодня расскажу о полноценном кейсе, который мы делали для компании Айтон: агенте-консультанте по 1С:УНФ, который помогает отвечать на вопросы клиентов по базе знаний, реальным диалогам поддержки и контексту конкретного обращения. Разберу всю хронологию, нюансы и путь от первой гипотезы до продакшена, которым уже пользуются клиенты. Для бизнеса этот кейс интересен как пример реальной автоматизации через ИИ: сначала ассистент для сотрудников, потом сервис для клиентов. Для технарей — подходом, где решение эволюционировало от RAG-прототипа к агенту на основании данных и метрик, а не потому, что «так модно».
https://habr.com/ru/companies/llmstart/articles/1038436/
#RAG #LLM #ИИагенты #LangChain #LangFuse #Ragas #метрики_качества #context_engineering #мультимодальность #ии
-
От RAG-прототипа к агенту в продакшн: путь по метрикам, а не по моде
На связи Сергей Смирнов, AI-инженер LLMStart.ru. Сегодня расскажу о полноценном кейсе, который мы делали для компании Айтон: агенте-консультанте по 1С:УНФ, который помогает отвечать на вопросы клиентов по базе знаний, реальным диалогам поддержки и контексту конкретного обращения. Разберу всю хронологию, нюансы и путь от первой гипотезы до продакшена, которым уже пользуются клиенты. Для бизнеса этот кейс интересен как пример реальной автоматизации через ИИ: сначала ассистент для сотрудников, потом сервис для клиентов. Для технарей — подходом, где решение эволюционировало от RAG-прототипа к агенту на основании данных и метрик, а не потому, что «так модно».
https://habr.com/ru/companies/llmstart/articles/1038436/
#RAG #LLM #ИИагенты #LangChain #LangFuse #Ragas #метрики_качества #context_engineering #мультимодальность #ии
-
От RAG-прототипа к агенту в продакшн: путь по метрикам, а не по моде
На связи Сергей Смирнов, AI-инженер LLMStart.ru. Сегодня расскажу о полноценном кейсе, который мы делали для компании Айтон: агенте-консультанте по 1С:УНФ, который помогает отвечать на вопросы клиентов по базе знаний, реальным диалогам поддержки и контексту конкретного обращения. Разберу всю хронологию, нюансы и путь от первой гипотезы до продакшена, которым уже пользуются клиенты. Для бизнеса этот кейс интересен как пример реальной автоматизации через ИИ: сначала ассистент для сотрудников, потом сервис для клиентов. Для технарей — подходом, где решение эволюционировало от RAG-прототипа к агенту на основании данных и метрик, а не потому, что «так модно».
https://habr.com/ru/companies/llmstart/articles/1038436/
#RAG #LLM #ИИагенты #LangChain #LangFuse #Ragas #метрики_качества #context_engineering #мультимодальность #ии
-
От RAG-прототипа к агенту в продакшн: путь по метрикам, а не по моде
На связи Сергей Смирнов, AI-инженер LLMStart.ru. Сегодня расскажу о полноценном кейсе, который мы делали для компании Айтон: агенте-консультанте по 1С:УНФ, который помогает отвечать на вопросы клиентов по базе знаний, реальным диалогам поддержки и контексту конкретного обращения. Разберу всю хронологию, нюансы и путь от первой гипотезы до продакшена, которым уже пользуются клиенты. Для бизнеса этот кейс интересен как пример реальной автоматизации через ИИ: сначала ассистент для сотрудников, потом сервис для клиентов. Для технарей — подходом, где решение эволюционировало от RAG-прототипа к агенту на основании данных и метрик, а не потому, что «так модно».
https://habr.com/ru/companies/llmstart/articles/1038436/
#RAG #LLM #ИИагенты #LangChain #LangFuse #Ragas #метрики_качества #context_engineering #мультимодальность #ии
-
Self-Hosted Observability for Large Language Models Emerges
Developers can now watch their LLM work locally using self-hosted Langfuse. This gives more control over data and insights. Learn how it works.
#LLMOps, #Langfuse, #vLLM, #OpenSource, #AI
https://newsletter.tf/self-hosted-llm-observability-langfuse-vllm/
-
Self-Hosted Observability for Large Language Models Emerges
Developers can now watch their LLM work locally using self-hosted Langfuse. This gives more control over data and insights. Learn how it works.
#LLMOps, #Langfuse, #vLLM, #OpenSource, #AI
https://newsletter.tf/self-hosted-llm-observability-langfuse-vllm/
-
Self-Hosted Observability for Large Language Models Emerges
Developers can now watch their LLM work locally using self-hosted Langfuse. This gives more control over data and insights. Learn how it works.
#LLMOps, #Langfuse, #vLLM, #OpenSource, #AI
https://newsletter.tf/self-hosted-llm-observability-langfuse-vllm/
-
Self-Hosted Observability for Large Language Models Emerges
Developers can now watch their LLM work locally using self-hosted Langfuse. This gives more control over data and insights. Learn how it works.
#LLMOps, #Langfuse, #vLLM, #OpenSource, #AI
https://newsletter.tf/self-hosted-llm-observability-langfuse-vllm/
-
Self-Hosted Observability for Large Language Models Emerges
Developers can now watch their LLM work locally using self-hosted Langfuse. This gives more control over data and insights. Learn how it works.
#LLMOps, #Langfuse, #vLLM, #OpenSource, #AI
https://newsletter.tf/self-hosted-llm-observability-langfuse-vllm/
-
Running your Large Language Models locally with Langfuse is now easier. This new method gives developers more control over their data compared to cloud services.
#LLMOps, #Langfuse, #vLLM, #OpenSource, #AI
https://newsletter.tf/self-hosted-llm-observability-langfuse-vllm/ -
Running your Large Language Models locally with Langfuse is now easier. This new method gives developers more control over their data compared to cloud services.
#LLMOps, #Langfuse, #vLLM, #OpenSource, #AI
https://newsletter.tf/self-hosted-llm-observability-langfuse-vllm/ -
Running your Large Language Models locally with Langfuse is now easier. This new method gives developers more control over their data compared to cloud services.
#LLMOps, #Langfuse, #vLLM, #OpenSource, #AI
https://newsletter.tf/self-hosted-llm-observability-langfuse-vllm/ -
Running your Large Language Models locally with Langfuse is now easier. This new method gives developers more control over their data compared to cloud services.
#LLMOps, #Langfuse, #vLLM, #OpenSource, #AI
https://newsletter.tf/self-hosted-llm-observability-langfuse-vllm/ -
Running your Large Language Models locally with Langfuse is now easier. This new method gives developers more control over their data compared to cloud services.
#LLMOps, #Langfuse, #vLLM, #OpenSource, #AI
https://newsletter.tf/self-hosted-llm-observability-langfuse-vllm/ -
Как мы построили корпоративную LLM-платформу: архитектура, грабли и выводы
Обычно внедрение AI в компаниях происходит по такому сценарию: собрали одного ассистента, показали руководству, получили аплодисменты. Потом второго, третьего — и через полгода получается зоопарк с разными ключами, моделями и неконтролируемым бюджетом. Вместо набора разрозненных ассистентов мы сразу пошли в платформу. В статье рассказываем, из чего она состоит, как эволюционировало наше железо, зачем понадобилось два слоя наблюдаемости и почему маркетплейсный RAG ломается на PDF-файлах. С графиками, схемой архитектуры и выводами, которые сами хотели бы прочитать год назад.
https://habr.com/ru/companies/sminex_developer/articles/1037438/
#ai #llm #openwebui #langflow #langfuse #litellm #vllm #openai
-
Как мы построили корпоративную LLM-платформу: архитектура, грабли и выводы
Обычно внедрение AI в компаниях происходит по такому сценарию: собрали одного ассистента, показали руководству, получили аплодисменты. Потом второго, третьего — и через полгода получается зоопарк с разными ключами, моделями и неконтролируемым бюджетом. Вместо набора разрозненных ассистентов мы сразу пошли в платформу. В статье рассказываем, из чего она состоит, как эволюционировало наше железо, зачем понадобилось два слоя наблюдаемости и почему маркетплейсный RAG ломается на PDF-файлах. С графиками, схемой архитектуры и выводами, которые сами хотели бы прочитать год назад.
https://habr.com/ru/companies/sminex_developer/articles/1037438/
#ai #llm #openwebui #langflow #langfuse #litellm #vllm #openai
-
Как мы построили корпоративную LLM-платформу: архитектура, грабли и выводы
Обычно внедрение AI в компаниях происходит по такому сценарию: собрали одного ассистента, показали руководству, получили аплодисменты. Потом второго, третьего — и через полгода получается зоопарк с разными ключами, моделями и неконтролируемым бюджетом. Вместо набора разрозненных ассистентов мы сразу пошли в платформу. В статье рассказываем, из чего она состоит, как эволюционировало наше железо, зачем понадобилось два слоя наблюдаемости и почему маркетплейсный RAG ломается на PDF-файлах. С графиками, схемой архитектуры и выводами, которые сами хотели бы прочитать год назад.
https://habr.com/ru/companies/sminex_developer/articles/1037438/
#ai #llm #openwebui #langflow #langfuse #litellm #vllm #openai
-
Как мы построили корпоративную LLM-платформу: архитектура, грабли и выводы
Обычно внедрение AI в компаниях происходит по такому сценарию: собрали одного ассистента, показали руководству, получили аплодисменты. Потом второго, третьего — и через полгода получается зоопарк с разными ключами, моделями и неконтролируемым бюджетом. Вместо набора разрозненных ассистентов мы сразу пошли в платформу. В статье рассказываем, из чего она состоит, как эволюционировало наше железо, зачем понадобилось два слоя наблюдаемости и почему маркетплейсный RAG ломается на PDF-файлах. С графиками, схемой архитектуры и выводами, которые сами хотели бы прочитать год назад.
https://habr.com/ru/companies/sminex_developer/articles/1037438/
#ai #llm #openwebui #langflow #langfuse #litellm #vllm #openai
-
Как подключить Langfuse к LLM через JWT?
Langfuse, помимо трассирования запросов, удобно использовать для prompt management и LLM-as-a-judge. Но в закрытой корпоративной среде он упирается в простую вещь: LF работает со статическим API key, а ваш LLM gateway — нет. То есть gateway требует короткоживущий JWT, а Langfuse не умеет его получать. И в этот момент интеграция ломается. Мы столкнулись именно с такой ситуацией. Модели self-hosted, OpenAI подобный API, но для доступа к нему на каждый запрос нужен JWT, который выдаётся централизованным провайдером. Langfuse в LLM Connection умеет передать API key и заголовки, но не сможет сам сходить в auth-сервис, получить временный токен и подставить его в запрос. В этой статье я рассказываю о своем опыте решения этой проблемы на продакшен уровне.
-
Как подключить Langfuse к LLM через JWT?
Langfuse, помимо трассирования запросов, удобно использовать для prompt management и LLM-as-a-judge. Но в закрытой корпоративной среде он упирается в простую вещь: LF работает со статическим API key, а ваш LLM gateway — нет. То есть gateway требует короткоживущий JWT, а Langfuse не умеет его получать. И в этот момент интеграция ломается. Мы столкнулись именно с такой ситуацией. Модели self-hosted, OpenAI подобный API, но для доступа к нему на каждый запрос нужен JWT, который выдаётся централизованным провайдером. Langfuse в LLM Connection умеет передать API key и заголовки, но не сможет сам сходить в auth-сервис, получить временный токен и подставить его в запрос. В этой статье я рассказываю о своем опыте решения этой проблемы на продакшен уровне.
-
Как подключить Langfuse к LLM через JWT?
Langfuse, помимо трассирования запросов, удобно использовать для prompt management и LLM-as-a-judge. Но в закрытой корпоративной среде он упирается в простую вещь: LF работает со статическим API key, а ваш LLM gateway — нет. То есть gateway требует короткоживущий JWT, а Langfuse не умеет его получать. И в этот момент интеграция ломается. Мы столкнулись именно с такой ситуацией. Модели self-hosted, OpenAI подобный API, но для доступа к нему на каждый запрос нужен JWT, который выдаётся централизованным провайдером. Langfuse в LLM Connection умеет передать API key и заголовки, но не сможет сам сходить в auth-сервис, получить временный токен и подставить его в запрос. В этой статье я рассказываю о своем опыте решения этой проблемы на продакшен уровне.
-
Как подключить Langfuse к LLM через JWT?
Langfuse, помимо трассирования запросов, удобно использовать для prompt management и LLM-as-a-judge. Но в закрытой корпоративной среде он упирается в простую вещь: LF работает со статическим API key, а ваш LLM gateway — нет. То есть gateway требует короткоживущий JWT, а Langfuse не умеет его получать. И в этот момент интеграция ломается. Мы столкнулись именно с такой ситуацией. Модели self-hosted, OpenAI подобный API, но для доступа к нему на каждый запрос нужен JWT, который выдаётся централизованным провайдером. Langfuse в LLM Connection умеет передать API key и заголовки, но не сможет сам сходить в auth-сервис, получить временный токен и подставить его в запрос. В этой статье я рассказываю о своем опыте решения этой проблемы на продакшен уровне.
-
Planning to make large behavioural changes to a (sometimes long-running) production-grade AI agent. Working with `pydantic-evals` today because I want to eval the agent before and after. So far it looks very similar to Langfuse datasets/runs for evalling, except that the data lives in your repository instead of in the Langfuse platform.
-
Наблюдаемость LLM-агентов: Часть 2. Разработка и отладка графа
Привет, Хабр! Меня зовут Владимир и это вторая часть материала о трассировке LLM-агентов. В первой части мы настроили инфраструктуру: подняли LangFuse, организовали трассировку и научились управлять промптами как кодом. Если вы ещё не читали — рекомендую начать с неё. В этой части перейдём от теории к практике: соберём агента, который пишет сказки. В графе будут задействованы инструменты, условные переходы и циклы обратной связи.
-
Наблюдаемость LLM-агентов: Часть 1. Трассировка LangGraph и версионирование промптов с LangFuse
Привет, Хабр! Меня зовут Владимир и в последнее время я занимаюсь разработкой агентов на LangGraph. Отладка LangGraph-агента - это отдельная боль: когда граф начинает жить своей жизнью, а LLM уходит в бесконечные циклы, понять, что случилось, становится сложно. В этой статье я покажу, как связать LangGraph с LangFuse для трассировки и покажу как управлять промптами как кодом (версионирование и миграция).
-
Retour d’expérience très concret sur #Langfuse https://medium.com/adeo-tech/langfuse-journey-to-the-heart-of-your-llms-bebe1a50abb3 #llm #adeo
-
Как я научил AI анализировать AI: observability для LLM-агентов с Langfuse
Как я построил систему мониторинга LLM-приложений и научил AI анализировать собственные ошибки AI-ассистенты в IDE стали незаменимыми помощниками разработчиков, но остаются чёрными ящиками. Мы не видим что они делают "под капотом", сколько это стоит и где теряется время. В статье покажу как построить системуobservability для AI-агентов: от Cursor IDE до production, с AI-анализом трейсов и открытым исходным кодом.
https://habr.com/ru/articles/987230/
#AI_observability #LLM_monitoring #langfuse #cursor #agentic_ai
-
Как я научил AI анализировать AI: observability для LLM-агентов с Langfuse
Как я построил систему мониторинга LLM-приложений и научил AI анализировать собственные ошибки AI-ассистенты в IDE стали незаменимыми помощниками разработчиков, но остаются чёрными ящиками. Мы не видим что они делают "под капотом", сколько это стоит и где теряется время. В статье покажу как построить системуobservability для AI-агентов: от Cursor IDE до production, с AI-анализом трейсов и открытым исходным кодом.
https://habr.com/ru/articles/987230/
#AI_observability #LLM_monitoring #langfuse #cursor #agentic_ai
-
Как я научил AI анализировать AI: observability для LLM-агентов с Langfuse
Как я построил систему мониторинга LLM-приложений и научил AI анализировать собственные ошибки AI-ассистенты в IDE стали незаменимыми помощниками разработчиков, но остаются чёрными ящиками. Мы не видим что они делают "под капотом", сколько это стоит и где теряется время. В статье покажу как построить системуobservability для AI-агентов: от Cursor IDE до production, с AI-анализом трейсов и открытым исходным кодом.
https://habr.com/ru/articles/987230/
#AI_observability #LLM_monitoring #langfuse #cursor #agentic_ai
-
Как я научил AI анализировать AI: observability для LLM-агентов с Langfuse
Как я построил систему мониторинга LLM-приложений и научил AI анализировать собственные ошибки AI-ассистенты в IDE стали незаменимыми помощниками разработчиков, но остаются чёрными ящиками. Мы не видим что они делают "под капотом", сколько это стоит и где теряется время. В статье покажу как построить системуobservability для AI-агентов: от Cursor IDE до production, с AI-анализом трейсов и открытым исходным кодом.
https://habr.com/ru/articles/987230/
#AI_observability #LLM_monitoring #langfuse #cursor #agentic_ai
-
🎉 Breaking news: #ClickHouse swallows #Langfuse whole! 🤯 Don't worry, dear user, absolutely nothing will change... except everything. Welcome to the magical world where acquisitions mean "business as usual" and your roadmap is still shrouded in ✨ corporate mystery ✨.
https://langfuse.com/blog/joining-clickhouse #Acquisition #BusinessAsUsual #CorporateMystery #DataNews #HackerNews #ngated -
🎉 Breaking news: #ClickHouse swallows #Langfuse whole! 🤯 Don't worry, dear user, absolutely nothing will change... except everything. Welcome to the magical world where acquisitions mean "business as usual" and your roadmap is still shrouded in ✨ corporate mystery ✨.
https://langfuse.com/blog/joining-clickhouse #Acquisition #BusinessAsUsual #CorporateMystery #DataNews #HackerNews #ngated -
🎉 Breaking news: #ClickHouse swallows #Langfuse whole! 🤯 Don't worry, dear user, absolutely nothing will change... except everything. Welcome to the magical world where acquisitions mean "business as usual" and your roadmap is still shrouded in ✨ corporate mystery ✨.
https://langfuse.com/blog/joining-clickhouse #Acquisition #BusinessAsUsual #CorporateMystery #DataNews #HackerNews #ngated -
🎉 Breaking news: #ClickHouse swallows #Langfuse whole! 🤯 Don't worry, dear user, absolutely nothing will change... except everything. Welcome to the magical world where acquisitions mean "business as usual" and your roadmap is still shrouded in ✨ corporate mystery ✨.
https://langfuse.com/blog/joining-clickhouse #Acquisition #BusinessAsUsual #CorporateMystery #DataNews #HackerNews #ngated -
Langfuse: наблюдаем и отлаживаем LLM-микросервисы без black box
За прошлый год я запустил 5 сервисов с LLM под капотом . Каждый следующий сервис получался лучше предыдущего: мы оттачивали архитектуру, оптимизировали core микросервиса на FastAPI, быстрее выходили на MVP и ловили меньше багов. Но довольно быстро стало понятно: LLM‑сервисы сложно интерпретировать . Для бизнес команды они выглядят как black box. Для инженеров — как набор плохо воспроизводимых состояний. В этой статье я поделюсь практиками, которые: — упрощают интерпретацию поведения LLM; — делают работу сервиса прозрачной для Product Owners и SME; — ускоряют разработку и итерации без передеплоев.
-
【Langfuse】 Strands Agents の動きをローカルでトレースしてみる
https://qiita.com/ryu-ki/items/9a9dacdd91fc15b33310?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items -
【Langfuse】 Strands Agents の動きをローカルでトレースしてみる
https://qiita.com/ryu-ki/items/9a9dacdd91fc15b33310?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items -
Больше никаких «черных ящиков»: мониторим и оцениваем качество LLM-приложений с Langfuse
Представьте: вы ведете автомобиль, а на приборной панели нет ни спидометра, ни датчика топлива, ни каких-либо показателей вообще. Ни-че-го. В принципе ехать можно, но вы не знаете, какая у вас скорость, сколько бензина и есть ли с авто какие-то проблемы. Примерно так выглядит работа с LLM-приложением без инструментов мониторинга: система вроде бы и функционирует, но о ее внутреннем состоянии можно только догадываться. Меня зовут Александр Сесоров, я работаю инженером по тестированию
https://habr.com/ru/companies/yadro/articles/978516/
#langfuse #llm #тестирование #qa #python #анализ_и_проектирование_систем #искусственный_интеллект
-
Abstraction mang lại tiện lợi nhưng ẩn chi phí: như khi chuyển từ mua CD sang dịch vụ streaming, hay dùng LangChain/LangSmith để xây dựng LLM. Miễn phí giới hạn, sau đó trả phí và có nguy cơ vendor lock‑in. Hãy cân nhắc lợi‑nhuận trước khi chấp nhận sự trừu tượng. #Abstraction #Developer #Tech #PhầnMềm #CôngNghệ #LangChain #LangSmith #Langfuse
https://dev.to/solomonaboyeji/the-hidden-cost-of-abstraction-27kk
-
Установка Langfuse в Kubernetes
В этой статье разберу установку с минимальными усилиями с использованием Helm и локального однонодового кластера Kubeadm.
-
Интеграция Langfuse с приложением .NET
Несмотря на растущую популярность платформы Langfuse для отладки и контроля LLM ориентированных приложений, на момент написания статьи экосистема .NET остается без официальной поддержки. На момент написания статьи готовые SDK доступны только разработчикам на Python и JavaScript/TypeScript. Однако есть возможность интеграции с помощью стандарта OpenTelemetry. И в данной статье будет приведен один из примеров как это сделать.
-
От LangChain к LangGraph: детально разбираемся с фреймворками и всей Lang-экосистемой
LangChain или LangGraph? Какой фреймворк для ии-агентов выбрать? А может быть LangSmith? Или LangFuse? LangFlow? Если вы сходу не отличаете все эти Lang-что-то там между собой или просто хочется побольше узнать о внутренностях LangChain и LangGraph, то добро пожаловать в эту статью, которую мне хотелось сделать фундаментальной, чтобы ответить сразу на все возникающие вокруг LangChain вопросы. Поговорим про архитектурные различия между LangChain и LangGraph, их подходы, посмотрим как это выглядит в коде, поищем лучшие точки применения и взглянем на сформированную экосистему вокруг.
https://habr.com/ru/articles/956940/
#langchain #langgraph #langfuse #langsmith #langflow #ленгчейн #фреймворки #llm #большие_языковые_модели #ииагенты
-
Security-RAG или как сделать AI Security tool на коленке
LLM-ки и LLM-агенты продолжают наводить шум. Cтатьи про то как сделать очередной RAG или Агента продолжают клепаться (да блин даже мы одна из этих статей), huggingface выпускают smolagents , квантизация позволяет дойти LLM-кам до простых работяг и обывателей, давая им возможность в них потыкаться в той же LM studio или других приложениях. Пока бизнес спешит внедрить очередного виртуального помощника, тот зачастую превращается в неумелого продавца, который не только мешает клиентам связаться со службой поддержки, но и... Удиви меня
https://habr.com/ru/articles/874820/
#llm #llmattack #llmприложения #ml #langchain #langfuse #chromadb #промптинъекции #искусственный_интеллект
-
Security-RAG или как сделать AI Security tool на коленке
LLM-ки и LLM-агенты продолжают наводить шум. Cтатьи про то как сделать очередной RAG или Агента продолжают клепаться (да блин даже мы одна из этих статей), huggingface выпускают smolagents , квантизация позволяет дойти LLM-кам до простых работяг и обывателей, давая им возможность в них потыкаться в той же LM studio или других приложениях. Пока бизнес спешит внедрить очередного виртуального помощника, тот зачастую превращается в неумелого продавца, который не только мешает клиентам связаться со службой поддержки, но и... Удиви меня
https://habr.com/ru/articles/874820/
#llm #llmattack #llmприложения #ml #langchain #langfuse #chromadb #промптинъекции #искусственный_интеллект
-
Security-RAG или как сделать AI Security tool на коленке
LLM-ки и LLM-агенты продолжают наводить шум. Cтатьи про то как сделать очередной RAG или Агента продолжают клепаться (да блин даже мы одна из этих статей), huggingface выпускают smolagents , квантизация позволяет дойти LLM-кам до простых работяг и обывателей, давая им возможность в них потыкаться в той же LM studio или других приложениях. Пока бизнес спешит внедрить очередного виртуального помощника, тот зачастую превращается в неумелого продавца, который не только мешает клиентам связаться со службой поддержки, но и... Удиви меня
https://habr.com/ru/articles/874820/
#llm #llmattack #llmприложения #ml #langchain #langfuse #chromadb #промптинъекции #искусственный_интеллект
-
Security-RAG или как сделать AI Security tool на коленке
LLM-ки и LLM-агенты продолжают наводить шум. Cтатьи про то как сделать очередной RAG или Агента продолжают клепаться (да блин даже мы одна из этих статей), huggingface выпускают smolagents , квантизация позволяет дойти LLM-кам до простых работяг и обывателей, давая им возможность в них потыкаться в той же LM studio или других приложениях. Пока бизнес спешит внедрить очередного виртуального помощника, тот зачастую превращается в неумелого продавца, который не только мешает клиентам связаться со службой поддержки, но и... Удиви меня
https://habr.com/ru/articles/874820/
#llm #llmattack #llmприложения #ml #langchain #langfuse #chromadb #промптинъекции #искусственный_интеллект
-
Контроль и порядок. Разворачиваем платформу учёта затравок для БЯМ
Все мы знаем, что Гит здорово облегчает жизнь разработчикам. Версионирование позволяет нам вернуться на шаг назад, если мы где-то жестко напортачили. А еще оно помогает отслеживать изменения, которые мы вносим в код. Весь код и история изменений хранятся на сервере, через который может работать команда разрабов. Одним словом, удобно. Под катом расскажу, как поднять платформу для учета и версионирования затравок Langfuse. (Обложка сгенерирована DALL-E от OpenAI)
https://habr.com/ru/articles/874164/
#затравка #промптинг #версионирование_промптов #промпт_деплоймент #git_для_промптов #langfuse #пситехлаб
-
[Перевод] Оценка LLM: комплексные оценщики и фреймворки оценки
В этой статье подробно описываются сложные статистические и предметно-ориентированные оценщики, которые можно использовать для оценки производительности крупных языковых моделей. В ней также рассматриваются наиболее широко используемые фреймворки оценки LLM, которые помогут вам начать оценивать производительность модели.
https://habr.com/ru/articles/855644/
#llm #BLEU #ROUGE #METEOR #BERTScore #MoverScore #DeepEval #Giskard #promptfoo #LangFuse
-
[Перевод] Оценка LLM: комплексные оценщики и фреймворки оценки
В этой статье подробно описываются сложные статистические и предметно-ориентированные оценщики, которые можно использовать для оценки производительности крупных языковых моделей. В ней также рассматриваются наиболее широко используемые фреймворки оценки LLM, которые помогут вам начать оценивать производительность модели.
https://habr.com/ru/articles/855644/
#llm #BLEU #ROUGE #METEOR #BERTScore #MoverScore #DeepEval #Giskard #promptfoo #LangFuse
