#langsmith — Public Fediverse posts

In this new article, I explain how to integrate your Spring AI application with LangSmith for observability, supported by OpenTelemetry and Arconia.

https://www.thomasvitale.com/spring-ai-observability-langsmith-arconia/

#Java #SpringAI #AI #LangChain #LangSmith #OpenTelemetry

LangSmith rückt Agenten-Betrieb näher an Software-Lifecycle

LangChain bündelt LangSmith-Funktionen für Kontext, Observability, Runtime und Governance.

https://agentenlog.de/posts/2026-05-15-langsmith-agenten-lifecycle-interrupt

#langchain #langsmith

LangSmith z krytyczną podatnością – jak jeden parametr mógł zagrażać bezpieczeństwu

Jedno kliknięcie. Tyle miało dzielić wygodny podgląd logów od pełnego przejęcia konta w narzędziu do debugowania aplikacji AI.

Czytaj dalej:
https://pressmind.org/langsmith-z-krytyczna-podatnoscia-jak-jeden-parametr-mogl-zagrazac-bezpieczenstw/

#PressMindLabs #baseurl #cve202625750 #geminijack #langsmith #miggosecurity

Jak manipulacja parametrem żądania mogła doprowadzić do przejęcia konta w LangSmith? Szczegóły podatności CVE-2026-25750

Projektując aplikacje oparte na dużych modelach językowych (LLM) często mogą pojawić się trudności związane z efektywnym debugowaniem oraz testowaniem przepływu danych. W przypadku mniej skomplikowanych narzędzi można do tego celu użyć środowiska IDE (Integrated Development Environment). TLDR: Jeśli mowa o złożonych rozwiązaniach, integrujących modele językowe z bazami wektorowymi (architektura RAG)...

#WBiegu #Ai #Cve #Devops #Langchain #Langsmith

https://sekurak.pl/jak-manipulacja-parametrem-zadania-mogla-doprowadzic-do-przejecia-konta-w-langsmith-szczegoly-podatnosci-cve-2026-25750/

🚀 LangSmith’s new CLI adds three portable skills that let coding agents trace their steps, curate datasets, and self‑evaluate. Perfect for AI‑engineering pipelines and open‑source projects. Dive into how these skill functions boost agent reliability and speed up debugging. #LangSmith #CLI #CodingAgents #AIEngineering

🔗 https://aidailypost.com/news/langsmith-cli-adds-three-portable-skills-coding-agents-repo

🧠 Sto provando #LangSmith per tracciare il flusso di funzionamento di sistemi multi agente. Lo trovo davvero interessante.
👉 Per approfondire: https://www.linkedin.com/posts/alessiopomaro_langsmith-llm-prompt-activity-7429057794512670720-UlZg

___ 
✉️ 𝗦𝗲 𝘃𝘂𝗼𝗶 𝗿𝗶𝗺𝗮𝗻𝗲𝗿𝗲 𝗮𝗴𝗴𝗶𝗼𝗿𝗻𝗮𝘁𝗼/𝗮 𝘀𝘂 𝗾𝘂𝗲𝘀𝘁𝗲 𝘁𝗲𝗺𝗮𝘁𝗶𝗰𝗵𝗲, 𝗶𝘀𝗰𝗿𝗶𝘃𝗶𝘁𝗶 𝗮𝗹𝗹𝗮 𝗺𝗶𝗮 𝗻𝗲𝘄𝘀𝗹𝗲𝘁𝘁𝗲𝗿: https://bit.ly/newsletter-alessiopomaro

#AI #GenAI #GenerativeAI #IntelligenzaArtificiale #LLM 

🧠 #LangSmith Agent Builder è stato rilasciato in Public Beta.
👉 Test e specifiche: https://www.linkedin.com/posts/alessiopomaro_langsmith-mcp-ai-activity-7402598709806632960-cWHd

___  
✉️ 𝗦𝗲 𝘃𝘂𝗼𝗶 𝗿𝗶𝗺𝗮𝗻𝗲𝗿𝗲 𝗮𝗴𝗴𝗶𝗼𝗿𝗻𝗮𝘁𝗼/𝗮 𝘀𝘂 𝗾𝘂𝗲𝘀𝘁𝗲 𝘁𝗲𝗺𝗮𝘁𝗶𝗰𝗵𝗲, 𝗶𝘀𝗰𝗿𝗶𝘃𝗶𝘁𝗶 𝗮𝗹𝗹𝗮 𝗺𝗶𝗮 𝗻𝗲𝘄𝘀𝗹𝗲𝘁𝘁𝗲𝗿: https://bit.ly/newsletter-alessiopomaro 

#AI #GenAI #GenerativeAI #IntelligenzaArtificiale #LLM #LangGraph

Abstraction mang lại tiện lợi nhưng ẩn chi phí: như khi chuyển từ mua CD sang dịch vụ streaming, hay dùng LangChain/LangSmith để xây dựng LLM. Miễn phí giới hạn, sau đó trả phí và có nguy cơ vendor lock‑in. Hãy cân nhắc lợi‑nhuận trước khi chấp nhận sự trừu tượng. #Abstraction #Developer #Tech #PhầnMềm #CôngNghệ #LangChain #LangSmith #Langfuse

https://dev.to/solomonaboyeji/the-hidden-cost-of-abstraction-27kk

От LangChain к LangGraph: детально разбираемся с фреймворками и всей Lang-экосистемой

LangChain или LangGraph? Какой фреймворк для ии-агентов выбрать? А может быть LangSmith? Или LangFuse? LangFlow? Если вы сходу не отличаете все эти Lang-что-то там между собой или просто хочется побольше узнать о внутренностях LangChain и LangGraph, то добро пожаловать в эту статью, которую мне хотелось сделать фундаментальной, чтобы ответить сразу на все возникающие вокруг LangChain вопросы. Поговорим про архитектурные различия между LangChain и LangGraph, их подходы, посмотрим как это выглядит в коде, поищем лучшие точки применения и взглянем на сформированную экосистему вокруг.

https://habr.com/ru/articles/956940/

#langchain #langgraph #langfuse #langsmith #langflow #ленгчейн #фреймворки #llm #большие_языковые_модели #ииагенты

AgentSmith Flaw in LangSmith’s Prompt Hub Exposed User API Keys, Data – Source:hackread.com https://ciso2ciso.com/agentsmith-flaw-in-langsmiths-prompt-hub-exposed-user-api-keys-data-sourcehackread-com/ #1CyberSecurityNewsPost #artificialintelligence #CyberSecurityNews #cybersecurity #Vulnerability #AgentSmith #LangSmith #PromptHub #Hackread #security #OpenAI #AI

AgentSmith Flaw in LangSmith’s Prompt Hub Exposed User API Keys, Data – Source:hackread.com https://ciso2ciso.com/agentsmith-flaw-in-langsmiths-prompt-hub-exposed-user-api-keys-data-sourcehackread-com/ #1CyberSecurityNewsPost #artificialintelligence #CyberSecurityNews #cybersecurity #Vulnerability #AgentSmith #LangSmith #PromptHub #Hackread #security #OpenAI #AI

AgentSmith Flaw in LangSmith’s Prompt Hub Exposed User API Keys, Data – Source:hackread.com https://ciso2ciso.com/agentsmith-flaw-in-langsmiths-prompt-hub-exposed-user-api-keys-data-sourcehackread-com/ #1CyberSecurityNewsPost #artificialintelligence #CyberSecurityNews #cybersecurity #Vulnerability #AgentSmith #LangSmith #PromptHub #Hackread #security #OpenAI #AI

AgentSmith Flaw in LangSmith’s Prompt Hub Exposed User API Keys, Data – Source:hackread.com https://ciso2ciso.com/agentsmith-flaw-in-langsmiths-prompt-hub-exposed-user-api-keys-data-sourcehackread-com/ #1CyberSecurityNewsPost #artificialintelligence #CyberSecurityNews #cybersecurity #Vulnerability #AgentSmith #LangSmith #PromptHub #Hackread #security #OpenAI #AI

Как ухватить LLM за хвост: эффективные стратегии тестирования AI-моделей

Как убедиться, что ваша LLM не выдаст полную чепуху в самый неподходящий момент? Как проверить, что она действительно понимает контекст, а не просто генерирует красивые, но бессмысленные фразы? И самое главное — как сделать это эффективно, не тратя недели на ручную проверку тысяч ответов? Давайте разберёмся!

https://habr.com/ru/articles/853038/

#LLM_тестирование #LangSmith #GEval #DeepEval #AI_метрики #LLM

AgentSmith Flaw in LangSmith’s Prompt Hub Exposed User API Keys, Data https://hackread.com/agentsmith-flaw-langsmith-prompt-hub-api-keys-data/ #ArtificialIntelligence #Cybersecurity #Vulnerability #AgentSmith #LangSmith #PromptHub #Security #OpenAI #AI

LangWHAT?
You've seen names like LangChain, LangGraph, LangFlow or LangSmith – but what’s really behind them?

:blobcoffee: LangChain helps us build LLM apps via modular code.

:blobcoffee: LangGraph adds branching logic and multi-agent workflows.

:blobcoffee: LangFlow lets us create flows with drag & drop.

:blobcoffee: LangSmith monitors and evaluates our LLM stack.

LangChain, LangGraph and LangSmith come from the same ecosystem. LangFlow is a visual builder developed independently by DataStax.

Tried both LangChain and Langflow to build the same chatbot — Medium article coming shortly.

#LangChain #LangFlow #LLM #AI #KI #python #OpenSource #LangGraph #LangSmith #technology #chatbot #ollama

LangSmith Bug Could Expose OpenAI Keys and User Data via Malicious Agents – Source:thehackernews.com https://ciso2ciso.com/langsmith-bug-could-expose-openai-keys-and-user-data-via-malicious-agents-sourcethehackernews-com/ #rssfeedpostgeneratorecho #CyberSecurityNews #TheHackerNews #LangSmith

Maximizing AI Agent Application Development Efficiency with LangChain
https://developers.cyberagent.co.jp/blog/archives/54484/

#developers #エンジニア #AI_Agent #generativeAI #Hanoi_DevCenter #LangChain #LangGraph #Langsmith #MultiAgent #PromptEngineer

[Перевод] Оценка LLM: метрики, фреймворки и лучшие практики

Дженсен Хуанг в своем выступлении на саммите «Data+AI» сказал: «Генеративный ИИ есть везде, в любой отрасли. Если в вашей отрасли еще нет генеративных ИИ, значит вы просто не обращали внимания на это». Однако широкое распространение вовсе не означает, что эти модели безупречны. В реальных бизнес-кейсах модели очень часто не достигают цели и нуждаются в доработке. Вот тут-то и приходят на помощь оценки LLM: они помогают убедиться, что модели надежны, точны и соответствуют бизнес-предпочтениям. В этой статье мы подробно разберем, почему оценка LLM имеет решающее значение, и рассмотрим метрики, фреймворки, инструменты и сложности оценки LLM. Мы также поделимся некоторыми надежными стратегиями, которые мы разработали в ходе работы с нашими клиентами, а также расскажем о лучших практиках. Что такое оценка LLM? Оценка LLM - это процесс тестирования и измерения того, насколько хорошо крупные языковые модели работают в реальных ситуациях. При тестировании этих моделей мы наблюдаем, насколько хорошо они понимают и отвечают на вопросы, насколько плавно и четко они генерируют текст и имеют ли их ответы смысл в контексте. Этот шаг очень важен, потому что он помогает нам выявлять любые проблемы и улучшать модель, гарантируя, что она может эффективно и надежно справляться с задачами. Зачем вам нужно оценивать LLM? Все просто: чтобы убедиться, что модель соответствует задаче и ее требованиям. Оценка LLM гарантирует, что она понимает и точно реагирует, правильно обрабатывает различные типы информации и общается безопасным, понятным и эффективным способом. Оценка LLM позволяет нам точно настроить модель на основе реальной обратной связи, улучшая ее производительность и надежность. Проводя тщательные оценки, мы гарантируем, что LLM полностью может удовлетворять потребности своих пользователей, будь то ответы на вопросы, предоставление рекомендаций или создание контента.

https://habr.com/ru/articles/852046/

#LLM #BLEU_Score #TruthfulQA #meteor #BERTScore #SuperAnnotate #Amazon_Bedrock #Nvidia_Nemo #LangSmith #deepeval

Don't miss it

#meetup Online April 17th 6:30 pm Paris time

Harrison Chase, #Langchain's creator

free registration
https://www.meetup.com/fr-FR/langchain-and-llm-france-meetup/events/300045589/

#LLMs #Langsmith

I'm finding it more difficult than I expected to wrap my head around #Langsmith the #Langchain module for monitoring and evaluation of #LLM based pipelines.

This article on @datacamp by Bex Tuychev helped a lot
https://www.datacamp.com/tutorial/introduction-to-langsmith

https://smith.langchain.com/overview

#LangSmith for tracing #LLMs seems to the next logical steps when making #GenerativeAI really production ready.

As it is based on #LangChain this has the potential to decouple from the specifics of the sdk implementations of the various LLM providers.

Tracing and Monitoring is a key thing. Currently development in projects seems compared to that more like try and error.

Sure, all still very new. But a way forward to get a development habit.

#Python

Maybe the fact that LangChain (the company) made it will lend LangSmith some legitimacy. LangChain (the framework) surely has seen a rapid rise in popularity -- although Github Stars might be a bad metric for actual production use.

Here is a comparison chart with some of the other popular NLP/LLM libraries -- these repos do not implement the same functionality but it should give you a rough idea.

#langsmith #langchain #llms #generativeai #mlops #ai

However, I'm curious about what the volume of adoption will be. LangSmith is a platform, not a self-hosted opensource MLOps tool. Are engineers/users really willing to give all their data to yet another third party?
Some people already hesitate to use AI API's (such as the OpenAI GPT API) because they're concerned with leaking sensitive data -- let alone using third-party AI platforms that man-in-the-middle your LLM conversations.

#langsmith #llms #generativeai #mlops #ai #privacy #infoleaks

The documentation is still a bit all over the place, but this walkthrough shows a sneak peek of what's possible:

https://github.com/langchain-ai/langchain/blob/master/docs/extras/guides/langsmith/walkthrough.ipynb

I especially like the idea of quickly evaluating variations of an LLM pipeline against a baseline of earlier runs.

#langsmith #langchain #llms #generativeai #mlops #ai

Today I took a first look at LangSmith, a new platform for LLM production pipelines by LangChain.
I can't hook it up to a working pipeline yet because it's in closed beta, but it surely looks ambitious. It should make it easier to do logging, monitoring, debugging and evaluating pipelines (chains) against each other. It's tightly integrated with LangChain but it should support other frameworks/models as well.

https://www.langchain.com/langsmith

#langsmith #langchain #llms #generativeai #mlops #ai

#LangSmith is a #platform to help developers close the gap between prototype and production. It’s designed for building and iterating on products that can harness the power–and wrangle the complexity–of LLMs.

https://www.producthunt.com/posts/langsmith

#ai #llm #app

LLMOpsツールから考えるAIエージェントの評価
https://qiita.com/licux/items/a7ae9be7431872ee4164?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #GenerativeAI #LLMOps #LangSmith #AgentOps #AIAgent

LLMOpsツールから考えるAIエージェントの評価
https://qiita.com/licux/items/a7ae9be7431872ee4164?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #GenerativeAI #LLMOps #LangSmith #AgentOps #AIAgent

LLMOpsツールから考えるAIエージェントの評価
https://qiita.com/licux/items/a7ae9be7431872ee4164?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #GenerativeAI #LLMOps #LangSmith #AgentOps #AIAgent

LLMOpsツールから考えるAIエージェントの評価
https://qiita.com/licux/items/a7ae9be7431872ee4164?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #GenerativeAI #LLMOps #LangSmith #AgentOps #AIAgent

AgentSmith Flaw in LangSmith’s Prompt Hub Exposed User API Keys, Data https://hackread.com/agentsmith-flaw-langsmith-prompt-hub-api-keys-data/ #ArtificialIntelligence #Cybersecurity #Vulnerability #AgentSmith #LangSmith #PromptHub #Security #OpenAI #AI

AgentSmith Flaw in LangSmith’s Prompt Hub Exposed User API Keys, Data https://hackread.com/agentsmith-flaw-langsmith-prompt-hub-api-keys-data/ #ArtificialIntelligence #Cybersecurity #Vulnerability #AgentSmith #LangSmith #PromptHub #Security #OpenAI #AI

AgentSmith Flaw in LangSmith’s Prompt Hub Exposed User API Keys, Data https://hackread.com/agentsmith-flaw-langsmith-prompt-hub-api-keys-data/ #ArtificialIntelligence #Cybersecurity #Vulnerability #AgentSmith #LangSmith #PromptHub #Security #OpenAI #AI

Как ухватить LLM за хвост: эффективные стратегии тестирования AI-моделей

Как убедиться, что ваша LLM не выдаст полную чепуху в самый неподходящий момент? Как проверить, что она действительно понимает контекст, а не просто генерирует красивые, но бессмысленные фразы? И самое главное — как сделать это эффективно, не тратя недели на ручную проверку тысяч ответов? Давайте разберёмся!

https://habr.com/ru/articles/853038/

#LLM_тестирование #LangSmith #GEval #DeepEval #AI_метрики #LLM

Как ухватить LLM за хвост: эффективные стратегии тестирования AI-моделей

Как убедиться, что ваша LLM не выдаст полную чепуху в самый неподходящий момент? Как проверить, что она действительно понимает контекст, а не просто генерирует красивые, но бессмысленные фразы? И самое главное — как сделать это эффективно, не тратя недели на ручную проверку тысяч ответов? Давайте разберёмся!

https://habr.com/ru/articles/853038/

#LLM_тестирование #LangSmith #GEval #DeepEval #AI_метрики #LLM

Как ухватить LLM за хвост: эффективные стратегии тестирования AI-моделей

Как убедиться, что ваша LLM не выдаст полную чепуху в самый неподходящий момент? Как проверить, что она действительно понимает контекст, а не просто генерирует красивые, но бессмысленные фразы? И самое главное — как сделать это эффективно, не тратя недели на ручную проверку тысяч ответов? Давайте разберёмся!

https://habr.com/ru/articles/853038/

#LLM_тестирование #LangSmith #GEval #DeepEval #AI_метрики #LLM

[Перевод] Оценка LLM: метрики, фреймворки и лучшие практики

Дженсен Хуанг в своем выступлении на саммите «Data+AI» сказал: «Генеративный ИИ есть везде, в любой отрасли. Если в вашей отрасли еще нет генеративных ИИ, значит вы просто не обращали внимания на это». Однако широкое распространение вовсе не означает, что эти модели безупречны. В реальных бизнес-кейсах модели очень часто не достигают цели и нуждаются в доработке. Вот тут-то и приходят на помощь оценки LLM: они помогают убедиться, что модели надежны, точны и соответствуют бизнес-предпочтениям. В этой статье мы подробно разберем, почему оценка LLM имеет решающее значение, и рассмотрим метрики, фреймворки, инструменты и сложности оценки LLM. Мы также поделимся некоторыми надежными стратегиями, которые мы разработали в ходе работы с нашими клиентами, а также расскажем о лучших практиках. Что такое оценка LLM? Оценка LLM - это процесс тестирования и измерения того, насколько хорошо крупные языковые модели работают в реальных ситуациях. При тестировании этих моделей мы наблюдаем, насколько хорошо они понимают и отвечают на вопросы, насколько плавно и четко они генерируют текст и имеют ли их ответы смысл в контексте. Этот шаг очень важен, потому что он помогает нам выявлять любые проблемы и улучшать модель, гарантируя, что она может эффективно и надежно справляться с задачами. Зачем вам нужно оценивать LLM? Все просто: чтобы убедиться, что модель соответствует задаче и ее требованиям. Оценка LLM гарантирует, что она понимает и точно реагирует, правильно обрабатывает различные типы информации и общается безопасным, понятным и эффективным способом. Оценка LLM позволяет нам точно настроить модель на основе реальной обратной связи, улучшая ее производительность и надежность. Проводя тщательные оценки, мы гарантируем, что LLM полностью может удовлетворять потребности своих пользователей, будь то ответы на вопросы, предоставление рекомендаций или создание контента.

https://habr.com/ru/articles/852046/

#LLM #BLEU_Score #TruthfulQA #meteor #BERTScore #SuperAnnotate #Amazon_Bedrock #Nvidia_Nemo #LangSmith #deepeval

🧠 Non poteva mancare #OpenGPT, la risposta open source ai #GPTs di #OpenAI targata #LanhChain.
🦾 Il sistema permette di creare delle piccole automazioni al di fuori di #ChatGPT.
💡 La versatilità è la caratteristica principale rispetto ai GPTs. Può usare: qualunque #LLM, la ricerca online, #LangSmith per la gestione dei prompt, una grande selezione tool connessi, qualunque database vettoriale, diverse tecniche di recupero delle informazioni, ecc..
🔗 https://github.com/langchain-ai/opengpts

#AI #GenAI

🧠 Non poteva mancare #OpenGPT, la risposta open source ai #GPTs di #OpenAI targata #LanhChain.
🦾 Il sistema permette di creare delle piccole automazioni al di fuori di #ChatGPT.
💡 La versatilità è la caratteristica principale rispetto ai GPTs. Può usare: qualunque #LLM, la ricerca online, #LangSmith per la gestione dei prompt, una grande selezione tool connessi, qualunque database vettoriale, diverse tecniche di recupero delle informazioni, ecc..
🔗 https://github.com/langchain-ai/opengpts

#AI #GenAI

🧠 Non poteva mancare #OpenGPT, la risposta open source ai #GPTs di #OpenAI targata #LanhChain.
🦾 Il sistema permette di creare delle piccole automazioni al di fuori di #ChatGPT.
💡 La versatilità è la caratteristica principale rispetto ai GPTs. Può usare: qualunque #LLM, la ricerca online, #LangSmith per la gestione dei prompt, una grande selezione tool connessi, qualunque database vettoriale, diverse tecniche di recupero delle informazioni, ecc..
🔗 https://github.com/langchain-ai/opengpts

#AI #GenAI

Maximizing AI Agent Application Development Efficiency with LangChain
https://developers.cyberagent.co.jp/blog/archives/54484/

#developers #エンジニア #AI_Agent #generativeAI #Hanoi_DevCenter #LangChain #LangGraph #Langsmith #MultiAgent #PromptEngineer

Maximizing AI Agent Application Development Efficiency with LangChain
https://developers.cyberagent.co.jp/blog/archives/54484/

#developers #エンジニア #AI_Agent #generativeAI #Hanoi_DevCenter #LangChain #LangGraph #Langsmith #MultiAgent #PromptEngineer

Maximizing AI Agent Application Development Efficiency with LangChain
https://developers.cyberagent.co.jp/blog/archives/54484/

#developers #エンジニア #AI_Agent #generativeAI #Hanoi_DevCenter #LangChain #LangGraph #Langsmith #MultiAgent #PromptEngineer

Maximizing AI Agent Application Development Efficiency with LangChain
https://developers.cyberagent.co.jp/blog/archives/54484/

#developers #エンジニア #AI_Agent #generativeAI #Hanoi_DevCenter #LangChain #LangGraph #Langsmith #MultiAgent #PromptEngineer

Cline + MCP(Firecrawl)で作業内容を自動把握！LangSmith導入の巻🚀
https://qiita.com/akiraabe/items/d8ef21a3169d3a38aa4c?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #MCP #LangSmith #firecrawl #cline #Mastra

Cline + MCP(Firecrawl)で作業内容を自動把握！LangSmith導入の巻🚀
https://qiita.com/akiraabe/items/d8ef21a3169d3a38aa4c?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #MCP #LangSmith #firecrawl #cline #Mastra

Cline + MCP(Firecrawl)で作業内容を自動把握！LangSmith導入の巻🚀
https://qiita.com/akiraabe/items/d8ef21a3169d3a38aa4c?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #MCP #LangSmith #firecrawl #cline #Mastra