#litellm — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #litellm, aggregated by home.social.
-
Как мы построили корпоративную LLM-платформу: архитектура, грабли и выводы
Обычно внедрение AI в компаниях происходит по такому сценарию: собрали одного ассистента, показали руководству, получили аплодисменты. Потом второго, третьего — и через полгода получается зоопарк с разными ключами, моделями и неконтролируемым бюджетом. Вместо набора разрозненных ассистентов мы сразу пошли в платформу. В статье рассказываем, из чего она состоит, как эволюционировало наше железо, зачем понадобилось два слоя наблюдаемости и почему маркетплейсный RAG ломается на PDF-файлах. С графиками, схемой архитектуры и выводами, которые сами хотели бы прочитать год назад.
https://habr.com/ru/companies/sminex_developer/articles/1037438/
#ai #llm #openwebui #langflow #langfuse #litellm #vllm #openai
-
Как мы построили корпоративную LLM-платформу: архитектура, грабли и выводы
Обычно внедрение AI в компаниях происходит по такому сценарию: собрали одного ассистента, показали руководству, получили аплодисменты. Потом второго, третьего — и через полгода получается зоопарк с разными ключами, моделями и неконтролируемым бюджетом. Вместо набора разрозненных ассистентов мы сразу пошли в платформу. В статье рассказываем, из чего она состоит, как эволюционировало наше железо, зачем понадобилось два слоя наблюдаемости и почему маркетплейсный RAG ломается на PDF-файлах. С графиками, схемой архитектуры и выводами, которые сами хотели бы прочитать год назад.
https://habr.com/ru/companies/sminex_developer/articles/1037438/
#ai #llm #openwebui #langflow #langfuse #litellm #vllm #openai
-
Как мы построили корпоративную LLM-платформу: архитектура, грабли и выводы
Обычно внедрение AI в компаниях происходит по такому сценарию: собрали одного ассистента, показали руководству, получили аплодисменты. Потом второго, третьего — и через полгода получается зоопарк с разными ключами, моделями и неконтролируемым бюджетом. Вместо набора разрозненных ассистентов мы сразу пошли в платформу. В статье рассказываем, из чего она состоит, как эволюционировало наше железо, зачем понадобилось два слоя наблюдаемости и почему маркетплейсный RAG ломается на PDF-файлах. С графиками, схемой архитектуры и выводами, которые сами хотели бы прочитать год назад.
https://habr.com/ru/companies/sminex_developer/articles/1037438/
#ai #llm #openwebui #langflow #langfuse #litellm #vllm #openai
-
Как мы построили корпоративную LLM-платформу: архитектура, грабли и выводы
Обычно внедрение AI в компаниях происходит по такому сценарию: собрали одного ассистента, показали руководству, получили аплодисменты. Потом второго, третьего — и через полгода получается зоопарк с разными ключами, моделями и неконтролируемым бюджетом. Вместо набора разрозненных ассистентов мы сразу пошли в платформу. В статье рассказываем, из чего она состоит, как эволюционировало наше железо, зачем понадобилось два слоя наблюдаемости и почему маркетплейсный RAG ломается на PDF-файлах. С графиками, схемой архитектуры и выводами, которые сами хотели бы прочитать год назад.
https://habr.com/ru/companies/sminex_developer/articles/1037438/
#ai #llm #openwebui #langflow #langfuse #litellm #vllm #openai
-
I have other things I need to explore. I found a DoS (authed unfortunately) in #litellm as well but I want to do something creative with it.
-
I have other things I need to explore. I found a DoS (authed unfortunately) in #litellm as well but I want to do something creative with it.
-
I have other things I need to explore. I found a DoS (authed unfortunately) in #litellm as well but I want to do something creative with it.
-
I have other things I need to explore. I found a DoS (authed unfortunately) in #litellm as well but I want to do something creative with it.
-
I have other things I need to explore. I found a DoS (authed unfortunately) in #litellm as well but I want to do something creative with it.
-
I found a budget bypass in #LiteLLM, since they don't pay here you go https://github.com/LargeHardonCollider/litellm-infinite-money-glitch
-
I found a budget bypass in #LiteLLM, since they don't pay here you go https://github.com/LargeHardonCollider/litellm-infinite-money-glitch
-
I found a budget bypass in #LiteLLM, since they don't pay here you go https://github.com/LargeHardonCollider/litellm-infinite-money-glitch
-
I found a budget bypass in #LiteLLM, since they don't pay here you go https://github.com/LargeHardonCollider/litellm-infinite-money-glitch
-
I found a budget bypass in #LiteLLM, since they don't pay here you go https://github.com/LargeHardonCollider/litellm-infinite-money-glitch
-
CVE Alert: CVE-2026-42208 - BerriAI - litellm - https://www.redpacketsecurity.com/cve-alert-cve-2026-42208-berriai-litellm/
#OSINT #ThreatIntel #CyberSecurity #cve-2026-42208 #berriai #litellm
-
CVE Alert: CVE-2026-42208 - BerriAI - litellm - https://www.redpacketsecurity.com/cve-alert-cve-2026-42208-berriai-litellm/
#OSINT #ThreatIntel #CyberSecurity #cve-2026-42208 #berriai #litellm
-
CVE Alert: CVE-2026-42208 - BerriAI - litellm - https://www.redpacketsecurity.com/cve-alert-cve-2026-42208-berriai-litellm/
#OSINT #ThreatIntel #CyberSecurity #cve-2026-42208 #berriai #litellm
-
CVE Alert: CVE-2026-42208 - BerriAI - litellm - https://www.redpacketsecurity.com/cve-alert-cve-2026-42208-berriai-litellm/
#OSINT #ThreatIntel #CyberSecurity #cve-2026-42208 #berriai #litellm
-
CVE Alert: CVE-2026-42208 - BerriAI - litellm - https://www.redpacketsecurity.com/cve-alert-cve-2026-42208-berriai-litellm/
#OSINT #ThreatIntel #CyberSecurity #cve-2026-42208 #berriai #litellm
-
Data Breaches Surge, Exposing Sensitive Info at AI Startups, Agencies
Data breaches are surging, with AI startups and agencies exposed, as seen in the alarming theft of 10 petabytes from a Chinese supercomputer and 4 terabytes from AI startup Mercor due to a supply-chain vulnerability. These incidents highlight the hidden risks of connecting data to AI models, creating sensitive blind spots that leave large…
-
🔐 LiteLLM sotto assedio: scoperta falla che mette a rischio le chiavi IA. Tempo di rinforzare la sicurezza! #LiteLLM #CyberSecurity
🔗 https://www.tomshw.it/hardware/litellm-sotto-attacco-falla-espone-chiavi-ia
-
🔐 LiteLLM sotto assedio: scoperta falla che mette a rischio le chiavi IA. Tempo di rinforzare la sicurezza! #LiteLLM #CyberSecurity
🔗 https://www.tomshw.it/hardware/litellm-sotto-attacco-falla-espone-chiavi-ia
-
🔐 LiteLLM sotto assedio: scoperta falla che mette a rischio le chiavi IA. Tempo di rinforzare la sicurezza! #LiteLLM #CyberSecurity
🔗 https://www.tomshw.it/hardware/litellm-sotto-attacco-falla-espone-chiavi-ia
-
LiteLLM SQL Flaw Exploited 36 Hours After Disclosure
A critical SQL injection flaw, CVE-2026-42208, was exploited just 36 hours after its disclosure, putting vulnerable LiteLLM versions at risk of unauthorized database access. The bug, with a CVSS score of 9.3, allows unauthenticated callers to reach a vulnerable database query through the proxy's error-handling path.
#SqlInjection #Litellm #Cve202642208 #Python #EmergingThreats
-
Urgent security alert: Hackers are exploiting a pre-authentication SQL injection flaw (CVE-2026-42208) in LiteLLM, allowing them to bypass authentication and exfiltrate sensitive AI provider credentials. Sysdig Threat Research Team observed attackers moving directly to high-value tables, demonstrating precise knowledge. This vulnerability's impact is comparable to a full cloud-account…
#cybersecurity #litellm #cve202642208
🤖 This post was AI-generated.
-
Hackers Exploit LiteLLM SQL Flaw for Sensitive Data Access
Within just 36 hours of being publicly disclosed, a critical SQL injection flaw in LiteLLM, known as CVE-2026-42208, was actively exploited by hackers, allowing them to access sensitive data without authentication. This alarming vulnerability highlights the importance of swift patching, with LiteLLM version 1.83.7 now available to…
#SqlInjection #Litellm #Cve202642208 #EmergingThreats #PreauthenticationExploit
-
Hackers Exploit LiteLLM SQL Flaw for Sensitive Data Access
Within just 36 hours of being publicly disclosed, a critical SQL injection flaw in LiteLLM, known as CVE-2026-42208, was actively exploited by hackers, allowing them to access sensitive data without authentication. This alarming vulnerability highlights the importance of swift patching, with LiteLLM version 1.83.7 now available to…
#SqlInjection #Litellm #Cve202642208 #EmergingThreats #PreauthenticationExploit
-
Auto AI Router: высокопроизводительный прокси-роутер для LLM API на Go
Auto AI Router — лёгкий прокси-роутер на Go, который принимает запросы в формате OpenAI API и прозрачно распределяет их между несколькими провайдерами и ключами с балансировкой нагрузки, защитой от банов и контролем RPM-лимитов. Читать далее (многобукав)
https://habr.com/ru/articles/1027878/
#go #github #llm #openai #vertex #gemini #litellm #docker #dockercompose #router
-
Auto AI Router: высокопроизводительный прокси-роутер для LLM API на Go
Auto AI Router — лёгкий прокси-роутер на Go, который принимает запросы в формате OpenAI API и прозрачно распределяет их между несколькими провайдерами и ключами с балансировкой нагрузки, защитой от банов и контролем RPM-лимитов. Читать далее (многобукав)
https://habr.com/ru/articles/1027878/
#go #github #llm #openai #vertex #gemini #litellm #docker #dockercompose #router
-
Auto AI Router: высокопроизводительный прокси-роутер для LLM API на Go
Auto AI Router — лёгкий прокси-роутер на Go, который принимает запросы в формате OpenAI API и прозрачно распределяет их между несколькими провайдерами и ключами с балансировкой нагрузки, защитой от банов и контролем RPM-лимитов. Читать далее (многобукав)
https://habr.com/ru/articles/1027878/
#go #github #llm #openai #vertex #gemini #litellm #docker #dockercompose #router
-
Auto AI Router: высокопроизводительный прокси-роутер для LLM API на Go
Auto AI Router — лёгкий прокси-роутер на Go, который принимает запросы в формате OpenAI API и прозрачно распределяет их между несколькими провайдерами и ключами с балансировкой нагрузки, защитой от банов и контролем RPM-лимитов. Читать далее (многобукав)
https://habr.com/ru/articles/1027878/
#go #github #llm #openai #vertex #gemini #litellm #docker #dockercompose #router
-
Как подключить Langfuse к LLM через JWT?
Langfuse, помимо трассирования запросов, удобно использовать для prompt management и LLM-as-a-judge. Но в закрытой корпоративной среде он упирается в простую вещь: LF работает со статическим API key, а ваш LLM gateway — нет. То есть gateway требует короткоживущий JWT, а Langfuse не умеет его получать. И в этот момент интеграция ломается. Мы столкнулись именно с такой ситуацией. Модели self-hosted, OpenAI подобный API, но для доступа к нему на каждый запрос нужен JWT, который выдаётся централизованным провайдером. Langfuse в LLM Connection умеет передать API key и заголовки, но не сможет сам сходить в auth-сервис, получить временный токен и подставить его в запрос. В этой статье я рассказываю о своем опыте решения этой проблемы на продакшен уровне.
-
Как подключить Langfuse к LLM через JWT?
Langfuse, помимо трассирования запросов, удобно использовать для prompt management и LLM-as-a-judge. Но в закрытой корпоративной среде он упирается в простую вещь: LF работает со статическим API key, а ваш LLM gateway — нет. То есть gateway требует короткоживущий JWT, а Langfuse не умеет его получать. И в этот момент интеграция ломается. Мы столкнулись именно с такой ситуацией. Модели self-hosted, OpenAI подобный API, но для доступа к нему на каждый запрос нужен JWT, который выдаётся централизованным провайдером. Langfuse в LLM Connection умеет передать API key и заголовки, но не сможет сам сходить в auth-сервис, получить временный токен и подставить его в запрос. В этой статье я рассказываю о своем опыте решения этой проблемы на продакшен уровне.
-
Как подключить Langfuse к LLM через JWT?
Langfuse, помимо трассирования запросов, удобно использовать для prompt management и LLM-as-a-judge. Но в закрытой корпоративной среде он упирается в простую вещь: LF работает со статическим API key, а ваш LLM gateway — нет. То есть gateway требует короткоживущий JWT, а Langfuse не умеет его получать. И в этот момент интеграция ломается. Мы столкнулись именно с такой ситуацией. Модели self-hosted, OpenAI подобный API, но для доступа к нему на каждый запрос нужен JWT, который выдаётся централизованным провайдером. Langfuse в LLM Connection умеет передать API key и заголовки, но не сможет сам сходить в auth-сервис, получить временный токен и подставить его в запрос. В этой статье я рассказываю о своем опыте решения этой проблемы на продакшен уровне.
-
Как подключить Langfuse к LLM через JWT?
Langfuse, помимо трассирования запросов, удобно использовать для prompt management и LLM-as-a-judge. Но в закрытой корпоративной среде он упирается в простую вещь: LF работает со статическим API key, а ваш LLM gateway — нет. То есть gateway требует короткоживущий JWT, а Langfuse не умеет его получать. И в этот момент интеграция ломается. Мы столкнулись именно с такой ситуацией. Модели self-hosted, OpenAI подобный API, но для доступа к нему на каждый запрос нужен JWT, который выдаётся централизованным провайдером. Langfuse в LLM Connection умеет передать API key и заголовки, но не сможет сам сходить в auth-сервис, получить временный токен и подставить его в запрос. В этой статье я рассказываю о своем опыте решения этой проблемы на продакшен уровне.
-
@CrabbyIT I'm currently in a similar situation. I don't have a solution yet but I'm investigating #LiteLLM as a gateway. That should give me audit logs, budgets and a place to filter prompts. What I'm still looking for is some kind of sandboxing for coding agents. They are quite lacking in this respect.
-
@CrabbyIT I'm currently in a similar situation. I don't have a solution yet but I'm investigating #LiteLLM as a gateway. That should give me audit logs, budgets and a place to filter prompts. What I'm still looking for is some kind of sandboxing for coding agents. They are quite lacking in this respect.
-
@CrabbyIT I'm currently in a similar situation. I don't have a solution yet but I'm investigating #LiteLLM as a gateway. That should give me audit logs, budgets and a place to filter prompts. What I'm still looking for is some kind of sandboxing for coding agents. They are quite lacking in this respect.
-
@CrabbyIT I'm currently in a similar situation. I don't have a solution yet but I'm investigating #LiteLLM as a gateway. That should give me audit logs, budgets and a place to filter prompts. What I'm still looking for is some kind of sandboxing for coding agents. They are quite lacking in this respect.
-
@CrabbyIT I'm currently in a similar situation. I don't have a solution yet but I'm investigating #LiteLLM as a gateway. That should give me audit logs, budgets and a place to filter prompts. What I'm still looking for is some kind of sandboxing for coding agents. They are quite lacking in this respect.
