#litellm — Public Fediverse posts

Embeddings models from #Scaleway weren't working with #LiteLLM. Couple of hours of searching and testing, it's a three line fix. 😅

https://github.com/BerriAI/litellm/pull/25395/changes

Auto AI Router: высокопроизводительный прокси-роутер для LLM API на Go

Auto AI Router — лёгкий прокси-роутер на Go, который принимает запросы в формате OpenAI API и прозрачно распределяет их между несколькими провайдерами и ключами с балансировкой нагрузки, защитой от банов и контролем RPM-лимитов. Читать далее (многобукав)

https://habr.com/ru/articles/1027878/

#go #github #llm #openai #vertex #gemini #litellm #docker #dockercompose #router

Как подключить Langfuse к LLM через JWT?

Langfuse, помимо трассирования запросов, удобно использовать для prompt management и LLM-as-a-judge. Но в закрытой корпоративной среде он упирается в простую вещь: LF работает со статическим API key, а ваш LLM gateway — нет. То есть gateway требует короткоживущий JWT, а Langfuse не умеет его получать. И в этот момент интеграция ломается. Мы столкнулись именно с такой ситуацией. Модели self-hosted, OpenAI подобный API, но для доступа к нему на каждый запрос нужен JWT, который выдаётся централизованным провайдером. Langfuse в LLM Connection умеет передать API key и заголовки, но не сможет сам сходить в auth-сервис, получить временный токен и подставить его в запрос. В этой статье я рассказываю о своем опыте решения этой проблемы на продакшен уровне.

https://habr.com/ru/articles/1025168/

#llm #litellm #fastapi #proxy #proxyserver #langfuse

I had to deal a bit with the "Supply-chain Levels for Software Artifacts" (SLSA) "standard":
https://slsa.dev/

IMO it's a joke, since they do not properly deal with threats from "Includ[ing] a vulnerable dependency (library, base image, bundled file, etc.)". They essentially say "A future version of this standard might deal with that":
https://slsa.dev/spec/v1.2/threats

This has been the main entry point of the past supply chain attacks (XZ backdoor, litellm, Shai-Hulud, ...). A supply-chain security standard that doesn't properly deal with vulnerabilities in dependencies completely misses the point. It's like installing alarms on your windows (to catch burglars trying to enter your home through the windows) when your front door doesn't have a lock.

#SLSA #supplychain #supplychainsecurity #xzbackdoor #ShaiHulud #litellm

AI firm Mercor confirms a breach linked to the #LiteLLM supply chain attack, as hackers claim 4TB of stolen data.

Read: https://hackread.com/ai-firm-mercor-breach-hackers-4tb-data/

#CyberSecurity #DataBreach #Mercor #AI #TeamPCP #Lapsus

Память для LLM-чата на Python. Часть 3: добавляем историю сообщений и контекст

Во второй части мы сделали консольный чат с циклом и system prompt. Но у него был пробел: каждый запрос шёл к модели независимо, без контекста предыдущих реплик. В третьей части добавляем историю сообщений — и чат наконец начинает помнить разговор.

https://habr.com/ru/articles/1018688/

#python #ollama #litellm #llm #локальные_модели #искуственный_интеллект #npl #чатбот #ai #large_language_model

PageIndex: замена векторному поиску в RAG?

Попытки заменить чем-то векторный поиск в RAG продолжаются. Про GraphRAG я уже высказывался , новый претендент на замену - Pageindex. Идея простая. Сегментируем документ на страницы, при помощи LLM и хитрого кода строим для него таблицу содержания, TOC с деревом узлов и саммари для каждого узла. Далее отправляем эту структуру в промпт поискового запроса и просим LLM найти релевантные узлы. За каждым найденным узлом закреплены страницы документа. Эти страницы достаём и используем в качестве контекста в финальном запросе. Нет чанков, не нужны эмбеддинги и векторные хранилища. Выглядит заманчиво. Попытаюсь добавить к этой идее немного критики и заодно расскажу как эту штуку запустить локально.

https://habr.com/ru/articles/1017318/

#rag #text_mining #text_generation #indexing #ollama #litellm

Mercor dice que fue afectado por un ciberataque relacionado con el compromiso del tesina de código campechano LiteLLM #abierto #afectado #ciberataque #código #compromiso #con #del #dice #fue #Lapsus #LiteLLM #mercor #por #proyecto #relacionado #ButterWord #Spanish_News Comenta tu opinión 👇
https://butterword.com/mercor-dice-que-fue-afectado-por-un-ciberataque-relacionado-con-el-compromiso-del-tesina-de-codigo-campechano-litellm/?feed_id=76100&_unique_id=69cd010baa647

Popular #AI gateway startup #LiteLLM ditches controversial startup #Delve

https://techcrunch.com/2026/03/30/popular-ai-gateway-startup-litellm-ditches-controversial-startup-delve/

#cybersecurity

La popular startup de puerta de enlace de IA LiteLLM abandona la controvertida startup Delve #abandona #controvertida #cumplimiento_de_seguridad #Delve #enlace #LiteLLM #popular #puerta #startup #ButterWord #Spanish_News Comenta tu opinión 👇
https://butterword.com/la-popular-startup-de-puerta-de-enlace-de-ia-litellm-abandona-la-controvertida-startup-delve/?feed_id=75891&_unique_id=69cb05ee8fcde

La popular startup de puerta de enlace de IA LiteLLM abandona la controvertida startup Delve #abandona #controvertida #cumplimiento_de_seguridad #Delve #enlace #LiteLLM #popular #puerta #startup #ButterWord #Spanish_News Comenta tu opinión 👇
https://butterword.com/la-popular-startup-de-puerta-de-enlace-de-ia-litellm-abandona-la-controvertida-startup-delve/?feed_id=75891&_unique_id=69cb05ee8fcde

La popular startup de puerta de enlace de IA LiteLLM abandona la controvertida startup Delve #abandona #controvertida #cumplimiento_de_seguridad #Delve #enlace #LiteLLM #popular #puerta #startup #ButterWord #Spanish_News Comenta tu opinión 👇
https://butterword.com/la-popular-startup-de-puerta-de-enlace-de-ia-litellm-abandona-la-controvertida-startup-delve/?feed_id=75891&_unique_id=69cb05ee8fcde

#Delve did the security compliance on #LiteLLM, an #AI project hit by #malware

https://techcrunch.com/2026/03/25/delve-did-the-security-compliance-on-litellm-an-ai-project-hit-by-malware/

#cybersecurity

#Cyberattaque contre la #librairie #python #LiteLLM :
Cinq jours pour infiltrer, trois heures pour tout voler : comment des #hackers ont piégé des #millions de #développeurs #IA

https://www.numerama.com/cyberguerre/2217675-cinq-jours-pour-infiltrer-trois-heures-pour-tout-voler-comment-des-hackers-ont-piege-des-millions-de-developpeurs-ia.html

Addressing the #LiteLLM supply chain incident:

All #SakuraSky managed production environments are unaffected by the v1.82.7/8 compromise.

Our infrastructure is a "Zero-Value Target." Using #OIDC and Just-in-Time key injection, we ensure that even if a library is breached, it finds an "empty room"- no static keys or .env files to steal.

We’re also accelerating our Sentinel framework for deeper AI agent governance.

Details: https://www.sakurasky.com/blog/security-advisory-litellm/

#InfoSec #AI #SupplyChainSecurity #DevSecOps

AI-агент получил права сеньора. И первым делом снёс прод

По данным Financial Times, AI-агент Amazon получил operator-level доступ к продакшену - и выбрал «удалить окружение» как оптимальный способ починить баг. 13 часов аутейджа. Собрал хронологию трёх инцидентов марта 2026 и разбираюсь, что именно пошло не так на уровне permissions, review gates и CI/CD.

https://habr.com/ru/articles/1014672/

#AI #AIагенты #Amazon #Kiro #Meta #LiteLLM #безопасность #продакшен #supply_chain #guardrails

🚨 Oh look, another day, another #PyPI disaster! 🎉 This time it's 'litellm', because who doesn't love their credentials being "borrowed"? 🤦‍♂️ Maybe they should've named it litell-uh-oh instead. 🙄
https://github.com/BerriAI/litellm/issues/24512 #Litellm #Security #Disaster #Credential #Theft #OpenSource #Drama #HackerNews #ngated

Si vous avez installé le paquet Python litellm, même sans l'avoir importé dans un projet, vous avez du souci à vous faire pour vos clés ssh, clés d'API etc.

Vous me direz, qui utilise des IAgen ici ?

Il reste que le système de gestion de paquets de Python m'a l'air bien vulnérable, étant donnée la tendance générale à installer tout ce qui passe.

#exploit #supplychain #litellm #pip #python

https://github.com/BerriAI/litellm/issues/24512

LiteLLM Python package compromised by supply-chain attack

https://github.com/BerriAI/litellm/issues/24512

#HackerNews #LiteLLM #SupplyChain #Attack #Python #Security #Compromise #BerriAI

Маленький LLM-чат на Python с Ollama и LiteLLM. Часть 1: ставим окружение и пишем первый запрос

Простой старт в LLM-разработке без API-ключей и облака: ставим Ollama, скачиваем модель и делаем первый вызов из Python через LiteLLM.

https://habr.com/ru/articles/1012182/

#Python #Ollama #LiteLLM #LLM #локальные_модели #искусственный_интеллект #NLP #чатбот #AI #large_language_model

🎯 Zero accuracy loss - preserves what matters: errors, anomalies, high-scoring items & query-relevant content using BM25/embedding similarity

✅ Full provider support: #OpenAI, #Anthropic, #Google, #Cohere, #Mistral & #LiteLLM with exact token counting

📈 Performance: Search results (1000 items) 45K→4.5K tokens (90%), Log analysis 22K→3.3K tokens (85%), API responses 15K→2.25K tokens (85%)

Volle AI-Souveränität mit Infinito.Nexus

https://blog.infinito.nexus/blog/2025/09/23/volle-ai-souveraenitaet-mit-infinito-nexus/

🚀 Take control of your AI usage! With LiteLLM + OpenWebUI you can unify cloud & local models, set real budgets, and never get surprise bills. Perfect for home labs and small teams. 🧑‍💻💡

#LiteLLM #OpenWebUI #Docker #AItools #HomeLab #LocalLLMs #APIGateway #AIbudget #TechBlog #SmallBusinessAI

https://victornava.dev/2025/09/02/litellm-at-home-one-endpoint-real-budgets-zero-surprises/

Георгий Герганов, автор llama.cpp и звукового кейлогера

Многие пользуются YouTube, Netflix, но не подозревают о ключевых опенсорсных программах типа ffmpeg , которые работают на бэкенде этих сервисов. Похожая ситуация с нейронками, где многие знают программу Ollama для локального запуска моделей на CPU. Но мало кто понимает, что это всего лишь простенькая оболочка вокруг опенсорсной библиотеки llama.cpp на С, которая и делает инференс. Автор этой библиотеки, талантливый разработчик Георгий Герганов , мало известен широкой публике.

https://habr.com/ru/companies/ruvds/articles/923304/

#llamacpp #ollama #llama #llm #Георгий_Герганов #Georgi_Gerganov #lm_studio #LiteLLM #ggml #тензорная_алгебра