#llm_gateway — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #llm_gateway, aggregated by home.social.
-
Куда на самом деле ходит Claude Code: ANTHROPIC_BASE_URL, два вида ключей и /status
Claude Code не привязан к api.anthropic.com: это обычный клиент, и куда он ходит, задаётся двумя переменными. Разбираю, что именно нужно ему от эндпоинта, три способа подключения (shell, settings.json, apiKeyHelper), как проверить curl-ом до запуска и что означают типовые ошибки — 401, 403 с HTML, «auth may not work as expected» и внезапный 404 на haiku. Без названий сервисов, только механика.
https://habr.com/ru/articles/1080716/
#claude_code #anthropic_api #anthropic_base_url #llm_gateway #прокси #переменные_окружения
-
Куда на самом деле ходит Claude Code: ANTHROPIC_BASE_URL, два вида ключей и /status
Claude Code не привязан к api.anthropic.com: это обычный клиент, и куда он ходит, задаётся двумя переменными. Разбираю, что именно нужно ему от эндпоинта, три способа подключения (shell, settings.json, apiKeyHelper), как проверить curl-ом до запуска и что означают типовые ошибки — 401, 403 с HTML, «auth may not work as expected» и внезапный 404 на haiku. Без названий сервисов, только механика.
https://habr.com/ru/articles/1080716/
#claude_code #anthropic_api #anthropic_base_url #llm_gateway #прокси #переменные_окружения
-
Куда на самом деле ходит Claude Code: ANTHROPIC_BASE_URL, два вида ключей и /status
Claude Code не привязан к api.anthropic.com: это обычный клиент, и куда он ходит, задаётся двумя переменными. Разбираю, что именно нужно ему от эндпоинта, три способа подключения (shell, settings.json, apiKeyHelper), как проверить curl-ом до запуска и что означают типовые ошибки — 401, 403 с HTML, «auth may not work as expected» и внезапный 404 на haiku. Без названий сервисов, только механика.
https://habr.com/ru/articles/1080716/
#claude_code #anthropic_api #anthropic_base_url #llm_gateway #прокси #переменные_окружения
-
От десятка подписок к единому шлюзу LiteLLM: что пошло не по плану
Привет! Я Владимир Мокроусов, сисадмин в группе компаний «Синтека». Мы создаем софт для строительной отрасли и активно используем в работе ИИ-модели. Недавно мы сделали единый доступ к моделям на базе LiteLLM. В статье расскажу, как собрали эту схему, на какие грабли наступили с лимитами и блокировками и что пришлось контролировать, чтобы всё работало.
https://habr.com/ru/companies/cynteka/articles/1078172/
#LiteLLM #LLM #Anthropic #OpenAI #Claude #CLIProxyAPI #LLM_gateway #API_gateway #системное_администрирование #DevOps
-
От десятка подписок к единому шлюзу LiteLLM: что пошло не по плану
Привет! Я Владимир Мокроусов, сисадмин в группе компаний «Синтека». Мы создаем софт для строительной отрасли и активно используем в работе ИИ-модели. Недавно мы сделали единый доступ к моделям на базе LiteLLM. В статье расскажу, как собрали эту схему, на какие грабли наступили с лимитами и блокировками и что пришлось контролировать, чтобы всё работало.
https://habr.com/ru/companies/cynteka/articles/1078172/
#LiteLLM #LLM #Anthropic #OpenAI #Claude #CLIProxyAPI #LLM_gateway #API_gateway #системное_администрирование #DevOps
-
От десятка подписок к единому шлюзу LiteLLM: что пошло не по плану
Привет! Я Владимир Мокроусов, сисадмин в группе компаний «Синтека». Мы создаем софт для строительной отрасли и активно используем в работе ИИ-модели. Недавно мы сделали единый доступ к моделям на базе LiteLLM. В статье расскажу, как собрали эту схему, на какие грабли наступили с лимитами и блокировками и что пришлось контролировать, чтобы всё работало.
https://habr.com/ru/companies/cynteka/articles/1078172/
#LiteLLM #LLM #Anthropic #OpenAI #Claude #CLIProxyAPI #LLM_gateway #API_gateway #системное_администрирование #DevOps
-
LLM Gateway로 AI를 안전하게 조직에 도입하는 법
AI를 조직에서 안전하게 운영하려면 LLM Gateway가 핵심입니다. Amazon Bedrock과 Claude Code를 결합해 인증, 모니터링, 필터링을 중앙에서 관리하는 방법을 알아보세요. 작게 시작해 점진적으로 확장하면 누구나 기업급 AI 보안 체계를 구축할 수 있습니다.
#Amazon_Bedrock #LLM_Gateway #Claude_Code #AI_보안 #AWS_기업활용 #블로그 #ODOB
-
[Перевод] Что такое маршрутизатор LLM?
Большие языковые модели (LLM) стали основой современных ИИ-продуктов, обеспечивая работу всего - от чат-ботов и виртуальных ассистентов до исследовательских инструментов и корпоративных решений. Но LLM различаются по сильным сторонам, ограничениям и стоимости: одни лучше в рассуждениях, другие - в креативе, коде или работе со структурированными запросами. Здесь и нужен маршрутизатор LLM . Маршрутизатор LLM работает как «умный диспетчер трафика»: он автоматически направляет промпты в наиболее подходящую модель под конкретную задачу. Вместо одной универсальной модели бизнес и разработчики повышают точность, скорость и снижают затраты, маршрутизируя запросы в реальном времени . По мере роста применения ИИ маршрутизация LLM становится обязательным слоем для масштабируемых, надёжных и эффективных систем.
https://habr.com/ru/articles/964832/
#llm #llmмодели #маршрутизация #маршрутизатор #fallback #llm_gateway #ai #routing
-
[Перевод] Что такое маршрутизатор LLM?
Большие языковые модели (LLM) стали основой современных ИИ-продуктов, обеспечивая работу всего - от чат-ботов и виртуальных ассистентов до исследовательских инструментов и корпоративных решений. Но LLM различаются по сильным сторонам, ограничениям и стоимости: одни лучше в рассуждениях, другие - в креативе, коде или работе со структурированными запросами. Здесь и нужен маршрутизатор LLM . Маршрутизатор LLM работает как «умный диспетчер трафика»: он автоматически направляет промпты в наиболее подходящую модель под конкретную задачу. Вместо одной универсальной модели бизнес и разработчики повышают точность, скорость и снижают затраты, маршрутизируя запросы в реальном времени . По мере роста применения ИИ маршрутизация LLM становится обязательным слоем для масштабируемых, надёжных и эффективных систем.
https://habr.com/ru/articles/964832/
#llm #llmмодели #маршрутизация #маршрутизатор #fallback #llm_gateway #ai #routing
-
[Перевод] Что такое маршрутизатор LLM?
Большие языковые модели (LLM) стали основой современных ИИ-продуктов, обеспечивая работу всего - от чат-ботов и виртуальных ассистентов до исследовательских инструментов и корпоративных решений. Но LLM различаются по сильным сторонам, ограничениям и стоимости: одни лучше в рассуждениях, другие - в креативе, коде или работе со структурированными запросами. Здесь и нужен маршрутизатор LLM . Маршрутизатор LLM работает как «умный диспетчер трафика»: он автоматически направляет промпты в наиболее подходящую модель под конкретную задачу. Вместо одной универсальной модели бизнес и разработчики повышают точность, скорость и снижают затраты, маршрутизируя запросы в реальном времени . По мере роста применения ИИ маршрутизация LLM становится обязательным слоем для масштабируемых, надёжных и эффективных систем.
https://habr.com/ru/articles/964832/
#llm #llmмодели #маршрутизация #маршрутизатор #fallback #llm_gateway #ai #routing
-
Строим корпоративную GenAI-платформу: от концепции до ROI. Часть 2. Архитектура корпоративной GenAI платформы
Вторая статья специалиста по архитектуре ИТ-систем и трансформации ИТ-ландшафта Дениса Прилепского из серии «Строим корпоративную GenAI-платформу: от концепции до ROI». На этот раз он разбирает GenAI «под капотом» и шаг за шагом выстраивает корпоративную платформу, которая превращает хайп вокруг ИИ в реальные результаты для бизнеса.
-
Строим корпоративную GenAI-платформу: от концепции до ROI. Часть 2. Архитектура корпоративной GenAI платформы
Вторая статья специалиста по архитектуре ИТ-систем и трансформации ИТ-ландшафта Дениса Прилепского из серии «Строим корпоративную GenAI-платформу: от концепции до ROI». На этот раз он разбирает GenAI «под капотом» и шаг за шагом выстраивает корпоративную платформу, которая превращает хайп вокруг ИИ в реальные результаты для бизнеса.
-
Строим корпоративную GenAI-платформу: от концепции до ROI. Часть 2. Архитектура корпоративной GenAI платформы
Вторая статья специалиста по архитектуре ИТ-систем и трансформации ИТ-ландшафта Дениса Прилепского из серии «Строим корпоративную GenAI-платформу: от концепции до ROI». На этот раз он разбирает GenAI «под капотом» и шаг за шагом выстраивает корпоративную платформу, которая превращает хайп вокруг ИИ в реальные результаты для бизнеса.