home.social

#мониторинг_llm — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #мониторинг_llm, aggregated by home.social.

  1. Habr @[email protected] ·

    Почему self-hosted LLM падает в проде

    Привет! Меня зовут Андрей Пахомов, я разработчик в AI Platform Битрикс24. Сегодня расскажу, почему self-hosted LLM ломается в проде, где на самом деле возникают проблемы и какие метрики помогают вовремя это увидеть.

    habr.com/ru/companies/bitrix/a

    #selfhosted_LLM #LLM_в_продакшене #vLLM #observability #мониторинг_LLM

    #мониторинг_llm #observability #vllm #llm_в_продакшене #selfhosted_llm