Зачем Авито нужна своя Inference-платформа для ML/LLM-сервисов: PaaS vs отдельное решение
Привет, Хабр! Меня зовут Антон Алексеев , я ML Ops-инженер в Авито . В этой статье я разберу, почему существующий PaaS — отличный инструмент для веб-сервисов, но плохо подходит для ML/LLM-Inference, и с какими похожими проблемами сталкиваются крупные компании, у которых те же задачи. Также расскажу, почему было принято решение не дорабатывать PaaS под Inference, а строить отдельную Inference-платформу на базе готового open-source ядра, и почему этот путь оказался предпочтительнее.
https://habr.com/ru/companies/avito/articles/1089128/
#inference #mlops #KServe #LLM #Kubernetes #PaaS #MLплатформа #open_source #MLинфраструктура #сезон_код_будущего