#inference_platform — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #inference_platform, aggregated by home.social.
-
Как AI VK построили единую платформу для рекомендаций, поиска и рекламы в продуктах с многомиллионной аудиторией
Привет! На связи команда рекомендаций AI VK. Фактически в каждом продукте есть и рекомендации и поиск, и чтобы каждой команде не приходилось изобретать свой «велосипед», мы разработали единую Discovery-платформу. С ней команды могут «по кнопке» запускать рекомендации, тестировать модели, а также делиться лучшими решениями. В статье поделились подробностями о том, что из себя представляет единая Discovery-платформа и какие результаты уже заметны. Переходите под кат, будет интересно ⬇️ Про Discovery-платформу
https://habr.com/ru/companies/vk/articles/990514/
#ai_vk #discovery #discoveryплатформа #Stream_Flow #Profile_Stream #Cloud_Training #Discovery_Runtime #Feature_Flow #Inference_Platform #Retrieval
-
Где живут LLM: разбираем инференс-кластер YADRO и тестируем его производительность
Привет, Хабр! В этой статье я расскажу про наш LLM инференс-кластер
https://habr.com/ru/companies/yadro/articles/930304/
#llm #vllm #litellm #inference_platform #инференс_моделей #большие_языковые_модели
-
Разработка CLI с помощью пакета Cobra: как не наступить на змею при написании
Привет, Хабр. Меня зовут Иван Добряев, я разработчик программного обеспечения в Центре технологий VK. Сегодня хочу поделиться опытом по одной достаточно прикладной, но весьма увлекательной теме — разработке командной строки (CLI) на Go. Платформа для инференса ML-моделей (inference platform) у нас молодая, ей всего лишь полгода, и мы активно расширяем команду. Так что, если вы хотите писать сервисы на Go с нуля, то приходите к нам, у нас найдутся задачи на любой вкус.