Live and recent posts from across the Fediverse tagged #baseten, aggregated by home.social.
🎙️ Portfolio: Mercury Voice minimizes time to first answer token for voice agents. Mercury Decide is a decision model for high-volume classification
🔌 Available on Inception API Platform, #OpenRouter, #Baseten and #Vercel. OpenAI API compatible, no rewrites needed. Enterprise options include dedicated capacity, autoscaling and compliance controls
https://www.inceptionlabs.ai/blog/introducing-mercury-3
Что происходит после обучения модели: обзор книги Inference Engineering
Насколько хорошо новая модель ИИ справляется с задачами — первый вопрос, который обычно задают при ее обсуждении. В техническом сообществе разговор обычно идет о бенчмарках, количестве параметров и гонке рейтингов. Вот только для пользователя это чаще косвенные показатели. Главное — скорость работы, нет ли зависаний под нагрузкой и сколько стоит тариф. Если модель отлично решает задачи, но тормозит, или токены стоят как чугунный мост, ее популярность резко падает в пользу чуть менее эффективной. Поэтому на этапе инференса модель оптимизируют насколько возможно. Об этом ведущий эксперт в области инфраструктуры ИИ Филипп Кили написал целую книгу под названием «Инженерия инференса»: как разместить модель на нужном оборудовании, ускорить ответы, выдержать текущую и пиковую нагрузку и при этом не потратить больше, чем продукт сможет принести. Сегодня коротко разберем основные мысли оттуда.
https://habr.com/ru/companies/ru_mts/articles/1096130/
#масштабирование #квантизация #инференс #оптимизация_моделей #генеративный_ии #большие_языковые_модели #inference_engineering #baseten #филип_кили