#efficientdl — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #efficientdl, aggregated by home.social.
-
EvoPress: новый подход к оптимизации и сжатию LLM от исследователей Яндекса
Всем привет! Меня зовут Денис Кузнеделев, я работаю в команде Yandex Research. Моё основное направление деятельности на данный момент — задача сжатия и ускорения больших языковых и картиночных моделей. Затраты на обучение, инференс и деплой LLM стали одной из ключевых инфраструктурных проблем индустрии: дефицит вычислительных ресурсов, нехватка видеопамяти и высокие требования языковых моделей к вычислительным ресурсам препятствуют масштабированию решений. Сегодня я расскажу о методе неравномерного сжатия нейронных сетей EvoPress , который мы предложили совместно с коллегами из ETH Zurich и представили в июле этого года на одной из ведущих конференций по машинному обучению — ICML.
https://habr.com/ru/companies/yandex/articles/957228/
#квантизация #спарсификация #EfficientDL #llm #DL #сжатие #ускорение