#finetune — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #finetune, aggregated by home.social.
-
Дообучим старый ruGPT3 XL 1.3B (~2020 год) до уровня LLM. ChatGPT выйдет только через 2 года. Сравним с Gemma3 2025 года
Древняя модель ruGPT-3 XL 1.3B конца 2020 - начала 2021. Модели тех времён не умели выполнять инструкции или вести диалог в чате, они умели только продолжать текст. С помощью современных методов дообучения SFT и DPO можно ли сделать из старого pretrain современную LLM? Получившийся результат сравним с Gemma3 1B, моделью 2025 года. И немного продолжения HabrGPT 0.5B с дообучением на большом датасете.
https://habr.com/ru/articles/1045724/
#llamacpp #transformers #обучение #finetune #rugpt #rugpt3 #sft #dpo