#rugpt3 — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #rugpt3, aggregated by home.social.
-
Дообучим старый ruGPT3 XL 1.3B (~2020 год) до уровня LLM. ChatGPT выйдет только через 2 года. Сравним с Gemma3 2025 года
Древняя модель ruGPT-3 XL 1.3B конца 2020 - начала 2021. Модели тех времён не умели выполнять инструкции или вести диалог в чате, они умели только продолжать текст. С помощью современных методов дообучения SFT и DPO можно ли сделать из старого pretrain современную LLM? Получившийся результат сравним с Gemma3 1B, моделью 2025 года. И немного продолжения HabrGPT 0.5B с дообучением на большом датасете.
https://habr.com/ru/articles/1045724/
#llamacpp #transformers #обучение #finetune #rugpt #rugpt3 #sft #dpo
-
Дообучим старый ruGPT3 XL 1.3B (~2020 год) до уровня LLM. ChatGPT выйдет только через 2 года. Сравним с Gemma3 2025 года
Древняя модель ruGPT-3 XL 1.3B конца 2020 - начала 2021. Модели тех времён не умели выполнять инструкции или вести диалог в чате, они умели только продолжать текст. С помощью современных методов дообучения SFT и DPO можно ли сделать из старого pretrain современную LLM? Получившийся результат сравним с Gemma3 1B, моделью 2025 года. И немного продолжения HabrGPT 0.5B с дообучением на большом датасете.
https://habr.com/ru/articles/1045724/
#llamacpp #transformers #обучение #finetune #rugpt #rugpt3 #sft #dpo
-
Дообучим старый ruGPT3 XL 1.3B (~2020 год) до уровня LLM. ChatGPT выйдет только через 2 года. Сравним с Gemma3 2025 года
Древняя модель ruGPT-3 XL 1.3B конца 2020 - начала 2021. Модели тех времён не умели выполнять инструкции или вести диалог в чате, они умели только продолжать текст. С помощью современных методов дообучения SFT и DPO можно ли сделать из старого pretrain современную LLM? Получившийся результат сравним с Gemma3 1B, моделью 2025 года. И немного продолжения HabrGPT 0.5B с дообучением на большом датасете.
https://habr.com/ru/articles/1045724/
#llamacpp #transformers #обучение #finetune #rugpt #rugpt3 #sft #dpo
-
ruGPT3XL идёт в качалку / поднимаем контекст до 8k
Это продолжение предыдущей публикации про реставрацию ruGPT3XL. Для тех кто не читал, кратенько, я конвертировал древний Megatron-LM чекпоинт в HuggingFace-формат, залил веса на HF, накатил поддержку GGUF в llama.cpp и подумал, что всё. Но нет. По ходу тестов, проведённых разными людьми удалось выявить ряд недоработок, которые я по мере обнаружения правил, ну а после того, как удалось получить стабильную и рабочую версию мне захотелось решить одну старую проблему, которая меня в ruGPT3 моделях очень беспокоила, это проблема маленького контекста в смешные 2k токенов. Решил поднять контекст до 8k.
-
ruGPT3XL идёт в качалку / поднимаем контекст до 8k
Это продолжение предыдущей публикации про реставрацию ruGPT3XL. Для тех кто не читал, кратенько, я конвертировал древний Megatron-LM чекпоинт в HuggingFace-формат, залил веса на HF, накатил поддержку GGUF в llama.cpp и подумал, что всё. Но нет. По ходу тестов, проведённых разными людьми удалось выявить ряд недоработок, которые я по мере обнаружения правил, ну а после того, как удалось получить стабильную и рабочую версию мне захотелось решить одну старую проблему, которая меня в ruGPT3 моделях очень беспокоила, это проблема маленького контекста в смешные 2k токенов. Решил поднять контекст до 8k.
-
ruGPT3XL идёт в качалку / поднимаем контекст до 8k
Это продолжение предыдущей публикации про реставрацию ruGPT3XL. Для тех кто не читал, кратенько, я конвертировал древний Megatron-LM чекпоинт в HuggingFace-формат, залил веса на HF, накатил поддержку GGUF в llama.cpp и подумал, что всё. Но нет. По ходу тестов, проведённых разными людьми удалось выявить ряд недоработок, которые я по мере обнаружения правил, ну а после того, как удалось получить стабильную и рабочую версию мне захотелось решить одну старую проблему, которая меня в ruGPT3 моделях очень беспокоила, это проблема маленького контекста в смешные 2k токенов. Решил поднять контекст до 8k.
-
Реставрация ruGPT-3 XL или как я вернул к жизни забытую русскую языковую модель
Несколько дней к ряду я занимался реставрацией легаси модели ai-forever/rugpt3xl , это классическая языковая модель от SberDevices на 1.3B параметров, крошка по современным меркам, на которой сберовцы обкатывали свои научные наработки аж в далёком 2021м году. Подробнее о ней можно почитать в статье “A family of pretrained transformer language models for Russian” на Google Scholar. Да, она foundation, то есть умеет только продолжать текст, не может выполнять инструкции или работать в режиме чата. Но обучена она на корпусе русского языка и этот самый русский генерит очень бодро. У неё есть две примечательные особенности: её обучали с нуля, архитектура представляет собой глубокую модификацию GPT-2.
https://habr.com/ru/articles/1016148/
#rugpt3 #реставрация #нейросеть #gguf #safetensors #python #ollama #huggingface #модель #llm
-
Реставрация ruGPT-3 XL или как я вернул к жизни забытую русскую языковую модель
Несколько дней к ряду я занимался реставрацией легаси модели ai-forever/rugpt3xl , это классическая языковая модель от SberDevices на 1.3B параметров, крошка по современным меркам, на которой сберовцы обкатывали свои научные наработки аж в далёком 2021м году. Подробнее о ней можно почитать в статье “A family of pretrained transformer language models for Russian” на Google Scholar. Да, она foundation, то есть умеет только продолжать текст, не может выполнять инструкции или работать в режиме чата. Но обучена она на корпусе русского языка и этот самый русский генерит очень бодро. У неё есть две примечательные особенности: её обучали с нуля, архитектура представляет собой глубокую модификацию GPT-2.
https://habr.com/ru/articles/1016148/
#rugpt3 #реставрация #нейросеть #gguf #safetensors #python #ollama #huggingface #модель #llm
-
Реставрация ruGPT-3 XL или как я вернул к жизни забытую русскую языковую модель
Несколько дней к ряду я занимался реставрацией легаси модели ai-forever/rugpt3xl , это классическая языковая модель от SberDevices на 1.3B параметров, крошка по современным меркам, на которой сберовцы обкатывали свои научные наработки аж в далёком 2021м году. Подробнее о ней можно почитать в статье “A family of pretrained transformer language models for Russian” на Google Scholar. Да, она foundation, то есть умеет только продолжать текст, не может выполнять инструкции или работать в режиме чата. Но обучена она на корпусе русского языка и этот самый русский генерит очень бодро. У неё есть две примечательные особенности: её обучали с нуля, архитектура представляет собой глубокую модификацию GPT-2.
https://habr.com/ru/articles/1016148/
#rugpt3 #реставрация #нейросеть #gguf #safetensors #python #ollama #huggingface #модель #llm
-
#RuGPT3
RuGPT3: Русская модель ruGPT-3 XL
Модель ruGPT-3 XL содержит 1,3 млрд параметров и умеет продолжать тексты на русском и немного на английском языках, программный код. Для этого пользователю необходимо сформулировать «затравку» — фразу, которую модель допишет. Так, для модели ruGRPT/RU2XL вызов функции «Новый текст» выглядит как :
ruGRPC — это open source операционная система, разработанная в компании IBM (США), входящая в кластер кластера XUL (смотри здесь).
Основное ядро системы находится на серверах IBM (смотрите здесь), а программное обеспечение реализовано в серверных ОС Linux, на базе HTML-сервера Mozilla Firefox от компании Mozillijа. Операционная система Linux версии 3.2, с плагином СУБД, одним из самых популярных проектов.
Программное обеспечение ruGPS выполнено на языке программирования Python и обладает расширенной поддержкой GPS. Ресурс содержит общий обзор и пошаговые инструкции по подключению к сервису, основные режимы работы сервиса, точки маршрута, программы для навигации, программы голосового управления, список ошибок и jar-архивы
Кроме этого на сервисе возможен просмотр и загрузка маршрутов, смена контрольных точек и расчет времени в пути, просмотр «карты» общего и нескольких навигационных карт, «доски объявлений» (Reader), «книги отзывов и предложений» (PilotBox). Для этого можно воспользоваться специальным модулем google maps и режимом «недоступный для людей» в Web-интерфейсе.
RUGPTS — это результат сотрудничества специалистов разных областей из IBM и Google в рамках проекта Google Nexus.org. Разработчики сервиса - группа специалистов из IBM, которые работали с самой популярной в мире, и старейшей системой навигации - автомобилем Google - и инженеры Google.
p.s. может быть стоить реализовать на этой основе сервис городского ориентирования для всех жителей и гостей города, а не только для тех у кого есть автомобиль, а для автомобилистов в частности. -
нейросеть #RuGPT3 это агент кремля
@[email protected] @[email protected] #ru