#война_и_мир — Public Fediverse posts

Как я уместил «Войну и мир» в 10 ГБ видеопамяти, или почему нейросеть убивает героев и выдумывает Пьера Бездаровского

Что делать, если по литературе задали два тома "Войны и мира", а времени (или желания) читать нет? Конечно, запрячь нейросеть! Но как быть, если в твоем распоряжении всего 10 ГБ видеопамяти, а модель упорно пытается "убить" выживших героев и переименовывает Пьера Безухова в Бездаровского? В этой статье я поделюсь опытом запуска Saiga Llama 3 8B на домашнем железе, расскажу, как бороться с галлюцинациями через промпт-инжиниринг, и почему 7500 символов текста Толстого иногда весят столько же, сколько одна строчка жесткого правила в системном промпте. Внутри - анализ вероятностей токенов, лог работы модели и готовый код для суммаризации длинных текстов. Узнать, как я спас Николая Ростова от LLM

https://habr.com/ru/articles/1018136/

#llm #llama_3 #нейросети #машинное_обучение #промптинжиниринг #nlp #генерация_текста #python #война_и_мир #квантование

"Отечество есть у генерала, у помещика, у купца, у фабриканта, у всех тех, кто носит в кармане туго набитый кошелёк. Им, богачам, толстосумам, «отечество» даёт права и привилегии, о них заботится государственная власть.

Но что даёт «родина» рабочему русскому ли, немцу ли, французу?"

(Александра Коллонтай, "Кому нужна война?", 1916 г.)

Сегодня исполняется 154 года со дня рождения автора этих строк.

#штурмующие_небо #война_и_мир #бунтующий_разум