#prompt_tuning — Public Fediverse posts

Как спроектировать системный промпт, невосприимчивый к prompt injection

При разработке с использованием LLM, мы вынуждены передавать часть пользовательского ввода в промпт. Проблема в том, что эти пользователи могут быть настроены агрессивно по отношению к нашей системе. Это создаёт серьёзную уязвимость — вектор атаки под названием prompt injection.

https://habr.com/ru/articles/963260/

#prompt_injection #promptengineering #prompt #prompt_tuning #llmattack

Parameter-Efficient Fine-Tuning (PEFT): методы LoRA, Prefix tuning, Prompt tuning и Adapters

На сегодняшний день созданы разные большие языковые модели (LLM), которые показывают превосходные результаты, но для раскрытия их полного потенциала необходимо дообучение для точного решения конкретных задач. Традиционный метод файнтюнинга, при котором настраиваются все параметры предварительно обученной модели, становится непрактичным и вычислительно дорогостоящим при работе с современными моделями LLM. PEFT(Parameter-Efficient Fine-Tuning) представляет собой эффективный подход, позволяющий не терять производительность при тонкой настройке модели, снижая при этом требования к памяти и вычислительным мощностям. В этой статье мы рассмотрим общую концепцию PEFT, его преимущества и основные методы.

https://habr.com/ru/articles/791966/

#llm #finetuning #nlp #prompt_tuning #prefix_tuning #adapters #lora #peft