#hypernetwork — Public Fediverse posts

Text-to-LoRA: мгновенная адаптация трансформеров

Исследователи Sakana AI разработали Text-to-LoRA (T2L) , гиперсеть, которая динамически генерирует веса Low-Rank Adaptation (LoRA) для больших языковых моделей на основе описаний целевых задач на естественном языке. Этот метод обеспечивает эффективную адаптацию без предварительной настройки (zero-shot), превосходя установленные базовые показатели и достигая производительности, сравнимой с тонко настроенными адаптерами на ранее не встречавшихся задачах.

https://habr.com/ru/articles/925404/

#ai #ml #llm #lora #sakana #TextToLoRA #Hypernetwork #finetuning

Text-to-LoRA: Hypernetwork that generates task-specific LLM adapters (LoRAs)

https://github.com/SakanaAI/text-to-lora

#HackerNews #TextToLoRA #Hypernetwork #LLMAdapters #AIResearch #SakanaAI