#hypernetwork — Public Fediverse posts

Text-to-LoRA: мгновенная адаптация трансформеров

Исследователи Sakana AI разработали Text-to-LoRA (T2L) , гиперсеть, которая динамически генерирует веса Low-Rank Adaptation (LoRA) для больших языковых моделей на основе описаний целевых задач на естественном языке. Этот метод обеспечивает эффективную адаптацию без предварительной настройки (zero-shot), превосходя установленные базовые показатели и достигая производительности, сравнимой с тонко настроенными адаптерами на ранее не встречавшихся задачах.

https://habr.com/ru/articles/925404/

#ai #ml #llm #lora #sakana #TextToLoRA #Hypernetwork #finetuning

Text-to-LoRA: Hypernetwork that generates task-specific LLM adapters (LoRAs)

https://github.com/SakanaAI/text-to-lora

#HackerNews #TextToLoRA #Hypernetwork #LLMAdapters #AIResearch #SakanaAI

Increasingly thinking that once I finish my current training project, maybe I should train #StableDiffusion... either a #hypernetwork or #Dreambooth... to specifically generate #NAFO fellas. ;)

Testing two patches to #AUTOMATIC1111 #StableDiffusion for #Hypernetwork training - one to display multiple seeds at once during training, the other for automatic learning rate control. I'm trying a really difficult training task with ~1,5k images that needs high fidelity, so this would be better done with #Dreambooth, but I can't get it to work on my RTX 3060. :Þ
So I'm using a big hypernetwork. 50k steps in and there's still a long way to go.

#MachineLearning #NeuralNetworks #AiArt