#disk_sparse_adam — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #disk_sparse_adam, aggregated by home.social.
-
Побеждаем OOM в PyTorch: как обучать гигантские графы на обычной видеокарте
При обучении графных нейросетей и гигантских эмбеддингов на миллионы узлов стандартный torch.optim.SparseAdam в PyTorch моментально забивает RAM и VRAM, вызывая ошибку CUDA out of memory (OOM). В этой статье разбираем, как устроена легковесная Open Source библиотека Disk Sparse Adam (DSA), которая выносит состояния моментов на диск через memory mapping (mmap) и позволяет обучать огромные спарс-модели на обычной домашней видеокарте.
https://habr.com/ru/articles/1068202/
#PyTorch #Machine_Learning #Open_Source #Python #GNN #OOM #SparseAdam #Оптимизация_памяти #Disk_Sparse_Adam #Глубокое_обучение