home.social

#aioptimisation — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #aioptimisation, aggregated by home.social.

  1. 🚀 Creator của Pinokio (cocktailpeanut) công bố phân tích sâu về cách HeartMuLa Studio tối ưu VRAM. Kết quả: >20 GB → full precision, không swap (~14 GB); 14‑20 GB → 4‑bit, không swap; 10‑14 GB → 4‑bit + swap; 8‑10 GB → 4‑bit + swap (cảnh báo) – thẻ 8 GB hoạt động nhưng tăng ~70 s thời gian do swap. Hệ thống tự động chọn chế độ theo VRAM. #VRAM #Pinokio #AI #MachineLearning #TốiƯuHóa #AIoptimisation

    reddit.com/r/LocalLLaMA/commen