#minillm — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #minillm, aggregated by home.social.
-
Mini-LLM: Mô hình ngôn ngữ transformer hiện đại với **RoPE, RMSNorm, SwiGLU, Grouped Query Attention** và **SentencePiece BPE** - hoàn toàn tự xây dựng! Đào tạo 80 triệu tham số trên 361 triệu token, đạt tốc độ 200-500 tok/sec. Lý tưởng cho sinh viên muốn học kiến trúc LLM mà không cần xử lý mã tối ưu 1 tỷ tham số. #LLM #AI #MachineLearning #MiniLLM #KhoaHocDuLieu #MachineLearningVietNam