#mxfp4 — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #mxfp4, aggregated by home.social.
-
Локальный запуск openai/gpt-oss-20b MXFP4 GGUF на ноутбуке без дискретной видеокарты: практический тест на 32 GB RAM
Запустил openai/gpt-oss-20b в варианте MXFP4 GGUF на обычном ноутбуке без дискретной видеокарты: только CPU, встроенная Radeon 780M и общая оперативная память. Тест проводился на ASUS Vivobook S 16 M3607HA : Ryzen 7 260, Radeon 780M, 32 GB DDR5 5600, Windows 11 и LM Studio 0.4.16-1 x64. Модель ноутбука указываю не ради привязки статьи к конкретному устройству, а для воспроизводимости. В таких тестах важны не только CPU и RAM, но и охлаждение, лимиты питания и shared memory у встроенной графики. Главный вопрос был практический: можно ли реально пользоваться локальной 20B-моделью на ноутбуке с 32 GB RAM, если отдельной видеокарты нет? Сразу оговорюсь это не научный benchmark, а пользовательский case study на конкретном железе. Проверял скорость, расход RAM/CPU/GPU, поведение при разных лимитах контекста и качество ответов на технических prompt сценариях. 20B-модель, 32 GB RAM и встроенная графика
https://habr.com/ru/articles/1044950/
#локальные_LLM #openai_gptoss20b #GGUF #MXFP4 #LM_Studio #Radeon_780M #Ryzen #ноутбук_без_дискретной_видеокарты #Windows_11 #benchmark
-
Локальный запуск openai/gpt-oss-20b MXFP4 GGUF на ноутбуке без дискретной видеокарты: практический тест на 32 GB RAM
Запустил openai/gpt-oss-20b в варианте MXFP4 GGUF на обычном ноутбуке без дискретной видеокарты: только CPU, встроенная Radeon 780M и общая оперативная память. Тест проводился на ASUS Vivobook S 16 M3607HA : Ryzen 7 260, Radeon 780M, 32 GB DDR5 5600, Windows 11 и LM Studio 0.4.16-1 x64. Модель ноутбука указываю не ради привязки статьи к конкретному устройству, а для воспроизводимости. В таких тестах важны не только CPU и RAM, но и охлаждение, лимиты питания и shared memory у встроенной графики. Главный вопрос был практический: можно ли реально пользоваться локальной 20B-моделью на ноутбуке с 32 GB RAM, если отдельной видеокарты нет? Сразу оговорюсь это не научный benchmark, а пользовательский case study на конкретном железе. Проверял скорость, расход RAM/CPU/GPU, поведение при разных лимитах контекста и качество ответов на технических prompt сценариях. 20B-модель, 32 GB RAM и встроенная графика
https://habr.com/ru/articles/1044950/
#локальные_LLM #openai_gptoss20b #GGUF #MXFP4 #LM_Studio #Radeon_780M #Ryzen #ноутбук_без_дискретной_видеокарты #Windows_11 #benchmark
-
Локальный запуск openai/gpt-oss-20b MXFP4 GGUF на ноутбуке без дискретной видеокарты: практический тест на 32 GB RAM
Запустил openai/gpt-oss-20b в варианте MXFP4 GGUF на обычном ноутбуке без дискретной видеокарты: только CPU, встроенная Radeon 780M и общая оперативная память. Тест проводился на ASUS Vivobook S 16 M3607HA : Ryzen 7 260, Radeon 780M, 32 GB DDR5 5600, Windows 11 и LM Studio 0.4.16-1 x64. Модель ноутбука указываю не ради привязки статьи к конкретному устройству, а для воспроизводимости. В таких тестах важны не только CPU и RAM, но и охлаждение, лимиты питания и shared memory у встроенной графики. Главный вопрос был практический: можно ли реально пользоваться локальной 20B-моделью на ноутбуке с 32 GB RAM, если отдельной видеокарты нет? Сразу оговорюсь это не научный benchmark, а пользовательский case study на конкретном железе. Проверял скорость, расход RAM/CPU/GPU, поведение при разных лимитах контекста и качество ответов на технических prompt сценариях. 20B-модель, 32 GB RAM и встроенная графика
https://habr.com/ru/articles/1044950/
#локальные_LLM #openai_gptoss20b #GGUF #MXFP4 #LM_Studio #Radeon_780M #Ryzen #ноутбук_без_дискретной_видеокарты #Windows_11 #benchmark
-
RT @dealignai: TRANSLASION: Qwen3.6-27b und 35b MXFP4 MXFP8 CRACK ist jetzt mit MTP verfügbar. Genieße unzensierte Geschwindigkeit!
mehr auf Arint.info
-
RT @dealignai: TRANSLASION: Qwen3.6-27b und 35b MXFP4 MXFP8 CRACK ist jetzt mit MTP verfügbar. Genieße unzensierte Geschwindigkeit!
mehr auf Arint.info
-
RT @dealignai: TRANSLASION: Qwen3.6-27b und 35b MXFP4 MXFP8 CRACK ist jetzt mit MTP verfügbar. Genieße unzensierte Geschwindigkeit!
mehr auf Arint.info
-
RT @dealignai: TRANSLASION: Qwen3.6-27b und 35b MXFP4 MXFP8 CRACK ist jetzt mit MTP verfügbar. Genieße unzensierte Geschwindigkeit!
mehr auf Arint.info
-
RT @dealignai: TRANSLASION: Qwen3.6-27b und 35b MXFP4 MXFP8 CRACK ist jetzt mit MTP verfügbar. Genieße unzensierte Geschwindigkeit!
mehr auf Arint.info
-
So sánh quantization MXFP4 vs Q4_K_M/XL trên mô hình GLM-4.7-Flash:
📉 Kết quả bất ngờ: MXFP4 có chỉ số Perplexity (PPL) thấp hơn (~10.72) so với Q4_K_XL (~15.73), dù kích thước file nhỏ hơn (15.79 GiB so với 16.31 GiB).
🚀 Tốc độ: MXFP4 cho tốc độ xử lý nhanh hơn và tiết kiệm VRAM hơn.
🤔 Câu hỏi đặt ra: Liệu PPL thấp hơn có đồng nghĩa với việc cải thiện khả năng gọi công cụ (tool-calling) và lập trình?#LLM #AI #Quantization #MXFP4 #MachineLearning #CongNghe #LocalLLM
-
Một bài đăng ca ngợi mô hình AI Felladrin/gguf-MXFP4-gpt-oss-20b-Derestricted! Phiên bản "derestricted" của gpt-oss-20B này hoạt động cực kỳ hiệu quả với định dạng MXFP4. Nó có khả năng phân tích mã nguồn và làm "agent" rất tốt, thậm chí còn vượt trội hơn GPT-4o trong một số bài kiểm tra suy luận. Một "viên ngọc ẩn" trong thế giới AI!
#AI #LLM #GPT #OpenSource #MXFP4 #MachineLearning #TríTuệNhânTạo #MôHìnhNgônNgữLớn #MãNguồnMở #HọcMáy
-
"Khám phá mô hình MXFP4 Hybrid Dense mới: Tốc độ nhanh hơn, kích thước nhỏ hơn và độ chính xác gần như không mất mát. Các mô hình này được tối ưu hóa để giảm thiểu tổn thất độ chính xác và tăng tốc độ xử lý. #MXFP4 #HybridDense #AI #MachineLearning #TốcĐộ #ĐộChínhXác #MôHìnhTríTuệ #TríTuệNhânTạo"
https://www.reddit.com/r/LocalLLaMA/comments/1ozh8py/mxfp4_hybrid_dense_models_ready_to_share_near/
-
GPU mới như Blackwell có重要 khi tinh chỉnh mô hình với MXFP4 không? #GPU #MXFP4 #MachineLearning #MáyHọc #TinhChỉnhMôHình #Blackwell
-
"Câu hỏi bất kỳ model nào khác ngoài GPT-oss dùng MXFP4 chưa? MXFP4 thường tốt: giảm chi phí, người dùng GPU yếu vẫn chạy 20B nhanh trên 5060 Ti. Còn Qwen cần quant 30B-A3B Priti. Có 3 câu hỏi: model nào dùng MXFP4? Hạn chế do phần hard, pipeline haybird? Có thách thức nào? #MXFP4 #AI #TựhoáAicáchmôn #GPU"
https://www.reddit.com/r/LocalLLaMA/comments/1omz613/is_any_model_other_than_gptoss_training_with/
-
Bài viết bạn cần mô tả thông tin về-search reciprack pretraining NVFP4/MXFP4 trên GPU Blackwell. Có từ ectopic hơn một người hỏi về công thức hoàn chỉnh, trong khi tài liệu chính thức và blog hiện tại thiếu chi tiết. Tags: #AI #NVIDIA #MXFP4 #NVFP4 #BlackwellGPU #Pretraining #MachineLearning #Tech
https://www.reddit.com/r/LocalLLaMA/comments/1odhz2s/looking_for_a_working_nvfp4mxfp4_pretraining/
-
Dàn tensor với MoE, MXFP4 4 bits posibilität! 🌟 Noctrex chia sẻ mô hình-immun số chuẩn hóa trên HuggingFace – rất hiệu quả trong tiếtelay. Th suivants: https://huggingface.co/noctrex (hãy thử!).
#AI #MachineLearning #Quantization #MXFP4 #MoEModel #TinhHoaAI #MôHìnhTr ś/QuyDinh #PhépTinhTómTắthttps://www.reddit.com/r/LocalLLaMA/comments/1oav3r1/quantized_some_moe_models_with_mxfp4/