#unsloth — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #unsloth, aggregated by home.social.
-
RT @UnslothAI: Wir stellen Unsloth für AMD vor 🚀 Sie können jetzt LLMs auf Ihrer AMD-Hardware trainieren und ausführen • Wir haben mit AMD zusammengearbeitet, um Ihnen das Training und die Ausführung von über 500 Modellen auf AMD-GPUs zu ermöglichen • Funktioniert unter Windows, WSL, Linux • Trainieren Sie Qwen, Gemma auf 3GB VRAM GitHub: https://github.com/unslothai/unsloth Funktioniert auf Radeon, Instinct, Ryzen und Data-Center-GPUs mit bis zu 2× schnellerer Leistung bei 70% weniger VRAM und ohne Genauigkeitsverlust dank unserer benutzerdefinierten Triton-Kernel und mathematischen Algorithmen. Wir unterstützen auch optimierte ROCm-Builds für GGUF & Safetensors-Inference. Unsloth ist eine Open-Source-Lokalschnittstelle für schnelleres LLM-Training und Inference, mit Tool-Call-Healing, Code-Ausführung, sicherer Websuche, Remote-APIs und HTTPS-Bereitstellung. Verbinden Sie lokale Modelle mit Claude Code, Codex-Agenten und führen Sie die neuesten Kimi-, GLM-, DeepSeek-, Qwen3.6- und Gemma-4-Modelle aus. 🔗Blog + Anleitung: https://unsloth.ai/docs/basics/amd
mehr auf Arint.info
#AI #AMD #LLM #MachineLearning #OpenSource #Unsloth #arint_info
-
RT @UnslothAI: Wir stellen Unsloth für AMD vor 🚀 Sie können jetzt LLMs auf Ihrer AMD-Hardware trainieren und ausführen • Wir haben mit AMD zusammengearbeitet, um Ihnen das Training und die Ausführung von über 500 Modellen auf AMD-GPUs zu ermöglichen • Funktioniert unter Windows, WSL, Linux • Trainieren Sie Qwen, Gemma auf 3GB VRAM GitHub: https://github.com/unslothai/unsloth Funktioniert auf Radeon, Instinct, Ryzen und Data-Center-GPUs mit bis zu 2× schnellerer Leistung bei 70% weniger VRAM und ohne Genauigkeitsverlust dank unserer benutzerdefinierten Triton-Kernel und mathematischen Algorithmen. Wir unterstützen auch optimierte ROCm-Builds für GGUF & Safetensors-Inference. Unsloth ist eine Open-Source-Lokalschnittstelle für schnelleres LLM-Training und Inference, mit Tool-Call-Healing, Code-Ausführung, sicherer Websuche, Remote-APIs und HTTPS-Bereitstellung. Verbinden Sie lokale Modelle mit Claude Code, Codex-Agenten und führen Sie die neuesten Kimi-, GLM-, DeepSeek-, Qwen3.6- und Gemma-4-Modelle aus. 🔗Blog + Anleitung: https://unsloth.ai/docs/basics/amd
mehr auf Arint.info
#AI #AMD #LLM #MachineLearning #OpenSource #Unsloth #arint_info
-
RT @UnslothAI: We’re releasing Gemma 4 NVFP4 quants that run 1.5× faster on your GPU. Gemma-4-12B NVFP4 works on 11GB VRAM. 26B-A4B hits 13K tok/s (B200). Unsloth NVFP4 enables faster, more accurate 4-bit Blackwell inference. Blog: https://unsloth.ai/docs/basics/nvfp4 Gemma NVFP4: https://huggingface.co/collections/unsloth/nvfp4
mehr auf Arint.info
-
RT @UnslothAI: We’re releasing new Qwen3.6 quants that run 2.5× faster on your GPU. Qwen3.6-27B NVFP4 runs on 24GB VRAM. 35B-A3B can hit 17,561 tok/s (B200). We also improved accuracy, tool calling, agent use, and looping. Guide: https://unsloth.ai/docs/models/qwen3.6#nvfp4 Qwen3.6 NVFP4: https://huggingface.co/collections/unsloth/nvfp4
mehr auf Arint.info
#agent #huggingface #Qwen36 #qwen36 #Qwen3627 #unsloth #arint_info
-
RT @UnslothAI: We’re releasing new Qwen3.6 quants that run 2.5× faster on your GPU. Qwen3.6-27B NVFP4 runs on 24GB VRAM. 35B-A3B can hit 17,561 tok/s (B200). We also improved accuracy, tool calling, agent use, and looping. Guide: https://unsloth.ai/docs/models/qwen3.6#nvfp4 Qwen3.6 NVFP4: https://huggingface.co/collections/unsloth/nvfp4
mehr auf Arint.info
#agent #huggingface #Qwen36 #qwen36 #Qwen3627 #unsloth #arint_info
-
Как я обучил русский RAG‑сплиттер, который режет документы по индексам, а не по тексту
TL;DR. Из интереса обучил собственный русский RAG‑сплиттер — захотелось проверить, можно ли сделать context‑aware‑нарезку русских документов лучше готовых чанкеров. Я взял идею датской context-aware-splitter , пересобрал её под русский на базе T-lite-it-2.1 и изменил главное: модель возвращает индексы границ, а не переписанный текст. Хост потом режет оригинал по этим индексам. У index‑output оказалось три практических плюса:
https://habr.com/ru/articles/1055628/
#rag #чанкинг #дистилляция #lora #unsloth #токенизация #llamacpp #gguf #vulkan #amd
-
Same week, small update: Run LLMs Locally
Multi-Token-Prediction (MTP) for Gemma-4-E4B and Gemma-4-26B from Unsloth. After 50% from QAT, this brings another 25-90% improvement in token generation speed.
The OpenCode config slide received a small update to reduce prompt sizes with "rtk" and "opencode-tool-search", reducing default prompt size by 60 percent.
Also added logging all prompts to the parameter list.https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
