#gguf — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #gguf, aggregated by home.social.
-
Now that Qwen 3.8 27B released, you may want to know how to create (good) skills for your model:
https://medium.com/p/c8c735847494
#AI #ArtificialIntelligence #Laravel #PHP #Programming #Coding #Code #SoftwareDevelopment #WebDevelopment #WebDev #VibeCoding #VibeCode #Qwen #Qwen38 #LLM #HuggingFace #GGUF #Ollama #LlamaCCP #LMStudio
-
Now that Qwen 3.8 27B released, you may want to know how to create (good) skills for your model:
https://medium.com/p/c8c735847494
#AI #ArtificialIntelligence #Laravel #PHP #Programming #Coding #Code #SoftwareDevelopment #WebDevelopment #WebDev #VibeCoding #VibeCode #Qwen #Qwen38 #LLM #HuggingFace #GGUF #Ollama #LlamaCCP #LMStudio
-
Всё, что вы хотели знать о локальном ИИ, но стеснялись спросить
Если вы когда-нибудь смотрели на HF и не понимали, что такое DFlash, квантизация и почему одна и та же модель лежит в десяти репозиториях от десяти разных людей — или давно собирались поднять LLM у себя, но всё не находили повода — выход Muse Glimmer 30B буквально лучший момент начать. Буквально со своего MacBook Air. Ага, да вот уже сейчас прямо. Погрузиться в мир локальных моделей
https://habr.com/ru/articles/1069422/
#llm #локальные_модели #квантизация #llamacpp #apple_silicon #gguf #инференс #moe #meta
-
RT @UnslothAI: DeepSeek-V4-Flash kann jetzt mit DSpark 2× schneller lokal ausgeführt werden! ⚡️ DSpark ermöglicht es V4-Flash-0731 GGUFs, ~1,4–2× schneller zu generieren, ohne Genauigkeitsverlust. DeepSeek-V4-Flash-0731 erreicht bis zu 120 Token/s. GGUFs: https://huggingface.co/unsloth/DeepSeek-V4-Flash-0731-GGUF Anleitung: https://unsloth.ai/docs/models/deepseek-v4
mehr auf Arint.info
#AI #DeepSeek #GGUF #MachineLearning #OpenSource #Unsloth #arint_info
-
RT @UnslothAI: DeepSeek-V4-Flash kann jetzt mit DSpark 2× schneller lokal ausgeführt werden! ⚡️ DSpark ermöglicht es V4-Flash-0731 GGUFs, ~1,4–2× schneller zu generieren, ohne Genauigkeitsverlust. DeepSeek-V4-Flash-0731 erreicht bis zu 120 Token/s. GGUFs: https://huggingface.co/unsloth/DeepSeek-V4-Flash-0731-GGUF Anleitung: https://unsloth.ai/docs/models/deepseek-v4
mehr auf Arint.info
#AI #DeepSeek #GGUF #MachineLearning #OpenSource #Unsloth #arint_info
-
RT @lukepm: I wanted a practical way for my 5-person team to run DeepSeek V4 Flash 0731 with Hermes Agent on 2x RTX PRO 6000 Blackwell GPUs. So I ran 80 fresh tests across llama.cpp, DSpark, and custom vLLM with and without CPU KV offload. Two GPUs work, but KV is the catch. 👇 THE BENCHMARK I cared about team use, not one flashy speed number. Seven people can hit the server at the same time. Hermes Agent can also create long, tool-heavy conversations. So I tested both speed and concurrency. Hardware: 2x NVIDIA RTX PRO 6000 Blackwell 96GB over PCIe. No NVLink. Prompts were exactly 2K, 32K, 64K, and 100K tokens. Concurrency was 1, 4, 8, 16, and 32. I used a fixed 13-record Spec-Bench subset. Each request generated 128 tokens with greedy streaming. GPU prompt caching was off. For CPU offload, unique early prompt blocks kept external cache reuse at 0%. All speeds are tokens per second. Prefill and effective aggregate decode are shown separately. 1. LLAMA.CPP WITHOUT DSPARK Target: DeepSeek V4 Flash 0731 UD-Q8_K_XL GGUF by Unsloth. KV cache: F16. Slots: 32, with up to 128K context per slot. This used llama.cpp layer split. Complete model layers were divided between the GPUs. The tensor-parallel-like row split mode does not support DeepSeek V4 Flash 0731 yet. The command still uses --tensor-split 1,1. In layer-split mode, that only sets the GPU allocation ratio. It does not enable tensor parallelism. Concurrency order: C1 → C4 → C8 → C16 → C32 2K context Prefill: 2,379 → 1,939 → 1,803 → 1,623 → 461 Decode: 48 → 106 → 104 → 100 → 104 32K context Prefill: 1,004 → 1,022 → 1,056 → 1,117 → 1,326…
mehr auf Arint.info
#agent #Agent #AGENT #cell #Commons #DeepSeek #GGUF #llama #LLAMA #Paris #Together #together #Unsloth #VLLM #vllm #vLLM #Wikimedia #arint_info
-
Как я ужал русский эмбеддер до 24 млн параметров — и чуть не испортил его одной цифрой
TL;DR. У меня локальный RAG на AMD Strix Halo. Памяти там достаточно, но вычислительно всё упирается в один iGPU: его делят эмбеддер, реранкер и периодическая переиндексация, а в одноузловой конфигурации туда же встаёт генеративная LLM. Поэтому мне понадобился не самый точный retriever вообще, а максимально лёгкий русский retriever, который быстрее завершает первую стадию поиска на том же GPU. Насколько это больно, я в итоге померил на живом узле. На синтетической индексирующей нагрузке полной тяги bge‑m3 снизил generation throughput Qwen3.6-35B-A3B на 92%, STRIZH на 28% при примерно 12,6-кратном темпе индексации (окна замера там неравные, 20,6 против 173,6 секунды, потому что задаются временем пяти генераций; равнооконный прогон RAG‑конвейера ниже даёт по батчам в секунду 9,4-кратный отрыв). В полном RAG‑конвейере с четырьмя пользовательскими потоками и фоновой индексацией STRIZH удержал 14,0 транзакции в минуту против 6,0 у bge‑m3 и индексировал 46 батчей в секунду против 4,9. При фиксированных 200 онлайн‑запросах в секунду генерация проседала на 2% со STRIZH и на 7% с bge‑m3. Оговорка сразу: без фоновой индексации STRIZH преимущества не показал : в этом профиле bge‑m3 оказался немного быстрее, а пропускную способность определяли реранк (0,6–0,7 с на транзакцию), prefill и генерация. Я взял 12-слойный RuModernBERT-small , сначала неудачно попытался повторить пространство большого учителя через MSE, затем обучил retrieval‑донор на контрастивной задаче, выбрал из него четыре слоя [0, 5, 9, 11] и доучил student на русских, английских и смешанных парах с hard negatives от BGE‑M3.
https://habr.com/ru/articles/1064138/
#эмбеддинги #RAG #retrieval #энкодеры #RuModernBERT #STRIZH #llamacpp #GGUF #Vulkan #Strix_Halo
-
Как мы запустили Ornith‑35B на ноутбуке с 8 ГБ VRAM и разогнали её до 99 ток/с на AMD Strix Halo
Ornith‑1.0‑35B обошла Qwen3.5‑397B в Terminal‑Bench, а на нашем локальном срезе хорошо показала себя в агентном кодинге. Мы решили проверить, насколько быстрее она сможет работать на AMD Strix Halo с пропускной способностью памяти до 256 ГБ/с. В статье — результаты экспериментов с Vulkan, MTP, селективной квантизацией и n‑gram reuse: что не дало прироста, как удалось получить 99 ток/с без потери качества и каким способом 35B‑модель запустилась на Windows‑ноутбуке с 8 ГБ VRAM.
https://habr.com/ru/articles/1060632/
#llamacpp #Vulkan #AMD_Strix_Halo #Ornith #MoE #MTP #speculative_decoding #GGUF #LM_Studio #локальные_LLM
-
RT @TencentHunyuan: Wir haben gerade die 1-Bit- und 4-Bit-Version von Hy3 veröffentlicht, ein Flaggschiff-Modell mit 295B Parametern, das auf einer einzelnen GPU betrieben werden kann. 👌 Führe Hy3 mit llama.cpp aus, aktiviere MTP und erlebe leistungsstarke Intelligenz auf deutlich weniger Hardware. 🚀🚀🚀 Ich kann es kaum erwarten zu sehen, was ihr damit bauen werdet. #Hy3 #Hy #GGUF #llamacpp Tencent Hy (@TencentHunyuan) 🚀Hy3 ist da. 295B MoE. Best-in-Class in seiner Größenklasse. Konkurrent zu Trillionen-Parameter-Flaggschiffen. Zuverlässig und erschwinglich für die meisten agentic-Anwendungsfälle. Apache 2.0. Kompatibel für kommerzielle Nutzung. KOSTENLOSE API für 2 Wochen → openrouter.ai/tencent/hy3:fr… 🤗 huggingface.co/tencent/Hy3 📖 hy.tencent.com/research/hy3 — https://nitter.net/TencentHunyuan/status/2074148098876768478#m
mehr auf Arint.info
#AI #GGUF #Hy3 #llamacpp #MachineLearning #TencentHy #arint_info
-
RT @TencentHunyuan: We’ve just released the 1-bit & 4-bit version of Hy3, a flagship-scale 295B model that can be served on a single GPU. 👌 Run Hy3 with llama.cpp, enable MTP, and experience powerful intelligence on dramatically lower hardware.🚀🚀🚀 Can’t wait to see what you build. #Hy3 #Hy #GGUF #llamacpp Tencent Hy (@TencentHunyuan) 🚀Hy3 is here. 295B MoE. Best in its size class. Rivals trillion-scale flagships. Reliable and affordable for most agentic usecases. Apache 2.0. Friendly for commercial use. FREE API for 2 weeks → openrouter.ai/tencent/hy3:fr… 🤗 huggingface.co/tencent/Hy3 📖 hy.tencent.com/research/hy3 — https://nitter.net/TencentHunyuan/status/2074148098876768478#m
mehr auf Arint.info
#Apache #API #GGUF #huggingface #llama #nitter #openrouter #scale #arint_info
-
Маленькая модель на 0.6B держит квантование лучше, чем «крупная» на 1B: измерил деградацию function-calling на 4 ГБ VRAM
Как квантование ломает function-calling у LLM? Написал бенчмарк QuantCall, протестировав модели на 4 ГБ VRAM. Главный инсайт: устойчивость к квантам зависит не от размера, а от семейства. Меньшая Qwen3-0.6B стабильно генерирует валидный JSON даже на Q4, а более крупная Llama-3.2-1B деградирует уже на Q8, путая типы данных. Также GBNF-грамматики не спасают от ошибок, но заметно замедляют инференс.
https://habr.com/ru/articles/1056656/
#квантование #functioncalling #Qwen3 #Llama32 #BFCL #QuantCall #JSONсхема #GBNF #GGUF #деградация_модели
-
Как я обучил русский RAG‑сплиттер, который режет документы по индексам, а не по тексту
TL;DR. Из интереса обучил собственный русский RAG‑сплиттер — захотелось проверить, можно ли сделать context‑aware‑нарезку русских документов лучше готовых чанкеров. Я взял идею датской context-aware-splitter , пересобрал её под русский на базе T-lite-it-2.1 и изменил главное: модель возвращает индексы границ, а не переписанный текст. Хост потом режет оригинал по этим индексам. У index‑output оказалось три практических плюса:
https://habr.com/ru/articles/1055628/
#rag #чанкинг #дистилляция #lora #unsloth #токенизация #llamacpp #gguf #vulkan #amd
-
yzma v1.18 is out, with the freshest of llama.cpp multimedia features including video input, batching, & more.
Go get it while it's hot!
-
RT @bnjmn_marie: Gemma 4 12B ist schwer zu quantisieren. Ich konnte kein GGUF unter 6,4 GB finden, das gut funktioniert. MoQ 4.25 ist immer noch ziemlich gut und spart im Vergleich zu UD Q4KXL 0,9 GB. Unterhalb dieses Wertes würde ich keines der anderen GGUFs empfehlen, die ich bewertet habe.
mehr auf Arint.info
#Gemma4 #GGUF #LLM #MoQ #Quantisierung #UDQ4_K_XL #arint_info
-
RT @KyleHessling1: BREAKING! Qwopus 3.6 27B is LIVE! Thank you for your patience on this one, but I believe you'll find the wait was worth it! We've benchmarked this thing up and down, verified that it holds at least a 75.25% (152/202) in the initial 202 SWE bench solves. Not a full run of 500, but it shows the agentic coding quality from the original 27B is retained while adding all of the additional Qwopus benefits across many domains. As always, Jackrong is absolutely cooking here! COT quality has improved significantly through the inversion techniques from our Negentropy proof of concept. It also went through thorough curriculum training. You can check out the MMLU pro benchmarks on the model card, but it improved a whopping 10 points over the base model in physics, as well as meaningful jumps in Chemistry, business, and computer science. However, the best part is that I was able to build an entire survival shooter game using this local model entirely. I genuinely was blown away by the results, which you can play right now on my HF space (link in comments below). "Qwopus Commander" was completed in 9 turns of Qwopus 3.6! To test the new long context training, I made it re-output the entire 3000+ line program each turn, and it would make fixes and add features that I requested in large prompts, while perfectly replicating the entire rest of the game from context. What's more is that I did it all at Q8 KV cache quantization, and never had an issue over the entire 303k token run! IMPORTANT: Run it at --temp 0.75 to 1. Mess with it in that range for your use case. Higher temp actually…
mehr auf Arint.info
#GGUF #huggingface #make #rest #science #SWE #Swe #arint_info
-
Behold, the riveting #exposé on #GGUF, the file format so revolutionary, it’s practically a single piece of digital art 🎨🤯. Witness as the author attempts to weave an epic tale out of a glorified zip file, while simultaneously acknowledging the sheer absence of anything remotely interesting. 🥱✨
https://nobodywho.ooo/posts/whats-in-a-gguf/ #digitalart #storytelling #technews #zips #HackerNews #ngated -
What's in a GGUF, besides the weights – and what's still missing?
