#mellum2 — Public Fediverse posts

New week, new slides and small updates: Run LLMs Locally

Added an example to create Mermaid diagrams in llama.cpp UI.
Added QAT (Quantization-Aware Training) variants of Gemma 4 which are 50 percent faster in token generation with my local setup.
Added definitions for Deterministic and Probabilistic results.

https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf

#ai #llm #llamacpp #wllama #stablediffusion #qwen3 #glm #localai #gemma4 #webgpu #opencode #mtp #webassembly #mellum2

New week, new slides and small updates: Run LLMs Locally

Added an example to create Mermaid diagrams in llama.cpp UI.
Added QAT (Quantization-Aware Training) variants of Gemma 4 which are 50 percent faster in token generation with my local setup.
Added definitions for Deterministic and Probabilistic results.

https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf

#ai #llm #llamacpp #wllama #stablediffusion #qwen3 #glm #localai #gemma4 #webgpu #opencode #mtp #webassembly #mellum2

أطلقت شركة JetBrains نموذج Mellum2 الجديد المكون من 12 مليار معلمة لتوليد الأكواد البرمجية بكفاءة عالية. يتميز هذا النموذج مفتوح المصدر بمعمارية "خليط الخبراء" التي تقلل استهلاك الموارد وتضمن سرعة الاستجابة. يدعم Mellum2 اللغات الطبيعية والبرمجية، مما يجعله مثالياً لإدارة مهام الذكاء الاصطناعي المعقدة وتطبيقات الوقت الفعلي. يوفر النموذج بديلاً اقتصادياً للشركات التي تبحث عن التخصص في هندسة البرمجيات مع الحفاظ على الخصوصية والأداء المتميز في بيئات العمل المتطورة والإنتاجية.

#JetBrains #Mellum2

New week, beautiful new slides: Run LLMs Locally

Now with Mellum2 from JetBrains!
A very fast coding model, requires only 10 GB RAM.

I also added LFM 2.5 from LiquidAI, updated translations with HY-MT2 from Tencent, added examples for wllama using re-ranking and structured output
and added thinking_budget_tokens to the curl examples.

https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf

#ai #llm #llamacpp #wllama #stablediffusion #qwen3 #glm #localai #gemma4 #webgpu #opencode #mtp #webassembly #jetbrains #mellum2

New week, beautiful new slides: Run LLMs Locally

Now with Mellum2 from JetBrains!
A very fast coding model, requires only 10 GB RAM.

I also added LFM 2.5 from LiquidAI, updated translations with HY-MT2 from Tencent, added examples for wllama using re-ranking and structured output
and added thinking_budget_tokens to the curl examples.

https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf

#ai #llm #llamacpp #wllama #stablediffusion #qwen3 #glm #localai #gemma4 #webgpu #opencode #mtp #webassembly #jetbrains #mellum2

RT @vllm_project: 🎉 Herzlichen Glückwunsch an @JetBrains zu Mellum2-12B-A2.5B-Thinking, einem Open-Source-Modell mit 12B Parametern (Mixture of Experts), das nur 2,5B Parameter aktiviert und sowohl natürliche Sprache als auch Code mit einem Kontextfenster von 128K verarbeitet. Mellum2 läuft ab Tag 0 nativ in vLLM, mit Reasoning-Parser und Tool-Calling für agentic Workflows. 🔗 recipes.vllm.ai/JetBrains/Me… JetBrains (@jetbrains) Mellum begann mit Code-Vervollständigung. Mellum2 wurde für mehr gebaut – zur Verarbeitung von natürlicher Sprache und Code. Ein Open-Source-LLM mit 12B Parametern für Routing, RAG und Sub-Agents, optimiert für ultra-niedrige Latenz bei der Inferenz. Jetzt verfügbar auf @huggingface. Mehr erfahren: jb.gg/zpb9dp Video — https://nitter.net/jetbrains/status/2061444430884675791#m

mehr auf Arint.info

#AI #JetBrains #MachineLearning #Mellum2 #OpenSourceLLM #vLLM #arint_info

https://x.com/vllm_project/status/2061621691995005301#m

RT @vllm_project: 🎉 Herzlichen Glückwunsch an @JetBrains zu Mellum2-12B-A2.5B-Thinking, einem Open-Source-Modell mit 12B Parametern (Mixture of Experts), das nur 2,5B Parameter aktiviert und sowohl natürliche Sprache als auch Code mit einem Kontextfenster von 128K verarbeitet. Mellum2 läuft ab Tag 0 nativ in vLLM, mit Reasoning-Parser und Tool-Calling für agentic Workflows. 🔗 recipes.vllm.ai/JetBrains/Me… JetBrains (@jetbrains) Mellum begann mit Code-Vervollständigung. Mellum2 wurde für mehr gebaut – zur Verarbeitung von natürlicher Sprache und Code. Ein Open-Source-LLM mit 12B Parametern für Routing, RAG und Sub-Agents, optimiert für ultra-niedrige Latenz bei der Inferenz. Jetzt verfügbar auf @huggingface. Mehr erfahren: jb.gg/zpb9dp Video — https://nitter.net/jetbrains/status/2061444430884675791#m

mehr auf Arint.info

#AI #JetBrains #MachineLearning #Mellum2 #OpenSourceLLM #vLLM #arint_info

https://x.com/vllm_project/status/2061621691995005301#m

#JetBrains open-sources #Mellum2 to go where #Claude Code can’t - #LLM #coding - https://thenewstack.io/jetbrains-mellum2-open-source-coding-model/

#JetBrains open-sources #Mellum2 to go where #Claude Code can’t - #LLM #coding - https://thenewstack.io/jetbrains-mellum2-open-source-coding-model/