Live and recent posts from across the Fediverse tagged #mixture-of-experts, aggregated by home.social.
Dense vs. MoE AI models: what changes for GPU servers?
Dense models use all parameters per token
MoE models route tokens to a few experts
DeepSeek-V3: 671B total, 37B active
MoE saves compute, but the full weights usually still need VRAM
Expert parallelism makes GPU-to-GPU interconnect critical
Read the full guide: https://www.fitservers.com/blogs/dense-vs-moe-ai-models-gpu-servers/
#GPUServers #LLM #MixtureOfExperts #AIInfrastructure #DedicatedServers #MachineLearning
🚀 Behold, the Step 5 Preview, a groundbreaking #innovation in... software engineering? 🤔 Apparently, it boasts a mind-boggling number of parameters that somehow equates to actual #productivity. Who knew a Mixture-of-Experts could make coding magical (or at least sound that way)? 🧙♂️✨
https://openrouter.ai/stepfun/step-5-preview #Step5Preview #SoftwareEngineering #MixtureOfExperts #Magic #HackerNews #ngated
🐦 #AlephAlpha released #Kolibri, an open-weight #LLM for German and English under the Apache 2.0 license. A #MixtureOfExperts with 78.1B parameters, of which only 3.46B are active per token. Trained from scratch on ~24T tokens (over a fifth German) using 768 #NVIDIA B200 GPUs in Germany and Finland. Weights on #HuggingFace #SovereignAI #opensource #AI
🧵👇🇩🇪
Startups Challenge LG, SKT in Korea’s Four-Way AI Model Race
Competition among four elite teams — the LG AI Research Institute, SK Telecom (017670.KS), Upstage and Motif Technologies…
#EuropeSays #Korea #KR #LG #KoreaAIfoundationmodel #LGGroup #lg-ai-research-institute #MinistryofScienceandICT #MixtureofExperts #MotifTechnologies #SKTelecomA.XK2 #UpstageSolarOpen2
https://www.europesays.com/korea/120744/
Open-Source 700B Models Released Two Days Apart as Korea Nears Sovereign AI Elimination Round
South Korea’s two largest sovereign AI competitors released rival foundation models within 48 hours of each other this…
#EuropeSays #Korea #KR #A.XK2 #foundationmodel #K-EXAONE2.0 #Korean #LGAIResearch #MixtureofExperts #Open-SourceAIModel #SKTelecom #SouthKoreasovereignAI
https://www.europesays.com/korea/106407/
https://winbuzzer.com/2026/07/17/moonshot-ai-unveils-28t-parameter-kimi-k3-ai-model-xcxwbn/
Moonshot AI has launched its 2.8-trillion-parameter Kimi K3 model, but a high hallucination rate might tempers its frontier-model pitch.
#AI #MoonshotAI #KimiK3 #AIModels #MultimodalAI #MixtureOfExperts #AIReasoningModels #AIBenchmarks #ChinaAI
https://winbuzzer.com/2026/07/14/german-consortium-launches-soofi-s-for-sparse-industrial-ai-xcxwbn/
Germany’s Soofi S AI model pairs sparse architecture with strong project-run benchmarks, but licensing gaps and long-context limits temper its promise.
#AI #SoofiS30BA3B #AIModels #MixtureOfExperts #AITraining #AICompute #AIBenchmarks #AIInference #AIModelDevelopment
🍹 Introducing Liquid AI's latest cocktail: an "Even Better onDevice MixtureofExperts" with a splash of #buzzwords and a twist of jargon 🍹 Just what you needed! Now you can "unlock" your business potential by drowning it in a sea of acronyms and overpriced "solutions" that claim to be the world's "most efficient" 🙄 Cheers to that! 🎉
https://www.liquid.ai/blog/lfm2-5-8b-a1b #LiquidAI #Cocktail #BusinessSolutions #MixtureofExperts #OverpricedSolutions #HackerNews #ngated
https://winbuzzer.com/2026/04/27/deepseek-v4-open-weights-launch-xcxwbn/
DeepSeek V4 Ships 1M Context, Open-Weights
#AI #DeepSeekV4 #DeepSeek #OpenSourceAI #AIModels #MixtureOfExperts #ChinaAI #GenerativeAI #EnterpriseAI
https://winbuzzer.com/2026/04/03/arcee-ai-399b-open-source-reasoning-model-apache-2-xcxwbn/
Arcee AI Launches 399B Top-Performing Open-Source Model at 96% Lower Cost
#AI #ArceeAI #OpenSourceAI #LLMs #AIModels #MixtureOfExperts
Gemma 4: Google's Most Capable Open Models Are Here — and They Run on Your Laptop
https://techlife.blog/posts/gemma-4-google-open-models
#Gemma4 #GoogleAI #OpenSourceAI #LLM #OnDeviceAI #MixtureOfExperts
Nemotron 3 Super pushes the frontier with 40 M supervised & alignment samples, leveraging a Mamba‑Transformer backbone and Mixture‑of‑Experts scaling. The model shows stronger agent reasoning, RL‑based fine‑tuning, and tighter AI alignment. Dive into the details to see how this LLM reshapes open‑source AI. #Nemotron3 #MixtureOfExperts #AIAlignment #SupervisedFineTuning
🔗 https://aidailypost.com/news/nemotron-3-super-incorporates-40-million-supervised-alignment-samples
Alibaba just released the Qwen‑3.5‑Medium model as open‑source, delivering Sonnet 4.5‑level performance on a single GPU. It uses a Mixture‑of‑Experts architecture and a new “Thinking Mode” to boost AI inference efficiency while staying lightweight. Dive into the details and see how this could reshape open‑source LLM development. #Qwen3_5 #OpenSourceLLM #MixtureOfExperts #ModelEfficiency
🔗 https://aidailypost.com/news/alibaba-open-sources-qwen35-medium-models-sonnet-45-performance
NVIDIA’s new co‑design with Sarvam AI slashes time‑to‑first‑token to under a second for LLM inference. By marrying Mixture‑of‑Experts models with GPU acceleration, they boost throughput while trimming latency. This hardware‑software synergy could reshape how we deploy large language models at scale. Read more to see the numbers and tech behind the breakthrough. #NVIDIA #SarvamAI #MixtureOfExperts #TTFT
🔗 https://aidailypost.com/news/nvidia-co-design-boosts-sarvam-ai-inference-cuts-ttft-below-one-second
Alibaba's new Qwen 3.5 397B-A17 outperforms even larger rivals by using multi-token prediction and a sparse mixture-of-experts architecture. It cuts inference cost while keeping top-tier performance, hinting at a new era for multimodal AI. Curious how 397 billion parameters can be cheaper? Read the full story. #Qwen3_5 #AlibabaAI #MixtureOfExperts #MultiTokenPrediction
🔗 https://aidailypost.com/news/alibabas-qwen-35-397b-a17-beats-larger-model-via-multitoken
https://winbuzzer.com/2026/02/13/minimax-m25-open-source-ai-model-claude-opus-cost-xcxwbn/
MiniMax M2.5: Open-Source AI "Matches" Claude Opus at 1/20th Cost
#AI #MiniMax #MiniMaxM25 #OpenSourceAI #ChinaAI #MixtureOfExperts #MachineLearning #AIModels #ReinforcementLearning
MiniMax's new M2.5 model slashes costs to 1/20 of Claude Opus while handling 30% of HQ tasks. Built on a Mixture‑of‑Experts sparse architecture, it delivers strong code‑generation and LLM performance—all open‑source. Discover how this AI agent could boost productivity in your projects. #MiniMaxM2_5 #MixtureOfExperts #OpenSourceAI #AIProductivity
🔗 https://aidailypost.com/news/minimaxs-m25-costs-120-claude-opus-covers-30-hq-tasks
Alibaba’s Qwen3-Coder-Next Activates Just 3B of 80B Parameters For Improved Efficiency
#AI #AICoding #Qwen3 #Qwen3CoderNext #Alibaba #MixtureOfExperts LargeLanguageModels #OpenSourceAI #Coding
Kimi K2: Open-Source Mixture-of-Experts AI Model Released
Chinese start-up MiniMax launches record-breaking AI model, challenges Google DeepMind https://www.byteseu.com/1489782/ #AI #Anthropic #ArtificialAnalysis #ArtificialIntelligence #ChineseAi #DeepSeek #FlorianBrand #Gemini2.5Pro #grok #HailuoAI #HongKong #KimiK2 #minimax #MixtureOfExperts #MoonshotAI #OpenAI #Talkie #TrierUniversity #XAI
🔥 Alibaba Qwen3-Next: 10x effizienter, 90% weeniger Trainingskosten!
▶️ Entdecke Hybrid-MoE nun
▶️ Aktiviere 262K Kontext!
▶️ Starte SGLang Turbo nun
#ai #ki #artificialintelligence #qwen3next #alibaba #largelanguagemodels #mixtureofexperts #linearattention
🔥 Jetzt KLICKEN & KOMMENTIEREN! 💭
Chiński Z.ai rzuca rękawicę gigantom. Nowy model AI GLM-4.5 ma być otwarty, tani i rekordowo wydajny
I lepszy od modelu DeepSeek. Startup Z.ai zaprezentował nowe rozwiązanie – GLM-4.5. Jest to model AI udostępniony w formule open source, który ma być jeszcze tańszy, wydajniejszy i „bystrzejszy” od swojego głośnego, chińskiego poprzednika.
Nowy model, GLM-4.5, wyróżnia się tak zwaną „agentową” architekturą, co oznacza, że potrafi automatycznie dzielić złożone zadania na mniejsze etapy, by wykonać je precyzyjniej. Co więcej, jest o połowę mniejszy od DeepSeeka i do działania potrzebuje podobno zaledwie ośmiu specjalistycznych chipów Nvidia H20, stworzonych na potrzeby chińskiego rynku z uwzględnieniem amerykańskich restrykcji eksportowych.
Nowy model GLM-4.5 to dziś najbardziej zaawansowana (publicznie znana) chińska konstrukcja oparta na architekturze MoE (Mixture of Experts), dostępna w dwóch wariantach: flagowym z 355 miliardami parametrów oraz lżejszej wersji Air ze 106 miliardami parametrów. Architektura „agentowa” pozwala mu na autonomiczne planowanie i wykonywanie złożonych, wieloetapowych zadań. Według testów producenta, model Z.ai osiągnął trzeci wynik na świecie w branżowych benchmarkach, plasując się jednocześnie na pierwszym miejscu wśród wszystkich modeli typu open-source. Co niezwykle istotne, jego wysoka wydajność została osiągnięta przy relatywnie niskich wymaganiach sprzętowych.
Z.ai pozycjonuje swój produkt jako „prawdziwie otwartą alternatywę” dla zamkniętych, autorskich systemów, które dominują na rynku. Model jest dostępny na otwartej licencji, co daje firmom większą kontrolę i transparentność. Jednak to właśnie koszty stanowią jego największą przewagę. Według oficjalnego cennika, koszt przetwarzania miliona tokenów (fragmentów słów) to zaledwie 11 centów za dane wejściowe i 28 centów za dane wyjściowe. Dla porównania, w przypadku konkurencyjnego modelu DeepSeek R1 koszt tokenów wyjściowych to 2,19 dolara, co pokazuje ogromny (wręcz niewiarygodny) skok w optymalizacji kosztowej.
Dynamiczny rozwój chińskich firm AI ma coraz większe znaczenie geopolityczne. Gdy na początku roku DeepSeek zaprezentował swoją wydajność, wywołało to chwilowe załamanie kursów akcji amerykańskich gigantów technologicznych. Sukcesy Z.ai, firmy założonej w 2019 roku, która zebrała już ponad 1,5 mld dolarów od inwestorów takich jak Alibaba i Tencent, również nie pozostały niezauważone. Firma została wymieniona przez OpenAI jako jeden z nielicznych na świecie konkurentów zdolnych do budowy rywalizujących modeli, a także trafiła do prestiżowego raportu Stanford University „AI Index Report 2025”. Jednocześnie ten szybki postęp wzbudził niepokój w Waszyngtonie – startup Z.ai został wpisany na listę podmiotów objętych amerykańskimi restrykcjami handlowymi.
Trening modelu DeepSeek nie kosztował 6 mln dolarów, lecz 1,3 miliarda dolarów – raport SemiAnalysis
#AI #chiny #DeepSeek #geopolityka #GLM45 #MixtureOfExperts #modelJęzykowy #modeleJęzykowe #news #openSource #sztucznaInteligencja #technologia #usa #ZAi #Zhipu
#Qwen3Coder: Most Agentic Code Model Released 🤖
🎯 480B-parameter #MixtureOfExperts #LLM with 35B active parameters achieving #SOTA performance in agentic #coding
📏 Native 256K context support, extendable to 1M
tokens with #YaRN for repo-scale operations
https://qwenlm.github.io/blog/qwen3-coder/
🧵👇#AI
MiniMax-M1: Разбираем архитектуру, ломающую законы масштабирования (и наш VRAM)
В мире LLM доминирует квадратичная сложность, ограничивающая контекст. Но MiniMax-M1 бросает вызов: миллион токенов, низкие затраты. Разбираем гибридную архитектуру с Lightning Attention, новый алгоритм CISPO и инженерные прорывы, делающие эту модель уникальной.
https://habr.com/ru/articles/923588/
#minimaxm1 #LLM_архитектура #Lightning_Attention #mixtureofexperts #масштабирование_LLM
Claude Integrations: Claude can now connect to your world
https://www.anthropic.com/news/integrations
https://news.ycombinator.com/item?id=43859536
#Anthropic #Claude #ClaudeLLM #LLM #ChainofThought #MixtureOfExperts