home.social

#混合專家模型 — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #混合專家模型, aggregated by home.social.

fetched live
  1. NVIDIA 推出120B 參數模型 GTC 大會前夕推出 解決代理 AI 長推理難題
    NVIDIA 在 2026 年 GTC 大會前夕推出 Nemotron 3 Super 開源混合專家模型。該模 […]
    #人工智能 #科技新聞 #資訊保安 #AI 代理
    unwire.hk/2026/03/12/nvidia-ne

  2. Llama 4問世反應平平,開發人員認效能表現言過其實 | iThome

    Link
    📌 Summary:
    Meta 公佈旗艦模型 Llama 4 家族,包含開源的 Maverick (4000 億參數) 和 Scout (1090 億參數) 兩款模型,均使用 170 億活躍參數的混合專家 (MoE) 架構。Meta 宣稱其效能優於 GPT-4o 和 Gemini 2.0,然而開發人員發現 Meta 在標竿測試中使用了經過優化的實驗版本而非開源版本,引發爭議。此外,實際測試也顯示 Llama 4 的表現未如宣傳所言,尤其是在長文本處理方面,遠未發揮 10M 字詞上下文的潛力。

    🎯 Key Points:
    1. Meta 推出 Llama 4 家族,採用混合專家 (MoE) 架構,開源兩款模型:4000 億參數的 Maverick 和 1090 億參數的 Scout。
    2. Meta 宣稱在 LMArena 測試中 Llama 4 Maverick 排名第二,超越 GPT-4.5 preview 和多款 Gemini 模型。
    3. 開發人員發現 Meta 在測試中使用「對話性優化過」的實驗版本,而非向公眾開放的版本,引發操弄爭議。
    4. Scout 模型雖號稱擁有 10M 字詞的上下文長度,但在第三方平臺如 Groq 和 Fireworks 上受限於 128K 字詞。
    5. 研究人員實測 Scout 處理長文本的能力不佳,產生重複跳針的內容,表現遠不如宣傳。
    6. 有觀點認為 170 億活躍參數已顯不足,或 Meta 團隊對 MoE 架構尚未充分掌握就急於推出成果。

    🔖 Keywords:
    #Llama4 #混合專家模型 #Meta #效能爭議 #開源人工智慧

Share on Mastodon

Enter the server where you have an account.