home.social

#qwen — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #qwen, aggregated by home.social.

  1. KI-Modelle als Werkzeug für Angriffe auf Behörden und Bildungseinrichtungen in Asien

    Sprachmodelle übernehmen Koordinationsaufgaben, während die eigentliche Ausnutzung von Schwachstellen weiterhin auf klassischen Methoden beruht – öffentlich verfügbarem Exploit-Code, gestohlenen Zugangsdaten, Webshells und selbst entwickelter Schadsoftware.

    all-about-security.de/ki-model

    #hacker #deepseek #claude #qwen #kimodelle #kiagenten #itsicherheit #itsecurity #cybersecurity

  2. You have to be shitting me. Even #OpenCode Big Pickle fucks over Gemini 3.1 Pro.

    Welp, I'm not renewing that shit anymore, so it's time to find a cheap AI Agent around.

    Curently aiming for OpenCode. What are your recommendations under $20?

    #AI #AIAgents #VibeCoding #VibeCode #Programming #SoftwareDevelopment #WebDevelopment #WebDev #PHP #JavaScript #TypeScript #Python #Golang #Rust #ArtificialIntelligence #Codex #Claude #Copilot #Kimi #ZenAI #Perplexity #DeepSeek #MistralAI #Grok #Qwen

  3. [Перевод] Qwen3.8-27B: лучший локальный LLM, который вы, вероятно, не сможете запустить

    В этом месяце Alibaba выпустила две модели, и та, о которой все писали, оказалась не той, что мы ждали. Qwen3.8-Max — это API с 2,4 триллионами параметров, и пару недель назад я с большим энтузиазмом написал о ней обзор. Но релиз, которого я действительно ждал, вышел 14 августа: Qwen3.8-27B, Apache 2.0, веса на Hugging Face, модель достаточно компактна, чтобы работать на ноутбуке. Я должен кое в чем признаться. Я не провел полный тест этой модели. Я попробовал, на своем MacBook Air M4 получал около восьми токенов в секунду и потерял терпение где-то на втором запросе. По большей части этот пост посвящен именно моей неудаче, потому что я подозреваю, что у многих из вас вечер сложится так же, как у меня. Что представляет собой Qwen3.8-27B на самом деле 27,78 миллиарда параметров, плотная модель, включающая в себя визуальный энкодер, о котором никто не объявлял заранее. Принимает на вход текст, изображения и видео. Собственный контекст — 262 144 токена, с помощью YaRN можно увеличить его примерно до миллиона, если запускать модель на сервере. Архитектура — это по-настоящему интересная часть, и это не обычный трансформер. На протяжении 64 слоёв Qwen чередует 48 слоёв Gated DeltaNet (линейное внимание) с 16 полными слоями Gated Attention в соотношении 3:1. Только эти 16 слоёв с полным вниманием имеют KV-кэш. Таким образом, на каждый токен приходится около 64 КБ, что составляет примерно четверть от объёма памяти, необходимого для обычной 64-слойной модели с плотным кодированием. Если вы запомните только одно число из этого поста, пусть это будет именно оно. Всё, что касается того, поместится ли эта модель на вашем компьютере, зависит от объёма KV-кэша.

    habr.com/ru/articles/1072048/

    #qwen #llm #quantization #apple_silicon #lmstudio #ollama

  4. Hab mir im Februar ein #MacStudio mit #M4max und 128GB RAM gekauft... Für verrückte fast 4100€... Und ich dachte mir das ist der größte finanzielle Fehler ever

    Hab damit dann viel #ollama #lmstudio #omlx gehostet - #LLM Experimentarium

    Habs sogar ein paar Monaten nur mit den eigenen LLMs gecodet, aber Qualität naja...

    Da sich die letzten Monate das #openWeights Business geändert hat und keine 120b Modelle veröffentlicht werden, die der perfekte fit dafür wären, nutze ich die 30b Modelle...

    Leider mit zunehmendem Frust... #Gemma und #Qwen sind dafür einfach zu klein...

    Dann bringt qwen auch nach 3.6 keine kleinen Modelle mehr raus - es gab kein 3.7 und kein 3.8 - letztes haben sie wieder man angekündigt

    Bedeutet der Mac Studio war eigentlich nur als Desktop PC im Einsatz - eher #gaming und #Roblox programmierworkstation

    Dann hab ich mich mal schlau gemacht - #apple hat meine 128gb Version zum frontier Modell gemacht - und die Modelle sind nirgendwo zu bekommen... Ganz merkwürdig Markt leer gesaugt
    Vllt bringt Apple bald neue Mac Studio Modell raus???

    Okay - eBay preise abgecheckt - da gehen Modell für über 5k€ über den Tisch, aber sehr selten die 128gb Variante

    eBay inseriert - 6999,99€ sofort kauf oder Preisvorschlag ab 6000€

    Hab das Ding jetzt für 6200€ weiter verkauft

    Leider über eBay bezahlt, deshalb wird mein Gewinn versteuert, aber ich gönne

    Ist das nicht krass? Was da abgeht, das ist so verrückt auf dem Gebrauch Mac Markt!

  5. 📊 Local AI Effizienz-Check! Mein selbstgehostetes qwen3.6-35b-a3b läuft überraschend sparsam. Die Stats von heute:

    • ~18,3 Mio. Gesamt-Tokens
    • Nur 0,34 kWh Energie verbraucht! ⚡

    Das macht umgerechnet:
    🔹 ~54 Millionen Tokens pro kWh
    🔹 Nur 18,5 Wh pro Million Tokens

    Lokale LLMs müssen echt keine Stromfresser sein, wenn die Hardware gut optimiert ist. 😎 #Apple #MacStudio #M4max #128GBRAM

    #LocalAI #SelfHosted #LLM #Qwen #OpenSource #Tech #Privacy

  6. [Перевод] Большое сравнение архитектур LLM

    Это перевод классной статьи с детальным обзором архитектур главных опенсорсных LLM: очень структурировано, доходчиво и с изумительными картиночками. И такой обзор просто обязан быть на русском языке. Поговорим про DeepSeek V3/R1, OLMo 2, Gemma 3, Mistral Small 3.1, Llama 4, Qwen3, SmolLM3, Kimi K2, GPT-OSS, Grok 2.5, GLM-4.5, Qwen3-Next. Ну а дальше слово автору: Прошло семь лет с момента разработки оригинальной архитектуры GPT. На первый взгляд, оглядываясь назад на GPT-2 (2019) и вперед на DeepSeek-V3 и Llama 4 (2024-2025), можно удивиться тому, насколько структурно похожими остаются эти модели. Однако я считаю, что все еще есть большая ценность в изучении структурных изменений самих архитектур, чтобы увидеть, чем занимаются разработчики LLM в 2025 году.

    habr.com/ru/articles/958880/

    #ai #llm #qwen #kimi #chatgpt #chatgptoss #ллм #большие_языковые_модели #архитектура

  7. [Перевод] Большое сравнение архитектур LLM

    Это перевод классной статьи с детальным обзором архитектур главных опенсорсных LLM: очень структурировано, доходчиво и с изумительными картиночками. И такой обзор просто обязан быть на русском языке. Поговорим про DeepSeek V3/R1, OLMo 2, Gemma 3, Mistral Small 3.1, Llama 4, Qwen3, SmolLM3, Kimi K2, GPT-OSS, Grok 2.5, GLM-4.5, Qwen3-Next. Ну а дальше слово автору: Прошло семь лет с момента разработки оригинальной архитектуры GPT. На первый взгляд, оглядываясь назад на GPT-2 (2019) и вперед на DeepSeek-V3 и Llama 4 (2024-2025), можно удивиться тому, насколько структурно похожими остаются эти модели. Однако я считаю, что все еще есть большая ценность в изучении структурных изменений самих архитектур, чтобы увидеть, чем занимаются разработчики LLM в 2025 году.

    habr.com/ru/articles/958880/

    #ai #llm #qwen #kimi #chatgpt #chatgptoss #ллм #большие_языковые_модели #архитектура

  8. [Перевод] Большое сравнение архитектур LLM

    Это перевод классной статьи с детальным обзором архитектур главных опенсорсных LLM: очень структурировано, доходчиво и с изумительными картиночками. И такой обзор просто обязан быть на русском языке. Поговорим про DeepSeek V3/R1, OLMo 2, Gemma 3, Mistral Small 3.1, Llama 4, Qwen3, SmolLM3, Kimi K2, GPT-OSS, Grok 2.5, GLM-4.5, Qwen3-Next. Ну а дальше слово автору: Прошло семь лет с момента разработки оригинальной архитектуры GPT. На первый взгляд, оглядываясь назад на GPT-2 (2019) и вперед на DeepSeek-V3 и Llama 4 (2024-2025), можно удивиться тому, насколько структурно похожими остаются эти модели. Однако я считаю, что все еще есть большая ценность в изучении структурных изменений самих архитектур, чтобы увидеть, чем занимаются разработчики LLM в 2025 году.

    habr.com/ru/articles/958880/

    #ai #llm #qwen #kimi #chatgpt #chatgptoss #ллм #большие_языковые_модели #архитектура

  9. GPT, Gemini, Qwen и Шедеврум переделывает мужского ГГ в женского. Часть 1

    Я решил проверить, как популярные генераторы изображений справляются с одной и той же задачей: сделать фотореалистичный женский вариант известного персонажа игры . Участники: GPT (DALL·E), Gemini, Qwen и «Шедеврум» (Яндекс).

    habr.com/ru/articles/938686/

    #ai #gpt #шедеврум #qwen #gemini #генерация #генерация_изображений #гг #сравнение #сравнение_изображений