home.social

#qwen — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #qwen, aggregated by home.social.

  1. KI-Modelle als Werkzeug für Angriffe auf Behörden und Bildungseinrichtungen in Asien

    Sprachmodelle übernehmen Koordinationsaufgaben, während die eigentliche Ausnutzung von Schwachstellen weiterhin auf klassischen Methoden beruht – öffentlich verfügbarem Exploit-Code, gestohlenen Zugangsdaten, Webshells und selbst entwickelter Schadsoftware.

    all-about-security.de/ki-model

    #hacker #deepseek #claude #qwen #kimodelle #kiagenten #itsicherheit #itsecurity #cybersecurity

  2. Local LLM Arena #4

    Repair run już się zakończył i po kilku dodatkowych poprawkach udało się domknąć benchmark.

    Po drodze wyszło jeszcze kilka problemów technicznych, więc część testów trzeba było poprawić i uzupełnić. Ostatecznie mamy jednak kompletny zestaw wyników dla wszystkich 5 modeli.

    Najlepiej wypadły dwa modele.

    Qwen3.8-27B wygrał cały benchmark i osiągnął najwyższy wynik jakościowy.

    GPT-OSS-20B był bardzo blisko, a w testach kodowania uzyskał taki sam wynik jak Qwen. Jednocześnie na moim MacBooku Air M4 16 GB działa około 5 razy szybciej.

    Dlatego teraz testuję właśnie GPT-OSS jako lokalnego agenta do prawdziwego kodowania.

    Schemat wygląda tak:

    Codex CLI

    LM Studio

    GPT-OSS-20B

    repozytorium projektu

    Model dostał 5 rzeczywistych zadań w kodzie Local LLM Arena.

    Może sam przeglądać repozytorium, edytować pliki, uruchamiać testy, analizować błędy i poprawiać własne rozwiązania.

    Każde zadanie zaczyna od czystej kopii repozytorium. Po zakończeniu rozwiązanie jest sprawdzane także dodatkowymi testami, których model wcześniej nie widział. Jeśli coś nie przejdzie, dostaje informację o błędzie i może spróbować się poprawić.

    Maksymalnie trzy podejścia na zadanie.

    Całość działa lokalnie na Macu.

    Teraz chcę sprawdzić nie tylko, czy model potrafi wygenerować poprawny kod, ale czy rzeczywiście może wykonywać część pracy lokalnego agenta programistycznego i odciążyć modele działające w chmurze.

    Test właśnie trwa.

    #LocalLLM #LLM #AI #AppleSilicon #MacBookAir #M4 #LMStudio #Codex #GPTOSS #Qwen #Coding #OpenSourceAI

  3. Looks like #qwen was trained to use #duckduckgo

    Even the AI companies think that the google search is dogshit 🤣

    #LLM #AI #LMstudio

  4. [Перевод] Qwen3.8-27B: лучший локальный LLM, который вы, вероятно, не сможете запустить

    В этом месяце Alibaba выпустила две модели, и та, о которой все писали, оказалась не той, что мы ждали. Qwen3.8-Max — это API с 2,4 триллионами параметров, и пару недель назад я с большим энтузиазмом написал о ней обзор. Но релиз, которого я действительно ждал, вышел 14 августа: Qwen3.8-27B, Apache 2.0, веса на Hugging Face, модель достаточно компактна, чтобы работать на ноутбуке. Я должен кое в чем признаться. Я не провел полный тест этой модели. Я попробовал, на своем MacBook Air M4 получал около восьми токенов в секунду и потерял терпение где-то на втором запросе. По большей части этот пост посвящен именно моей неудаче, потому что я подозреваю, что у многих из вас вечер сложится так же, как у меня. Что представляет собой Qwen3.8-27B на самом деле 27,78 миллиарда параметров, плотная модель, включающая в себя визуальный энкодер, о котором никто не объявлял заранее. Принимает на вход текст, изображения и видео. Собственный контекст — 262 144 токена, с помощью YaRN можно увеличить его примерно до миллиона, если запускать модель на сервере. Архитектура — это по-настоящему интересная часть, и это не обычный трансформер. На протяжении 64 слоёв Qwen чередует 48 слоёв Gated DeltaNet (линейное внимание) с 16 полными слоями Gated Attention в соотношении 3:1. Только эти 16 слоёв с полным вниманием имеют KV-кэш. Таким образом, на каждый токен приходится около 64 КБ, что составляет примерно четверть от объёма памяти, необходимого для обычной 64-слойной модели с плотным кодированием. Если вы запомните только одно число из этого поста, пусть это будет именно оно. Всё, что касается того, поместится ли эта модель на вашем компьютере, зависит от объёма KV-кэша.

    habr.com/ru/articles/1072048/

    #qwen #llm #quantization #apple_silicon #lmstudio #ollama

  5. Hab mir im Februar ein #MacStudio mit #M4max und 128GB RAM gekauft... Für verrückte fast 4100€... Und ich dachte mir das ist der größte finanzielle Fehler ever

    Hab damit dann viel #ollama #lmstudio #omlx gehostet - #LLM Experimentarium

    Habs sogar ein paar Monaten nur mit den eigenen LLMs gecodet, aber Qualität naja...

    Da sich die letzten Monate das #openWeights Business geändert hat und keine 120b Modelle veröffentlicht werden, die der perfekte fit dafür wären, nutze ich die 30b Modelle...

    Leider mit zunehmendem Frust... #Gemma und #Qwen sind dafür einfach zu klein...

    Dann bringt qwen auch nach 3.6 keine kleinen Modelle mehr raus - es gab kein 3.7 und kein 3.8 - letztes haben sie wieder man angekündigt

    Bedeutet der Mac Studio war eigentlich nur als Desktop PC im Einsatz - eher #gaming und #Roblox programmierworkstation

    Dann hab ich mich mal schlau gemacht - #apple hat meine 128gb Version zum frontier Modell gemacht - und die Modelle sind nirgendwo zu bekommen... Ganz merkwürdig Markt leer gesaugt
    Vllt bringt Apple bald neue Mac Studio Modell raus???

    Okay - eBay preise abgecheckt - da gehen Modell für über 5k€ über den Tisch, aber sehr selten die 128gb Variante

    eBay inseriert - 6999,99€ sofort kauf oder Preisvorschlag ab 6000€

    Hab das Ding jetzt für 6200€ weiter verkauft

    Leider über eBay bezahlt, deshalb wird mein Gewinn versteuert, aber ich gönne

    Ist das nicht krass? Was da abgeht, das ist so verrückt auf dem Gebrauch Mac Markt!

  6. Free AI Chat, locally in your browser. 💻
    - No signup required
    - 100% data privacy
    - No API keys 🔒

    Supported Models:
    #SmolLM2
    #Qwen
    #Llama
    #DeepSeek R1
    #Phi
    #TinyLlama
    • & More

    🔗 zalt.me/tools/free-ai-chat-onl

    #FreeAI #Free #LocalLLM #WebGPU #AI #WebLLM #ChatGPT #JS #opensource

  7. Я изучил десятки ИИ-стартапов в России. Вот почему большинство из них обречены

    За последний год я изучил десятки российских ИИ-стартапов на площадках Brainbox и Product Radar. Параллельно строил собственную AI-платформу, так что смотрю на рынок не как инвестор, а как инженер с 20-летним опытом в разработке. Картина неутешительная: большинство проектов, которые собирают деньги, будут мертвы через 2-3 года. И причины чисто технические.

    habr.com/ru/articles/1008142/

    #ИИстартапы #инвестиции_в_ИИ #opensource_LLM #DeepSeek #Qwen #архитектура_ИИагентов #суверенный_ИИ #импортозамещение #OpenAI_API_зависимость #LLMроутер

  8. Which model is your favorite?

    I keep experimenting, but the real choice… is never easy.

    And most of all, how do you use them?

    #AI #LLM #OpenSource #Gemma3 #ChatGPT #GPT #Qwen #DeepSeek #AICommunity #Ollama #OpenWebUI #huggingface #API