#qwen — Public Fediverse posts

RT @Alibaba_Qwen: ⚡Lernen Sie Qwen3.8-Flash kennen, ein multimodales MoE-Modell und ein frühes Preview der Qwen4-Architektur, jetzt als Open-Weight verfügbar!

mehr auf Arint.info

#AI #LLM #MachineLearning #OpenSource #Qwen #TechNews #arint_info

https://x.com/Alibaba_Qwen/status/2092591393424515114

RT @danielhanchen: Qwen kündigt Qwen3.8-Flash-Next an, ein neues Open-Weight-Multimodal-MoE-Modell. 💜

mehr auf Arint.info

#AI #MoE #Multimodal #OpenSource #Qwen #UnslothAI #arint_info

https://x.com/danielhanchen/status/2092222459550585019

Looks like #qwen was trained to use #duckduckgo

Even the AI companies think that the google search is dogshit 🤣

#LLM #AI #LMstudio

I made a Raspberry with Qwen my local car AI

https://github.com/ThinkOffApp/CarWatch

Comments: https://news.ycombinator.com/item?id=49435675

#HackerNews #RaspberryPi #CarAI #Qwen #GitHub #Innovation

Le Mac a survécu 😅

Suite de mes pérégrinations avec Qwen3.8-27B-Uncensored et CTIBench…

Après la version F16 full sur H100, j’ai fait subir exactement les mêmes 2 500 questions CTI-MCQ à sa version MLX 4-bit en local sur mon Mac.

Il aura fallu près de 28 heures de moulinage, quelques litres d’air chaud expulsés par les ventilateurs et probablement quelques années d’espérance de vie en moins pour mon Mac.

Résultat provisoire à max_tokens=2048 :

Qwen3.8-27B-Uncensored MLX 4-bit : 70,16 % (!) :blobcatwhatsthis:

À comparer au même modèle en F16 full : 69,64 % au même passage à 2048 tokens.

Oui : le 4-bit fait même 13 bonnes réponses de plus. !

Non : je n’en conclus évidemment pas que le 4-bit est « meilleur ». 😅

#Qwen38 #qwen

Suite de mes pérégrinations uncensored : par curiosité et affinité, j’ai soumis Qwen3.8-27B-Uncensored (Orca) au CTIBench 2024, histoire de voir ce qu’elle avait vraiment dans le ventre côté CTI.
👇
https://github.com/maveryn/cti-bench

Version F16 full, 27B, sur H100.
2 500 questions CTI-MCQ.

Résultat : 70,64 %.

À titre de repère, dans le papier CTIBench original :

• GPT-4 : 71,0 %
• Llama 3 70B : 65,72 %
• Gemini 1.5 : 65,44 %
• Llama 3 8B : 61,32 %

Donc ce petit 27B uncensored finit à 0,36 point du GPT-4 testé en 2024.

Évidemment, comparaison historique à prendre avec les pincettes habituelles : benchmark public depuis 2024, modèles 2026, contamination impossible à exclure, etc...

Mais quand même… pas mal du tout.
#Qwen

Building a local AI storyteller - Part II - When the model is not enough
A blog by Justus

In the first part of this series, I described the most important lesson I learned while building a local AI storyteller: A good LLM application is not a clever prompt. It is software architecture around a probabilistic component. That sounds reassuringly architectural. It also leaves one...

#dev #softwaredevelopment #java #ai #llm #localmodels #gemma #qwen #softwarearchitecture

https://jdriven.com/blog/2026/08/llm-storyteller_2/

I gave Qwen 3.8 27B a reverse-engineering job and it finished in 30 minutes

https://www.xda-developers.com/qwen-3-8-27b-reverse-engineering-job-frontier-model/

Comments: https://news.ycombinator.com/item?id=49407507

#HackerNews #Qwen #3.8 #27B #reverseengineering #AItechnology #productivity

More #LocalLLM test results:

#Qwen 3.6 #35B A3B #mmproj on description of foto collection. 2x12GB VRAM (at ~50-60t/s):

* ca 8800 fotos, 88 GB
* almost flawlessly accurate scene descriptions
* perfectly usable for search/retrieval by keywords

Attached is 1 example, describing the "Papiergießkanne"

wow.
Ran at ~250 W for ~10h.

I get ~25kWh on a sunny day from my roof. 🌄

So I switched from #PicoClaw to #Hermes_agent. Really cool improvement also that I can define different LLMs for different tasks.

Now my Triage Tasks are done by #Gemma-4-26B-A4B and my main tasks are done by #Qwen-3.8-27B-NVFP4.

Makes everything much faster and still reliable. Both models co-exist on my #DGXSpark

Свой инференс для 25 разработчиков: 452:1, KV‑пул и почему это не экономит денег

Для тех, кто держит или собирается держать LLM внутри контура: тимлидов, DevOps, архитекторов. Здесь конфиги, цифры и грабли, а не введение в трансформеры. Что вы унесёте: историю пяти последовательных конфигураций с тем, что каждая дала и чего стоила; рабочий набор флагов vLLM под одну карту Blackwell; три неочевидных бага и обходы; разбор реального счёта с отношением вход/выход 452:1. Главный вывод, если дальше читать некогда: на агентской нагрузке кэш префикса решает больше, чем выбор модели, размер карты и всё остальное вместе взятое. Мы шли к этому через четыре промежуточных стенда и потратили лишние месяцы, потому что не понимали, что именно меряем.

https://habr.com/ru/articles/1073300/

#vLLM #LiteLLM #prefix_caching #KVcache #локальные_LLM #инференс_LLM #Qwen #агентская_разработка #RTX_PRO_6000 #claude

RT @ivanfioravanti: Die einzige Möglichkeit, Qwen 3.8 27B zu nutzen, ist mit reasoninglevel low; alles andere, einschließlich medium, denkt wirklich zu viel.

mehr auf Arint.info

#AI #KI #LLM #MachineLearning #Qwen #Tech #arint_info

https://x.com/ivanfioravanti/status/2090100203537740099

I ran my usual quick speed check on muse-glimmer:30b and qwen3.8:27b in Ollama with a quick “what are your capabilities?”

Output speed:
* muse-glimmer:30b
* eval rate: 1.85 tokens/s

* qwen3.8:27b
* eval rate: 1.42 tokens/s

Two observations:
1. Muse-Glimmer doesn't say anything about its coding abilities, while Qwen devotes a whole paragraph to it.
2. Qwen's output is very bursty due to its use of Multi-Token Prediction (MTP).

#AI #LLM #Qwen #LocalLLM #VibeCoding #Programming #Coding

FWIW, After trying #Qwen 3.8 Q4_K_M for real work, I'm going back to Qwen 3.6 MTP.

Inference is just WAY too slow.

I got the same work done with 3.6 MTP in less than 10% of the time.

Probably its the config, but the recommended configs on #unsloth are very wrong and because of the extreme time it takes to go through one iteration of failure, I don't have time to figure it out.

I'll wait for a month until they come up with an update (like 3.6 MTP).

Details matter, feel free to query me.

#AI

Мой опыт с Hermes Agent — ненависть, любовь, ненависть, любовь

Началось все с установки. Я пошёл почти по самому простому пути - установил его на Mac, в Docker. Потому что это агент, который работает автономно и так же автономно может сделать атата: выполнить rm -rf или выбраться из клетки и начать всё взламывать :) В рамках настройки я сразу выдал доступ к части файлов только на чтение, и только к Obsidian - на чтение и запись (потому что писать он в данном случае должен), но файлы были под Git.

https://habr.com/ru/articles/1072770/

#hermes_agent #aiагенты #llm #локальный_llm #локальные_модели #qwen #agentic_workflows #ai_automation #workflow #go