#gemma — Public Fediverse posts

Qwen3.5/3.6 на 16Гб VRAM: кванты, fine-tune, сравнение и немного про Gemma-4

Всем привет. В свободное время и под настроение я ваяю маленькие, незамысловатые игры на основе d10-кубов механик, похожие на PvP или PvE настолки, которые нередко проходят в автоматическом режиме (ИИ vs ИИ), а иногда получается что-то чуть серьезнее: вроде игры "Жизнь", но на стероидах с экономикой, сражениями и в масштабах солнечной системы. Не являясь настоящим программистом и написав за всю жизнь, наверное, самое большее - ну, возможно, не более тысячи строк кода - мне для воплощения своих причудливых идей, естественно, потребовалась помощь психиатров нейросетей, которые, как тогда говорили - уже научились писать вполне рабочий, годный код. Конкретна эта история начиналась банально, а может даже и несколько варварски: с web-чата с одной китайской нейросетью со значком в виде кита в формате ctrl+c > ctrl+v в файлики игры, но вскоре проекты разрослись, структура стала сложной и потребовалось что-то вроде OpenCode или LM Studio Bionic (вышел совсем недавно, но мне понравился), а затем встал и выбор локальной модели, которая всегда будет бесплатной, под рукой и без ограничений типа " server is busy... try later ". Зоопарк моделей разросся довольно быстро и хотя базовых моделей не так много, но это количество предстояло умножить на разные варианты квантования и присыпать сверху горкой т.н. fine-tune моделей, которые, буквально, сотнями, если не тысячами - рассыпаны по HuggingFace, а их авторы обещают космическую скорость инференса, интеллект передовых моделей и "думалку" (режим thinking) от какого-нибудь Deep Seep, Claude или Fable.

https://habr.com/ru/articles/1069904/

#llm #ииагенты #тест #qwen #gemma #ии

Humbled that our number of Chrome-only active users surpassed 1,000 for the first time.

https://github.com/webbrain-one/webbrain

#Chrome #ChromeExtension #WebExtension #Milestone #OpenSource #GitHub #WebBrain #offlinellm #qwen #gemma #ollama #llamacpp

«Тосок бессмысл»: как я не смог заставить Gemma 4 писать хорошие стихи

Дано: стихотворение. Тема — «тщетность накопления жизненного опыта», амфибрахий, четыре строки. Заканчивается словом «тосок». Такого слова в русском языке нет. Мой оценщик поставил этому тексту техничность 1.000 — идеал. К этому моменту я месяц жёг GPU-часы на арендной L40S, пытаясь заставить Gemma 4 писать русские стихи. У меня был план из четырёх пунктов, свежая статья с рабочим рецептом, размеченный корпус на 13 тысяч пар и собственная метрика, проверенная на Пушкине. План развалился весь, но каждый раз не в том месте, где я ждал: главный подозреваемый до последнего выглядел очевидным, а виновным оказался совсем другой персонаж. Это детектив про то, как четыре файнтюна подряд проиграли необученной базе, как я месяц принимал решения по шуму и не знал об этом — и почему рифму нельзя выучить в принципе, а можно только навязывать. Настоящие цифры, реальный loss и плохие стихи прилагаются.

https://habr.com/ru/articles/1069520/

#LLM #LoRA #файнтюнинг #Gemma #генерация_стихов #силлаботоника #рифма #ограниченное_декодирование #reward_hacking #vLLM

Тест Qwen3.5 9b, Gemma 4 12b и Bonsai 27b на легенде пенсионного возраста GTX 1080 ti

Все началось вообще не с идеи написать очередной бенчмарк. Мне нужно было собрать локальный пайплайн для длинных подкастов: получить транскрипт, найти в нем интересные куски, выбрать несколько сильных фрагментов и уже из них делать короткие вертикальные ролики. Облачные модели с этой задачей справляются, но постоянно гонять туда длинные расшифровки не очень хотелось. Плюс было интересно понять, насколько далеко сейчас можно уехать на железе. Под рукой была GTX 1080 Ti на 11 ГБ. Карта 2017 года, архитектура Pascal, никаких Tensor Cores. Так из прикладной задачи постепенно вырос небольшой домашний стенд. Я прогнал три модели в одинаковых условиях, отдельно проверил длинный контекст, затем сделал свой набор reasoning‑задач и сравнил режимы с размышлением и без него. Результаты получились не совсем такими, как я ожидал.

https://habr.com/ru/articles/1069290/

#gemma #qwen #bonsai #бенчмарк #локальные_нейросети #ai #искусственный_интеллект

Hab mir im Februar ein #MacStudio mit #M4max und 128GB RAM gekauft... Für verrückte fast 4100€... Und ich dachte mir das ist der größte finanzielle Fehler ever

Hab damit dann viel #ollama #lmstudio #omlx gehostet - #LLM Experimentarium

Habs sogar ein paar Monaten nur mit den eigenen LLMs gecodet, aber Qualität naja...

Da sich die letzten Monate das #openWeights Business geändert hat und keine 120b Modelle veröffentlicht werden, die der perfekte fit dafür wären, nutze ich die 30b Modelle...

Leider mit zunehmendem Frust... #Gemma und #Qwen sind dafür einfach zu klein...

Dann bringt qwen auch nach 3.6 keine kleinen Modelle mehr raus - es gab kein 3.7 und kein 3.8 - letztes haben sie wieder man angekündigt

Bedeutet der Mac Studio war eigentlich nur als Desktop PC im Einsatz - eher #gaming und #Roblox programmierworkstation

Dann hab ich mich mal schlau gemacht - #apple hat meine 128gb Version zum frontier Modell gemacht - und die Modelle sind nirgendwo zu bekommen... Ganz merkwürdig Markt leer gesaugt
Vllt bringt Apple bald neue Mac Studio Modell raus???

Okay - eBay preise abgecheckt - da gehen Modell für über 5k€ über den Tisch, aber sehr selten die 128gb Variante

eBay inseriert - 6999,99€ sofort kauf oder Preisvorschlag ab 6000€

Hab das Ding jetzt für 6200€ weiter verkauft

Leider über eBay bezahlt, deshalb wird mein Gewinn versteuert, aber ich gönne

Ist das nicht krass? Was da abgeht, das ist so verrückt auf dem Gebrauch Mac Markt!

TNL國際編譯 2026-08-07 14:34:00 CST

I'm currently testing a few #LLM #MLX runtimes/apps on my #M5 Pro 24 GB. So far, I can't say which one gets the best performance out of a local LLM like #Gemma 4 12B.
I've tested #Ollama, #LMStudio, #oMlx, and #osaurus. Each one has its own 1-2 tweaks that are supposed to squeeze out more performance.

What's your experience been like?

#Apple #MacBook #AI #localai #localllm

Wrangling Datacenter GPUs Into a Desktop

https://fed.brid.gy/r/https://hackaday.com/2026/07/30/wrangling-datacenter-gpus-into-a-desktop/

Building a local AI storyteller - what I learned when prompts were not enough
A blog by Justus

I wanted to understand what happens when you stop treating an LLM as a chatbot and start treating it as a component in a software system. So I built a local AI storyteller using a local LLM through an OpenAI-compatible API.

#dev #softwaredevelopment #java #ai #llm #localmodels #gemma #qwen #softwarearchitecture

https://jdriven.com/blog/2026/07/llm-storyteller/

@glaforge Now try running it on an iPhone
https://mastodon.social/@drrjv/116998128766013655
#llm #gemma #ai

Run an LLM on your iPhone

Check out Bonsai (27B) and Gemma 4 using the Locally AI by LM Studio App on your iPhone 😎

Both run in #LocallyAI on an #iPhone 17 Pro, but they’re built for different jobs, so the “winner” depends on what you’re doing.

https://neurodoctor.com/2026/07/28/run-an-llm-on-your-iphone/ #llm #ai #gemma

What local #Gemma 4 setups are you testing?
What's your favorite way to run Gemma on #macOS with #AppleSilicon?
Let's discuss! 💬

🎉 To celebrate the Google's Gemma family hitting 900 million downloads, I benchmarked the #Gemma 4 26B-A4B running 100% locally on my #AppleSilicon #MacBookPro M4 Pro!

MLX vs. llama.cpp MTP Speculative Decoding vs. Pure Java 25, let's break down the local numbers! 👇 🧵

Cancel your AI coding subscription. Gemma does the same thing free, offline, and fully private. Day 1 of Build Your Own AI For Free.

Install Ollama, pull Gemma, plug it into a free coding agent, and select Gemma from the model list. You are live in two minutes.

I gave it one prompt to build a landing page with a contact form. It planned, coded, and fixed its own errors, running locally for free. People pay $200 a month for this. Yours costs zero.

#AI #Gemma #Ollama #OpenSource #SelfHosted

How are you guys rocking #ZedEditor with #LocalAI?

https://levelup.gitconnected.com/setting-up-zed-editor-with-local-ai-545da955c841

Personally, I've been saving a lot of tokens from cloud providers. Plus, the Zed Agent is great for multitasking.

#Programming #Coding #Code #PHP #Zed #IDE #CodeEditor #CodeEditors #AI #LLM #VibeCoding #VibeCode #SoftwareDevelopment #WebDevelopment #AppDevelopment #WebDev #AppDev #Qwen #Gemma #Gemma4

Первый опыт малоресурсного перевода: Data dojo 2026

Месяц назад закончилась тренировка DATA DOJO от Яндекса . Здесь я бы хотел рассказать про ключевые аспекты соревнования, моё решение на топ-6%, авторские идеи и, конечно, про реальный путь к победе. Погрузиться в машинный перевод

https://habr.com/ru/articles/1061894/

#python #machinelearning #optuna #competition #machine_translation #машинное_обучение #yandex_api #gemma

Benchmarked Poolside's new Laguna S 2.1 (118B-A8B) as a browser-agent planner. 71% Sonnet alignment. Near Hy3/MiniMax M3 but below them, and below Gemma 4 31B QAT / Qwen 3.6 27B (~77%).

Best US open-weight in its class, half the size of M3 👇

https://www.webbrain.one/blog/poolside-laguna-s-openrouter-planner-benchmark

#offlinellm #poolside #llm #ai #opensource #qwen #gemma #benchmark #llama #llamacpp #ollama