#lm-studio — Public Fediverse posts

https://medium.com/@linc89617/automating-code-security-review-a-practical-guide-to-opencode-lm-studio-03ea7f98ca6d - Connect #OpenCode to #LMStudio and local models. Now you're not paying for tokens.

@Jeehut
100% agree!

I noticed that #llamacpp in a recent build has defaulted to using the native #huggingface paths. I hope #LMStudio and others switch as well. It’s pretty annoying to have models scattered in different directories. I’ve accidentally downloaded the same model switching between LLM servers.

Testing some #LLM to aid in article construction, I made an hypothetic #StarFox review.

I believe LLM are great when asking to fill in, fact check, rewrite and reorganize ideas into a clear line of thought.

I'm going to publish it and then see after a month if it predicted the future correctly, or not, for the lolz.

Also, Unsloth's Gemma 4 26B/A4B breaks to shit with Repeat Penalty below 0.8.

#AI #LLM #LMStudio #ChatBot #LargeLanguageModel #ArtificialIntelligence

really wish #LMStudio chat had a proper built in web fetch

Are you using several #StableDiffusion and/or #LLM front-ends, each with their own separate model download and management? All those 5GB+ models add up fast!

- Wrangle those duplicates with 'rdfind -makehardlinks'.

- Use Gollama for sharing models between #LMStudio and #Ollama.

Strong ethical justification throughout.

Read more 👉 https://lttr.ai/AqzyH

#LMStudio #AITesting #AI

Part-DB's #AI features utilize the new @symfony AI component, especially AI platform to make it platform agnostic and allow for different AI providers.
Currently there is support for #openrouter to support a variety of cloud based LLMs, and #lmstudio for self hosted AI on your local GPU.

#symfony #php #opensource #webdev

Ich glaube, ich habe mit Gemma-4-26b-a4b das ideale Modell für den #MacMini gefunden. Bester Kompromiss aus Geschwindigkeit und Reife. Falls jemand einen noch besseren Vorschlag hat, gerne her damit.

#lokalLLM #llm #lmstudio #ki #gemma

TUTORIAL - Passo a passo: IA local no Linux com LM Studio

Neste vídeo, você vai aprender como rodar inteligência artificial localmente no seu Linux usando o LM Studio.

Se você quer mais controle, mais privacidade e rodar IA direto no seu computador, esse guia é pra você.

Link: https://youtu.be/M7jR2BIuGyQ

#debian #debian13 #lmstudio #ialocal #ibmgranite #gptoss #googlegemma #qwen #rx550 #linux

Played around with #qwen 3.6 (35b Q4) in #lmstudio acting as a provider for #opencode on my mac
* my agent based bootstap workflow for new projects just worked
* the devcontainer worked and I was able to start opencode from within the devcontainer (I never let agents run on my machine directly)
* my hello world snake game webapp just worked (created using plan & build agent)

First time a local model feels this useful - prompt processing takes a while but over all it’s usable

Step-by-step guide to running Gemma 4 and Qwen 3.6 locally — fully offline, no data shared.

By Automation Avenue
https://www.youtube.com/watch?v=NNOq3T26MIQ

#privacy #localai #llm #digitalprivacy #lmstudio

#JetBrains implementation for Agents is shit.

Just had to diagnose why a client GPUs were running full 24/7. JetBrains IDE decided it to just randomly send prompts.

This kind of random behavior is why I'm no longer recommending JetBrains IDE unless your corpo pays it for you.

I'm on the #Zed bandwagon form now on. Period.

#Programming #Coding #Code #ZedEditor #SoftwareDevelopment #AI #LLM #LMStudio #Ollama #RTX #Programming #WebDevelopment #AppDevolpment #Java #Agent #AIAgent #IDE

MakeUseOf: I stopped using LM Studio once I found this open-source alternative. “The alternative that eventually ended up replacing LM Studio for me is Jan. It’s a desktop application that lets you run LLMs fully offline — much like LM Studio, but not only is it completely free, it’s also open-source, with all the source code being available on GitHub. There are no licensing surprises, no […]

Komputery z AI to nie marketing. Nowe dane pokazują, jak odzyskać nawet dwa dni pracy w tygodniu

Przez ostatnie miesiące producenci sprzętu zasypywali nas obietnicami o rewolucji, jaką przyniosą komputery ze zintegrowanymi układami sztucznej inteligencji (tzw. AI PC). Do teraz brzmiało to jak zręczny marketing.

Dwa najnowsze raporty badawcze – choć warto odnotować uczciwie, że zrealizowane na zlecenie jednego z czołowych producentów procesorów – weryfikują te zapowiedzi, dostarczając twardych danych. Wniosek? Ignorowanie tej technologii kosztuje firmy dziesiątki godzin zmarnowanego czasu miesięcznie, a pracownikom w skrajnych przypadkach odbiera nawet dwa dni wolnego w tygodniu.

Efekt kuli śnieżnej, czyli 7 tygodni w kieszeni

Z pierwszego badania wynika, że choć poszczególne zadania z pomocą lokalnego AI wykonuje się zauważalnie szybciej, prawdziwa zmiana dzieje się, gdy te drobne oszczędności skumulujemy w cyklu dobowym. Analiza typowego, 95-minutowego bloku pracy biurowej – obejmującego odpowiadanie na maile, notatki ze spotkań czy aktualizację prezentacji – wykazała, że na komputerze ze wsparciem sprzętowym AI czas ten skraca się do 61 minut. To redukcja aż o 36 procent.

W skali roku oznacza to, że pracownik zyskuje dodatkowe 7 tygodni (ponad 300 godzin), które może przeznaczyć na pracę analityczną lub po prostu na złapanie oddechu. Co więcej, atutem dzisiejszych AI PC jest możliwość uruchamiania zaawansowanych modeli językowych (np. LLM przez aplikację LM Studio) całkowicie lokalnie. Oznacza to, że firmy mogą generować podsumowania i analizować poufne dokumenty finansowe bez wysyłania choćby jednego bajta do zewnętrznej chmury, gwarantując absolutną prywatność danych.

Zaawansowany użytkownik oszczędza jeszcze więcej

Drugi raport wziął pod lupę tzw. „power userów” – kierowników projektów i analityków. W ich przypadku liczby są jeszcze bardziej bezlitosne dla tradycyjnych metod pracy. Okazuje się, że wykorzystanie wbudowanej sztucznej inteligencji potrafi w niektórych, bardzo intensywnych scenariuszach zaoszczędzić ponad 16 godzin w typowym tygodniu pracy. To niemal dwa pełne dni robocze.

Absolutny rekord odnotowano przy redagowaniu i formatowaniu formalnych e-maili – czas tej czynności skrócił się o 93,8 procent, z 15 minut do zaledwie minuty. Rewelacyjne wyniki osiągnięto również przy tworzeniu wykresów Gantta w Excelu (oszczędność na poziomie 73 procent) oraz przy podsumowywaniu długich, zawiłych wątków w systemie ticketowym Jira, gdzie AI ucięło czas o ponad 74 procent, dając ponad 8 minut oszczędności na pojedynczym zadaniu.

Koszt czekania na „ideał”

Najciekawszy jest jednak meta-wniosek płynący z obu analiz. Badacze zgodnie podkreślają, że odkładanie inwestycji w sprzęt nowej generacji w oczekiwaniu na mityczne, „jeszcze doskonalsze” modele to strategiczny błąd. Technologia już dziś osiągnęła poziom, na którym potrafi trwale odciążyć układ nerwowy pracownika, zmniejszając zmęczenie i redukując liczbę popełnianych błędów.

Firmy, które wstrzymują się z aktualizacją infrastruktury pod wymogi AI, de facto nie oszczędzają. Pozwalają jedynie, by konkurencja zbudowała przewagę operacyjną dzięki zespołom, które to samo robią dwa dni szybciej. W erze drastycznego poszukiwania rynkowych optymalizacji, z tym argumentem dyskutować po prostu się nie da.

Nowy Claude ułatwi pracę programistom. Najciekawszy jest jednak model, którego Anthropic nie chce nam pokazać

Как я тестировал локально новый Qwen 3.6 и Gemma 4

Всем привет ! Текст полностью написан человеком ! На днях вышла модель Qwen 3.6 , весь реддит забит этой темой. И я рискнул проверить что она может Оборудование на котором тестировал (Ноутбук Asus TUF AMD Ryzen + дискретная Nvidia rtx 4070 8GB):

https://habr.com/ru/articles/1024932/

#qwen36 #lmstudio #rtx4070 #llm #gemma4 #gemma4

Дружба Linux и Windows, или как поиграться с ИИ-моделями на втором компьютере без видеокарты

Работаете под Windows? Есть лишний компьютер? Нет видеокарты, но хотите сами запускать ИИ-модели? Тогда делаем как на картинке, по шагам.

https://habr.com/ru/articles/1024950/

#Локальный_ИИ #Windows #LMStudio #openwebui #linux_mint #паранойя_mode_on

Ich sitze seit 7h an einem kack UML Diagramm mit #plantuml. Die Kollegin braucht das morgen.
Da ich keine #cloud basierte #ai nutzen darf, wegen unsere Geschäftsgeheimnisse, nutze ich entweder unsere genehmigte #chatgpt Enterprise Version von der Firma oder #gemma4 / #qwen3 mit #lmstudio.
Momentan hat sie die nicht ganz perfekte Variante, bei der man noch von einem "Schönheitsfehler" reden kann.

⚠️ Online-Dienste wie #ChatGPT, #Copilot & Co. benötigen immer eine Internetverbindung, weil sie Daten an fremde Server übertragen.

Dank der kostenlosen Software "LM Studio" kannst Du viele KI-Modelle direkt auf Deinem PC betreiben, also lokal und offline – auch von #Microsoft.

👉🏻 Meine neue Anleitung richtet sich an Einsteiger. Du kannst #LMStudio leicht selbst installieren und dann sofort nutzen: https://www.malter365.de/apps/lm-studio/

Some answers lack citations despite referencing empirical claims (e.g., economic system comparisons).

Read the full article: Assessment of Qwen3.5-9b in LMStudio
▸ https://lttr.ai/AqIc0

#llm #lmstudio #genai

Follow-up on running #LLM locally: I benchmarked 4 models to see if I can actually work while they run

Previews toot: https://framapiaf.org/@lexoyo/116382060378966328

Good news: 3-7B models feel smooth, my laptop stays usable. The GPU handles most of the load.

The 20B model takes 4s before the first word — painful.

Sweet spot on my config: Lucie 7B, fast enough (19 tok/s) and good French.

Surprise: my system already swaps 2GB at idle — that's Firefox, not the AI 😅

#LocalAI #OpenSource #SelfHosting #LMStudio

Gemma 4 ist ist im #LMStudio verfügbar. Gleich mal ausprobieren...

#gemma4 #lmstudio