#lmstudio — Public Fediverse posts

@Jeehut
100% agree!

I noticed that #llamacpp in a recent build has defaulted to using the native #huggingface paths. I hope #LMStudio and others switch as well. It’s pretty annoying to have models scattered in different directories. I’ve accidentally downloaded the same model switching between LLM servers.

Testing some #LLM to aid in article construction, I made an hypothetic #StarFox review.

I believe LLM are great when asking to fill in, fact check, rewrite and reorganize ideas into a clear line of thought.

I'm going to publish it and then see after a month if it predicted the future correctly, or not, for the lolz.

Also, Unsloth's Gemma 4 26B/A4B breaks to shit with Repeat Penalty below 0.8.

#AI #LLM #LMStudio #ChatBot #LargeLanguageModel #ArtificialIntelligence

Are you using several #StableDiffusion and/or #LLM front-ends, each with their own separate model download and management? All those 5GB+ models add up fast!

- Wrangle those duplicates with 'rdfind -makehardlinks'.

- Use Gollama for sharing models between #LMStudio and #Ollama.

Part-DB's #AI features utilize the new @symfony AI component, especially AI platform to make it platform agnostic and allow for different AI providers.
Currently there is support for #openrouter to support a variety of cloud based LLMs, and #lmstudio for self hosted AI on your local GPU.

#symfony #php #opensource #webdev

Part-DB's #AI features utilize the new @symfony AI component, especially AI platform to make it platform agnostic and allow for different AI providers.
Currently there is support for #openrouter to support a variety of cloud based LLMs, and #lmstudio for self hosted AI on your local GPU.

#symfony #php #opensource #webdev

Ich glaube, ich habe mit Gemma-4-26b-a4b das ideale Modell für den #MacMini gefunden. Bester Kompromiss aus Geschwindigkeit und Reife. Falls jemand einen noch besseren Vorschlag hat, gerne her damit.

#lokalLLM #llm #lmstudio #ki #gemma

TUTORIAL - Passo a passo: IA local no Linux com LM Studio

Neste vídeo, você vai aprender como rodar inteligência artificial localmente no seu Linux usando o LM Studio.

Se você quer mais controle, mais privacidade e rodar IA direto no seu computador, esse guia é pra você.

Link: https://youtu.be/M7jR2BIuGyQ

#debian #debian13 #lmstudio #ialocal #ibmgranite #gptoss #googlegemma #qwen #rx550 #linux

TUTORIAL - Passo a passo: IA local no Linux com LM Studio

Neste vídeo, você vai aprender como rodar inteligência artificial localmente no seu Linux usando o LM Studio.

Se você quer mais controle, mais privacidade e rodar IA direto no seu computador, esse guia é pra você.

Link: https://youtu.be/M7jR2BIuGyQ

#debian #debian13 #lmstudio #ialocal #ibmgranite #gptoss #googlegemma #qwen #rx550 #linux

Step-by-step guide to running Gemma 4 and Qwen 3.6 locally — fully offline, no data shared.

By Automation Avenue
https://www.youtube.com/watch?v=NNOq3T26MIQ

#privacy #localai #llm #digitalprivacy #lmstudio

#JetBrains implementation for Agents is shit.

Just had to diagnose why a client GPUs were running full 24/7. JetBrains IDE decided it to just randomly send prompts.

This kind of random behavior is why I'm no longer recommending JetBrains IDE unless your corpo pays it for you.

I'm on the #Zed bandwagon form now on. Period.

#Programming #Coding #Code #ZedEditor #SoftwareDevelopment #AI #LLM #LMStudio #Ollama #RTX #Programming #WebDevelopment #AppDevolpment #Java #Agent #AIAgent #IDE

Komputery z AI to nie marketing. Nowe dane pokazują, jak odzyskać nawet dwa dni pracy w tygodniu

Przez ostatnie miesiące producenci sprzętu zasypywali nas obietnicami o rewolucji, jaką przyniosą komputery ze zintegrowanymi układami sztucznej inteligencji (tzw. AI PC). Do teraz brzmiało to jak zręczny marketing.

Dwa najnowsze raporty badawcze – choć warto odnotować uczciwie, że zrealizowane na zlecenie jednego z czołowych producentów procesorów – weryfikują te zapowiedzi, dostarczając twardych danych. Wniosek? Ignorowanie tej technologii kosztuje firmy dziesiątki godzin zmarnowanego czasu miesięcznie, a pracownikom w skrajnych przypadkach odbiera nawet dwa dni wolnego w tygodniu.

Efekt kuli śnieżnej, czyli 7 tygodni w kieszeni

Z pierwszego badania wynika, że choć poszczególne zadania z pomocą lokalnego AI wykonuje się zauważalnie szybciej, prawdziwa zmiana dzieje się, gdy te drobne oszczędności skumulujemy w cyklu dobowym. Analiza typowego, 95-minutowego bloku pracy biurowej – obejmującego odpowiadanie na maile, notatki ze spotkań czy aktualizację prezentacji – wykazała, że na komputerze ze wsparciem sprzętowym AI czas ten skraca się do 61 minut. To redukcja aż o 36 procent.

W skali roku oznacza to, że pracownik zyskuje dodatkowe 7 tygodni (ponad 300 godzin), które może przeznaczyć na pracę analityczną lub po prostu na złapanie oddechu. Co więcej, atutem dzisiejszych AI PC jest możliwość uruchamiania zaawansowanych modeli językowych (np. LLM przez aplikację LM Studio) całkowicie lokalnie. Oznacza to, że firmy mogą generować podsumowania i analizować poufne dokumenty finansowe bez wysyłania choćby jednego bajta do zewnętrznej chmury, gwarantując absolutną prywatność danych.

Zaawansowany użytkownik oszczędza jeszcze więcej

Drugi raport wziął pod lupę tzw. „power userów” – kierowników projektów i analityków. W ich przypadku liczby są jeszcze bardziej bezlitosne dla tradycyjnych metod pracy. Okazuje się, że wykorzystanie wbudowanej sztucznej inteligencji potrafi w niektórych, bardzo intensywnych scenariuszach zaoszczędzić ponad 16 godzin w typowym tygodniu pracy. To niemal dwa pełne dni robocze.

Absolutny rekord odnotowano przy redagowaniu i formatowaniu formalnych e-maili – czas tej czynności skrócił się o 93,8 procent, z 15 minut do zaledwie minuty. Rewelacyjne wyniki osiągnięto również przy tworzeniu wykresów Gantta w Excelu (oszczędność na poziomie 73 procent) oraz przy podsumowywaniu długich, zawiłych wątków w systemie ticketowym Jira, gdzie AI ucięło czas o ponad 74 procent, dając ponad 8 minut oszczędności na pojedynczym zadaniu.

Koszt czekania na „ideał”

Najciekawszy jest jednak meta-wniosek płynący z obu analiz. Badacze zgodnie podkreślają, że odkładanie inwestycji w sprzęt nowej generacji w oczekiwaniu na mityczne, „jeszcze doskonalsze” modele to strategiczny błąd. Technologia już dziś osiągnęła poziom, na którym potrafi trwale odciążyć układ nerwowy pracownika, zmniejszając zmęczenie i redukując liczbę popełnianych błędów.

Firmy, które wstrzymują się z aktualizacją infrastruktury pod wymogi AI, de facto nie oszczędzają. Pozwalają jedynie, by konkurencja zbudowała przewagę operacyjną dzięki zespołom, które to samo robią dwa dni szybciej. W erze drastycznego poszukiwania rynkowych optymalizacji, z tym argumentem dyskutować po prostu się nie da.

Nowy Claude ułatwi pracę programistom. Najciekawszy jest jednak model, którego Anthropic nie chce nam pokazać

​Как ИИ-агенты по программированию похищают секреты

Современные ИИ-агенты для программирования — Claude Code, Cursor, Windsurf и аналогичные инструменты — стали неотъемлемой частью рабочего процесса многих разработчиков. Они анализируют кодовую базу, предлагают решения и автоматизируют рутину...

#DST #DSTGlobal #ДСТ #ДСТГлобал #искусственныйинтеллект #ИИагенты #код #программирование #секреты #ClaudeCode, #Cursor #Windsurf #Мониторинг #DNS #Ollama #LMStudio

Источник: https://dstglobal.ru/club/1175-kak-ii-agenty-po-programmirovaniyu-pohischayut-sekrety

​Как ИИ-агенты по программированию похищают секреты

Современные ИИ-агенты для программирования — Claude Code, Cursor, Windsurf и аналогичные инструменты — стали неотъемлемой частью рабочего процесса многих разработчиков. Они анализируют кодовую базу, предлагают решения и автоматизируют рутину...

#DST #DSTGlobal #ДСТ #ДСТГлобал #искусственныйинтеллект #ИИагенты #код #программирование #секреты #ClaudeCode, #Cursor #Windsurf #Мониторинг #DNS #Ollama #LMStudio

Источник: https://dstglobal.ru/club/1175-kak-ii-agenty-po-programmirovaniyu-pohischayut-sekrety

​Как ИИ-агенты по программированию похищают секреты

Современные ИИ-агенты для программирования — Claude Code, Cursor, Windsurf и аналогичные инструменты — стали неотъемлемой частью рабочего процесса многих разработчиков. Они анализируют кодовую базу, предлагают решения и автоматизируют рутину...

#DST #DSTGlobal #ДСТ #ДСТГлобал #искусственныйинтеллект #ИИагенты #код #программирование #секреты #ClaudeCode, #Cursor #Windsurf #Мониторинг #DNS #Ollama #LMStudio

Источник: https://dstglobal.ru/club/1175-kak-ii-agenty-po-programmirovaniyu-pohischayut-sekrety

​Как ИИ-агенты по программированию похищают секреты

Современные ИИ-агенты для программирования — Claude Code, Cursor, Windsurf и аналогичные инструменты — стали неотъемлемой частью рабочего процесса многих разработчиков. Они анализируют кодовую базу, предлагают решения и автоматизируют рутину...

#DST #DSTGlobal #ДСТ #ДСТГлобал #искусственныйинтеллект #ИИагенты #код #программирование #секреты #ClaudeCode, #Cursor #Windsurf #Мониторинг #DNS #Ollama #LMStudio

Источник: https://dstglobal.ru/club/1175-kak-ii-agenty-po-programmirovaniyu-pohischayut-sekrety

Ich sitze seit 7h an einem kack UML Diagramm mit #plantuml. Die Kollegin braucht das morgen.
Da ich keine #cloud basierte #ai nutzen darf, wegen unsere Geschäftsgeheimnisse, nutze ich entweder unsere genehmigte #chatgpt Enterprise Version von der Firma oder #gemma4 / #qwen3 mit #lmstudio.
Momentan hat sie die nicht ganz perfekte Variante, bei der man noch von einem "Schönheitsfehler" reden kann.

If you are running #LocalLLMs you may be using LM Studio. Just a fair warning.... While this is practical, it's also proxying everything through their infrastructure. It's a privacy nightmare.

#lmstudio

Running Google Gemma 4 Locally with LM Studio's New Headless CLI and Claude Code

https://ai.georgeliu.com/p/running-google-gemma-4-locally-with

#HackerNews #Running #Google #Gemma #4 #Locally #with #LM #New #Headless #CLI #and #Claude #Code

gemma4 #localdevelopment #lmstudio #headlesscli #claude #code

This is hilarious. There is a site that does the whole exposé on how #ClaudeCode works.

https://ccunpacked.dev/

They should have called it CUCK: Claude Unpacked Code Knowledge.

Because that's is what Anthropic is going to feel the next coming weeks.

#Programming #Programmers #Coding #Code #SoftwareDevelopment #WebDevelopment #WebDev #AppDevelopment #CLI #Linux #FOSS #OSS #OpenClaw #Claude #Codex #Llama #Ollama #LlamaCCP #LLM #LargeLanguageModel #AI #LMStudio

Let's say I have a large codebase written in #TypeScript that I wish to transform into another language, like #Rust.

Which service would be great to do so, that could operate locally, and hopefully, automatically?

Asking for a friend.

#Programming #Programmers #Coding #Code #SoftwareDevelopment #WebDevelopment #WebDev #AppDevelopment #CLI #Linux #FOSS #OSS #OpenClaw #Claude #Codex #Llama #Ollama #LlamaCCP #LLM #LargeLanguageModel #AI #LMStudio

Mit dem aktuellen Update der #LMStudio #MLX Runtime (0.36.1) laufen seit heute auch die Ministral- und Devstral-Modelle im entsprechenden Format.

ministral-3-14b-reasoning liefert dabei auf meinem 2022er MacBook Pro M1 brauchbare 16tok/sec - dem #LLM beim "Denken" zuzugucken ist dabei recht amüsant: Im Vergleich zu anderen Reasoning-Modellen finde ich es irgendwie sympathisch "verkopft" und unentschlossen.

#ministral #devstral

I don't see any reason to own an NVIDIA #DGXSpark except for one:

Already being part of the NVIDIA ecosystem.

It's far too expensive. A #MacBook M4 Max is a serial contender, and #StrixHalo perform almost the same.

Consumers are not the target, but businesses that need to prototype their models before hitting the Cloud with 1:1 NVIDIA software stack.

https://www.youtube.com/watch?v=Pww8rIzr1pg

#NVIDIA #LLM #LMStudio #RTX #DGX #Apple #MTX #CUDA #AI #ArtificialIntelligence #Linux

In case anyone wants to run their own #LLM on their personal devices, I can suggest #lmstudio It allows you to download any major model that's out there to your own laptop/desktop, and then you can use it's Graphical Interface to interact with it in a familiar interface environment, as you would #Claude or #ChatGPT or #Gemini. It will also let you know if your device has enough resources (power) to run a specific model variant: https://lmstudio.ai/

For those of you who love the Terminal (aka: Command Line Interface or #CLI), check out https://ollama.com/

For starters, I suggest the #gemma3n model (works great on tablets, laptops, or phones), or #llama3.1 for the most common interactions. While most of us geeks will have very powerful personal systems, or servers in our home racks, most people do not have high-end systems/devices. The gemma3n model is lightweight, very powerful, and a solid general purpose LLM.

What's the benefit of running LLM's locally? #Privacy is a big one (it's running on your local machine, not a cloud server) - so you can ask it questions against sensitive business data, PHI/PII, etc.. You can also run it #offline (no Internet connection required) so if you wanted to #airgap your interactions, or play with it on vacation (on a plane, lost in the back country, etc.), you can absolutely do that - even with the Deepseek model.

I started playing with both LM Studio and ollama myself - been asking models basic questions like "what is the capital of Italy" and also more complex questions like "write me a #powershell script to add users of a specific OU to a number of Security Groups within AD" and so far, it's been very accurate. The PowerShell script llama3.1 provided worked out of the box (after I revised variables to match my environment).

#AIForward #AI #AiResearch #FunWithAI

#Clade4 #Sonnet and I have just deployed our second #AgenticAI on our #ICandy #Browser #dashboard project. We have have a total of 12 apps on this dashboard. The #AIAgent is a local AI chat app that allows me to chat with any of the small #LLM model that I downloaded and run on #LMStudio. I use them for learning #programming, #Math and #Japanese. This module can also generate 3000 #English sentences based on the set of vocabulary I upload to it that will be used for training my #NNUE #SLM.

Как запустить локальную LLM (AI) в Android Studio

Привет! Если вы мобильный разработчик и следите за AI-трендами, наверняка задумывались о том, как интегрировать языковые модели (LLM) в свои приложения прямо из Android Studio. В этой статье я расскажу, как это можно сделать быстро и просто, не полагаясь на внешние API и облачные решения.

https://habr.com/ru/articles/904648/

#kotlin #android_studio #continuedev #lmstudio #local_llm

Trying LM Studio 0.2.16 for AMD ROCm (Technology Preview Release) + Mistral for the first time. Got myself my own local AI!

I don't know what to do now 😄

#AI #LMStudio #AMDROCm #Mistral #7800XT

💡LM studio esegue sul tuo pc chat conversazionali
LM Studio è un programma open source e gratuito ospitato su GitHub, progettato per semplificare l'installazione e l'uso di modelli LLM sul tuo computer locale

https://gomoot.com/lm-studio-esegue-sul-tuo-pc-chat-conversazionali/

#AI #IA #intelligenzaartificiale #ChatGPT #Claude #Llama #LLM #LMstudio #MPT #orca #prompt #software #STABLEdiffusion #WizardCoder

💡LM studio esegue sul tuo pc chat conversazionali
LM Studio è un programma open source e gratuito ospitato su GitHub, progettato per semplificare l'installazione e l'uso di modelli LLM sul tuo computer locale

https://gomoot.com/lm-studio-esegue-sul-tuo-pc-chat-conversazionali/

#AI #IA #intelligenzaartificiale #ChatGPT #Claude #Llama #LLM #LMstudio #MPT #orca #prompt #software #STABLEdiffusion #WizardCoder

💡LM studio esegue sul tuo pc chat conversazionali
LM Studio è un programma open source e gratuito ospitato su GitHub, progettato per semplificare l'installazione e l'uso di modelli LLM sul tuo computer locale

https://gomoot.com/lm-studio-esegue-sul-tuo-pc-chat-conversazionali/

#AI #IA #intelligenzaartificiale #ChatGPT #Claude #Llama #LLM #LMstudio #MPT #orca #prompt #software #STABLEdiffusion #WizardCoder

💡LM studio esegue sul tuo pc chat conversazionali
LM Studio è un programma open source e gratuito ospitato su GitHub, progettato per semplificare l'installazione e l'uso di modelli LLM sul tuo computer locale

https://gomoot.com/lm-studio-esegue-sul-tuo-pc-chat-conversazionali/

#AI #IA #intelligenzaartificiale #ChatGPT #Claude #Llama #LLM #LMstudio #MPT #orca #prompt #software #STABLEdiffusion #WizardCoder