#lm_studio — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #lm_studio, aggregated by home.social.
-
Как мы запустили Ornith‑35B на ноутбуке с 8 ГБ VRAM и разогнали её до 99 ток/с на AMD Strix Halo
Ornith‑1.0‑35B обошла Qwen3.5‑397B в Terminal‑Bench, а на нашем локальном срезе хорошо показала себя в агентном кодинге. Мы решили проверить, насколько быстрее она сможет работать на AMD Strix Halo с пропускной способностью памяти до 256 ГБ/с. В статье — результаты экспериментов с Vulkan, MTP, селективной квантизацией и n‑gram reuse: что не дало прироста, как удалось получить 99 ток/с без потери качества и каким способом 35B‑модель запустилась на Windows‑ноутбуке с 8 ГБ VRAM.
https://habr.com/ru/articles/1060632/
#llamacpp #Vulkan #AMD_Strix_Halo #Ornith #MoE #MTP #speculative_decoding #GGUF #LM_Studio #локальные_LLM
-
Как мы запустили Ornith‑35B на ноутбуке с 8 ГБ VRAM и разогнали её до 99 ток/с на AMD Strix Halo
Ornith‑1.0‑35B обошла Qwen3.5‑397B в Terminal‑Bench, а на нашем локальном срезе хорошо показала себя в агентном кодинге. Мы решили проверить, насколько быстрее она сможет работать на AMD Strix Halo с пропускной способностью памяти до 256 ГБ/с. В статье — результаты экспериментов с Vulkan, MTP, селективной квантизацией и n‑gram reuse: что не дало прироста, как удалось получить 99 ток/с без потери качества и каким способом 35B‑модель запустилась на Windows‑ноутбуке с 8 ГБ VRAM.
https://habr.com/ru/articles/1060632/
#llamacpp #Vulkan #AMD_Strix_Halo #Ornith #MoE #MTP #speculative_decoding #GGUF #LM_Studio #локальные_LLM
-
Как мы запустили Ornith‑35B на ноутбуке с 8 ГБ VRAM и разогнали её до 99 ток/с на AMD Strix Halo
Ornith‑1.0‑35B обошла Qwen3.5‑397B в Terminal‑Bench, а на нашем локальном срезе хорошо показала себя в агентном кодинге. Мы решили проверить, насколько быстрее она сможет работать на AMD Strix Halo с пропускной способностью памяти до 256 ГБ/с. В статье — результаты экспериментов с Vulkan, MTP, селективной квантизацией и n‑gram reuse: что не дало прироста, как удалось получить 99 ток/с без потери качества и каким способом 35B‑модель запустилась на Windows‑ноутбуке с 8 ГБ VRAM.
https://habr.com/ru/articles/1060632/
#llamacpp #Vulkan #AMD_Strix_Halo #Ornith #MoE #MTP #speculative_decoding #GGUF #LM_Studio #локальные_LLM
-
ローカルモデルの管理だけでなく、タスクもお任せ ～「LM Studio Bionic」が登場／オープンモデルだけでコーディングも知識作業も。クラウド推論との使い分けも可能
https://forest.watch.impress.co.jp/docs/news/2126007.html#forest_watch_impress #LM_Studio #LM_Studio_Bionic #Element_Labs
-
Element Labs、オープンモデルを利用しコーディングや文章作成などを行えるAIエージェント「LM Studio Bionic」をリリース。
https://applech2.com/archives/20260717-lm-studio-bionic.html -
AI使いたい放題なら遠慮は無用！ 「EmEditor」でローカルAIを使えばメリットたくさん[Sponsored]
https://forest.watch.impress.co.jp/docs/topic/special/2119037.html#forest_watch_impress #EmEditor #LM_Studio #Qwen #オフィス_ドキュメント #テキストエディター #Windows #genai #文章生成
-
Локальный запуск openai/gpt-oss-20b MXFP4 GGUF на ноутбуке без дискретной видеокарты: практический тест на 32 GB RAM
Запустил openai/gpt-oss-20b в варианте MXFP4 GGUF на обычном ноутбуке без дискретной видеокарты: только CPU, встроенная Radeon 780M и общая оперативная память. Тест проводился на ASUS Vivobook S 16 M3607HA : Ryzen 7 260, Radeon 780M, 32 GB DDR5 5600, Windows 11 и LM Studio 0.4.16-1 x64. Модель ноутбука указываю не ради привязки статьи к конкретному устройству, а для воспроизводимости. В таких тестах важны не только CPU и RAM, но и охлаждение, лимиты питания и shared memory у встроенной графики. Главный вопрос был практический: можно ли реально пользоваться локальной 20B-моделью на ноутбуке с 32 GB RAM, если отдельной видеокарты нет? Сразу оговорюсь это не научный benchmark, а пользовательский case study на конкретном железе. Проверял скорость, расход RAM/CPU/GPU, поведение при разных лимитах контекста и качество ответов на технических prompt сценариях. 20B-модель, 32 GB RAM и встроенная графика
https://habr.com/ru/articles/1044950/
#локальные_LLM #openai_gptoss20b #GGUF #MXFP4 #LM_Studio #Radeon_780M #Ryzen #ноутбук_без_дискретной_видеокарты #Windows_11 #benchmark
-
Локальный запуск openai/gpt-oss-20b MXFP4 GGUF на ноутбуке без дискретной видеокарты: практический тест на 32 GB RAM
Запустил openai/gpt-oss-20b в варианте MXFP4 GGUF на обычном ноутбуке без дискретной видеокарты: только CPU, встроенная Radeon 780M и общая оперативная память. Тест проводился на ASUS Vivobook S 16 M3607HA : Ryzen 7 260, Radeon 780M, 32 GB DDR5 5600, Windows 11 и LM Studio 0.4.16-1 x64. Модель ноутбука указываю не ради привязки статьи к конкретному устройству, а для воспроизводимости. В таких тестах важны не только CPU и RAM, но и охлаждение, лимиты питания и shared memory у встроенной графики. Главный вопрос был практический: можно ли реально пользоваться локальной 20B-моделью на ноутбуке с 32 GB RAM, если отдельной видеокарты нет? Сразу оговорюсь это не научный benchmark, а пользовательский case study на конкретном железе. Проверял скорость, расход RAM/CPU/GPU, поведение при разных лимитах контекста и качество ответов на технических prompt сценариях. 20B-модель, 32 GB RAM и встроенная графика
https://habr.com/ru/articles/1044950/
#локальные_LLM #openai_gptoss20b #GGUF #MXFP4 #LM_Studio #Radeon_780M #Ryzen #ноутбук_без_дискретной_видеокарты #Windows_11 #benchmark
-
Локальный запуск openai/gpt-oss-20b MXFP4 GGUF на ноутбуке без дискретной видеокарты: практический тест на 32 GB RAM
Запустил openai/gpt-oss-20b в варианте MXFP4 GGUF на обычном ноутбуке без дискретной видеокарты: только CPU, встроенная Radeon 780M и общая оперативная память. Тест проводился на ASUS Vivobook S 16 M3607HA : Ryzen 7 260, Radeon 780M, 32 GB DDR5 5600, Windows 11 и LM Studio 0.4.16-1 x64. Модель ноутбука указываю не ради привязки статьи к конкретному устройству, а для воспроизводимости. В таких тестах важны не только CPU и RAM, но и охлаждение, лимиты питания и shared memory у встроенной графики. Главный вопрос был практический: можно ли реально пользоваться локальной 20B-моделью на ноутбуке с 32 GB RAM, если отдельной видеокарты нет? Сразу оговорюсь это не научный benchmark, а пользовательский case study на конкретном железе. Проверял скорость, расход RAM/CPU/GPU, поведение при разных лимитах контекста и качество ответов на технических prompt сценариях. 20B-модель, 32 GB RAM и встроенная графика
https://habr.com/ru/articles/1044950/
#локальные_LLM #openai_gptoss20b #GGUF #MXFP4 #LM_Studio #Radeon_780M #Ryzen #ноутбук_без_дискретной_видеокарты #Windows_11 #benchmark
-
iPhone/iPadに対応したローカルAIクライアント「Locally AI」がLM Studioの公式アプリとなり、リモートPC/MacのLM StudioにインストールされたローカルAIモデルへiPhoneからアクセスできるLM Linkに対応。
https://applech2.com/archives/20260605-locally-ai-for-iphone-support-lm-studio-link.html#applech2 #ChatGPT_AI #AI #iPad #iPhone #LM_Studio #Mac #アップデート
-
Запускаем Qwen3.6 35B-A3B + opencode локально на RTX 4070 12GB — AI-ассистент для разработки без облака
Я давно слежу за развитием локальных LLM, но всегда упирался в одно и то же — либо модель маленькая и качество не устраивает, либо большая и не влезает в видеопамять. Всё изменилось когда я наткнулся на статью про MoE-модели и параметр -cmoe в llama.cpp. Расскажу как я запустил Qwen3.6 35B-A3B на RTX 4070 12GB с 32GB RAM, настроил его как AI-ассистент для реального проекта в opencode, и почему теперь эта модель у меня работает постоянно.
https://habr.com/ru/articles/1026482/
#llm #локальные_модели #qwen #moe #lm_studio #opencode #llamacpp #искусственный_интеллект #rtx_4070 #aiассистент
-
[Перевод] Запускаю Gemma 4 локально в LM Studio: 51 токен/с и Claude Code без интернета
Ещё вчера для запуска 26-миллиардной нейросети нужен был дата-центр. Сегодня достаточно ноутбука и одной консольной команды. Встречайте: Google Gemma 4 26B-A4B. Модель, которая ломает старые правила. Архитектура mixture-of-experts (128 экспертов, 8 активных на токен) позволяет ей работать на скромных 48 ГБ объединённой памяти, выдавая при этом качество, сопоставимое с гигантами вроде Qwen 3.5 на 397B параметров. А LM Studio 0.4.0 только что сделала локальный запуск таких моделей по-настоящему удобным . Фоновый демон llmster , консольная утилита lms , непрерывный батчинг и – внимание! – эндпойнт, совместимый с Anthropic . Это значит, что вы можете направить Claude Code на свою локальную Gemma 4. Хотите узнать, как заставить эту связку летать? Как правильно рассчитать память под контекст в 256K токенов и почему спекулятивное декодирование — плохая идея для MoE? А главное — сколько это всё жрёт энергии и греет ли ваш Mac? Поехали!
-
[Перевод] Запускаю Gemma 4 локально в LM Studio: 51 токен/с и Claude Code без интернета
Ещё вчера для запуска 26-миллиардной нейросети нужен был дата-центр. Сегодня достаточно ноутбука и одной консольной команды. Встречайте: Google Gemma 4 26B-A4B. Модель, которая ломает старые правила. Архитектура mixture-of-experts (128 экспертов, 8 активных на токен) позволяет ей работать на скромных 48 ГБ объединённой памяти, выдавая при этом качество, сопоставимое с гигантами вроде Qwen 3.5 на 397B параметров. А LM Studio 0.4.0 только что сделала локальный запуск таких моделей по-настоящему удобным . Фоновый демон llmster , консольная утилита lms , непрерывный батчинг и – внимание! – эндпойнт, совместимый с Anthropic . Это значит, что вы можете направить Claude Code на свою локальную Gemma 4. Хотите узнать, как заставить эту связку летать? Как правильно рассчитать память под контекст в 256K токенов и почему спекулятивное декодирование — плохая идея для MoE? А главное — сколько это всё жрёт энергии и греет ли ваш Mac? Поехали!
-
[Перевод] Запускаю Gemma 4 локально в LM Studio: 51 токен/с и Claude Code без интернета
Ещё вчера для запуска 26-миллиардной нейросети нужен был дата-центр. Сегодня достаточно ноутбука и одной консольной команды. Встречайте: Google Gemma 4 26B-A4B. Модель, которая ломает старые правила. Архитектура mixture-of-experts (128 экспертов, 8 активных на токен) позволяет ей работать на скромных 48 ГБ объединённой памяти, выдавая при этом качество, сопоставимое с гигантами вроде Qwen 3.5 на 397B параметров. А LM Studio 0.4.0 только что сделала локальный запуск таких моделей по-настоящему удобным . Фоновый демон llmster , консольная утилита lms , непрерывный батчинг и – внимание! – эндпойнт, совместимый с Anthropic . Это значит, что вы можете направить Claude Code на свою локальную Gemma 4. Хотите узнать, как заставить эту связку летать? Как правильно рассчитать память под контекст в 256K токенов и почему спекулятивное декодирование — плохая идея для MoE? А главное — сколько это всё жрёт энергии и греет ли ваш Mac? Поехали!
-
Локальная LLM для кодинга за 12 минут: LM Studio, Kilo Code и четыре бесплатных облачных варианта
Показываю, как запустить локальную LLM и подключить её к IDE за 15 минут, а также четыре бесплатных облачных альтернативы. Локальный вариант: LM Studio + Qwen3-Coder + Kilo Code. Работает офлайн, без подписки и лимитов на запросы. Облачные варианты: Kilo Code со своими бесплатными моделями, Qwen Code с 1 000 запросов в день, OpenCode с ротируемыми open source free моделями и OpenAI Codex — пока бесплатный для Free-аккаунтов.
https://habr.com/ru/companies/haulmont/articles/1012626/
#локальная_LLM #LM_Studio #Kilo_Code #Qwen #Claude_Code #open_source #ИИагент #кодинг #бесплатные_модели
-
日本語小説エディター「MirrorShard」が「Tauri」で生まれ変わった！ 軽量・高速に／バイナリサイズは1/30に減少、AI機能なども強化した「MirrorShard 2」がリリース
https://forest.watch.impress.co.jp/docs/news/2091824.html#forest_watch_impress #テキストエディター #縦書き #小説 #Tauri #Gemini #LM_Studio #MirrorShard #MirrorShard_2 #オフィス_ドキュメント #Windows #Mac #電子書籍_本 #青空文庫 #genai #文章生成
-
日本語小説エディター「MirrorShard」が「Tauri」で生まれ変わった！ 軽量・高速に／バイナリサイズは1/30に減少、AI機能なども強化した「MirrorShard 2」がリリース
https://forest.watch.impress.co.jp/docs/news/2091824.html#forest_watch_impress #テキストエディター #縦書き #小説 #Tauri #Gemini #LM_Studio #MirrorShard #MirrorShard_2 #オフィス_ドキュメント #Windows #Mac #電子書籍_本 #青空文庫 #genai #文章生成
-
日本語小説エディター「MirrorShard」が「Tauri」で生まれ変わった！ 軽量・高速に／バイナリサイズは1/30に減少、AI機能なども強化した「MirrorShard 2」がリリース
https://forest.watch.impress.co.jp/docs/news/2091824.html#forest_watch_impress #テキストエディター #縦書き #小説 #Tauri #Gemini #LM_Studio #MirrorShard #MirrorShard_2 #オフィス_ドキュメント #Windows #Mac #電子書籍_本 #青空文庫 #genai #文章生成
-
日本語小説エディター「MirrorShard」が「Tauri」で生まれ変わった！ 軽量・高速に／バイナリサイズは1/30に減少、AI機能なども強化した「MirrorShard 2」がリリース
https://forest.watch.impress.co.jp/docs/news/2091824.html#forest_watch_impress #テキストエディター #縦書き #小説 #Tauri #Gemini #LM_Studio #MirrorShard #MirrorShard_2 #オフィス_ドキュメント #Windows #Mac #電子書籍_本 #青空文庫 #genai #文章生成
-
日本語小説エディター「MirrorShard」が「Tauri」で生まれ変わった！ 軽量・高速に／バイナリサイズは1/30に減少、AI機能なども強化した「MirrorShard 2」がリリース
https://forest.watch.impress.co.jp/docs/news/2091824.html#forest_watch_impress #テキストエディター #縦書き #小説 #Tauri #Gemini #LM_Studio #MirrorShard #MirrorShard_2 #オフィス_ドキュメント #Windows #Mac #電子書籍_本 #青空文庫 #genai #文章生成
-
ローカルでAIモデルを動かせる無償ツール「LM Studio」が大規模更新 ～v0.4.0が公開／ヘッドレス運用、並列リクエスト、新しいREST APIなどを導入、UIも刷新
https://forest.watch.impress.co.jp/docs/news/2082004.html -
Radeon向けのユーティリティ「AMD Software」にAIツール一括インストール機能が追加／「ComfyUI」や「LM Studio」など5種。インストール可否はオプション
https://forest.watch.impress.co.jp/docs/news/2079926.html#forest_watch_impress #AMD_Software_Adrenalin_Edition #ComfyUI #PyTorch #LM_Studio #Ollama #Amuse #Software_Adrenalin_Edition_AI_Bundle #genai #画像生成 #文章生成 #システム_ファイル #ハードウェア #Windows
-
История о том как «Очень хочется, но ты зеленый»
Хочется сделать проект с ИИ, но нет ни бюджета, ни опыта в ML, ни мощного железа? В этой статье я расскажу, как, работая системным администратором и имея нулевые знания Python, собрал локального ИИ-бота для анализа резюме. Без облаков, платных API и «магии». Речь пойдёт о реальном опыте: выборе модели, запуске LLM на слабой видеокарте, интеграции с Telegram и о том, какие задачи такой бот действительно может решать в работе HR и руководителей. А также — что это дало мне как специалисту и почему подобные эксперименты полезны, даже если ты пока «зелёный».
https://habr.com/ru/articles/986018/
#Сезон_ИИ_в_разработке #телеграммбот #python #lm_studio #hr_в_it #hrтехнологии #искусственный_интеллект #разработка #api #http
-
Мой опыт настройки и использования AI инструментов в разработке
Локальные LLM для кода — пока мусор. По крайней мере на M1 Max 32GB Тестировал 5 моделей на реальном проекте. Результат: qwen3-coder-30b - завис после 44k токенов qwen2.5-coder-14b - ушёл в бесконечные вопросы qwen3-8b - пыталась выполнить list_files в терминале deepseek-coder - сломал файл со второй попытки При этом DeepSeek через API за 95₽ сделал три валидных изменения за 11 минут. Вывод: если нет жёстких требований к конфиденциальности - не мучайте свое железо. Claude Code или облачный DeepSeek работают в разы лучше. Подробный разбор с промптами, настройками и ценами провайдеров в статье. Перейти
https://habr.com/ru/articles/973404/
#cursor #claude_code #deepseek #qwen #qwen3coder #kiro #perplexity #gemini #lm_studio #mcp
-
Вайб-кодинг от-кутюр: MCP-сервер проверки и запуска кода на Питоне
При вайб-кодинге, то есть разработке с использованием ИИ, локальная нейросеть предлагает Python-скрипт для решения задачи, но нужна уверенность в его корректности и безопасности. Прямой запуск такого кода на рабочей машине это риск для системы и данных. Значит MCP-сервер должен учитывать это. Посмотрим как устроен такой сервер, какие подводные камни могут встретиться и как интегрировать его с локальной LLM. Статья является документированным описанием проекта MCP-сервера, инструмента LLM, предоставляющего две функции: проверку синтаксиса и безопасное выполнение кода в изолированной песочнице. Исходники выложены на github .
-
小説執筆のためのテキストエディター「MirrorShard」にAIチャット機能、v1.5.0が公開／クラウドAI「Gemini」とローカルAI「LM Studio」が選べる
https://forest.watch.impress.co.jp/docs/news/2063091.html#forest_watch_impress #テキストエディター #Left #縦書き #小説 #Pandoc #Gemini #LM_Studio #MirrorShard #オフィス_ドキュメント #Windows #Mac #電子書籍_本 #青空文庫 #genai #文章生成
-
小説執筆のためのテキストエディター「MirrorShard」にAIチャット機能、v1.5.0が公開／クラウドAI「Gemini」とローカルAI「LM Studio」が選べる
https://forest.watch.impress.co.jp/docs/news/2063091.html#forest_watch_impress #テキストエディター #Left #縦書き #小説 #Pandoc #Gemini #LM_Studio #MirrorShard #オフィス_ドキュメント #Windows #Mac #電子書籍_本 #青空文庫 #genai #文章生成
-
小説執筆のためのテキストエディター「MirrorShard」にAIチャット機能、v1.5.0が公開／クラウドAI「Gemini」とローカルAI「LM Studio」が選べる
https://forest.watch.impress.co.jp/docs/news/2063091.html#forest_watch_impress #テキストエディター #Left #縦書き #小説 #Pandoc #Gemini #LM_Studio #MirrorShard #オフィス_ドキュメント #Windows #Mac #電子書籍_本 #青空文庫 #genai #文章生成
-
Как запустить свою LLM для инференса. Руководство по запуску: Ollama, vLLM, Triton, LM Studio, llama.cpp, SGLang
В этой статье будет приведено практическое руководство по базовой настройке и запуску следующих инструментов для работы с LLM: Ollama, LM Studio, vLLM, Triton, llama.cpp, SGLang. 🔥 Начинаем? 🔥
https://habr.com/ru/articles/948934/
#ollama #vllm #triton #lm_studio #llamacpp #sglang #запуск_llm
-
Nvidia CMP – микроскопы для забивания гвоздей?! Копаем глубже…
Почему видеокарта, имеющая неплохие вычислительные возможности, в Stable Diffusion работает в 20 раз медленнее, чем RTX 3060? Почему в LM Studio она становится фаворитом, а в ComfyUI карета превращается в тыкву? Почему FurMark на CMP 90HX тормозит, а на CMP 50HX «бублик» крутится почти нормально? Разгадки в разных программных ограничениях, которые можно найти с помощью экспериментов. Я купил три майнинговые карты Nvidia, чтобы понять, можно ли заставить их эффективно работать. В этот раз мы рассмотрим: статистику производительности в LM Studio, как всё печально в ComfyUI и Stable Diffusion, анатомию программного кода GPU, почему оптимизации производительности дают на CMP обратный эффект, какие режимы вычислений могут раскрыть их потенциал.
https://habr.com/ru/articles/948396/
#llm #nvidia #cmp #50hx #90hx #lm_studio #майнинг #cuda #cublas #40hx
-
Nvidia CMP – микроскопы для забивания гвоздей?! Копаем глубже…
Почему видеокарта, имеющая неплохие вычислительные возможности, в Stable Diffusion работает в 20 раз медленнее, чем RTX 3060? Почему в LM Studio она становится фаворитом, а в ComfyUI карета превращается в тыкву? Почему FurMark на CMP 90HX тормозит, а на CMP 50HX «бублик» крутится почти нормально? Разгадки в разных программных ограничениях, которые можно найти с помощью экспериментов. Я купил три майнинговые карты Nvidia, чтобы понять, можно ли заставить их эффективно работать. В этот раз мы рассмотрим: статистику производительности в LM Studio, как всё печально в ComfyUI и Stable Diffusion, анатомию программного кода GPU, почему оптимизации производительности дают на CMP обратный эффект, какие режимы вычислений могут раскрыть их потенциал.
https://habr.com/ru/articles/948396/
#llm #nvidia #cmp #50hx #90hx #lm_studio #майнинг #cuda #cublas #40hx
-
Nvidia CMP – микроскопы для забивания гвоздей?! Копаем глубже…
Почему видеокарта, имеющая неплохие вычислительные возможности, в Stable Diffusion работает в 20 раз медленнее, чем RTX 3060? Почему в LM Studio она становится фаворитом, а в ComfyUI карета превращается в тыкву? Почему FurMark на CMP 90HX тормозит, а на CMP 50HX «бублик» крутится почти нормально? Разгадки в разных программных ограничениях, которые можно найти с помощью экспериментов. Я купил три майнинговые карты Nvidia, чтобы понять, можно ли заставить их эффективно работать. В этот раз мы рассмотрим: статистику производительности в LM Studio, как всё печально в ComfyUI и Stable Diffusion, анатомию программного кода GPU, почему оптимизации производительности дают на CMP обратный эффект, какие режимы вычислений могут раскрыть их потенциал.
https://habr.com/ru/articles/948396/
#llm #nvidia #cmp #50hx #90hx #lm_studio #майнинг #cuda #cublas #40hx
-
Темные лошадки ИИ – инференс LLM на майнинговых видеокартах Nvidia CMP 50HX, CMP 90HX
Теоретическая производительность майнинговых карт весьма высока, но синтетические тесты показывают, что они в 10 раз слабее игровых - где же правда? На практике с LLM они оказались на уровне RTX 2060/3060. Эта статья для тех, кто хочет сделать дешёвый LLM-сервер и любителей хардкорных экспериментов. Так что же они могут?
https://habr.com/ru/articles/940226/
#ollama #llm #fp16 #nvidia #cmp #50HX #90HX #майнинг #искусственный_интеллект #lm_studio
-
Темные лошадки ИИ – инференс LLM на майнинговых видеокартах Nvidia CMP 50HX, CMP 90HX
Теоретическая производительность майнинговых карт весьма высока, но синтетические тесты показывают, что они в 10 раз слабее игровых - где же правда? На практике с LLM они оказались на уровне RTX 2060/3060. Эта статья для тех, кто хочет сделать дешёвый LLM-сервер и любителей хардкорных экспериментов. Так что же они могут?
https://habr.com/ru/articles/940226/
#ollama #llm #fp16 #nvidia #cmp #50HX #90HX #майнинг #искусственный_интеллект #lm_studio
-
Темные лошадки ИИ – инференс LLM на майнинговых видеокартах Nvidia CMP 50HX, CMP 90HX
Теоретическая производительность майнинговых карт весьма высока, но синтетические тесты показывают, что они в 10 раз слабее игровых - где же правда? На практике с LLM они оказались на уровне RTX 2060/3060. Эта статья для тех, кто хочет сделать дешёвый LLM-сервер и любителей хардкорных экспериментов. Так что же они могут?
https://habr.com/ru/articles/940226/
#ollama #llm #fp16 #nvidia #cmp #50HX #90HX #майнинг #искусственный_интеллект #lm_studio
-
Учим LM Studio ходить в интернет при ответах на вопросы
Мне очень нравится LM Studio, так как она позволяет локально запускать ИИ модели. Что позволяет сохранить приватность того о чем ты беседуешь с ИИ. Но по сравнению с коммерческими онлайн моделями, LM Studio не умеет ходить в интернет "из коробки". Те модели не могут использовать актуальную информацию из Интернета для ответов на вопросы. Не так давно в LM Studio было добавлено возможность подключать MCP-сервера к моделям. Самое первое, что я сделал это, написал небольшой MCP-сервер, который позволяет извлекать текст из URL-адреса. Также может извлекать ссылки, которые есть на странице. Это дает возможность в запросе к ИИ указать адрес и попросить извлечь текст оттуда или ссылки, что бы использовать при ответе. Что бы это все работало, для начала создаем pyproject.toml в папке mcp-server .
-
Как запустить нейросеть у себя на компьютере: 4 простых инструмента
Вы когда‑нибудь задумывались, как это — иметь мощь языковой модели прямо на вашем компьютере? Экспериментировать с LLM (большими языковыми моделями) локально — словно открыть тайную дверь в мир ИИ... Вам открыт широкий горизонт для исследований, творчества и практического применения. Но как запустить нейросеть на компьютере , если вы не Google? Хорошая новость: в 2025 году это стало проще и доступнее, чем когда‑либо! Вам не нужен суперкомпьютер (хотя мощная видеокарта значительно ускорит процесс) . Современные эффективные модели и специализированное ПО делают локальный запуск нейросети реальностью для многих пользователей. Давайте разберёмся, что для этого нужно. Мы рассмотрим 7 наиболее оптимальных для локального запуска моделей — Llama ✶ , Qwen, DeepSeek, Phi, Gemma, Mistral, Granite, — а также 4 быстрые и удобные программы: Ollama, LM Studio, Jan и GPT4All .
https://habr.com/ru/companies/bothub/articles/931730/
#локальный_запуск_нейросетей #ollama #lm_studio #jan #gpt4all
-
Георгий Герганов, автор llama.cpp и звукового кейлогера
Многие пользуются YouTube, Netflix, но не подозревают о ключевых опенсорсных программах типа ffmpeg , которые работают на бэкенде этих сервисов. Похожая ситуация с нейронками, где многие знают программу Ollama для локального запуска моделей на CPU. Но мало кто понимает, что это всего лишь простенькая оболочка вокруг опенсорсной библиотеки llama.cpp на С, которая и делает инференс. Автор этой библиотеки, талантливый разработчик Георгий Герганов , мало известен широкой публике.
https://habr.com/ru/companies/ruvds/articles/923304/
#llamacpp #ollama #llama #llm #Георгий_Герганов #Georgi_Gerganov #lm_studio #LiteLLM #ggml #тензорная_алгебра
-
Как ИИ помогает мне в разработке?
Привет, это снова oldzoomer, и сейчас я расскажу, как ИИ помогает мне освободить себя от рутинных задач, и заниматься исключительно любимым делом.
-
「EmEditor」v25.2が正式版に ～AI対応を拡充、「DeepSeek」「LM Studio」にも対応／Windows 7および32bit版のサポートは終了
https://forest.watch.impress.co.jp/docs/news/2025879.html#forest_watch_impress #EmEditor #EmEditor_Professional #OpenAI #DeepSeek #LM_Studio #オフィス_ドキュメント #テキストエディター #Windows #genai #その他
-
Локально, быстро, бесплатно: запустил Gemma 3 12B на макбуке за 15 минут
Gemma 3 12B — мощная ИИ-модель с 12 миллиардами параметров, которая не требует серверов или облака. Работает прямо на Mac без лишних настроек. Внутри — инструкция по установке, настройке и запуску Gemma 3 12B на macOS с LM Studio.
https://habr.com/ru/companies/minerva_media/articles/920946/
#gemma312b #gemma3 #ai #mac #macos #установка #инструкция #lm_studio #языковая_модель #llm
-
Запускаем DeepSeek-R1 на обычном сервере с 768Гб ОЗУ в LM-Studio
Если у вас нет парка видеокарт, но есть сервер с ОЗУ то не отчаивайтесь, вы тоже можете запустить DeepSeek R1 :-) Покажу на практике как легко и просто без использования командной строки запустить полноразмерную модель DeepSeek R1 на сервере с 768 гигами ОЗУ и что из этого получилось. Статья подойдет и для тех кто хочет и на домашнем компе запустить нейросети, но не знает с чего начать.
-
Does anyone know a way to run a very large #GGUF or #MLX pre-trained #AI model using sharding if it won't fit into unified memory? Speed isn't the goal; just loading. I tried a 250GB model with 72GB VRAM + 24GB RAM using the llama.cpp Metal-enabled runtime, but it didn't work in #LM_Studio even with "keep model in memory" off and "try mmap()" on.
Seems like swap or partial loading should be possible, esp. using #macOS dynamically-sized compressed swap. Thoughts?
-
Does anyone know a way to run a very large #GGUF or #MLX pre-trained #AI model using sharding if it won't fit into unified memory? Speed isn't the goal; just loading. I tried a 250GB model with 72GB VRAM + 24GB RAM using the llama.cpp Metal-enabled runtime, but it didn't work in #LM_Studio even with "keep model in memory" off and "try mmap()" on.
Seems like swap or partial loading should be possible, esp. using #macOS dynamically-sized compressed swap. Thoughts?
-
The latest #LM_Studio beta supports optional auto-unloading of #LLM #AI models using both a new #TTL setting and when switching models by #API. This is very handy for Apple Silicon where unified memory can be allocated to the #GPU but clients switching large models led to memory exhaustion unless you manually unloaded at the command line each time.
If you use LM Studio’s #LAN API feature, turn on the app’s beta update channel to try it out. Works well for me so far!
-
The latest #LM_Studio beta supports optional auto-unloading of #LLM #AI models using both a new #TTL setting and when switching models by #API. This is very handy for Apple Silicon where unified memory can be allocated to the #GPU but clients switching large models led to memory exhaustion unless you manually unloaded at the command line each time.
If you use LM Studio’s #LAN API feature, turn on the app’s beta update channel to try it out. Works well for me so far!
