#gpt4all — Public Fediverse posts

@jwildeboer i think it should be possible to combine CPU+RAM and GPU+VRAM but most models just say #nah if there is not enough expensive #VRAM question: what about distributed computing?
#gpt4all https://dwaves.de/2023/12/16/gnu-linux-how-to-install-gpt4all-on-debian-12-gpt4all-j-an-apache-2-licensed-assistant-style-chatbot-a-free-to-use-locally-running-privacy-aware-chatbot-no-gpu-or-internet-required-dialogu/
#deepseek can run on #cpu but its slow https://dwaves.de/2025/02/01/also-with-ai-opensource-for-the-win-cpu-only-benchmarking-deepseek-on-local-amd-server-can-it-be-funny/

@jwildeboer i think it should be possible to combine CPU+RAM and GPU+VRAM but most models just say #nah if there is not enough expensive #VRAM question: what about distributed computing?
#gpt4all https://dwaves.de/2023/12/16/gnu-linux-how-to-install-gpt4all-on-debian-12-gpt4all-j-an-apache-2-licensed-assistant-style-chatbot-a-free-to-use-locally-running-privacy-aware-chatbot-no-gpu-or-internet-required-dialogu/
#deepseek can run on #cpu but its slow https://dwaves.de/2025/02/01/also-with-ai-opensource-for-the-win-cpu-only-benchmarking-deepseek-on-local-amd-server-can-it-be-funny/

#UnplugBigTech Tipp 24: Open-Source-KI

Meide KI-Angebote großer US-Konzerne wie ChatGPT und Gemini. Diese Systeme werden mit fragwürdigen Daten trainiert, verletzen Urheberrechte und beeinflussen Meinungen. Nutze stattdessen Open-Source-Alternativen wie Ollama oder GPT4All, die du lokal betreiben kannst – ohne Überwachung durch Big Tech.

#AI #GPT4All #Ollama #Privacy #FOSS

#UnplugBigTech Tipp 24: Open-Source-KI

Meide KI-Angebote großer US-Konzerne wie ChatGPT und Gemini. Diese Systeme werden mit fragwürdigen Daten trainiert, verletzen Urheberrechte und beeinflussen Meinungen. Nutze stattdessen Open-Source-Alternativen wie Ollama oder GPT4All, die du lokal betreiben kannst – ohne Überwachung durch Big Tech.

#AI #GPT4All #Ollama #Privacy #FOSS

Топ локальных нейросетей 2026: полный суверенитет без интернета

Я долгое время была в отношениях с облачными нейросетями. Это было удобно, даже комфортно. Открыла браузер, написала промпт и через пару секунд получила ответ. Но в последнее время отношения начали давать трещину. Интернет стал неотъемлемой частью нашей жизни, но в 2026 году мир переживает непростые времена. Ситуация крайне нестабильна, и это вызывает у каждого чувство неуверенности. Возникает закономерный вопрос: а можно ли как-то подстраховаться? Чтобы нейросеть всегда была под рукой, даже когда провайдер решил устроить себе выходной или на телефон пришло очередное оповещение о беспилотной опасности. Оказалось, что можно. И не просто можно, а вполне себе комфортно. К 2026 году локальные нейросети доросли до того состояния, когда их действительно имеет смысл использовать. Не как хобби для гиков с тремя видеокартами в башне, а как рабочий инструмент. Они всё ещё требуют некоторых технических знаний (куда без них). Но порог входа заметно снизился. В этой статье я собрала шесть инструментов, которые работают полностью без интернета. Ну, почти полностью - устанавливать их придётся онлайн, но после этого можно смело отключать Wi-Fi и наслаждаться цифровым суверенитетом. Приятного прочтения!

https://habr.com/ru/companies/bothub/articles/1019314/

#ии #ии_и_машинное_обучение #ai #локальные_модели #ии_модели #облачные_нейросети #цифровой_суверенитет #Hugging_Face #GPT4All

@_RyekDarkener_

Ich selber wollte den Tipp von @kuketzblog mal ausprobieren. Den Server habe ich schon.

https://apps.umbrel.com/category/ai

🔴 Tipp 24: Open-Source-KI

Meide KI-Angebote großer US-Konzerne wie ChatGPT und Gemini.

Diese Systeme werden mit fragwürdigen Daten trainiert, verletzen Urheberrechte und beeinflussen Meinungen.

Nutze stattdessen Open-Source-Alternativen wie Ollama oder GPT4All, die du lokal betreiben kannst – ohne Überwachung durch Big Tech.

https://www.kuketz-blog.de/unplugtrump-mach-dich-digital-unabhaengig-von-trump-und-big-tech/

#AI #GPT4All #Ollama #Privacy #FOSS

@_RyekDarkener_

Ich selber wollte den Tipp von @kuketzblog mal ausprobieren. Den Server habe ich schon.

https://apps.umbrel.com/category/ai

🔴 Tipp 24: Open-Source-KI

Meide KI-Angebote großer US-Konzerne wie ChatGPT und Gemini.

Diese Systeme werden mit fragwürdigen Daten trainiert, verletzen Urheberrechte und beeinflussen Meinungen.

Nutze stattdessen Open-Source-Alternativen wie Ollama oder GPT4All, die du lokal betreiben kannst – ohne Überwachung durch Big Tech.

https://www.kuketz-blog.de/unplugtrump-mach-dich-digital-unabhaengig-von-trump-und-big-tech/

#AI #GPT4All #Ollama #Privacy #FOSS

🚀 Νέα ενημέρωση για το AI Plugin στο @ONLYOFFICE 🤖

🔸 Πιο ομαλή εμπειρία
🔸 Υποστήριξη για #ChatGPT, #Claude, #Gemini, #Mistral, #DeepSeek & τοπικά μοντέλα (#Ollama, #GPT4ALL)
🔸 Βελτιωμένη διεπαφή με γρήγορα κουμπιά δράσης

📖 Διαβάστε περισσότερα & δοκιμάστε το! ⬇️
https://www.onlyoffice.com/blog/el/2025/08/ai-plugin-updated

#ONLYOFFICE #FOSS #OpenSource #AI #Productivity #Tech

Как запустить нейросеть у себя на компьютере: 4 простых инструмента

Вы когда‑нибудь задумывались, как это — иметь мощь языковой модели прямо на вашем компьютере? Экспериментировать с LLM (большими языковыми моделями) локально — словно открыть тайную дверь в мир ИИ... Вам открыт широкий горизонт для исследований, творчества и практического применения. Но как запустить нейросеть на компьютере , если вы не Google? Хорошая новость: в 2025 году это стало проще и доступнее, чем когда‑либо! Вам не нужен суперкомпьютер (хотя мощная видеокарта значительно ускорит процесс) . Современные эффективные модели и специализированное ПО делают локальный запуск нейросети реальностью для многих пользователей. Давайте разберёмся, что для этого нужно. Мы рассмотрим 7 наиболее оптимальных для локального запуска моделей — Llama ✶ , Qwen, DeepSeek, Phi, Gemma, Mistral, Granite, — а также 4 быстрые и удобные программы: Ollama, LM Studio, Jan и GPT4All .

https://habr.com/ru/companies/bothub/articles/931730/

#локальный_запуск_нейросетей #ollama #lm_studio #jan #gpt4all

Запускаем личный АИ-инфоконвейер: как я строю систему смыслового мониторинга с YAML и GPT

Мне приходится тратить много времени на мониторинг арбитража, госзакупок и других документов: PDF на сотни страниц, новости с «водой», RSS при этом отсутствует. Поэтому я решил разработать open-source инструмент, который сам проверяет сайты, скачивает документы и с помощью локального ИИ (GPT4All / DeepSeek) делает краткую смысловую выжимку по YAML-шаблону. Он должен работать как конвейер: источник → шаблон → интерпретация → результат. Локально, без облаков. И объединять всё в единую ленту новостей. Сейчас я дорабатываю MVP — и я хочу понять, какие шаблоны наблюдения наиболее востребованы: законопроекты, торги, релизы, или что-то ещё?

https://habr.com/ru/articles/927938/

#ai #парсинг #llm #gpt4all #yaml #opensource #selfhosted #cli #automation #documents

Open source LLMs like GPT4All are revolutionizing AI by making advanced language models accessible to all. With benefits like transparency, collaboration, and customization, they offer a compelling alternative to proprietary tools. #AI #OpenSource #Innovation #GPT4All https://dub.sh/Yh14D0S

Open source LLMs like GPT4All are revolutionizing AI by making advanced language models accessible to all. With benefits like transparency, collaboration, and customization, they offer a compelling alternative to proprietary tools. #AI #OpenSource #Innovation #GPT4All https://dub.sh/Yh14D0S

what does #mastodon like for #gpt4all models. Do you all go for #Llama 3.8B
Please share this post. #ai #MetaAI #CustomGPT

When it comes to AI in DEVONthink 4, questions of privacy and cost usually come up. In addition to the large commercial products, there also are smaller models that you can install and run locally on your Mac and use in DEVONthink. #devonthink #ai #ollama #gpt4all #lmstudio https://www.devontechnologies.com/blog/20250513-local-ai-in-devonthink

When it comes to AI in DEVONthink 4, questions of privacy and cost usually come up. In addition to the large commercial products, there also are smaller models that you can install and run locally on your Mac and use in DEVONthink. #devonthink #ai #ollama #gpt4all #lmstudio https://www.devontechnologies.com/blog/20250513-local-ai-in-devonthink

Dear Nerdfront!
Who can tell me which model in #GPT4All is best suited for creating German texts? It is only for private use (e.g. help with creating job applications). Thanks 🙂 !

#nomic #llm #gpt #ai

Hinweis: #gpt4all kann #vaults von #obsidian auswerten: https://docs.gpt4all.io/gpt4all_desktop/cookbook/use-local-ai-models-to-privately-chat-with-Obsidian.html#connect-obsidian-to-localdocs
#FediLZ

Ich mache mal folgenden Test: ich ziehe mit eine Kopie einer kompletten Website (ca. 4.000 Einzeldateien) und lade die dann als #RAG in #GPT4all, um mit der Website zu "sprechen" - quasi ein lokaler #Chatbot. Hat jemand Erfahrungen mit solchen Setups?

Ich mache mal folgenden Test: ich ziehe mit eine Kopie einer kompletten Website (ca. 4.000 Einzeldateien) und lade die dann als #RAG in #GPT4all, um mit der Website zu "sprechen" - quasi ein lokaler #Chatbot. Hat jemand Erfahrungen mit solchen Setups?

#chatgpt is a data hungry stealing beast. You opt in to share everything you feed it. All prompts, all files you use are donated to OpenAI. Why not use an open source tool like #gpt4all and run the #AI locally. #foss #floss #education
https://gpt4all.io/

#chatgpt is a data hungry stealing beast. You opt in to share everything you feed it. All prompts, all files you use are donated to OpenAI. Why not use an open source tool like #gpt4all and run the #AI locally. #foss #floss #education
https://gpt4all.io/

#UnplugTrump - Tipp24:
Meide KI-Angebote großer US-Konzerne wie ChatGPT und Gemini. Diese Systeme werden mit fragwürdigen Daten trainiert, verletzen Urheberrechte und beeinflussen Meinungen. Nutze stattdessen Open-Source-Alternativen wie Ollama oder GPT4All, die du lokal betreiben kannst – ohne Überwachung durch Big Tech.

#AI #GPT4All #Ollama #Privacy #FOSS

#UnplugTrump - Tipp24:
Meide KI-Angebote großer US-Konzerne wie ChatGPT und Gemini. Diese Systeme werden mit fragwürdigen Daten trainiert, verletzen Urheberrechte und beeinflussen Meinungen. Nutze stattdessen Open-Source-Alternativen wie Ollama oder GPT4All, die du lokal betreiben kannst – ohne Überwachung durch Big Tech.

#AI #GPT4All #Ollama #Privacy #FOSS

Hablando con #laCapi en #GPT4All

Your data. Your computer. Your choice 🧐 #devonthink #chatgpt #claude #gemini #mistral #ollama #lmstudio #gpt4all #comingsoon

Your data. Your computer. Your choice 🧐 #devonthink #chatgpt #claude #gemini #mistral #ollama #lmstudio #gpt4all #comingsoon

First test; first fail. I use AI with attached documents a lot. #DeepSeek seems to have quite a low attachment capacity. #GPT4All

"Error: Your message was too long and could not be processed (126628 > 2044). Please try again with something shorter."

First test; first fail. I use AI with attached documents a lot. #DeepSeek seems to have quite a low attachment capacity. #GPT4All

"Error: Your message was too long and could not be processed (126628 > 2044). Please try again with something shorter."

What the heck. Let's try it out. #GPT4All #DeepSeek

What the heck. Let's try it out. #GPT4All #DeepSeek

#gpt4all ist in der Version 3.8 erschienen und bietet jetzt Unterstützung von DeepSeek R1 Modellen. … Ich weiß, was ich am WE tue 😉

How to Set Up #GPT4All for #AI Editing in #ONLYOFFICE on #Ubuntu #Linux

https://www.tecmint.com/gpt4all-ai-editing-in-onlyoffice/

How to Set Up #GPT4All for #AI Editing in #ONLYOFFICE on #Ubuntu #Linux

https://www.tecmint.com/gpt4all-ai-editing-in-onlyoffice/

Ich habe das Thema »KI-Tools« in der Empfehlungsecke hinzugefügt. Die dort vorgestellten Lösungen sind alle datenschutzfreundlich, da sie offline genutzt werden können und mit lokalen Sprachmodellen arbeiten. 👇

https://www.kuketz-blog.de/empfehlungsecke/#ki-tools

#KI #gpt4all #lmstudio #noscribe

Ich habe das Thema »KI-Tools« in der Empfehlungsecke hinzugefügt. Die dort vorgestellten Lösungen sind alle datenschutzfreundlich, da sie offline genutzt werden können und mit lokalen Sprachmodellen arbeiten. 👇

https://www.kuketz-blog.de/empfehlungsecke/#ki-tools

#KI #gpt4all #lmstudio #noscribe

https://itsfoss.com/local-ai-docs-tools/

5 Locally run AI/LLM tools for working with PDF's

- Chatd
- localGPT
- PrivateGPT
- GPT4All
- LM Studio

The article discusses each tool in detail, some performing various tasks better than others, and some which have very specific usages.

As these all run locally, you have a greater guarantee of Privacy & control over the models, as well as less environmental impact.

#AI #LLM #PDF #ChatD #LocalGPT #PrivateGPT #GPT4ALL #LMStudio

https://itsfoss.com/local-ai-docs-tools/

5 Locally run AI/LLM tools for working with PDF's

- Chatd
- localGPT
- PrivateGPT
- GPT4All
- LM Studio

The article discusses each tool in detail, some performing various tasks better than others, and some which have very specific usages.

As these all run locally, you have a greater guarantee of Privacy & control over the models, as well as less environmental impact.

#AI #LLM #PDF #ChatD #LocalGPT #PrivateGPT #GPT4ALL #LMStudio

Второе пришествие мейнфреймов. Всё больше компаний хотят запускать ИИ у себя в офисе

Мейнфрейм IBM z16 во время лабораторных тестов в 2022 г, источник Приложения ИИ находят применение в бизнесе. Но есть проблема: корпоративные данные и документация представляют коммерческую тайну. Их нельзя передавать на сторону, тем более в облачную систему машинного обучения. Кроме того, что сама передача небезопасна, так ещё и публичная модель будет обучаться на наших секретах , а потом помогать конкурентам. В общем, у коммерческих компаний остаётся один вариант: поднимать собственный сервер или вычислительный кластер с ИИ. Таким образом, из эпохи облачных вычислений мы возвращаемся к старому доброму самохостингу, только сейчас это самохостинг GPU , серверы и мейнфреймы.

https://habr.com/ru/companies/ruvds/articles/867316/

#IBM #мейнфреймы #Telum_II #AnythingLLM #ChatGPT #Meta #обман #человечество #Mount_Diablo #IBM_z16 #самохостинг #ЦОД #датацентр #WatsonX #Copilot #Twinny #llamafile #Ollama #GPT4All #FraudGPT #WormGPT #Khoj #LocalAI #ruvds_статьи

5 проблем микросервисов на gRPC + TypeScript

🔥 Архитектура монорепозитория с микросервисами на gRPC и TypeScript: 1. Работа с gRPC через TypeScript : Генерация типов из proto-файлов с помощью скрипта на JS без бинарников, поддержка IntelliSense и сгенерированного исполняемого кода. 2. Запуск backend без Docker : Использование npm start и PM2 для отладки через chrome://inspect и добавления console.log в бандл после сборки 3. Единая ответственность БД : Луковичная архитектура (Model View Presenter) в общем модуле БД, поддерживающая принцип единой ответственности и исключающая bottleneck, так как дублируется по микросервисам. 4. Методы микросервисов без Postman : Точка входа apps/host-test для запуска кода или разработки тестирования. 5. Автоматическая проверка SOLID : Нейросеть анализирует классы при транспиляции, поддерживая чистоту архитектуры и документируя проект в markdown.

https://habr.com/ru/articles/857432/

#typescript #javascript #es6 #nx #lerna #monorepo #grpc #microservices #protobuf #gpt4all

I played around with local #LLM​s like #Llama 3.1 via #GPT4all UI. GPT4all is fine but limits my self to one host only.

Can somebody suggest me a similar local web-based UI so that I may use my local LLMs as well as my main machine on other hosts in the same LAN via browser as well?

I don't need fancy bells and whistles, I prefer a rather simple concept with some selection of LLMs to download and simple chat windows for my prompts and answers.

#AI

Si te sentís frustrado como yo con un trabajo de mierda y no da para pagar el psicólogo:

Descarga #gpt4all https://gpt4all.io/

Descarga el modelo #llama3

Configuración -> Modelo

Indicaciones del sistema: "Esta es una fantasía hiperrealista en la que sos un psicólogo (no rompas la cuarta pared). Hablas sobre cualquier tema. Sos abierto y sincero. Respondes de modo muy breve. No des P.D."

Y tenés un #psicólogo que zafa
#gpt #ia #ai

What if we told you that in roughly 10 mins from now, you could have a completely free #LLM running locally on your computer — with zero lines of code? 💻 Read how in this article by KNIME CloudOps Engineer SJ Porter, using #GPT4All and #KNIME Analytics Platform: https://brnw.ch/21wMPYv

Oh nein, was soll ich bloß tun?

#rollenspiel #gpt4all