#anythingllm — Public Fediverse posts

🌐🤖 AnythingLLM: Soluția All-in-One pentru a rula inteligențe artificiale local și privat pe sistemul tău

Găzduirea și utilizarea modelelor de limbaj mari (LLM) pe propriul hardware a devenit o prioritate pentru utilizatorii care pun preț pe confidențialitatea datelor și independența față de giganții tech. În acest peisaj, AnythingLLM se remarcă ca una dintre cele mai puternice, flexibile și prietenoase aplicații open-source concepute pentru a transforma orice calculator într-un centru privat de inteligență artificială.

Spre deosebire de alte instrumente care necesită cunoștințe avansate de terminal, AnythingLLM oferă o interfață grafică (GUI) modernă și un sistem complet de gestionare a documentelor pentru tehnologia RAG (Retrieval-Augmented Generation — adică abilitatea de a discuta direct cu fișierele tale).

Iată ce face din AnythingLLM o aplicație de top pentru productivitate și confidențialitate:

🔹 Sistem RAG avansat bazat pe „Spații de lucru” (Workspaces):
Aplicația îți permite să creezi spații de lucru separate (izolate unele de altele) în care poți încărca PDF-uri, documente Word, link-uri web sau fișiere text. AnythingLLM procesează automat aceste date local și îți permite să pui întrebări sau să generezi rezumate bazate strict pe documentele introduse, fără ca informațiile tale să părăsească vreodată computerul.

🔹 Flexibilitate totală în alegerea modelelor (Multi-Provider):
Aplicația nu te obligă să folosești un singur furnizor de tehnologie. O poți conecta instantaneu la:

Soluții 100% locale: Prin integrarea directă cu Ollama, LM Studio sau LocalAI, rulând modele populare (precum Llama 3, Mistral sau Phi-3) direct pe placa ta video sau procesor.

Servicii cloud comerciale: Dacă preferi sau nu ai hardware puternic, o poți conecta prin chei API la OpenAI (ChatGPT), Anthropic (Claude), Groq sau Mistral AI.

🔹 Interfață multi-utilizator și securitate enterprise:
AnythingLLM este ideal nu doar pentru utilizatorii individuali, ci și pentru echipe sau companii. Varianta sa de server oferă permisiuni granulare, gestionarea conturilor de utilizatori, loguri de acces și securizarea datelor, asigurându-se că documentele confidențiale de business sunt accesibile doar persoanelor autorizate.

🔹 Suport complet Multi-Platformă:
Aplicația este construită cu grijă pentru ecosistemul open-source și cross-platform, fiind disponibilă ca aplicație nativă pentru Linux (prin pachete AppImage), Windows și macOS, dar oferind și o variantă containerizată prin Docker pentru o desfășurare rapidă pe servere sau în cloud privat.

#OpenSource #AnythingLLM #ArtificialIntelligence #Privacy #Ollama #LLM #LinuxApps #TechNews #DesdeLinux

🌐🤖 AnythingLLM: Soluția All-in-One pentru a rula inteligențe artificiale local și privat pe sistemul tău

Găzduirea și utilizarea modelelor de limbaj mari (LLM) pe propriul hardware a devenit o prioritate pentru utilizatorii care pun preț pe confidențialitatea datelor și independența față de giganții tech. În acest peisaj, AnythingLLM se remarcă ca una dintre cele mai puternice, flexibile și prietenoase aplicații open-source concepute pentru a transforma orice calculator într-un centru privat de inteligență artificială.

Spre deosebire de alte instrumente care necesită cunoștințe avansate de terminal, AnythingLLM oferă o interfață grafică (GUI) modernă și un sistem complet de gestionare a documentelor pentru tehnologia RAG (Retrieval-Augmented Generation — adică abilitatea de a discuta direct cu fișierele tale).

Iată ce face din AnythingLLM o aplicație de top pentru productivitate și confidențialitate:

🔹 Sistem RAG avansat bazat pe „Spații de lucru” (Workspaces):
Aplicația îți permite să creezi spații de lucru separate (izolate unele de altele) în care poți încărca PDF-uri, documente Word, link-uri web sau fișiere text. AnythingLLM procesează automat aceste date local și îți permite să pui întrebări sau să generezi rezumate bazate strict pe documentele introduse, fără ca informațiile tale să părăsească vreodată computerul.

🔹 Flexibilitate totală în alegerea modelelor (Multi-Provider):
Aplicația nu te obligă să folosești un singur furnizor de tehnologie. O poți conecta instantaneu la:

Soluții 100% locale: Prin integrarea directă cu Ollama, LM Studio sau LocalAI, rulând modele populare (precum Llama 3, Mistral sau Phi-3) direct pe placa ta video sau procesor.

Servicii cloud comerciale: Dacă preferi sau nu ai hardware puternic, o poți conecta prin chei API la OpenAI (ChatGPT), Anthropic (Claude), Groq sau Mistral AI.

🔹 Interfață multi-utilizator și securitate enterprise:
AnythingLLM este ideal nu doar pentru utilizatorii individuali, ci și pentru echipe sau companii. Varianta sa de server oferă permisiuni granulare, gestionarea conturilor de utilizatori, loguri de acces și securizarea datelor, asigurându-se că documentele confidențiale de business sunt accesibile doar persoanelor autorizate.

🔹 Suport complet Multi-Platformă:
Aplicația este construită cu grijă pentru ecosistemul open-source și cross-platform, fiind disponibilă ca aplicație nativă pentru Linux (prin pachete AppImage), Windows și macOS, dar oferind și o variantă containerizată prin Docker pentru o desfășurare rapidă pe servere sau în cloud privat.

#OpenSource #AnythingLLM #ArtificialIntelligence #Privacy #Ollama #LLM #LinuxApps #TechNews #DesdeLinux

Беспорядочные акын-заметки про нейронки.

Всё таки #anythingLLM мне мало. Но это отличный старт, чтобы вкатиться в нейронки, рекомендую, кому-то и этого будет достаточно. Плюс там упор на конфиденциальность, кому вдруг надо.

Я его возможно даже оставлю, ибо очень удобно сделано скармливание данных и разделение этого на разные воркспейсы, никакой лишней возни, всё интуитивно через интерфейс. Тут у тебя один специалист, в соседнем чате другой. В ТГ-боте можно командами переключаться.
Вот бы объединить простоту и удобство anythingLLM с возможностями openclaw.

Но я таки упоролся и установил злоебучий #openclaw на NAS (до этого был на ПК). Claude очень в этом выручил, скриншоты кушает на ура, пугающе быстро и хорошо работает. Правда оказалось это мелочи, самое весёлое это установить vpn туда, чтоб ТГ-бот заработал, что-то с готовыми решениями там не очень. v2rayA похоже нельзя завести, несколько часов мудохался с ним, сервак подключает, но по факту трафик идёт мимо.
С другой стороны недавно у них мобильное приложение вышло (которое говорят сразу засрали), и возможно вообще без ТГ теперь получится.

Уже успел словить баг, в веб-интерфейсе переключал голоса TTS, и для того чтоб голос переключался надо было gateway перезапускать (охуенно сделано), ну после очередного перезапуска больше я TTS не видел. Оказалось это известный баг, не первой свежести, до сих пор не закрытый, ну збс чо. Часа полтора пытались исправить, кайф.
Вот в принципе в этом весь openclaw. Час работает, два ебёшься с проблемой возникшей на ровном месте. Или просто латаешь очевидные косяки. Ну посмотрим, пока притираемся. Но очень много сделано не интуитивно, нужно обо всём спрашивать нейронки, настраивать, допиливать. Как конструктор - ну норм, но не для рядового юзверя, которому надо просто чтобы работало. Пованивает linux-way немного.

Потратил пару часов, сделал папочку со всем конфигом по NAS и домашней сети, научил обращаться к ней когда надо. Просто при упоминании слова NAS она автоматически будет использовать нужную папку с инфой. Ну это кайф, да.

Напоминания сделаны хорошо, без лишней возни, просишь - запоминает. Главное что в отличие от anythingLLM clawа может писать сама в чат.

Ну и Qwen3.6 35b a3b настроил нормально, правда оказалось у него есть родные косяки, типа может иногда в зацикливание уходить, но в целом проблемы заборол, теперь работает стабильно и быстро, и вообще радует. Ощущается как какой-то ретро-футуризм, пишешь суперкомпьютеру и смотришь на локальное ЧУДО, как бедняга копошится в конфигах, потом в интернете, потом опять в конфигах, потом что-то там устанавливает, перезапускает, перепроверяет и в итоге минут через десять исправляет проблему.
Просто нужно было настройки в lm studio правильные выставить, и чекать, там после перезапуска модели могут сбрасываться настройки. Теперь знаю что 65к контекст оптимально для моего железа (ну и в целом для openclaw 32к это маловато, там сходу под 15к будет, совсем впритык получается). На 80% контекст сама сжимает, удобно. А я поначалу пытался оказывается на 8к модельки заводить )

#AnythingLLM

Жаль что официально можно только одного ТГ-бота подключить. Моделька в нём меняется быстро, как и воркспейс, но таких хотелось бы сразу разных ботов. Есть какие-то сторонние решения, через мост, сомнительно но ок, буду пробовать.

#openclaw меня победил. Слишком много с ним возни оказалось, это для особых любителей, я же искал просто решение, а не новое хобби.

Пока откатился немножко назад в эволюционном рывке, открыл для себя #AnythingLLM - наконец-то нашёл как создавать агентов без боли.

Начал с самого простого. Чтоб тупо скормить инфу локальной модели и она по ней отвечала. Очень удобно для мануалов и всяких ПСС. Типичный пример в вакууме - ПСС Ленина + "отвечай будто ты Ленин". Работает ) Скормил просто пдфки. Пример конечно довольно тупой, но суть понятна. Правда тестил на 17Гб модели qwen3.5 (27B), ибо qwen3 vision 4B выдавала какую лютую дичь.

Anything LLM для каждого [бизнеса]

Делюсь опытом. Как я настроил AnythingLLM для небольшой компании на базе VPS и своего домашнего компа. Заказчик хочет оценить все эти ваши GPT на практике, но не готов вкладываться и запрещает отдавать свои тайны публичным языковым моделям. Есть запрос - есть и предложение. Делаем решение из того, что уже есть: VPS на Ubuntu, домашний игровой комп, Mikrotik в качестве роутера. Один вечер и минимум вложений. Заказчик в восторге, я в плюсе!

https://habr.com/ru/articles/1044140/

#llm #rag #anythingllm #малый_бизнес

Gemma 4 via Ollama and AnythingLLM, 0% sycophancy!
#AI #gemma4 #ollama #anythingllm #llm

http://talkwards.com/2026/05/30/gemma4-0-sycophancy/

Gemma 4 via Ollama and AnythingLLM, 0% sycophancy!
#AI #gemma4 #ollama #anythingllm #llm

http://talkwards.com/2026/05/30/gemma4-0-sycophancy/

Scopri come eseguire AnythingLLM in self-hosting, una delle alternative locali a strumenti come Perplexity e inizia a costruire un ambiente AI locale più controllabile e pratico (RAG, ricerche web, recupero pagine web con qualsiasi LLM in locale, agenti AI).

🔗 https://www.risposteinformatiche.it/anythingllm-in-locale-guida-pratica-passo-passo/

@linux @opensource

#AnythingLLM #LLM #SelfHosted #Linux #Docker #OpenSource #Perplexity #UnoLinux #UnoOpenSource #Ollama #LMStudio #Gratis #Free

Scopri come eseguire AnythingLLM in self-hosting, una delle alternative locali a strumenti come Perplexity e inizia a costruire un ambiente AI locale più controllabile e pratico (RAG, ricerche web, recupero pagine web con qualsiasi LLM in locale, agenti AI).

🔗 https://www.risposteinformatiche.it/anythingllm-in-locale-guida-pratica-passo-passo/

@linux @opensource

#AnythingLLM #LLM #SelfHosted #Linux #Docker #OpenSource #Perplexity #UnoLinux #UnoOpenSource #Ollama #LMStudio #Gratis #Free

AnythingLLM in locale: guida pratica passo passo

AnythingLLM in locale: guida pratica passo passo

Verständnisfrage: Ich habe #paperless_ngx auf meiner #Synology NAS installiert.
Ich habe #Ollama und #AnythingLLM auf meinem Desktop-Rechner installiert (aus Leistungsgründen, weil die Synology halt nicht so viel Leistung hat wie ein Desktop-Rechner).
Nun möchte ich #paperless_ai installieren. Wie kann ich das auf dem Desktop tun und mit dem bestehenden Ollama verbinden, damit ich nicht Gefahr laufe, nochmals Ollama auf der Synology NAS zu installieren?
#paperlessai

Verständnisfrage: Ich habe #paperless_ngx auf meiner #Synology NAS installiert.
Ich habe #Ollama und #AnythingLLM auf meinem Desktop-Rechner installiert (aus Leistungsgründen, weil die Synology halt nicht so viel Leistung hat wie ein Desktop-Rechner).
Nun möchte ich #paperless_ai installieren. Wie kann ich das auf dem Desktop tun und mit dem bestehenden Ollama verbinden, damit ich nicht Gefahr laufe, nochmals Ollama auf der Synology NAS zu installieren?

Ich würde mich gern mit Leuten austauschen, die #AnythingLLM mit #Ollama lokal verwenden.
Perfekt fände ich eine #Threema Gruppe, um sich auszutauschen und auch mal Sprachnachrichten senden zu können.
Hat jemand Interesse?
😊

Ich würde mich gern mit Leuten austauschen, die #AnythingLLM mit #Ollama lokal verwenden.
Perfekt fände ich eine #Threema Gruppe, um sich auszutauschen und auch mal Schrachnachrichten senden zu können.
Hat jemand Interesse?
😊

Telegram-бот с интеграцией AnythingLLM + LM Studio

В этом проекте создаем Telegram-бота, который взаимодействует с AnythingLLM — инструментом для работы с языковыми моделями (LLM) и LM Studio (используется как инструмент для загрузки документов и создания RAG архива). Покажу как использовать API AnythingLLM для бота и настроим взаимодействие с LM Studio, через которую предоставляется доступ к общению с ИИ-моделью. Самое главное в этой связке, что все отрабатывается локально без передачи файлов сторонним сервисам, что делает решение удобным для команд, которые хотят использовать ИИ в своих рабочих процессах, но не отправлять файлы во вне. Полистать...

https://habr.com/ru/articles/920802/

#telegrambot #rag #anythingllm #lmstudio

Is there someone out there experienced with AnythingLLM Desktop https://anythingllm.com/desktop ?

#ai #AnythingLLM

Is there someone out there experienced with AnythingLLM Desktop https://anythingllm.com/desktop ?

#ai #AnythingLLM

So I was bored today, and decided to try and learn a bit more about #Distrobox, #Podman and all of that stuff.

The result is allmbox - a Podman #image + script to #launch a #Ubuntu 24.04 a distrobox with fully set up #llama3.2 (running on #ollama) and #AnythingLLM, to have a locally-run #chatbot!

Wasn't too difficult!

Второе пришествие мейнфреймов. Всё больше компаний хотят запускать ИИ у себя в офисе

Мейнфрейм IBM z16 во время лабораторных тестов в 2022 г, источник Приложения ИИ находят применение в бизнесе. Но есть проблема: корпоративные данные и документация представляют коммерческую тайну. Их нельзя передавать на сторону, тем более в облачную систему машинного обучения. Кроме того, что сама передача небезопасна, так ещё и публичная модель будет обучаться на наших секретах , а потом помогать конкурентам. В общем, у коммерческих компаний остаётся один вариант: поднимать собственный сервер или вычислительный кластер с ИИ. Таким образом, из эпохи облачных вычислений мы возвращаемся к старому доброму самохостингу, только сейчас это самохостинг GPU , серверы и мейнфреймы.

https://habr.com/ru/companies/ruvds/articles/867316/

#IBM #мейнфреймы #Telum_II #AnythingLLM #ChatGPT #Meta #обман #человечество #Mount_Diablo #IBM_z16 #самохостинг #ЦОД #датацентр #WatsonX #Copilot #Twinny #llamafile #Ollama #GPT4All #FraudGPT #WormGPT #Khoj #LocalAI #ruvds_статьи

A full-stack application that enables you to turn any document, resource, or piece of content into context that any LLM can use as references during chatting.

https://github.com/Mintplex-Labs/anything-llm

#AnythingLLM #selfhost

Künstliche Intelligenz lokal mit Ollama und AnythingLLM

Ich hab’s ganz gerne, wenn neue Technologien so gestaltet und aufbereitet sind, dass man selbst damit herumspielen kann. Large Language Models wie OpenAIs ChatGPT machen das schon nicht schlecht: man kann sich dort einfach registrieren und dann ein paar Fragen an die KI stellen. Allerdings ist alles dahinter quasi eine Black Box. Man weiß nicht, wie ChatGPT zu seinen Antworten kommt, und man weiß auch nicht, was OpenAI mit den Fragen macht. Wenn ich GPT-4 nach einem Kochrezept frage, ist das nicht weiter problematisch. Wenn ich der KI aber Dokumente mit vertraulichen oder personenbezogenen Daten zum Analysieren gebe, möchte ich nicht, dass diese Daten später als Trainingsdaten oder für andere Zwecke verwendet werden können, da dann die Gefahr bestünde, dass die Daten irgendwo wieder auftauchen.

Es geht aber auch anders.

Ollama

Ollama ist ein recht einfacher Weg, LLMs auf Windows, Linux oder Mac OS herunterzuladen und laufen zu lassen.

Nach der Installation kann man Ollama über die Kommandozeile (z.B. die Windows PowerShell) aufrufen. Ollama hat einen ganzen Katalog verschiedener Open-Source-LLMs online, die wiederum in verschiedenen Größen und mit unterschiedlich vielen Milliarden Parametern angeboten werden. Die Modelle unterscheiden sich auch in ihren Fähigkeiten und in den unterstützten Sprachen.

Metas llama3.1 in der Größe 8B ist ein ganz brauchbares Modell zum Anfangen. Es braucht etwa 4,7 Gigabyte auf der Platte und läuft schon auf PCs mit 8GB RAM halbwegs gut.

Um das Modell laufen zu lassen, führt man in der Kommandozeile ollama run llama3.1:8b aus. Sollte das Modell noch nicht installiert sein, lädt Ollama es automatisch herunter. Danach kann man mit dem Modell chatten:

PS C:\Users\daniel> ollama run llama3.1>>> Wie schnell fliegt eine afrikanische Schwalbe?Die Afrikanische Schwalbe (Hirundo daurica) ist ein kleiner Vogel, der eine Fluggeschwindigkeit von bis zu 35 km/herreichen kann. Bei Stürmen und wildem Fliegen können sie jedoch Geschwindigkeiten von über 50 km/h erreichen.>>> Send a message (/? for help)

Mit /bye kann man die interaktive Chat-Session beenden.

Auf der Kommandozeile kann man sich mit ollama list die installierten LLMs anzeigen lassen. ollama ps listet die gerade laufenden LLMs auf und ollama stop [LLM] beendet eine davon.

PS C:\Users\daniel> ollama listNAME               ID              SIZE      MODIFIEDllama3.1:latest    42182419e950    4.7 GB    2 days agollama3.2:latest    a80c4f17acd5    2.0 GB    2 days agoPS C:\Users\daniel> ollama psNAME               ID              SIZE      PROCESSOR    UNTILllama3.1:latest    42182419e950    6.2 GB    100% CPU     4 minutes from nowPS C:\Users\daniel> ollama stop llama3.1

AnythingLLM

Chatten auf der Kommandozeile ist ganz nett. Wenn man aber ein bisserl mehr machen möchte, kann man AnythingLLM verwenden. In AnythingLLM kann man Arbeitsbereiche definieren und in diese Arbeitsbereiche Dateien laden, die dann den LLMs für Chats zur Verfügung stehen. AnythingLLM kann dafür sowohl lokale LLMs (Ollama) als auch cloudbasierte LLMs (z.B. GPT-4) verwenden.

Funktioniert das alles?

Ja und nein. Nicht immer, nicht verlässlich, nicht immer schnell. llama3.1 in der Größe 8B liefert mir auf meinem Laptop ähnlich schnell Antworten wie ChatGPT online. Die kleineren Modelle llama3.2 sind noch schneller, aber auch weniger genau. In jedem Fall sollte man unbedingt schon eine Ahnung davon haben, wonach man fragt, damit man beurteilen kann, ob das LLM Dinge halluziniert.

AnythingLLM kann PDFs und andere Textdateien verarbeiten. Ein Excel-Arbeitsblatt, das ich ihm hochlud, konnte es noch nicht lesen. Das sollte sich aber schnell beheben lassen.

#AI #AnythingLLM #Computer #Datenschutz #KI #LLm #ollama #Technik

One thing I've noticed with #AnythingLLM on #Windows is that it won't use the GPU with the default LLM provider (built-in ollama iirc), however when connecting to an existing ollama install, it will.

One thing I've noticed with #AnythingLLM on #Windows is that it won't use the GPU with the default LLM provider (built-in ollama iirc), however when connecting to an existing ollama install, it will.

Also for local AI #AnythingLLM is pretty damn cool. I'm running Llama3.1 8B locally and it works pretty well just on my year-old consumer hardware.

Also for local AI #AnythingLLM is pretty damn cool. I'm running Llama3.1 8B locally and it works pretty well just on my year-old consumer hardware.

Простой способ развернуть локальный LLM

Большие языковые модели (LLM, Large Language Models) стали незаменимыми инструментами для разработчиков и исследователей. С их помощью можно решать разнообразные задачи.. Однако использование таких моделей часто связано с зависимостью от внешних сервисов, что накладывает определённые ограничения. Локальное развертывание LLM позволяет сохранить контроль над данными и гибко настроить модель под конкретные нужды, используя при этом преимущества локальной инфраструктуры. В этой статье я бы хотел рассказать о преимуществах локального развертывания LLM и рассмотрим несколько open-source решений, которые можно использовать для этой цели.

https://habr.com/ru/articles/839392/

#llama #localai #anythingllm

A colleague of mine wrote a blog about our #ai journey and how we've build everything with #anythingllm and #azure . Everything ended up in a 'small' helm chart that is available on github :)

blog post: https://medium.com/itnext/deploy-flexible-and-custom-setups-with-anything-llm-on-kubernetes-a2b5687f2bcc
github helm chart: https://github.com/la-cc/anything-llm-helm-chart

tags for visibility: #kubernetes #github #helm #blog

A colleague of mine wrote a blog about our #ai journey and how we've build everything with #anythingllm and #azure . Everything ended up in a 'small' helm chart that is available on github :)

blog post: https://medium.com/itnext/deploy-flexible-and-custom-setups-with-anything-llm-on-kubernetes-a2b5687f2bcc
github helm chart: https://github.com/la-cc/anything-llm-helm-chart

tags for visibility: #kubernetes #github #helm #blog

4/ AnythingLLM: Comprehensive solution with RAG support. Integrates external information and advanced agent functions. Runs locally and cross-platform. #AnythingLLM #AI #MachineLearning
https://anythingllm.com/

4/ AnythingLLM: Comprehensive solution with RAG support. Integrates external information and advanced agent functions. Runs locally and cross-platform. #AnythingLLM #AI #MachineLearning
https://anythingllm.com/

et bien j’aurais fait un long week-end très geek, à la campagne, au vert, un mélange de promenade et de plongée dans l’auto hébergement de #LLM et prototypage d’un outil pour interroger un dossier juridique en local via #llmstudio et #anythingllm
c’était sympa !