#anythingllm — Public Fediverse posts

At #IOER_FDz we faced a common challenge: as our technical workflows, data publication guidelines, and infrastructure grows, we realized colleagues rarely read through our extensive documentation. Attention is limited, and when someone needs to solve a specific problem, large guides are rarely read. We needed a communication agent that could bridge the gap between individual questions and our shared internal knowledge base.

To address this, we now have an embedded #AnythingLLM assistant into our Material for MkDocs documentation. It works great! Here are a few interesting technical infos:

- To keep internal data locally and avoid commercial APIs, the inference is handled on university HPC hardware via ScaDS.AI API (TU Dresden). We paired `meta-llama/Llama-3.3-70B-Instruct` with `Qwen/Qwen3-Embedding-4B` to bypass the context window bottlenecks of smaller default embedders.

Feeding raw documentation into a RAG vector database was not _so_ trivial:

1. Ingesting raw repository Markdown caused the LLM to hallucinate URLs. It outputted broken relative `.md` paths, lacked awareness of the actual navigation hierarchy, and character-based chunking cut long tables off from metadata headers.
2. We rely on a number of mkdocs plugins (macros, live database tables pulled in CI&CD, `gen-files`). This meant that the raw repository files do not contain the final compiled text, so the LLM was first missing part of the information.

I added a native MkDocs build hook (`mkdocs_llm_hook.py`). The hook intercepts the compiled Markdown after macros are executed, resolves internal relative links to absolute production URLs, semantically pre-chunks content along Markdown headings (`#`, `##`, `###`), and produces hash-anchored links for the LLM. Metadata (`Canonical_URL` and `Document_Hierarchy`) is added to each chunk before syncing with the AnythingLLM API during `mkdocs build`.

I documented the hook script, system prompt, model parameters, and UI fixes in a Gist for those interested here:

https://gist.github.com/Sieboldianus/8c14da1370891ba2fcdf09882bd78daf

It is a nice way to help colleagues find needed information faster and with better relevance filtering. Accessibility bonus: You can ask it in any language!

#MkDocs #AnythingLLM #RAG #ScaDS #Python #DevOps #OpenSource

AnythingLLM: chat with your own documents

AnythingLLM — chat with your own documents. Drop in PDFs, ask questions. Runs on local models. Private RAG, zero cloud. Free and open-source. Install guide, alternatives and screenshots in the directory.

https://selfhost.directory/project/anythingllm

#Anythingllm #Infosec #Surveillance #Itpro #Linux #Selfhosting #Docker #Privacy #Unraid

🌐🤖 AnythingLLM: Soluția All-in-One pentru a rula inteligențe artificiale local și privat pe sistemul tău

Găzduirea și utilizarea modelelor de limbaj mari (LLM) pe propriul hardware a devenit o prioritate pentru utilizatorii care pun preț pe confidențialitatea datelor și independența față de giganții tech. În acest peisaj, AnythingLLM se remarcă ca una dintre cele mai puternice, flexibile și prietenoase aplicații open-source concepute pentru a transforma orice calculator într-un centru privat de inteligență artificială.

Spre deosebire de alte instrumente care necesită cunoștințe avansate de terminal, AnythingLLM oferă o interfață grafică (GUI) modernă și un sistem complet de gestionare a documentelor pentru tehnologia RAG (Retrieval-Augmented Generation — adică abilitatea de a discuta direct cu fișierele tale).

Iată ce face din AnythingLLM o aplicație de top pentru productivitate și confidențialitate:

🔹 Sistem RAG avansat bazat pe „Spații de lucru” (Workspaces):
Aplicația îți permite să creezi spații de lucru separate (izolate unele de altele) în care poți încărca PDF-uri, documente Word, link-uri web sau fișiere text. AnythingLLM procesează automat aceste date local și îți permite să pui întrebări sau să generezi rezumate bazate strict pe documentele introduse, fără ca informațiile tale să părăsească vreodată computerul.

🔹 Flexibilitate totală în alegerea modelelor (Multi-Provider):
Aplicația nu te obligă să folosești un singur furnizor de tehnologie. O poți conecta instantaneu la:

Soluții 100% locale: Prin integrarea directă cu Ollama, LM Studio sau LocalAI, rulând modele populare (precum Llama 3, Mistral sau Phi-3) direct pe placa ta video sau procesor.

Servicii cloud comerciale: Dacă preferi sau nu ai hardware puternic, o poți conecta prin chei API la OpenAI (ChatGPT), Anthropic (Claude), Groq sau Mistral AI.

🔹 Interfață multi-utilizator și securitate enterprise:
AnythingLLM este ideal nu doar pentru utilizatorii individuali, ci și pentru echipe sau companii. Varianta sa de server oferă permisiuni granulare, gestionarea conturilor de utilizatori, loguri de acces și securizarea datelor, asigurându-se că documentele confidențiale de business sunt accesibile doar persoanelor autorizate.

🔹 Suport complet Multi-Platformă:
Aplicația este construită cu grijă pentru ecosistemul open-source și cross-platform, fiind disponibilă ca aplicație nativă pentru Linux (prin pachete AppImage), Windows și macOS, dar oferind și o variantă containerizată prin Docker pentru o desfășurare rapidă pe servere sau în cloud privat.

#OpenSource #AnythingLLM #ArtificialIntelligence #Privacy #Ollama #LLM #LinuxApps #TechNews #DesdeLinux

Anything LLM для каждого [бизнеса]

Делюсь опытом. Как я настроил AnythingLLM для небольшой компании на базе VPS и своего домашнего компа. Заказчик хочет оценить все эти ваши GPT на практике, но не готов вкладываться и запрещает отдавать свои тайны публичным языковым моделям. Есть запрос - есть и предложение. Делаем решение из того, что уже есть: VPS на Ubuntu, домашний игровой комп, Mikrotik в качестве роутера. Один вечер и минимум вложений. Заказчик в восторге, я в плюсе!

https://habr.com/ru/articles/1044140/

#llm #rag #anythingllm #малый_бизнес

Gemma 4 via Ollama and AnythingLLM, 0% sycophancy!
#AI #gemma4 #ollama #anythingllm #llm

http://talkwards.com/2026/05/30/gemma4-0-sycophancy/

Scopri come eseguire AnythingLLM in self-hosting, una delle alternative locali a strumenti come Perplexity e inizia a costruire un ambiente AI locale più controllabile e pratico (RAG, ricerche web, recupero pagine web con qualsiasi LLM in locale, agenti AI).

🔗 https://www.risposteinformatiche.it/anythingllm-in-locale-guida-pratica-passo-passo/

@linux @opensource

#AnythingLLM #LLM #SelfHosted #Linux #Docker #OpenSource #Perplexity #UnoLinux #UnoOpenSource #Ollama #LMStudio #Gratis #Free

AnythingLLM in locale: guida pratica passo passo

Verständnisfrage: Ich habe #paperless_ngx auf meiner #Synology NAS installiert.
Ich habe #Ollama und #AnythingLLM auf meinem Desktop-Rechner installiert (aus Leistungsgründen, weil die Synology halt nicht so viel Leistung hat wie ein Desktop-Rechner).
Nun möchte ich #paperless_ai installieren. Wie kann ich das auf dem Desktop tun und mit dem bestehenden Ollama verbinden, damit ich nicht Gefahr laufe, nochmals Ollama auf der Synology NAS zu installieren?
#paperlessai

Ich würde mich gern mit Leuten austauschen, die #AnythingLLM mit #Ollama lokal verwenden.
Perfekt fände ich eine #Threema Gruppe, um sich auszutauschen und auch mal Sprachnachrichten senden zu können.
Hat jemand Interesse?
😊

Telegram-бот с интеграцией AnythingLLM + LM Studio

В этом проекте создаем Telegram-бота, который взаимодействует с AnythingLLM — инструментом для работы с языковыми моделями (LLM) и LM Studio (используется как инструмент для загрузки документов и создания RAG архива). Покажу как использовать API AnythingLLM для бота и настроим взаимодействие с LM Studio, через которую предоставляется доступ к общению с ИИ-моделью. Самое главное в этой связке, что все отрабатывается локально без передачи файлов сторонним сервисам, что делает решение удобным для команд, которые хотят использовать ИИ в своих рабочих процессах, но не отправлять файлы во вне. Полистать...

https://habr.com/ru/articles/920802/

#telegrambot #rag #anythingllm #lmstudio

Is there someone out there experienced with AnythingLLM Desktop https://anythingllm.com/desktop ?

#ai #AnythingLLM

So I was bored today, and decided to try and learn a bit more about #Distrobox, #Podman and all of that stuff.

The result is allmbox - a Podman #image + script to #launch a #Ubuntu 24.04 a distrobox with fully set up #llama3.2 (running on #ollama) and #AnythingLLM, to have a locally-run #chatbot!

Wasn't too difficult!

Второе пришествие мейнфреймов. Всё больше компаний хотят запускать ИИ у себя в офисе

Мейнфрейм IBM z16 во время лабораторных тестов в 2022 г, источник Приложения ИИ находят применение в бизнесе. Но есть проблема: корпоративные данные и документация представляют коммерческую тайну. Их нельзя передавать на сторону, тем более в облачную систему машинного обучения. Кроме того, что сама передача небезопасна, так ещё и публичная модель будет обучаться на наших секретах , а потом помогать конкурентам. В общем, у коммерческих компаний остаётся один вариант: поднимать собственный сервер или вычислительный кластер с ИИ. Таким образом, из эпохи облачных вычислений мы возвращаемся к старому доброму самохостингу, только сейчас это самохостинг GPU , серверы и мейнфреймы.

https://habr.com/ru/companies/ruvds/articles/867316/

#IBM #мейнфреймы #Telum_II #AnythingLLM #ChatGPT #Meta #обман #человечество #Mount_Diablo #IBM_z16 #самохостинг #ЦОД #датацентр #WatsonX #Copilot #Twinny #llamafile #Ollama #GPT4All #FraudGPT #WormGPT #Khoj #LocalAI #ruvds_статьи

A full-stack application that enables you to turn any document, resource, or piece of content into context that any LLM can use as references during chatting.

https://github.com/Mintplex-Labs/anything-llm

#AnythingLLM #selfhost

Künstliche Intelligenz lokal mit Ollama und AnythingLLM

Ich hab’s ganz gerne, wenn neue Technologien so gestaltet und aufbereitet sind, dass man selbst damit herumspielen kann. Large Language Models wie OpenAIs ChatGPT machen das schon nicht schlecht: man kann sich dort einfach registrieren und dann ein paar Fragen an die KI stellen. Allerdings ist alles dahinter quasi eine Black Box. Man weiß nicht, wie ChatGPT zu seinen Antworten kommt, und man weiß auch nicht, was OpenAI mit den Fragen macht. Wenn ich GPT-4 nach einem Kochrezept frage, ist das nicht weiter problematisch. Wenn ich der KI aber Dokumente mit vertraulichen oder personenbezogenen Daten zum Analysieren gebe, möchte ich nicht, dass diese Daten später als Trainingsdaten oder für andere Zwecke verwendet werden können, da dann die Gefahr bestünde, dass die Daten irgendwo wieder auftauchen.

Es geht aber auch anders.

Ollama

Ollama ist ein recht einfacher Weg, LLMs auf Windows, Linux oder Mac OS herunterzuladen und laufen zu lassen.

Nach der Installation kann man Ollama über die Kommandozeile (z.B. die Windows PowerShell) aufrufen. Ollama hat einen ganzen Katalog verschiedener Open-Source-LLMs online, die wiederum in verschiedenen Größen und mit unterschiedlich vielen Milliarden Parametern angeboten werden. Die Modelle unterscheiden sich auch in ihren Fähigkeiten und in den unterstützten Sprachen.

Metas llama3.1 in der Größe 8B ist ein ganz brauchbares Modell zum Anfangen. Es braucht etwa 4,7 Gigabyte auf der Platte und läuft schon auf PCs mit 8GB RAM halbwegs gut.

Um das Modell laufen zu lassen, führt man in der Kommandozeile ollama run llama3.1:8b aus. Sollte das Modell noch nicht installiert sein, lädt Ollama es automatisch herunter. Danach kann man mit dem Modell chatten:

PS C:\Users\daniel> ollama run llama3.1>>> Wie schnell fliegt eine afrikanische Schwalbe?Die Afrikanische Schwalbe (Hirundo daurica) ist ein kleiner Vogel, der eine Fluggeschwindigkeit von bis zu 35 km/herreichen kann. Bei Stürmen und wildem Fliegen können sie jedoch Geschwindigkeiten von über 50 km/h erreichen.>>> Send a message (/? for help)

Mit /bye kann man die interaktive Chat-Session beenden.

Auf der Kommandozeile kann man sich mit ollama list die installierten LLMs anzeigen lassen. ollama ps listet die gerade laufenden LLMs auf und ollama stop [LLM] beendet eine davon.

PS C:\Users\daniel> ollama listNAME               ID              SIZE      MODIFIEDllama3.1:latest    42182419e950    4.7 GB    2 days agollama3.2:latest    a80c4f17acd5    2.0 GB    2 days agoPS C:\Users\daniel> ollama psNAME               ID              SIZE      PROCESSOR    UNTILllama3.1:latest    42182419e950    6.2 GB    100% CPU     4 minutes from nowPS C:\Users\daniel> ollama stop llama3.1

AnythingLLM

Chatten auf der Kommandozeile ist ganz nett. Wenn man aber ein bisserl mehr machen möchte, kann man AnythingLLM verwenden. In AnythingLLM kann man Arbeitsbereiche definieren und in diese Arbeitsbereiche Dateien laden, die dann den LLMs für Chats zur Verfügung stehen. AnythingLLM kann dafür sowohl lokale LLMs (Ollama) als auch cloudbasierte LLMs (z.B. GPT-4) verwenden.

Funktioniert das alles?

Ja und nein. Nicht immer, nicht verlässlich, nicht immer schnell. llama3.1 in der Größe 8B liefert mir auf meinem Laptop ähnlich schnell Antworten wie ChatGPT online. Die kleineren Modelle llama3.2 sind noch schneller, aber auch weniger genau. In jedem Fall sollte man unbedingt schon eine Ahnung davon haben, wonach man fragt, damit man beurteilen kann, ob das LLM Dinge halluziniert.

AnythingLLM kann PDFs und andere Textdateien verarbeiten. Ein Excel-Arbeitsblatt, das ich ihm hochlud, konnte es noch nicht lesen. Das sollte sich aber schnell beheben lassen.

#AI #AnythingLLM #Computer #Datenschutz #KI #LLm #ollama #Technik

One thing I've noticed with #AnythingLLM on #Windows is that it won't use the GPU with the default LLM provider (built-in ollama iirc), however when connecting to an existing ollama install, it will.

Also for local AI #AnythingLLM is pretty damn cool. I'm running Llama3.1 8B locally and it works pretty well just on my year-old consumer hardware.

Простой способ развернуть локальный LLM

Большие языковые модели (LLM, Large Language Models) стали незаменимыми инструментами для разработчиков и исследователей. С их помощью можно решать разнообразные задачи.. Однако использование таких моделей часто связано с зависимостью от внешних сервисов, что накладывает определённые ограничения. Локальное развертывание LLM позволяет сохранить контроль над данными и гибко настроить модель под конкретные нужды, используя при этом преимущества локальной инфраструктуры. В этой статье я бы хотел рассказать о преимуществах локального развертывания LLM и рассмотрим несколько open-source решений, которые можно использовать для этой цели.

https://habr.com/ru/articles/839392/

#llama #localai #anythingllm

A colleague of mine wrote a blog about our #ai journey and how we've build everything with #anythingllm and #azure . Everything ended up in a 'small' helm chart that is available on github :)

blog post: https://medium.com/itnext/deploy-flexible-and-custom-setups-with-anything-llm-on-kubernetes-a2b5687f2bcc
github helm chart: https://github.com/la-cc/anything-llm-helm-chart

tags for visibility: #kubernetes #github #helm #blog

4/ AnythingLLM: Comprehensive solution with RAG support. Integrates external information and advanced agent functions. Runs locally and cross-platform. #AnythingLLM #AI #MachineLearning
https://anythingllm.com/

et bien j’aurais fait un long week-end très geek, à la campagne, au vert, un mélange de promenade et de plongée dans l’auto hébergement de #LLM et prototypage d’un outil pour interroger un dossier juridique en local via #llmstudio et #anythingllm
c’était sympa !