#anythingllm — Public Fediverse posts

Scopri come eseguire AnythingLLM in self-hosting, una delle alternative locali a strumenti come Perplexity e inizia a costruire un ambiente AI locale più controllabile e pratico (RAG, ricerche web, recupero pagine web con qualsiasi LLM in locale, agenti AI).

🔗 https://www.risposteinformatiche.it/anythingllm-in-locale-guida-pratica-passo-passo/

@linux @opensource

#AnythingLLM #LLM #SelfHosted #Linux #Docker #OpenSource #Perplexity #UnoLinux #UnoOpenSource #Ollama #LMStudio #Gratis #Free

AnythingLLM in locale: guida pratica passo passo

AnythingLLM in locale: guida pratica passo passo

AnythingLLM in locale: guida pratica passo passo

AnythingLLM in locale: guida pratica passo passo

AnythingLLM in locale: guida pratica passo passo

Tôi xây dựng cầu HTTP nhẹ cho AnythingLLM để chạy nhiều MCP cục bộ bên trong Docker #AnythingLLM #Docker #HTTPBridge #MCP #Tự_host #Công_nghệ_mới #Tech_news # SELF_hosted

https://www.reddit.com/r/selfhosted/comments/1olylzl/i_built_a_lightweight_http_bridge_for_anythingllm/

Verständnisfrage: Ich habe #paperless_ngx auf meiner #Synology NAS installiert.
Ich habe #Ollama und #AnythingLLM auf meinem Desktop-Rechner installiert (aus Leistungsgründen, weil die Synology halt nicht so viel Leistung hat wie ein Desktop-Rechner).
Nun möchte ich #paperless_ai installieren. Wie kann ich das auf dem Desktop tun und mit dem bestehenden Ollama verbinden, damit ich nicht Gefahr laufe, nochmals Ollama auf der Synology NAS zu installieren?
#paperlessai

Ich würde mich gern mit Leuten austauschen, die #AnythingLLM mit #Ollama lokal verwenden.
Perfekt fände ich eine #Threema Gruppe, um sich auszutauschen und auch mal Sprachnachrichten senden zu können.
Hat jemand Interesse?
😊

Telegram-бот с интеграцией AnythingLLM + LM Studio

В этом проекте создаем Telegram-бота, который взаимодействует с AnythingLLM — инструментом для работы с языковыми моделями (LLM) и LM Studio (используется как инструмент для загрузки документов и создания RAG архива). Покажу как использовать API AnythingLLM для бота и настроим взаимодействие с LM Studio, через которую предоставляется доступ к общению с ИИ-моделью. Самое главное в этой связке, что все отрабатывается локально без передачи файлов сторонним сервисам, что делает решение удобным для команд, которые хотят использовать ИИ в своих рабочих процессах, но не отправлять файлы во вне. Полистать...

https://habr.com/ru/articles/920802/

#telegrambot #rag #anythingllm #lmstudio

Is there someone out there experienced with AnythingLLM Desktop https://anythingllm.com/desktop ?

#ai #AnythingLLM

So I was bored today, and decided to try and learn a bit more about #Distrobox, #Podman and all of that stuff.

The result is allmbox - a Podman #image + script to #launch a #Ubuntu 24.04 a distrobox with fully set up #llama3.2 (running on #ollama) and #AnythingLLM, to have a locally-run #chatbot!

Wasn't too difficult!

Второе пришествие мейнфреймов. Всё больше компаний хотят запускать ИИ у себя в офисе

Мейнфрейм IBM z16 во время лабораторных тестов в 2022 г, источник Приложения ИИ находят применение в бизнесе. Но есть проблема: корпоративные данные и документация представляют коммерческую тайну. Их нельзя передавать на сторону, тем более в облачную систему машинного обучения. Кроме того, что сама передача небезопасна, так ещё и публичная модель будет обучаться на наших секретах , а потом помогать конкурентам. В общем, у коммерческих компаний остаётся один вариант: поднимать собственный сервер или вычислительный кластер с ИИ. Таким образом, из эпохи облачных вычислений мы возвращаемся к старому доброму самохостингу, только сейчас это самохостинг GPU , серверы и мейнфреймы.

https://habr.com/ru/companies/ruvds/articles/867316/

#IBM #мейнфреймы #Telum_II #AnythingLLM #ChatGPT #Meta #обман #человечество #Mount_Diablo #IBM_z16 #самохостинг #ЦОД #датацентр #WatsonX #Copilot #Twinny #llamafile #Ollama #GPT4All #FraudGPT #WormGPT #Khoj #LocalAI #ruvds_статьи

Второе пришествие мейнфреймов. Всё больше компаний хотят запускать ИИ у себя в офисе

Мейнфрейм IBM z16 во время лабораторных тестов в 2022 г, источник Приложения ИИ находят применение в бизнесе. Но есть проблема: корпоративные данные и документация представляют коммерческую тайну. Их нельзя передавать на сторону, тем более в облачную систему машинного обучения. Кроме того, что сама передача небезопасна, так ещё и публичная модель будет обучаться на наших секретах , а потом помогать конкурентам. В общем, у коммерческих компаний остаётся один вариант: поднимать собственный сервер или вычислительный кластер с ИИ. Таким образом, из эпохи облачных вычислений мы возвращаемся к старому доброму самохостингу, только сейчас это самохостинг GPU , серверы и мейнфреймы.

https://habr.com/ru/companies/ruvds/articles/867316/

#IBM #мейнфреймы #Telum_II #AnythingLLM #ChatGPT #Meta #обман #человечество #Mount_Diablo #IBM_z16 #самохостинг #ЦОД #датацентр #WatsonX #Copilot #Twinny #llamafile #Ollama #GPT4All #FraudGPT #WormGPT #Khoj #LocalAI #ruvds_статьи

Второе пришествие мейнфреймов. Всё больше компаний хотят запускать ИИ у себя в офисе

Мейнфрейм IBM z16 во время лабораторных тестов в 2022 г, источник Приложения ИИ находят применение в бизнесе. Но есть проблема: корпоративные данные и документация представляют коммерческую тайну. Их нельзя передавать на сторону, тем более в облачную систему машинного обучения. Кроме того, что сама передача небезопасна, так ещё и публичная модель будет обучаться на наших секретах , а потом помогать конкурентам. В общем, у коммерческих компаний остаётся один вариант: поднимать собственный сервер или вычислительный кластер с ИИ. Таким образом, из эпохи облачных вычислений мы возвращаемся к старому доброму самохостингу, только сейчас это самохостинг GPU , серверы и мейнфреймы.

https://habr.com/ru/companies/ruvds/articles/867316/

#IBM #мейнфреймы #Telum_II #AnythingLLM #ChatGPT #Meta #обман #человечество #Mount_Diablo #IBM_z16 #самохостинг #ЦОД #датацентр #WatsonX #Copilot #Twinny #llamafile #Ollama #GPT4All #FraudGPT #WormGPT #Khoj #LocalAI #ruvds_статьи

Второе пришествие мейнфреймов. Всё больше компаний хотят запускать ИИ у себя в офисе

Мейнфрейм IBM z16 во время лабораторных тестов в 2022 г, источник Приложения ИИ находят применение в бизнесе. Но есть проблема: корпоративные данные и документация представляют коммерческую тайну. Их нельзя передавать на сторону, тем более в облачную систему машинного обучения. Кроме того, что сама передача небезопасна, так ещё и публичная модель будет обучаться на наших секретах , а потом помогать конкурентам. В общем, у коммерческих компаний остаётся один вариант: поднимать собственный сервер или вычислительный кластер с ИИ. Таким образом, из эпохи облачных вычислений мы возвращаемся к старому доброму самохостингу, только сейчас это самохостинг GPU , серверы и мейнфреймы.

https://habr.com/ru/companies/ruvds/articles/867316/

#IBM #мейнфреймы #Telum_II #AnythingLLM #ChatGPT #Meta #обман #человечество #Mount_Diablo #IBM_z16 #самохостинг #ЦОД #датацентр #WatsonX #Copilot #Twinny #llamafile #Ollama #GPT4All #FraudGPT #WormGPT #Khoj #LocalAI #ruvds_статьи

A full-stack application that enables you to turn any document, resource, or piece of content into context that any LLM can use as references during chatting.

https://github.com/Mintplex-Labs/anything-llm

#AnythingLLM #selfhost

Künstliche Intelligenz lokal mit Ollama und AnythingLLM

Ich hab’s ganz gerne, wenn neue Technologien so gestaltet und aufbereitet sind, dass man selbst damit herumspielen kann. Large Language Models wie OpenAIs ChatGPT machen das schon nicht schlecht: man kann sich dort einfach registrieren und dann ein paar Fragen an die KI stellen. Allerdings ist alles dahinter quasi eine Black Box. Man weiß nicht, wie ChatGPT zu seinen Antworten kommt, und man weiß auch nicht, was OpenAI mit den Fragen macht. Wenn ich GPT-4 nach einem Kochrezept frage, ist das nicht weiter problematisch. Wenn ich der KI aber Dokumente mit vertraulichen oder personenbezogenen Daten zum Analysieren gebe, möchte ich nicht, dass diese Daten später als Trainingsdaten oder für andere Zwecke verwendet werden können, da dann die Gefahr bestünde, dass die Daten irgendwo wieder auftauchen.

Es geht aber auch anders.

Ollama

Ollama ist ein recht einfacher Weg, LLMs auf Windows, Linux oder Mac OS herunterzuladen und laufen zu lassen.

Nach der Installation kann man Ollama über die Kommandozeile (z.B. die Windows PowerShell) aufrufen. Ollama hat einen ganzen Katalog verschiedener Open-Source-LLMs online, die wiederum in verschiedenen Größen und mit unterschiedlich vielen Milliarden Parametern angeboten werden. Die Modelle unterscheiden sich auch in ihren Fähigkeiten und in den unterstützten Sprachen.

Metas llama3.1 in der Größe 8B ist ein ganz brauchbares Modell zum Anfangen. Es braucht etwa 4,7 Gigabyte auf der Platte und läuft schon auf PCs mit 8GB RAM halbwegs gut.

Um das Modell laufen zu lassen, führt man in der Kommandozeile ollama run llama3.1:8b aus. Sollte das Modell noch nicht installiert sein, lädt Ollama es automatisch herunter. Danach kann man mit dem Modell chatten:

PS C:\Users\daniel> ollama run llama3.1>>> Wie schnell fliegt eine afrikanische Schwalbe?Die Afrikanische Schwalbe (Hirundo daurica) ist ein kleiner Vogel, der eine Fluggeschwindigkeit von bis zu 35 km/herreichen kann. Bei Stürmen und wildem Fliegen können sie jedoch Geschwindigkeiten von über 50 km/h erreichen.>>> Send a message (/? for help)

Mit /bye kann man die interaktive Chat-Session beenden.

Auf der Kommandozeile kann man sich mit ollama list die installierten LLMs anzeigen lassen. ollama ps listet die gerade laufenden LLMs auf und ollama stop [LLM] beendet eine davon.

PS C:\Users\daniel> ollama listNAME               ID              SIZE      MODIFIEDllama3.1:latest    42182419e950    4.7 GB    2 days agollama3.2:latest    a80c4f17acd5    2.0 GB    2 days agoPS C:\Users\daniel> ollama psNAME               ID              SIZE      PROCESSOR    UNTILllama3.1:latest    42182419e950    6.2 GB    100% CPU     4 minutes from nowPS C:\Users\daniel> ollama stop llama3.1

AnythingLLM

Chatten auf der Kommandozeile ist ganz nett. Wenn man aber ein bisserl mehr machen möchte, kann man AnythingLLM verwenden. In AnythingLLM kann man Arbeitsbereiche definieren und in diese Arbeitsbereiche Dateien laden, die dann den LLMs für Chats zur Verfügung stehen. AnythingLLM kann dafür sowohl lokale LLMs (Ollama) als auch cloudbasierte LLMs (z.B. GPT-4) verwenden.

Funktioniert das alles?

Ja und nein. Nicht immer, nicht verlässlich, nicht immer schnell. llama3.1 in der Größe 8B liefert mir auf meinem Laptop ähnlich schnell Antworten wie ChatGPT online. Die kleineren Modelle llama3.2 sind noch schneller, aber auch weniger genau. In jedem Fall sollte man unbedingt schon eine Ahnung davon haben, wonach man fragt, damit man beurteilen kann, ob das LLM Dinge halluziniert.

AnythingLLM kann PDFs und andere Textdateien verarbeiten. Ein Excel-Arbeitsblatt, das ich ihm hochlud, konnte es noch nicht lesen. Das sollte sich aber schnell beheben lassen.

#AI #AnythingLLM #Computer #Datenschutz #KI #LLm #ollama #Technik

One thing I've noticed with #AnythingLLM on #Windows is that it won't use the GPU with the default LLM provider (built-in ollama iirc), however when connecting to an existing ollama install, it will.

Also for local AI #AnythingLLM is pretty damn cool. I'm running Llama3.1 8B locally and it works pretty well just on my year-old consumer hardware.

Простой способ развернуть локальный LLM

Большие языковые модели (LLM, Large Language Models) стали незаменимыми инструментами для разработчиков и исследователей. С их помощью можно решать разнообразные задачи.. Однако использование таких моделей часто связано с зависимостью от внешних сервисов, что накладывает определённые ограничения. Локальное развертывание LLM позволяет сохранить контроль над данными и гибко настроить модель под конкретные нужды, используя при этом преимущества локальной инфраструктуры. В этой статье я бы хотел рассказать о преимуществах локального развертывания LLM и рассмотрим несколько open-source решений, которые можно использовать для этой цели.

https://habr.com/ru/articles/839392/

#llama #localai #anythingllm

A colleague of mine wrote a blog about our #ai journey and how we've build everything with #anythingllm and #azure . Everything ended up in a 'small' helm chart that is available on github :)

blog post: https://medium.com/itnext/deploy-flexible-and-custom-setups-with-anything-llm-on-kubernetes-a2b5687f2bcc
github helm chart: https://github.com/la-cc/anything-llm-helm-chart

tags for visibility: #kubernetes #github #helm #blog

4/ AnythingLLM: Comprehensive solution with RAG support. Integrates external information and advanced agent functions. Runs locally and cross-platform. #AnythingLLM #AI #MachineLearning
https://anythingllm.com/

et bien j’aurais fait un long week-end très geek, à la campagne, au vert, un mélange de promenade et de plongée dans l’auto hébergement de #LLM et prototypage d’un outil pour interroger un dossier juridique en local via #llmstudio et #anythingllm
c’était sympa !