#ollama — Public Fediverse posts

Complete guide to Open WebUI: a powerful self-hosted web interface for Ollama and OpenAI-compatible APIs with RAG, multi-user auth, and Docker deployment.

#AI #LLM #Ollama #Docker #Self-Hosting #Python #K8S

https://www.glukhov.org/llm-hosting/llm-frontends/open-webui-overview-quickstart-and-alternatives/

I managed to squeeze out 14 tokens/s from my Beelink SER8 running ollama qwen3.5:9b. I think that's decent for Radeon 780M. Let's see if I can do some text summarization and classification with this.

#beelink #minipc #ser8 #qwen #llm #ollama

🗓️🌞Today, Nov 14th, marks a special day in Lithuania - the Feast of St. Gertrude. This religious holiday celebrates the life and works of St. Gertrude, a 13th-century Benedictine nun known for her deep faith and devotion to God. Although not a public holiday, it is an occasion for reflection, gratitude, and spiritual growth. So let's join together and cherish the beauty of this day filled with prayers and blessings. 🙏🕯️ #Lithuania #FeastOfStGertrude #Religion #Spirituality #Holiday

MoxieFlux1DS image model: https://civitai.com/models/629880

#AIGenerated #AlternativeHolidays #Ollama #neural_chat #MoxieFlux1DS

Der Ausflug ins SLOPping-Center

Ich hätte gerne in der Überschrift „Kurzer Ausflug“ verwendet, aber das war nicht möglich. Okay, zurück zum Thema. Alle halbe Jahr installiere ich mir ein lokales LLM, damit ich meine Abneigung gegen AI auch sinnvoll begründen kann und nicht haltlose Behauptungen in den Raum stellen muss, die ich irgendwo gelesen habe.

zum Blogpost…

#blogpost #blog #AI #Agent #Gemma #ClaudeCode #Gemini #Ollama #OpenCode

New PC, New Journey: Distro/DE Hopping and Local AI - My experiences with local AI so far, and the distro/DE hopping, to get it working.

Read the article on FosseryWeb:
https://fosseryweb.codeberg.page/articles/new-pc-new-journey.html

Or on FosseryWeb Min, if you prefer a more minimal experience:
https://fosseryweb-min.codeberg.page/articles/new-pc-new-journey.html

What's your personal experience with local AI? What distro do you host your AI stuff on, and which AI tools do you use? Let me know in the comments below, I'd love to hear/read your insights.

#AI #LocalAI #Ollama #Moose #Zed #LLM #CodingAgent #Vane #GenAI #Linux #Fedora #COSMIC #FosseryTech

Qwen и локальные нейронки на Mac mini. Зачем и почему?

Мак мне принёс партнёр полгода назад, поделился, сказал, что сейчас такой использует под Claude. Я сначала не совсем понял, зачем именно Мак мне под Claude, когда есть какой-нибудь VPS, например. И начал его тестировать, зарегистрировал, причём специально сразу на заграничный европейский App Store. Он какое-то время просто стоял в офисе, пылился. Я как-то не находил ему применения. То мы поставили на него сервер для видеонаблюдения, то ещё что-то. Сколько он стоил? Что-то порядка 60 тысяч, мне кажется, на то время 60 или 70. В каком-то смысле он компании, но он никому не нужен, и я его присвоил.

https://habr.com/ru/articles/1107508/

#mac_mini #apple_silicon #llm #ollama #qwen #локальные_нейросети #claude_code

Gemma 5が出るぞ！ OllamaとvLLMでの予行比較
https://qiita.com/ryosuke_ohori/items/5c560c086d8c92173ac7?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #Python #AI #Gemma #LLM #ollama

Wen es interessiert. Ich habe auf meiner lokalen KI mit #Ollama unter #OpenWebUI ein paar Werkzeuge und Funktionen gebastelt, welche diverse $dinge machen können. Unter anderem Ein Notizverzeichnis, Ausgabe von Daten aus der Fritzbox und meines OpenWRT Accesspoints. Sinn war für mich, trotz des vergleichsweise kleinen Kontextfensters und geringer Geschwindigkeit mit wenig Token maximale Ergebnisse zu bekommen. Ein erster Test lief recht gut und hat insgesamt nur 2 Minuten gedauert. Ist in etwa sowas wie SVERWEIS in Excel. 🤣

Insgesamt habe ich momentan 8 Werkzeuge und eine Funktion, und zwar mit reset das Kontextfenster zu löschen. Als nächstes möchte ich dem Chatbot eine isolierte Python-Spielwiese erstellen, wo er selbst Lösungen erarbeiten kann.

https://f.kj.gd/openwebui/

Два месяца я учил нейросеть заполнять опросные листы. Главное оказалось не в нейросети

Опросный лист на КИП — анкета для поставщика прибора. Ответы на неё инженер выуживает из сотен страниц техзадания. В сентябре я поручил это LLM, и первая версия была права примерно в трети ячеек. Сейчас система совпадает с инженером в 73–86 % строк на трёх объектах, ответов которых она не видела. Рассказываю, почему маленькая NuExtract3 на 4B обошла 27B, почему дообученный поиск не добавил ни одного верного ответа, как метрика врала мне трижды и почему половина бланка оказалась вовсе не вопросами.

https://habr.com/ru/articles/1106918/

#ocr #эмбеддинги #кип #llm #закрытый_контур #rag #ollama #локальные_модели #nuextract #опросные_листы