#llamafile — Public Fediverse posts

What if the soon to be released @silex Desktop shipped a way to fine-tune your own small, open AI locally?

A ~1B open model could be fine-tuned right inside Silex to learn how the user uses Silex and imitate via MCP. Runs on modest hardware, your data never leaves your machine

The stack: #Luciole, the model by #OpenLLMFrance / @LINAGORA, #llamafile by @mozilla

I'd be happy to find Silex users who want to co-build this, I have no idea how to make it happen 😅

In? 👇

#foss #LocalAI #llamafile

What if the soon to be released @silex Desktop shipped a way to fine-tune your own small, open AI locally?

A ~1B open model could be fine-tuned right inside Silex to learn how the user uses Silex and imitate via MCP. Runs on modest hardware, your data never leaves your machine

The stack: #Luciole, the model by #OpenLLMFrance / @LINAGORA, #llamafile by @mozilla

I'd be happy to find Silex users who want to co-build this, I have no idea how to make it happen 😅

In? 👇

#foss #LocalAI #llamafile

I bet that in 2030 we'll be using claude or gpt only to setup local models with llamafile, optimized for specific tasks on a specific laptop or phone

> The only thing Internet Explorer is good for is downloading Firefox

@mozilla #llamafile is a #foss alternative to VC funded #ollama

#ai #llm #slm #fantasticfour #enshitification #OpenSource

I bet that in 2030 we'll be using claude or gpt only to setup local models with llamafile, optimized for specific tasks on a specific laptop or phone

> The only thing Internet Explorer is good for is downloading Firefox

@mozilla #llamafile is a #foss alternative to VC funded #ollama

#ai #llm #slm #fantasticfour #enshitification #OpenSource

Второе пришествие мейнфреймов. Всё больше компаний хотят запускать ИИ у себя в офисе

Мейнфрейм IBM z16 во время лабораторных тестов в 2022 г, источник Приложения ИИ находят применение в бизнесе. Но есть проблема: корпоративные данные и документация представляют коммерческую тайну. Их нельзя передавать на сторону, тем более в облачную систему машинного обучения. Кроме того, что сама передача небезопасна, так ещё и публичная модель будет обучаться на наших секретах , а потом помогать конкурентам. В общем, у коммерческих компаний остаётся один вариант: поднимать собственный сервер или вычислительный кластер с ИИ. Таким образом, из эпохи облачных вычислений мы возвращаемся к старому доброму самохостингу, только сейчас это самохостинг GPU , серверы и мейнфреймы.

https://habr.com/ru/companies/ruvds/articles/867316/

#IBM #мейнфреймы #Telum_II #AnythingLLM #ChatGPT #Meta #обман #человечество #Mount_Diablo #IBM_z16 #самохостинг #ЦОД #датацентр #WatsonX #Copilot #Twinny #llamafile #Ollama #GPT4All #FraudGPT #WormGPT #Khoj #LocalAI #ruvds_статьи

Llamafile by Mozilla

Hi #fedifriends

has any of you experience with #llamafile by #Mozilla?
I would like to use a local #LLM #AI to get some help to create #XLST styles to run against #XLS and #CSV files with the goal of create #XML files without being an #XSLT champion...

I would like to do it locally, not depending stricly on #Linux and #Nvidia, with some #ethical software and looks like Llamafile check marks all those voices.

Thanks... 🙏

#fedihelp #fediask

Llamafile by Mozilla

Hi #fedifriends

has any of you experience with #llamafile by #Mozilla?
I would like to use a local #LLM #AI to get some help to create #XLST styles to run against #XLS and #CSV files with the goal of create #XML files without being an #XSLT champion...

I would like to do it locally, not depending stricly on #Linux and #Nvidia, with some #ethical software and looks like Llamafile check marks all those voices.

Thanks... 🙏

#fedihelp #fediask

Llamafile by Mozilla

Hi #fedifriends

has any of you experience with #llamafile by #Mozilla?
I would like to use a local #LLM #AI to get some help to create #XLST styles to run against #XLS and #CSV files with the goal of create #XML files without being an #XSLT champion...

I would like to do it locally, not depending stricly on #Linux and #Nvidia, with some #ethical software and looks like Llamafile check marks all those voices.

Thanks... 🙏

#fedihelp #fediask

Llamafile by Mozilla

Hi #fedifriends

has any of you experience with #llamafile by #Mozilla?
I would like to use a local #LLM #AI to get some help to create #XLST styles to run against #XLS and #CSV files with the goal of create #XML files without being an #XSLT champion...

I would like to do it locally, not depending stricly on #Linux and #Nvidia, with some #ethical software and looks like Llamafile check marks all those voices.

Thanks... 🙏

#fedihelp #fediask

Установка LLM на скромном VPS

«Я тебя завалю, если ещё раз упомянешь AI», — писал автор нашумевшей статьи . В самом деле, хайп вокруг ИИ всем надоел. Но мы всё-таки рискнём поговорить о том, какую LLM поставить на своём сервере и зачем. Сразу упомянем, что на серверах RUVDS установлены видеокарты NVIDIA Quadro P4000 (на фото). Карты довольно слабенькие, так что подойдут скорее для проектов в образовательных целях и т. д. Тем более что под VPS выделяется максимум 1 ГБ видеопамяти. Но даже в таких спартанских условиях можно запустить LLM. Кстати, о VPS с видеокартой. Несколько лет назад мы уже писали о сферах их применения и даже проводили тесты. Всё это можно найти здесь .

https://habr.com/ru/companies/ruvds/articles/829932/

#ruvds_статьи #VPS #LLM #языковые_модели #Tabby #CopilotKit #Chat_Arena #LibreChat #HuggingFace #OpenCompass #llamafile #llamacpp #Cosmopolitan_Libc #Ollama