#llamafile — Public Fediverse posts

Llamafile by Mozilla

Hi #fedifriends

has any of you experience with #llamafile by #Mozilla?
I would like to use a local #LLM #AI to get some help to create #XLST styles to run against #XLS and #CSV files with the goal of create #XML files without being an #XSLT champion...

I would like to do it locally, not depending stricly on #Linux and #Nvidia, with some #ethical software and looks like Llamafile check marks all those voices.

Thanks... 🙏

#fedihelp #fediask

Установка LLM на скромном VPS

«Я тебя завалю, если ещё раз упомянешь AI», — писал автор нашумевшей статьи . В самом деле, хайп вокруг ИИ всем надоел. Но мы всё-таки рискнём поговорить о том, какую LLM поставить на своём сервере и зачем. Сразу упомянем, что на серверах RUVDS установлены видеокарты NVIDIA Quadro P4000 (на фото). Карты довольно слабенькие, так что подойдут скорее для проектов в образовательных целях и т. д. Тем более что под VPS выделяется максимум 1 ГБ видеопамяти. Но даже в таких спартанских условиях можно запустить LLM. Кстати, о VPS с видеокартой. Несколько лет назад мы уже писали о сферах их применения и даже проводили тесты. Всё это можно найти здесь .

https://habr.com/ru/companies/ruvds/articles/829932/

#ruvds_статьи #VPS #LLM #языковые_модели #Tabby #CopilotKit #Chat_Arena #LibreChat #HuggingFace #OpenCompass #llamafile #llamacpp #Cosmopolitan_Libc #Ollama