#llamafile — Public Fediverse posts

Hmmm... 🤨

#Llamafile: Run #AI Models Locally on Your PC with Just One File https://firethering.com/llamafile-run-ai-models-locally-one-file/ #LLM #GenAI

Encántame este vídeo de Mancomún sobre Llamafile! Aprende a executar modelos de IA de xeito sinxelo no teu propio ordenador, con explicacións claras e ligazón ao artigo. Perfecto para quen quere probar IA local e software libre. Anímate a experimentar! #Llamafile #IA #InteligenciaArtificial #SoftwareLibre #Mancomun #Galego #PeerTube
https://v.eurorede.com/videos/watch/22adee43-95aa-4eb5-aa8d-4691a2fa6193

Encántame este vídeo de Mancomún sobre Llamafile! Aprende a executar modelos de IA de xeito sinxelo no teu propio ordenador, con explicacións claras e ligazón ao artigo. Perfecto para quen quere probar IA local e software libre. Anímate a experimentar! #Llamafile #IA #InteligenciaArtificial #SoftwareLibre #Mancomun #Galego #PeerTube
https://v.eurorede.com/videos/watch/22adee43-95aa-4eb5-aa8d-4691a2fa6193

Encántame este vídeo de Mancomún sobre Llamafile! Aprende a executar modelos de IA de xeito sinxelo no teu propio ordenador, con explicacións claras e ligazón ao artigo. Perfecto para quen quere probar IA local e software libre. Anímate a experimentar! #Llamafile #IA #InteligenciaArtificial #SoftwareLibre #Mancomun #Galego #PeerTube
https://v.eurorede.com/videos/watch/22adee43-95aa-4eb5-aa8d-4691a2fa6193

Encántame este vídeo de Mancomún sobre Llamafile! Aprende a executar modelos de IA de xeito sinxelo no teu propio ordenador, con explicacións claras e ligazón ao artigo. Perfecto para quen quere probar IA local e software libre. Anímate a experimentar! #Llamafile #IA #InteligenciaArtificial #SoftwareLibre #Mancomun #Galego #PeerTube
https://v.eurorede.com/videos/watch/22adee43-95aa-4eb5-aa8d-4691a2fa6193

Encántame este vídeo de Mancomún sobre Llamafile! Aprende a executar modelos de IA de xeito sinxelo no teu propio ordenador, con explicacións claras e ligazón ao artigo. Perfecto para quen quere probar IA local e software libre. Anímate a experimentar! #Llamafile #IA #InteligenciaArtificial #SoftwareLibre #Mancomun #Galego #PeerTube
https://v.eurorede.com/videos/watch/22adee43-95aa-4eb5-aa8d-4691a2fa6193

#Mozilla Releases #Llamafile 0.10 To Enhance Their #AI Offering For Easy-To-Use LLMs
Llamafile is a https://Mozilla.ai project to distribute and run large language models as a single file. With a single Llamafile you can run the #LLM across platforms and with varying hardware support. Their intentions are on making LLMs more accessible and convenient to both developers and end-users.
https://www.phoronix.com/news/Mozilla-AI-Llamafile-0.10

Mozilla Releases Llamafile 0.10 To Enhance Their AI Offering For Easy-To-Use LLMs - Phoronix

｢ Llamafile is a https://Mozilla.ai project to distribute and run large language models as a single file. With a single Llamafile you can run the LLM across platforms and with varying hardware support. Their intentions are on making LLMs more accessible and convenient to both developers and end-users ｣

https://www.phoronix.com/news/Mozilla-AI-Llamafile-0.10

#ai #llamafile #llm #mozilla

Mozilla rilancia Llamafile con la versione 0.10: supporto immagini, GPU Metal e CUDA, Whisper e Stable Diffusion integrati. Un passo avanti per rendere i modelli linguistici più accessibili. #Mozilla #Llamafile #Linux #OpenSource

https://www.linuxeasy.org/mozilla-rilascia-llamafile-0-10/?utm_source=mastodon&utm_medium=jetpack_social

llamafile: Distribute and Run LLMs with a Single File

https://github.com/mozilla-ai/llamafile

#HackerNews #llamafile #LLMs #MozillaAI #AItools #MachineLearning #DistributeRun

🦙 llamafile returns!

Mozilla.ai is adopting llamafile to push forward open, local, privacy-first AI.

We’re refreshing the codebase and rebuilding the roadmap with feedback from the community.

Share your ideas on GitHub, Discord, or Hacker News—and help shape the next phase of llamafile.

🔗 https://blog.mozilla.ai/llamafile-returns/

#MozillaAI #llamafile #opensource #LocalAI #AIcommunity

At DjangoCon US 2025 in Chicago, more than one person shared the workflow of dictating their articles or slide notes to a template using mobile apps 🎙️

I was experimenting with https://huggingface.co/Mozilla/whisperfile, and it seems to work well on my PC 🔴

It occurred to me that it could be used to add live captioning to meetups or small conferences that can't afford live captioners as good as the one we had at DjangoCon 💡

Have any of you done any experiments?

#Captioning #Conference #Whisper #llamafile

@naturzukunft

There aren't that many choices to manage exploding information complexity so something must happen.

Even if it is not the semantic web as we knew it, it must solve similar problems (and hence look similar - as form follows function).

Removing frictions is key imho. See e.g. how using complex LLM models is now down to just one #llamafile

Semantic web tooling (at least the public / open source part) never reached a sweetspot for broad adoption, always somewhat aloof

@rzeta0

In #BYOTA, we use #llamafile to calculate *sentence embeddings*.
If you don’t know what embeddings are, just think about them as numerical descriptors of your Mastodon statuses, which are closer (as in two cities’ coordinates being close on a map) the more semantically similar their respective statuses are. We’ll get back later to this with a more visual description. If you are interested in embeddings and wanna delve deeper, see https://vickiboykis.com/what_are_embeddings/ by @vicki.

#Llamafile is a Mozilla tool that packages a language model in a single executable file that will run on most platforms. It is 100% local and has been optimized to run on slower hardware, from Raspberry Pis to my 8yo laptop. It is based on llama.cpp which supports a plethora of models, not just LLMs: I chose all-minilm because it’s tiny (50MB) and has open code, research papers, and datasets. https://github.com/Mozilla-Ocho/llamafile https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2

Второе пришествие мейнфреймов. Всё больше компаний хотят запускать ИИ у себя в офисе

Мейнфрейм IBM z16 во время лабораторных тестов в 2022 г, источник Приложения ИИ находят применение в бизнесе. Но есть проблема: корпоративные данные и документация представляют коммерческую тайну. Их нельзя передавать на сторону, тем более в облачную систему машинного обучения. Кроме того, что сама передача небезопасна, так ещё и публичная модель будет обучаться на наших секретах , а потом помогать конкурентам. В общем, у коммерческих компаний остаётся один вариант: поднимать собственный сервер или вычислительный кластер с ИИ. Таким образом, из эпохи облачных вычислений мы возвращаемся к старому доброму самохостингу, только сейчас это самохостинг GPU , серверы и мейнфреймы.

https://habr.com/ru/companies/ruvds/articles/867316/

#IBM #мейнфреймы #Telum_II #AnythingLLM #ChatGPT #Meta #обман #человечество #Mount_Diablo #IBM_z16 #самохостинг #ЦОД #датацентр #WatsonX #Copilot #Twinny #llamafile #Ollama #GPT4All #FraudGPT #WormGPT #Khoj #LocalAI #ruvds_статьи

Второе пришествие мейнфреймов. Всё больше компаний хотят запускать ИИ у себя в офисе

Мейнфрейм IBM z16 во время лабораторных тестов в 2022 г, источник Приложения ИИ находят применение в бизнесе. Но есть проблема: корпоративные данные и документация представляют коммерческую тайну. Их нельзя передавать на сторону, тем более в облачную систему машинного обучения. Кроме того, что сама передача небезопасна, так ещё и публичная модель будет обучаться на наших секретах , а потом помогать конкурентам. В общем, у коммерческих компаний остаётся один вариант: поднимать собственный сервер или вычислительный кластер с ИИ. Таким образом, из эпохи облачных вычислений мы возвращаемся к старому доброму самохостингу, только сейчас это самохостинг GPU , серверы и мейнфреймы.

https://habr.com/ru/companies/ruvds/articles/867316/

#IBM #мейнфреймы #Telum_II #AnythingLLM #ChatGPT #Meta #обман #человечество #Mount_Diablo #IBM_z16 #самохостинг #ЦОД #датацентр #WatsonX #Copilot #Twinny #llamafile #Ollama #GPT4All #FraudGPT #WormGPT #Khoj #LocalAI #ruvds_статьи

Второе пришествие мейнфреймов. Всё больше компаний хотят запускать ИИ у себя в офисе

Мейнфрейм IBM z16 во время лабораторных тестов в 2022 г, источник Приложения ИИ находят применение в бизнесе. Но есть проблема: корпоративные данные и документация представляют коммерческую тайну. Их нельзя передавать на сторону, тем более в облачную систему машинного обучения. Кроме того, что сама передача небезопасна, так ещё и публичная модель будет обучаться на наших секретах , а потом помогать конкурентам. В общем, у коммерческих компаний остаётся один вариант: поднимать собственный сервер или вычислительный кластер с ИИ. Таким образом, из эпохи облачных вычислений мы возвращаемся к старому доброму самохостингу, только сейчас это самохостинг GPU , серверы и мейнфреймы.

https://habr.com/ru/companies/ruvds/articles/867316/

#IBM #мейнфреймы #Telum_II #AnythingLLM #ChatGPT #Meta #обман #человечество #Mount_Diablo #IBM_z16 #самохостинг #ЦОД #датацентр #WatsonX #Copilot #Twinny #llamafile #Ollama #GPT4All #FraudGPT #WormGPT #Khoj #LocalAI #ruvds_статьи

Второе пришествие мейнфреймов. Всё больше компаний хотят запускать ИИ у себя в офисе

Мейнфрейм IBM z16 во время лабораторных тестов в 2022 г, источник Приложения ИИ находят применение в бизнесе. Но есть проблема: корпоративные данные и документация представляют коммерческую тайну. Их нельзя передавать на сторону, тем более в облачную систему машинного обучения. Кроме того, что сама передача небезопасна, так ещё и публичная модель будет обучаться на наших секретах , а потом помогать конкурентам. В общем, у коммерческих компаний остаётся один вариант: поднимать собственный сервер или вычислительный кластер с ИИ. Таким образом, из эпохи облачных вычислений мы возвращаемся к старому доброму самохостингу, только сейчас это самохостинг GPU , серверы и мейнфреймы.

https://habr.com/ru/companies/ruvds/articles/867316/

#IBM #мейнфреймы #Telum_II #AnythingLLM #ChatGPT #Meta #обман #человечество #Mount_Diablo #IBM_z16 #самохостинг #ЦОД #датацентр #WatsonX #Copilot #Twinny #llamafile #Ollama #GPT4All #FraudGPT #WormGPT #Khoj #LocalAI #ruvds_статьи

Llamafile by Mozilla

Hi #fedifriends

has any of you experience with #llamafile by #Mozilla?
I would like to use a local #LLM #AI to get some help to create #XLST styles to run against #XLS and #CSV files with the goal of create #XML files without being an #XSLT champion...

I would like to do it locally, not depending stricly on #Linux and #Nvidia, with some #ethical software and looks like Llamafile check marks all those voices.

Thanks... 🙏

#fedihelp #fediask

Experimenting with #marimo, mastodon API, and #llamafile for my "Build Your Own Timeline Algorithm" project. 100% local, except those 11 seconds it took me to download my home timeline.

I have been pitching this idea around for almost two years now, and while I felt bad for not pushing more for it, I am glad that in the meantime new cool tech became available allowing me to do something even better than I imagined.

Seriously, #llamafile is amazing. On-device #llm with almost zero effort. Spectacular.

https://github.com/Mozilla-Ocho/llamafile

I also added Q4_K_M quantizations. #llm #llamafile

I also put some Llama 3.2 llamafiles onto the Docker hub: https://hub.docker.com/?namespace=maragudk . Quite nice for CI. #llm #llamafile

And if you don't want to build one yourself and just want to try out the small new Llama 3.2 models yourself, have some links:

- https://assets.maragu.dev/llm/Llama-3.2-1B-Instruct-Q8_0.llamafile
- https://assets.maragu.dev/llm/Llama-3.2-3B-Instruct-Q8_0.llamafile

#llm #llamafile

If you're into #llm stuff, I've created a small repository with scripts to create a #llamafile from a GGUF model.

In plain English, it makes it easy to download a language model and turn it into a file you can run directly. Super fun, super easy. https://github.com/maragudk/llamafile

#Mozilla Developing #Whisperfile For Local Audio-To-Text Translation. The #MozillaOcho group leads "innovation and experiments" at Mozilla. Following all of their work on #Llamafile for easily distributing large language models as a single file that can be easily executed across different hardware/software, their newest effort is Whisperfile for easy audio-to-text translations. https://www.phoronix.com/news/Mozilla-Whisperfile

Установка LLM на скромном VPS

«Я тебя завалю, если ещё раз упомянешь AI», — писал автор нашумевшей статьи . В самом деле, хайп вокруг ИИ всем надоел. Но мы всё-таки рискнём поговорить о том, какую LLM поставить на своём сервере и зачем. Сразу упомянем, что на серверах RUVDS установлены видеокарты NVIDIA Quadro P4000 (на фото). Карты довольно слабенькие, так что подойдут скорее для проектов в образовательных целях и т. д. Тем более что под VPS выделяется максимум 1 ГБ видеопамяти. Но даже в таких спартанских условиях можно запустить LLM. Кстати, о VPS с видеокартой. Несколько лет назад мы уже писали о сферах их применения и даже проводили тесты. Всё это можно найти здесь .

https://habr.com/ru/companies/ruvds/articles/829932/

#ruvds_статьи #VPS #LLM #языковые_модели #Tabby #CopilotKit #Chat_Arena #LibreChat #HuggingFace #OpenCompass #llamafile #llamacpp #Cosmopolitan_Libc #Ollama

Установка LLM на скромном VPS

«Я тебя завалю, если ещё раз упомянешь AI», — писал автор нашумевшей статьи . В самом деле, хайп вокруг ИИ всем надоел. Но мы всё-таки рискнём поговорить о том, какую LLM поставить на своём сервере и зачем. Сразу упомянем, что на серверах RUVDS установлены видеокарты NVIDIA Quadro P4000 (на фото). Карты довольно слабенькие, так что подойдут скорее для проектов в образовательных целях и т. д. Тем более что под VPS выделяется максимум 1 ГБ видеопамяти. Но даже в таких спартанских условиях можно запустить LLM. Кстати, о VPS с видеокартой. Несколько лет назад мы уже писали о сферах их применения и даже проводили тесты. Всё это можно найти здесь .

https://habr.com/ru/companies/ruvds/articles/829932/

#ruvds_статьи #VPS #LLM #языковые_модели #Tabby #CopilotKit #Chat_Arena #LibreChat #HuggingFace #OpenCompass #llamafile #llamacpp #Cosmopolitan_Libc #Ollama

Установка LLM на скромном VPS

«Я тебя завалю, если ещё раз упомянешь AI», — писал автор нашумевшей статьи . В самом деле, хайп вокруг ИИ всем надоел. Но мы всё-таки рискнём поговорить о том, какую LLM поставить на своём сервере и зачем. Сразу упомянем, что на серверах RUVDS установлены видеокарты NVIDIA Quadro P4000 (на фото). Карты довольно слабенькие, так что подойдут скорее для проектов в образовательных целях и т. д. Тем более что под VPS выделяется максимум 1 ГБ видеопамяти. Но даже в таких спартанских условиях можно запустить LLM. Кстати, о VPS с видеокартой. Несколько лет назад мы уже писали о сферах их применения и даже проводили тесты. Всё это можно найти здесь .

https://habr.com/ru/companies/ruvds/articles/829932/

#ruvds_статьи #VPS #LLM #языковые_модели #Tabby #CopilotKit #Chat_Arena #LibreChat #HuggingFace #OpenCompass #llamafile #llamacpp #Cosmopolitan_Libc #Ollama

Take a closer look at how we used Prometheus, lm-buddy, and llamafile in this deep-dive experiment by @mala

https://blog.mozilla.ai/local-llm-as-judge-evaluation-with-lm-buddy-prometheus-and-llamafile/

#machinelearning #LLM #llamafile

I open sourced a thing !

A super simple web GUI for @mozilla 's #llamafile

Should pass the SO test.

https://codeberg.org/falken/simple-gpt

#ai #linux #chatgpt #llamacpp

Running #llamafile on #nixos and with a #nix flakes dev shell. It took me a while until I got a working setup that uses nvidia/cuda. In the interest of crowdsourced time saving I thought I post this.

With kudos to https://arestless.rest/blog/llamafile-on-nixos-23-11/ but the NVCC_APPEND_FLAGS no longer seems to work as intended.

Copy/pastable version at https://github.com/rksm/llamafile-with-nix

Wochenrückblick, Ausgabe 24 (2024-03).

Diesmal mit WireViz (GraphViz für Verkabelungen 🤓), einem hypnotisierenden Blick auf die Bits des aktuellen Unix-Timestamps, Applite - dem macOS App Store für Homebrew Casks, noch mal llamafile (LLM für die Ausführung auf dem eigenen Rechner), dem BFG Repo-Cleaner und wie mir dieser helfen soll (BFG9000 kennt ihr auch noch?), Debugging-Tricks für die Browser Developer Tools, wieder Wildschweine im Garten und wie immer Techno.

#WireViz #GraphViz, #Timestamp #Y2K38 #Applite #llamafile #BFGRepoCleaner #BFG9000 #DevTools #Browser #WebDev #Debugging #Wildschwein #Techno

https://www.marcusjaschen.de/blog/2024/2024-03/

Wochenrückblick, Ausgabe 24 (2024-03).

Diesmal mit WireViz (GraphViz für Verkabelungen 🤓), einem hypnotisierenden Blick auf die Bits des aktuellen Unix-Timestamps, Applite - dem macOS App Store für Homebrew Casks, noch mal llamafile (LLM für die Ausführung auf dem eigenen Rechner), dem BFG Repo-Cleaner und wie mir dieser helfen soll (BFG9000 kennt ihr auch noch?), Debugging-Tricks für die Browser Developer Tools, wieder Wildschweine im Garten und wie immer Techno.

#WireViz #GraphViz, #Timestamp #Y2K38 #Applite #llamafile #BFGRepoCleaner #BFG9000 #DevTools #Browser #WebDev #Debugging #Wildschwein #Techno

https://www.marcusjaschen.de/blog/2024/2024-03/

Wochenrückblick, Ausgabe 24 (2024-03).

Diesmal mit WireViz (GraphViz für Verkabelungen 🤓), einem hypnotisierenden Blick auf die Bits des aktuellen Unix-Timestamps, Applite - dem macOS App Store für Homebrew Casks, noch mal llamafile (LLM für die Ausführung auf dem eigenen Rechner), dem BFG Repo-Cleaner und wie mir dieser helfen soll (BFG9000 kennt ihr auch noch?), Debugging-Tricks für die Browser Developer Tools, wieder Wildschweine im Garten und wie immer Techno.

#WireViz #GraphViz, #Timestamp #Y2K38 #Applite #llamafile #BFGRepoCleaner #BFG9000 #DevTools #Browser #WebDev #Debugging #Wildschwein #Techno

https://www.marcusjaschen.de/blog/2024/2024-03/

Wochenrückblick, Ausgabe 24 (2024-03).

Diesmal mit WireViz (GraphViz für Verkabelungen 🤓), einem hypnotisierenden Blick auf die Bits des aktuellen Unix-Timestamps, Applite - dem macOS App Store für Homebrew Casks, noch mal llamafile (LLM für die Ausführung auf dem eigenen Rechner), dem BFG Repo-Cleaner und wie mir dieser helfen soll (BFG9000 kennt ihr auch noch?), Debugging-Tricks für die Browser Developer Tools, wieder Wildschweine im Garten und wie immer Techno.

#WireViz #GraphViz, #Timestamp #Y2K38 #Applite #llamafile #BFGRepoCleaner #BFG9000 #DevTools #Browser #WebDev #Debugging #Wildschwein #Techno

https://www.marcusjaschen.de/blog/2024/2024-03/

Wochenrückblick, Ausgabe 24 (2024-03).

Diesmal mit WireViz (GraphViz für Verkabelungen 🤓), einem hypnotisierenden Blick auf die Bits des aktuellen Unix-Timestamps, Applite - dem macOS App Store für Homebrew Casks, noch mal llamafile (LLM für die Ausführung auf dem eigenen Rechner), dem BFG Repo-Cleaner und wie mir dieser helfen soll (BFG9000 kennt ihr auch noch?), Debugging-Tricks für die Browser Developer Tools, wieder Wildschweine im Garten und wie immer Techno.

#WireViz #GraphViz, #Timestamp #Y2K38 #Applite #llamafile #BFGRepoCleaner #BFG9000 #DevTools #Browser #WebDev #Debugging #Wildschwein #Techno

https://www.marcusjaschen.de/blog/2024/2024-03/

Wochenrückblick, Ausgabe 23 (2024-02).

Diesmal mit meinem Kandidaten für das nützlichste Teil, welches jemals aus einem 3D-Drucker gefallen ist, einer neuen Familie von schicken Monospace-Schriftarten, einem ChatGPT, welches lokal auf dem eigenen Rechner läuft, tiefen Temperaturen und wofür man die nutzen sollte (und wie sich die Wärmepumpe geschlagen hat), einem Liebesbrief ans das CSV-Dateiformat, „Tombstones“ und das Finden von nicht mehr genutzten Codestellen, einer Liste von ANSI Escape-Codes, einer neuen Serie bei Netflix und wie immer Techno.

#Wochenrückblick #3DPrinting #Monaspace #Monospace #Font #llamafile #ChatGPT #Frost #Wärmepumpe #CSV #Tombstone #ANSI #Netflix #TheBrothersSun #Techno

https://www.marcusjaschen.de/blog/2024/2024-02/

@cbontenbal ...het was me al gelukt het kleinste model direct te draaien (zie beschrijving op genoemde Github), nu het grootste model met de gewichten apart omdat windows geen executable groter dan 4GB aan kan 😀 . Betreffende opensource modellen zijn nog een stuk slechter als GPT4 maar het experimenteren vind ik interessant in mijn vrije tijd.
#LLamafile #experimenten