#openllm — Public Fediverse posts

Testing a tiny 60M commit-message model. Wondering if it could make @silex new git integration more useful

Based on T5, not a chatbot, a model that you pretrain once, then specialize
https://huggingface.co/SEBIS/code_trans_t5_small_commit_generation_transfer_learning_finetune

Interesting architecture :)

Plus T5 is fully open, like #openllm / @LINAGORA 's Luciole :)

It's an open academic work

Here some results on my machine:
* 0.2s/commit message on CPU
* 11s load time, 0 VRAM
* on this narrow task, the 60M is matching Luciole-1B

#SLM #LocalAI #OpenSource #AI

@chpollin

> Vielleicht ein Thema für einen AI-/
> RSE-AG-übergreifenden Preconference
> Workshop nächstes Jahr? Ich wäre dabei!

Andererseits habe ich ja auch gerade gesagt, dass ich etwas verunsichert bin, wie ich weitermachen will, weil ich mir die Community (mich selbst inbegriffen) etwas ambitionierter erhofft hatte, was die Substanziierung der Kritik an #AI angeht. Und obendrein ist heute überhaupt kein Tag, wo man so einfach zum Tagesgeschäft der nächsten Konferenzplanung weitergehen kann! Und das hängt ja alles zusammen.

Ich muss echt mal gründlich nachdenken...

#DHd2026 #DHd2027 #LLM #OpenLLM #AIEthics #Iran #Trump #BigTech #Fascism #CriticalAI #CriticalScience

Zum Thema Evaluation im Theorie-Teil (@SarahOberbichler) des Workshops LLMs unter Kontrolle: kurze Fragen der Teilnehmenden zu Verfallsdatum von Benchmarks wenn LLMs mit den Evaluationsdaten trainiert werden und zu (Nicht-)Steuerbarkeit von LLM Harvesting mit robots.txt/llm.txt

Dann Thema Profiling von Trainingsdatensätzen am Bsp. Dolma/Olmo. Sprache und Labels (Bsp. "History", wo es viele Quellen gibt, die so "meh" und weder historische Texte noch geschichtswissenschaftlich sind.)

Dann nochmal Thema Bias Evaluation...

Link zu Folien poste ich später in diesem Thread.

#DHd2026 #LLM #OpenLLM

Und jetzt zweiter Theorie-Teil mit @SarahOberbichler: LLM als Tool oder als Werkzeug, was sind typische Nutzungsszenarios in den DH? Zu berücksichtigen: Risikobewertung, systematische Evaluation.

A propos Infrastruktur: mehr als die Hälfte der Teilnehmenden hätten wohl Zugang zu institutionellen HPC- und Jupyter-Angeboten. Aber auch kommerzielle Compute-Angebote oder Zwischengestalten wie HuggingFace.

#DHd2026 #LLM #OpenLLM

Danach erster Hands-On Teil mit Kai Niebes: Lokales Ausführen von Olmo2/3 (in LMStudio), wie kann ich über ein Python-Skript auf den Chat, seine Konfiguration und seine Nachrichten zugreifen, was muss ich an System/User Prompts verändern, um Aufgaben auszuführen, wie kann ich Olmo pdf-Dokumente prozessieren lassen?

@spinfocl @SarahOberbichler

#DHd2026 #LLM #OpenLLM Workshp

Jetzt Evaluation und Benchmarks. Bei der Frage nach DH-spezifischen LLM-Benchmarks sieht es mau aus.

Immerhin gibt es https://rise-unibas.github.io/humanities_data_benchmark Die haben nicht so schlechte Informationen und eine offene Einladung zum Mitmachen!

Tragt Eure DH Benchmarks bei!!

@spinfocl @SarahOberbichler

#DHd2026 #LLM #OpenLLM Workshop

Gerade diskutiert @spinfocl die verschiedenen Aspekte von Offenheit bei LLMs: Gewichte, Inferencing Code, Trainingsdaten, Trainingslogik.

https://opensource.org/ai/open-source-ai-definition
https://isitopen.ai/
https://doi.org/10.48550/arXiv.2405.15802
https://doi.org/10.1145/3630106.3659005

#OpenLLM #OpenSourceAI
#OSI #OAID #MOF #OpenWashing #DHd2026

Der Workshop "LLMs unter Kontrolle. Offene Modelle in Forschung und Praxis" von @spinfocl , Kai Niebes, @SarahOberbichler und mir ist gut besucht und gut gestartet. Genügend Plätze und Steckdosen vorhanden (Seminarraum 1), die TN haben im Großen und Ganzen die Vorbereitungen durchführen können, also los geht's!

#DHD2026 #LLM #Workshop #OpenLLM #OpenSourceAI

A trillion-parameter model you can actually control? 🤯 Kimi K2 flips the script with only 32B active per step and huge reasoning power. Privacy stays with you, not a vendor.
🔥 See why builders are switching:
https://medium.com/@rogt.x1997/1-trillion-parameters-only-32-b-active-how-kimi-k2-redefines-model-scale-1c8a73a4c5a7

#OpenLLM #AIOwnership #AgenticAI
https://medium.com/@rogt.x1997/1-trillion-parameters-only-32-b-active-how-kimi-k2-redefines-model-scale-1c8a73a4c5a7

This open-source LLM could redefine AI research, and it’s 100% public - Switzerland’s fully open LLM merges transparency, s... - https://cointelegraph.com/explained/this-open-source-llm-could-redefine-ai-research-and-its-100-public #ethzurich #openllm

I created the fist issue for the #OpenLLM #Europe #manifesto on GitHub:

Move to Free and Open Source Software (FOSS) infrastructure

I suggest to move the software development to a real Free and Open Source Software (#FOSS) hosting platform, to ensure #strategic #autonomy and #digital #sovereignty. With starting the project on GitHub, the fist step towards vendor lock-in has been set.

https://github.com/OpenLLM-Europe/Manifesto/issues/1

#EU #DigitalSovereignty #StragegicAutonomy #LLM #vendorlockin

OpenLLM-france semble également sur la bonne voie d'un LLM libre et éthique.

#openLLM #AIethics

Mais existe-t-il des LLMs libres ?

J'ai vu que quelques LLMs de Meta (Llama) sont open-source, ce qui est une bonne chose sur le plan écologique (on n'est pas obligé de ré-entraîner un modèle pour des performances similaires, comme l'absurdité de la course aux LLMs des GAFAMs qui a un impact écologique monumental).

Je vais en apprendre plus sur BLOOM, qui semble être un LLM alternatif intéressant.

#openLLM #BLOOM

How are you all going with your #CfP submissions for #EverythingOpen? Have you started yet? 😎

#OpenSource #FOSS #OpenScience #OpenAccess #OpenGLAM #OpenAI #OpenLLM #OpenData #OpenGov #OpenGIS #OpenStreetMap #OpenSystems #OpenJournal #OpenID #OpenLibrary #OpenPower #OpenHealth #Privacy #InfoSec #OpenMessaging #OpenHardware

With #OpenLLM, you can run an inference with any #opensource #LLM and build powerful #AI apps.

🔥 Flexible APIs: serve LLMs over #RESTful #API or #gRPC with one command, query via WebUI, CLI, our Python/Javascript client, or any #HTTP client.

https://github.com/bentoml/OpenLLM