#deepinfra — Public Fediverse posts

Why 500 Global and Nvidia Just Bet €91.5m on Deepinfra’s ‘Token Factory’

https://web.brid.gy/r/https://therecursive.com/deepinfra-series-b-500-global-nvidia-ai-inference-infrastructure/

Ich denke in dem Kontext #KI schon ne Weile über #selfhosted KI nach. Meine ersten Versuche waren ernüchternd. Man braucht entsprechende Hardware. Ein ausgedienten Gaming-PC (ca 2 Jahre) sollte es tun.
Wenn der nun allerdings 200W im Durchschnitt braucht (ich las von 700W unter Volllast), sind das bei 5 dank PV autarken Monaten immer noch ca 25€ mtl an Stromkosten. Die Baukosten kommen noch drauf. Dafür kann ich ganz schön viel KI bei #DeepInfra buchen.

Meine Idee:
Default: deepseek-ai/DeepSeek-V3.2
Triage: meta-llama/Llama-3.2-3B-Instruct
Reasoning: deepseek-ai/DeepSeek-R1
Später für Coding: ein Opus oder Qwen

Problem dabei: Damit ich #Deepinfra nutzen kann, muss ich die ID mit einem Vendor-Prefix für das Modell verwenden. Damit kommt aber #OpenClaw nicht klar. 😒 Ich kann die Modelle nicht auswählen. Sie seien nicht erlaubt. (2/x)

Hab #PaperlessAI entdeckt. Scheint ähnlich wie #PaperlessGPT zu sein. Letzteres hat wohl Stärken bei OCR. Ersteres bei der Zuordnung von Tags und Titel. OCR nutze ich nicht.
Ich hab wegen des Ressourcenverbrauchs #ollama in den Ruhestand geschickt. Ich fand dafür #deepinfra. Dort kann man in der EU gehostete Modelle nutzen, womit die dsgvo greift.
Allerdings bekomme ich es nicht konfiguriert. 🫩 Egal welche Kombination aus BaseURL und Modell ich nehme. Immer kommt 404 beim Speichern der Config. 🙄