#webllm — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #webllm, aggregated by home.social.
-
In-Browser Graph RAG with Kuzu-WASM and WebLLM — https://blog.kuzudb.com/post/kuzu-wasm-rag/
#HackerNews #In-Browser #Graph #RAG #Kuzu-WASM #WebLLM #Technology #Innovation -
Local chatbot capabilities arrive for web applications, reducing data privacy concerns: WebLLM and new browser APIs enable offline-capable chatbots that keep sensitive data on users' devices while maintaining functionality. https://ppc.land/local-chatbot-capabilities-arrive-for-web-applications-reducing-data-privacy-concerns/ #Chatbots #DataPrivacy #WebApplications #WebLLM #BrowserAPIs
-
@smach It would be better to use an in-browser #LLM using #webLLM, #Transformers.js, #MediaPipe or window.ai rather than to send your data to #OpenAI.
-
@tomayac Great article! Two questions:
1. How does #MediaPipe for #web compare with #ONNX Runtime Web and #WebLLM?
2. When will it be possible to run Phi-3.5 (not Phi-2) on MediaPipe? https://github.com/google-ai-edge/mediapipe/issues/5357 -
-
@m_drabe @Giliell ja, denselben Punkt hat auch Sam Altman kürzlich gemacht. Gleichzeitig sind die Anstrengungen im Hardware- und Softwarebereich enorm, KI effizienter zu machen. Die Firmen wollen den computational load nicht auf dem Server haben, daher wird es wahrscheinlich Hybridlösungen geben mit TPU chips in allen Gerätekategorien und Modellen, die halb lokal und halb auf Servern laufen. #ParzivAI ist ganze Größenordnungen kleiner als zB #chatgpt und kann lokal laufen (vielleicht auch bald im Webbrowser (via #webLLM), kombiniert mit einem #RAG erfüllt er so seine Funktion.
