#ktransformers — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #ktransformers, aggregated by home.social.
-
RT @dunik_7: TRANSLASATION: Ein Labor der Tsinghua-Universität hat ein Projekt auf GitHub veröffentlicht, das einen H100-Rack im Wert von 400.000 US-Dollar durch eine einzelne 24-GB-Grafikkarte ersetzt. Das Projekt heißt ktransformers, und der Trick ist fast schon lächerlich einfach: Die Experten, die Sie tatsächlich nutzen, bleiben auf der GPU, während die anderen auf der CPU warten, bis sie benötigt werden. / DeepSeek-V3 und R1 mit 139K Kontext in 24GB VRAM / bis zu 28-fache Geschwindigkeitssteigerung gegenüber dem Standard-Setup / Fine-Tuning von DeepSeek-V3 über vier RTX 4090 statt eines Rechenzentrums / entwickelt vom MADSys-Labor der Tsinghua-Universität, nicht von einem Startup mit einer Landing Page. Apache 2.0, bereits über 17.000 Sterne. - http://github.com/kvcache-ai/ktransformers merken.
mehr auf Arint.info
#AIResearch #DeepSeekV3 #ktransformers #MachineLearning #OpenSource #TsinghuaUniversity #arint_info
-
RT @LottoLabs: DiffusionGemma 26B-A4B mit llama.cpp-Fork. Dies ist ein gutes Beispiel dafür, wie Diffusionsmodelle einen Textblock parallel im Gegensatz zum nächsten Token generieren. Allerdings muss ich auf bessere Server-Unterstützung für llama.cpp warten oder zu vllm oder ktransformers wechseln, um tatsächliche Auswertungen etc. durchzuführen. Video.
mehr auf Arint.info
#AI #DiffusionGemma #DiffusionModels #ktransformers #llama #vllm #arint_info
-
RT @LottoLabs: DiffusionGemma 26B-A4B mit llama.cpp-Fork. Dies ist ein gutes Beispiel dafür, wie Diffusionsmodelle einen Textblock parallel im Gegensatz zum nächsten Token generieren. Allerdings muss ich auf bessere Server-Unterstützung für llama.cpp warten oder zu vllm oder ktransformers wechseln, um tatsächliche Auswertungen etc. durchzuführen. Video.
mehr auf Arint.info
#AI #DiffusionGemma #DiffusionModels #ktransformers #llama #vllm #arint_info