#sglang — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #sglang, aggregated by home.social.
-
RT @h100envy: Der ehemalige Berkeley-PhD, der SGLang bei xAI leitet, erklärte, wie sie Grok auf 100.000 GPUs in 23 Minuten bedienen – besser als $2000 Inference-at-Scale-Kurse. Aufteilung von Prefill und Decode –> Sharding von Experten über GPUs –> Token-Routing pro Experte –> Überlappung von Kommunikation und Berechnung –> Bedienung zu DeepSeek-API-zerstörenden Preisen. Diese Schleife ist der Grund, warum xAI Grok auf SGLang betreibt und Dritte DeepSeek's eigene API um den Faktor 5 bei den Kosten schlagen. SGLang + Prefill-Decode-Disaggregation + Experten-Parallelität + AMD MI300 – das ist der Stack. Schau dir das Video an und speichere es, dann lies den Artikel unten. Video h100envy (@h100envy) Artikel Loop Engineering: Eine Schleife, die RAG automatisch auf ein Ziel-Recall einstellt. Ein konkreter Fall von Loop-Engineering. Nicht „RAG von Hand einstellen“, sondern eine Schleife bauen, die Konfigurationen selbst sucht, Recall auf einem Eval misst und stoppt, wenn das Ziel erreicht ist. Mit vollständigem Code. RAG-Einstellung – https://nitter.net/h100envy/status/2070852290878009586#m
mehr auf Arint.info
#DeepSeek #Grok #LoopEngineering #RAG #SGLang #xAI #arint_info
-
RT @PavloMolchanov: 🚀 Selbst-Spekulation ermöglicht eine 6,75-fache echte Beschleunigung der LLM-Generierung mit SGLang-Inference!
mehr auf Arint.info
#AI #Diffusion #LLM #MachineLearning #Nemotron #SGLang #arint_info
-
SGLang vừa giải quyết ổn định FP8 cho huấn luyện RL, phát hiện vấn đề nằm ở bước lượng tử hóa (quantization step). Đây là bước tiến lớn cho RLHF và tinh chỉnh RL cục bộ, giúp đơn giản hóa việc sử dụng độ chính xác hỗn hợp.
#SGLang #FP8 #RLTraining #Quantization #AI #MachineLearning #HuấnLuyệnRL #TríTuệNhânTạo #HọcMáy -
Как запустить свою LLM для инференса. Руководство по запуску: Ollama, vLLM, Triton, LM Studio, llama.cpp, SGLang
В этой статье будет приведено практическое руководство по базовой настройке и запуску следующих инструментов для работы с LLM: Ollama, LM Studio, vLLM, Triton, llama.cpp, SGLang. 🔥 Начинаем? 🔥
https://habr.com/ru/articles/948934/
#ollama #vllm #triton #lm_studio #llamacpp #sglang #запуск_llm