#flashattention — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #flashattention, aggregated by home.social.
-
谷歌一篇论文砸崩内存巨头？不懂“显存墙”，怎么做 AI 时代的工程师！ 本文永久链接 – https://tonybai.com/2026/03/28/ai-engineer-gpu-introduction-course 大家好...
#技术志 #AIModel #AI模型 #ArtificialIntelligence #AttentionMechanism #ComputeBound #ComputingPower #CUDA #FlashAttention #FP8 #Go
Origin | Interest | Match -
Triton, Flash-attension, Sage-attension и bitsandbytes с Rocm7 в Windows
В конце января 2026 вышел triton-windows 3.6.0.post25 , который позволяет использовать flash-attention , sage-attention (v1) и другие библиотеки, использующие Triton, на картах AMD с поддержкой rocWMMA в Windows. Также, несмотря на то, что в официальном репозитории bitsandbytes еще не приняли PR для поддержки ROCm 7, его все же можно собрать, внеся небольшие изменения в код. Эти изменения я уже сделал в своем форке. В этой статье я расскажу, как установить все это себе, а также для примера запустим пару тестов в ComfyUI, в том числе со свежей LTX-2, и сделаем Qlora адаптер для модели Gemma 3.
https://habr.com/ru/articles/987672/
#triton #amd #rx7900 #sageattention #flashattention #bitsandbytes #rocm #rocm7 #comfyui #ltx2
-
4x faster LLM inference (Flash Attention guy's company)
https://www.together.ai/blog/adaptive-learning-speculator-system-atlas
#HackerNews #4xFasterInference #FlashAttention #LLMTechnology #AIInnovation #AdaptiveLearning