RT @superalesha: Meine 3090er-Karten sind bei BF16-Tensor-Mathematik jetzt 1,9x SCHNELLER!!! Gleiche Karten, gleicher Treiber, gleiche 300W, ein Linux-Kernel-Modul.
mehr auf Arint.info
#BF16 #Hardware #Linux #NVIDIA #RTX3090 #TensorMath #arint_info
#bf16 — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #bf16, aggregated by home.social.
-
Дело о 38 токенах в секунду: почему M3 Ultra начинал с двенадцати
Всё началось с простой, на первый взгляд, задачи. Я хотел использовать локально Qwen3.8-27B именно в BF16. Причём не исходный PyTorch-чекпойнт через случайный слой совместимости, а mlx-community/Qwen3.8-27B-bf16 — специально подготовленную в формате MLX версию для Apple Silicon. Вся линейка Qwen3.8 от mlx-community конвертирована именно для запуска на процессорах Apple. То есть модель уже была адаптирована под архитектуру Mac. Без 8-битной или 4-битной квантизации, потому что исходный приоритет был не в том, чтобы любой ценой получить красивую цифру в бенчмарке. Мне нужна была максимальная точность модели для сложного анализа, работы с кодом и длинных рассуждений. Казалось, что с железом проблем точно не будет. Моя конфигурация — Mac Studio 2025 года ( Mac15,14 , заказной номер Z1CE001BMZP/A ) с Apple M3 Ultra: 32 ядра CPU, из них 24 производительных, 80 ядер GPU, 512 ГБ объединённой памяти и SSD на 2 ТБ. Заявленная Apple пропускная способность памяти — 819 ГБ/с . То есть перед нами не ноутбук, который случайно заставили считать большую языковую модель. Это максимальная конфигурация M3 Ultra по CPU, GPU и объёму памяти. И на ней оптимизированная для Apple Silicon версия Qwen3.8-27B в BF16 выдавала всего 12 токенов в секунду . Сначала результат выглядел подозрительно. В машине десятки CPU- и GPU-ядер, модель целиком помещается в память, используется нативный для Apple Silicon фреймворк MLX. Почему тогда скорость совсем не похожа на то, чего ждёшь от топового GPU? Я начал искать узкое место.
https://habr.com/ru/articles/1075706/
#Qwen3827B #DFlash2 #oMLX #MLX #Apple_Silicon #Mac_Studio_M3_Ultra #локальные_LLM #инференс_LLM #speculative_decoding #BF16
-
RT @jun_song: Uncensored SuperQwen3.8-Flash-Next (Vorschau) ist ab sofort live und für alle zugänglich 🚀
mehr auf Arint.info
#AI #BF16 #FP8 #MachineLearning #SuperQwen #Uncensored #arint_info
-
RT @jun_song: SuperQwen3.8-27b-abliterated ist jetzt live und für alle zugänglich 🚀 - Unzensiert für Freiheit - Gebrochenes Gewicht durch Abliteration wurde mit Agentenschwarm behoben - Problem des Überdenkens wurde gelöst - 1M Kontext, Multimodal. Entschuldigung für die verspätete Veröffentlichung. Super-Tuning dauert viel länger als bei normalen abliterierten Modellen, da das Beheben der Gewichte und die Evaluation etwa eine Woche in Anspruch nehmen. BF16/MLX/NVFP4 ⬇️
mehr auf Arint.info
#Abliteration #BF16 #MLX #Multimodal #NVFP4 #SuperQwen #arint_info
-
Có công cụ chẩn đoán mới cho Strix Halo ComfyUI giúp xác định vấn đề chính xác về độ chính xác bf16 trong hệ thống bộ nhớ thống nhất. Công cụ này hữu ích cho người dùng trên bộ nhớ thống nhất hoặc card đồ họa cũ gặp vấn đề về độ chính xác. #ComfyUI #StrixHalo #bf16 #DebuggingTools #HệThốngBộNhớThốngNhất #CôngCụChẩnDoán #MachineLearning #AI #TríTuệNhânTạo
-
NVIDIA Boosts RTX AI PCs With 35% Faster LLM & 3x Faster Creative AI Performance, NVFP4 To Reduce VRAM Usage NVIDIA continues to add more performance to its RTX AI PCs with features such as NVF...
#Featured #News #Sticky #BF16 #ComfyUI #Flux.1 #Flux.2 #LTX-2 #NVFP4 #Nvidia #NVIDIA
Origin | Interest | Match -
New DFloat11 Technique Offers 30% Lossless Compression for LLMs, Easing Hardware Demands
#AI #AIResearch #DFloat11 #LLMs #LLMcompression #MachineLearning #DeepLearning #BF16 #Inference #RiceUniversity #xMADai
-
FP32, FP16, BF16 и FP8 — разбираемся в основных типах чисел с плавающей запятой
Привет, Хабр! Сегодня давайте поговорим о том, как современные вычисления на GPU стали более гибкими и эффективными благодаря различным форматам чисел с плавающей запятой ( FP64 , FP32 , FP16 , BFLOAT16 и FP8 ). Эти форматы не просто числа — за каждым из них стоит конкретная область применения. В разных ситуациях мы сталкиваемся с задачами, где важны либо скорость, либо точность, и правильно выбранный тип floating point помогает оптимизировать ресурсы. Давайте разберём всё это на примерах и поймём, в каких задачах каждый из этих форматов будет наиболее полезен.
https://habr.com/ru/companies/serverflow/articles/847068/
#FP16 #fp32 #FP64 #BF16 #floating_point #плавающая_запятая #fp8 #числа_с_плавающей_запятой #формат_с_плавающей_запятой