#чипы — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #чипы, aggregated by home.social.
-
Тензорные ядра больше не спасают: почему ИИ-ускорители упрутся в память
Производители ИИ-ускорителей продолжают увеличивать количество тензорных ядер и осваивать всё более короткие форматы данных, включая FP8 и FP4. Производительность вроде как растёт, причем впечатляющими темпами, но есть одна загвоздка. Вычислительные блоки нужно постоянно снабжать весами модели и промежуточными данными. Если память не успевает, дорогой чип с десятками миллиардов транзисторов натурально простаивает в ожидании очередной порции данных. Samsung планирует решить проблему при помощи HBM5. Как именно? Удвоить производительность относительно HBM4E и одновременно на 20% повысить эффективность на ватт. Пропускная способность одного стека в перспективе может приблизиться к 4 ТБ/с благодаря 4096-битной шине. Давайте разбираться, что там и как.