Память, которая сама обрабатывает данные: как устроена LPDDR5X-PIM
В ряде задач производительность упирается не в скорость вычислений, а в обмен данными с памятью. Решить эту проблему можно, если выполнять часть операций прямо там, где хранятся данные. Например, в своей LPDDR5X-PIM Samsung разместила вычислительные блоки внутри банков DRAM. Разберем, как это работает, какие операции можно перенести в память и что технология показала в Llama 3.1 8B.
https://habr.com/ru/companies/mclouds/articles/1085140/
#память #samsung #lpddr5x #pim #серверы #оперативная_память #вычисления #нейросети #llama #инференс