The #Global #Memory #Innovation #Forum 2026 (#GMIF 2026) brought together 40 companies in #Shenzhen, #China to demonstrate how artificial intelligence is changing the #commercial value of memory and #storage. #Exhibitors presented #technologies intended to improve #AI #inference, extend limited #GPU memory, move #data more efficiently and support increasingly demanding #cloud, #edge, #automotive and on-device workloads. https://chinaexpohub.com/gmif-2026-ai-storage-memory-supply-chain/
#inference — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #inference, aggregated by home.social.
-
27B-модель на четырёх V100 в 2026 году: форк vLLM, INT4 на Volta и контекст 262K
Четыре Tesla V100 2017 года тянут в проде плотную Qwen3.8-27B в INT4 с окном 262 тысячи токенов — это модель zubr в ZuBrIQ (zubriq.ai), запросы к которой не покидают Беларусь. Официальный vLLM на этих картах 4-битную модель не запускает. Рассказываю, на каком форке это работает, куда утекает память, что показал бенчмарк MoE против dense и почему имя модели нельзя менять никогда.
-
The #Global #Memory #Innovation #Forum 2026 (#GMIF 2026) brought together 40 companies in #Shenzhen, #China to demonstrate how artificial intelligence is changing the #commercial value of memory and #storage. #Exhibitors presented #technologies intended to improve #AI #inference, extend limited #GPU memory, move #data more efficiently and support increasingly demanding #cloud, #edge, #automotive and on-device workloads. https://chinaexpohub.com/gmif-2026-ai-storage-memory-supply-chain/