#inference — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #inference, aggregated by home.social.
-
Chinese chip stocks dropped on the Nvidia approval signal—SMIC down 3.7%, Moore Threads 6.3%, Cambricon 5.7%. ByteDance may order 1 million RTX Pro 5500 cards for multi-card server configurations, but the workstation GPU lacks the high-bandwidth memory needed for major training tasks. https://www.implicator.ai/china-signals-approval-for-bytedance-alibaba-purchases-of-nvidia-rtx-pro-5500/ #semiconductors #markets #inference
-
Chinese chip stocks dropped on the Nvidia approval signal—SMIC down 3.7%, Moore Threads 6.3%, Cambricon 5.7%. ByteDance may order 1 million RTX Pro 5500 cards for multi-card server configurations, but the workstation GPU lacks the high-bandwidth memory needed for major training tasks. https://www.implicator.ai/china-signals-approval-for-bytedance-alibaba-purchases-of-nvidia-rtx-pro-5500/ #semiconductors #markets #inference
-
Chinese chip stocks dropped on the Nvidia approval signal—SMIC down 3.7%, Moore Threads 6.3%, Cambricon 5.7%. ByteDance may order 1 million RTX Pro 5500 cards for multi-card server configurations, but the workstation GPU lacks the high-bandwidth memory needed for major training tasks. https://www.implicator.ai/china-signals-approval-for-bytedance-alibaba-purchases-of-nvidia-rtx-pro-5500/ #semiconductors #markets #inference
-
Chinese chip stocks dropped on the Nvidia approval signal—SMIC down 3.7%, Moore Threads 6.3%, Cambricon 5.7%. ByteDance may order 1 million RTX Pro 5500 cards for multi-card server configurations, but the workstation GPU lacks the high-bandwidth memory needed for major training tasks. https://www.implicator.ai/china-signals-approval-for-bytedance-alibaba-purchases-of-nvidia-rtx-pro-5500/ #semiconductors #markets #inference
-
https://www.europesays.com/be-fr/268115/ Jev, le modèle décisionnel, fait le buzz chez les développeurs, mais sa validité pour l’entreprise reste à démontrer #AgentsAutonomes #ArchitectureIA #BE #BEFr #Belgique #Belgium #GouvernanceIA #IAAgentique #inférence #LLM #Science #ScienceAndTechnology #Sciences #SciencesEtTechnologies #Technologies #Technology #TypeSafeAI
-
https://www.europesays.com/ch-fr/326767/ Jev, le modèle décisionnel, fait le buzz chez les développeurs, mais sa validité pour l’entreprise reste à démontrer #AgentsAutonomes #ArchitectureIA #GouvernanceIA #IAAgentique #inférence #LLM #Science #ScienceAndTechnology #Sciences #SciencesEtTechnologies #Suisse #Technologies #Technology #TypeSafeAI
-
Cerebras is taking a different route with CS-4, framing wafer-scale AI as a modular rack upgrade instead of another GPU-by-GPU refresh.
#tech #technology #cerebras #aihardware #inference #datacenter
-
Cerebras is taking a different route with CS-4, framing wafer-scale AI as a modular rack upgrade instead of another GPU-by-GPU refresh.
#tech #technology #cerebras #aihardware #inference #datacenter
-
Cerebras is taking a different route with CS-4, framing wafer-scale AI as a modular rack upgrade instead of another GPU-by-GPU refresh.
#tech #technology #cerebras #aihardware #inference #datacenter
-
Cerebras is taking a different route with CS-4, framing wafer-scale AI as a modular rack upgrade instead of another GPU-by-GPU refresh.
#tech #technology #cerebras #aihardware #inference #datacenter
-
Cerebras is taking a different route with CS-4, framing wafer-scale AI as a modular rack upgrade instead of another GPU-by-GPU refresh.
#tech #technology #cerebras #aihardware #inference #datacenter
-
Сколько стоит суверенитет
Коллеги всю неделю обсуждают релиз претрейна https://huggingface.co/yandex/AliceAI-Foundation-80B-A3B-Base https://habr.com/en/companies/yandex/articles/1083300/ . В одном из чатов спросили как она отвечает на основополагающий вопрос, и я решил это проверить, что бы узнать сколько стоит инференс подобной модели. Исходя из того что удалось найти, требуется 4 шт A100, вроде бы можно по пробовать на паре, но это требует CPU-offload, а на такие компромиссы, как и квантизации, я идти не готов. GPU я собрался брать в аренду на облаке, название его писать не буду. Первый подход был к Datasphere на Jupiter notebook и это был провал (на 6000₽). Детали не важны - проехали. Потом попытался запросить VM c 4 A100, поднял квоты через тикеты, - вот это всё. И не помогло. Ну то есть в теории это возможно - поймать 4 A100, но мне не удалось. Ещё заявлен какой-то Gen2 - но на него даже квоту не поднимают. Вернулся к Datashpere Jobs , потому что для Jupiter-то их (A100) выделяли! Схема такая:
-
Сколько стоит суверенитет
Коллеги всю неделю обсуждают релиз претрейна https://huggingface.co/yandex/AliceAI-Foundation-80B-A3B-Base https://habr.com/en/companies/yandex/articles/1083300/ . В одном из чатов спросили как она отвечает на основополагающий вопрос, и я решил это проверить, что бы узнать сколько стоит инференс подобной модели. Исходя из того что удалось найти, требуется 4 шт A100, вроде бы можно по пробовать на паре, но это требует CPU-offload, а на такие компромиссы, как и квантизации, я идти не готов. GPU я собрался брать в аренду на облаке, название его писать не буду. Первый подход был к Datasphere на Jupiter notebook и это был провал (на 6000₽). Детали не важны - проехали. Потом попытался запросить VM c 4 A100, поднял квоты через тикеты, - вот это всё. И не помогло. Ну то есть в теории это возможно - поймать 4 A100, но мне не удалось. Ещё заявлен какой-то Gen2 - но на него даже квоту не поднимают. Вернулся к Datashpere Jobs , потому что для Jupiter-то их (A100) выделяли! Схема такая:
-
Сколько стоит суверенитет
Коллеги всю неделю обсуждают релиз претрейна https://huggingface.co/yandex/AliceAI-Foundation-80B-A3B-Base https://habr.com/en/companies/yandex/articles/1083300/ . В одном из чатов спросили как она отвечает на основополагающий вопрос, и я решил это проверить, что бы узнать сколько стоит инференс подобной модели. Исходя из того что удалось найти, требуется 4 шт A100, вроде бы можно по пробовать на паре, но это требует CPU-offload, а на такие компромиссы, как и квантизации, я идти не готов. GPU я собрался брать в аренду на облаке, название его писать не буду. Первый подход был к Datasphere на Jupiter notebook и это был провал (на 6000₽). Детали не важны - проехали. Потом попытался запросить VM c 4 A100, поднял квоты через тикеты, - вот это всё. И не помогло. Ну то есть в теории это возможно - поймать 4 A100, но мне не удалось. Ещё заявлен какой-то Gen2 - но на него даже квоту не поднимают. Вернулся к Datashpere Jobs , потому что для Jupiter-то их (A100) выделяли! Схема такая:
-
The #Global #Memory #Innovation #Forum 2026 (#GMIF 2026) is bringing memory #manufacturers, #storage specialists, #AI-infrastructure #companies, researchers and #investors to #Shenzhen, #China on September 22–23, 2026. Its #theme, “The #Future Built on AI Memory and Storage,” reflects the increasing importance of storage performance as AI #systems move from model training towards large-scale #inference and #commercial deployment. https://chinaexpohub.com/gmif-2026-brings-samsung-sandisk-and-solidigm-to-shenzhen-ai-storage-summit/
-
The #Global #Memory #Innovation #Forum 2026 (#GMIF 2026) is bringing memory #manufacturers, #storage specialists, #AI-infrastructure #companies, researchers and #investors to #Shenzhen, #China on September 22–23, 2026. Its #theme, “The #Future Built on AI Memory and Storage,” reflects the increasing importance of storage performance as AI #systems move from model training towards large-scale #inference and #commercial deployment. https://chinaexpohub.com/gmif-2026-brings-samsung-sandisk-and-solidigm-to-shenzhen-ai-storage-summit/
-
The #Global #Memory #Innovation #Forum 2026 (#GMIF 2026) is bringing memory #manufacturers, #storage specialists, #AI-infrastructure #companies, researchers and #investors to #Shenzhen, #China on September 22–23, 2026. Its #theme, “The #Future Built on AI Memory and Storage,” reflects the increasing importance of storage performance as AI #systems move from model training towards large-scale #inference and #commercial deployment. https://chinaexpohub.com/gmif-2026-brings-samsung-sandisk-and-solidigm-to-shenzhen-ai-storage-summit/