#infiniband — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #infiniband, aggregated by home.social.
-
Как мы внедряли QoS InfiniBand для приоритизации ML-обучений с точки зрения сети
В статье расскажем, как мы командой Yandex Infrastructure внедрили QoS в сетях InfiniBand при ограниченной вендорской поддержке и скудной практической документации. Обсудим мотивацию: рост смешанных нагрузок во внутреннем облаке и необходимость предсказуемых SLO для различных обучений. Отдельно рассмотрим как могут быть связаны QoS и топология сети DragonFly+.
https://habr.com/ru/companies/yandex_cloud_and_infra/articles/1015226/
-
The network war nobody talks about: Ultra Ethernet vs InfiniBand.
UEC 1.0 launched June 2025. Open Ethernet now approaches InfiniBand performance.
Ultra Ethernet wins inference scale-out. InfiniBand holds frontier training (sub-1us latency, proven at 100K+ GPUs).
AI hardware refreshes under 5 years. Facilities that cannot support 3-ton racks or liquid cooling face obsolescence.
-
The network war nobody talks about: Ultra Ethernet vs InfiniBand.
UEC 1.0 launched June 2025. Open Ethernet now approaches InfiniBand performance.
Ultra Ethernet wins inference scale-out. InfiniBand holds frontier training (sub-1us latency, proven at 100K+ GPUs).
AI hardware refreshes under 5 years. Facilities that cannot support 3-ton racks or liquid cooling face obsolescence.
-
The network war nobody talks about: Ultra Ethernet vs InfiniBand.
UEC 1.0 launched June 2025. Open Ethernet now approaches InfiniBand performance.
Ultra Ethernet wins inference scale-out. InfiniBand holds frontier training (sub-1us latency, proven at 100K+ GPUs).
AI hardware refreshes under 5 years. Facilities that cannot support 3-ton racks or liquid cooling face obsolescence.
-
The network war nobody talks about: Ultra Ethernet vs InfiniBand.
UEC 1.0 launched June 2025. Open Ethernet now approaches InfiniBand performance.
Ultra Ethernet wins inference scale-out. InfiniBand holds frontier training (sub-1us latency, proven at 100K+ GPUs).
AI hardware refreshes under 5 years. Facilities that cannot support 3-ton racks or liquid cooling face obsolescence.
-
Нейро сети для самых маленьких
Нейро сети для самых маленьких Каждый раз, когда вы говорите нейросети « Спасибо », вы запускаете конвейер, в котором перемножаются сотни матриц с миллиардами элементов, и сжигаете электричества столько же, сколько светодиодная лампа за несколько секунд. Это первая статья из небольшого цикла, посвящённого сетям для AI/ML-кластеров и HPC. В этой серии мы коснёмся принципов работы и обучения моделей, параллелизации, технологий DMA и RDMA, сетевых топологий, InfiniBand и RoCE, а ещё пофилософствуем на тему общих и специальных решений. Конкретно в этой статье мы разберёмся, что представляет из себя нейросеть, как она работает, как происходит её обучение, а самое главное, почему для неё нужны сотни дорогущих GPU-карточек и какая-то особенная сеть. Рефрен сегодняшней истории: в нейросетях нет никакой магии — это просто множество простых операций над числами, которые выполняются на компьютерах со специальными чипами. Магии нет ни в том, как они работают, ни в той инфраструктуре, на которой они запускаются. Ныряем!
https://habr.com/ru/articles/982820/
#ai #ml #roce #infiniband #трансформеры #нейросети #llm #mlp #backpropagation
-
Нейро сети для самых маленьких
Нейро сети для самых маленьких Каждый раз, когда вы говорите нейросети « Спасибо », вы запускаете конвейер, в котором перемножаются сотни матриц с миллиардами элементов, и сжигаете электричества столько же, сколько светодиодная лампа за несколько секунд. Это первая статья из небольшого цикла, посвящённого сетям для AI/ML-кластеров и HPC. В этой серии мы коснёмся принципов работы и обучения моделей, параллелизации, технологий DMA и RDMA, сетевых топологий, InfiniBand и RoCE, а ещё пофилософствуем на тему общих и специальных решений. Конкретно в этой статье мы разберёмся, что представляет из себя нейросеть, как она работает, как происходит её обучение, а самое главное, почему для неё нужны сотни дорогущих GPU-карточек и какая-то особенная сеть. Рефрен сегодняшней истории: в нейросетях нет никакой магии — это просто множество простых операций над числами, которые выполняются на компьютерах со специальными чипами. Магии нет ни в том, как они работают, ни в той инфраструктуре, на которой они запускаются. Ныряем!
https://habr.com/ru/articles/982820/
#ai #ml #roce #infiniband #трансформеры #нейросети #llm #mlp #backpropagation
-
Нейро сети для самых маленьких
Нейро сети для самых маленьких Каждый раз, когда вы говорите нейросети « Спасибо », вы запускаете конвейер, в котором перемножаются сотни матриц с миллиардами элементов, и сжигаете электричества столько же, сколько светодиодная лампа за несколько секунд. Это первая статья из небольшого цикла, посвящённого сетям для AI/ML-кластеров и HPC. В этой серии мы коснёмся принципов работы и обучения моделей, параллелизации, технологий DMA и RDMA, сетевых топологий, InfiniBand и RoCE, а ещё пофилософствуем на тему общих и специальных решений. Конкретно в этой статье мы разберёмся, что представляет из себя нейросеть, как она работает, как происходит её обучение, а самое главное, почему для неё нужны сотни дорогущих GPU-карточек и какая-то особенная сеть. Рефрен сегодняшней истории: в нейросетях нет никакой магии — это просто множество простых операций над числами, которые выполняются на компьютерах со специальными чипами. Магии нет ни в том, как они работают, ни в той инфраструктуре, на которой они запускаются. Ныряем!
https://habr.com/ru/articles/982820/
#ai #ml #roce #infiniband #трансформеры #нейросети #llm #mlp #backpropagation
-
Нейро сети для самых маленьких
Нейро сети для самых маленьких Каждый раз, когда вы говорите нейросети « Спасибо », вы запускаете конвейер, в котором перемножаются сотни матриц с миллиардами элементов, и сжигаете электричества столько же, сколько светодиодная лампа за несколько секунд. Это первая статья из небольшого цикла, посвящённого сетям для AI/ML-кластеров и HPC. В этой серии мы коснёмся принципов работы и обучения моделей, параллелизации, технологий DMA и RDMA, сетевых топологий, InfiniBand и RoCE, а ещё пофилософствуем на тему общих и специальных решений. Конкретно в этой статье мы разберёмся, что представляет из себя нейросеть, как она работает, как происходит её обучение, а самое главное, почему для неё нужны сотни дорогущих GPU-карточек и какая-то особенная сеть. Рефрен сегодняшней истории: в нейросетях нет никакой магии — это просто множество простых операций над числами, которые выполняются на компьютерах со специальными чипами. Магии нет ни в том, как они работают, ни в той инфраструктуре, на которой они запускаются. Ныряем!
https://habr.com/ru/articles/982820/
#ai #ml #roce #infiniband #трансформеры #нейросети #llm #mlp #backpropagation
-
RE: https://mastodon.social/@h4ckernews/115709034881203323
This is technically impressive. I didn't expect to see RDMA support on macOS, let alone running over Thunderbolt. They seem to provide a standard InfiniBand Verbs API but I couldn't find the sources of their driver (rdma_en5) and libraries yet. I guess they won't release the sources.
-
Monitoring high-speed networks… in the terminal 😍
📡 **ibtop** — Real-time TUI monitor for InfiniBand networks.
💯 htop but for ultra-fast interconnects.
🦀 Written in Rust & built with @ratatui_rs
⭐ GitHub: https://github.com/JannikSt/ibtop
#rustlang #ratatui #tui #networking #infiniband #linux #terminal
-
#HPC #supercomputing #Infiniband While trouble-shooting a performance issue on our NDR fabric, where nodes would randomly report high latency and less than expected bandwidth (up to 50% less), I discovered a setting within opensm.conf that configured routing to be randomized vs. distributed/round-robin.... Once I changed the setting (scatter_ports) to the _DEFAULT_, I had immediate and consistent performance improvements. See the before and after images... So, FYI, if your users are reporting random latency and bandwidth issues, double-check your opensm.conf routing. Also, I was using NVIDIA/Mellanox's clusterkit tool.
-
Five years after Intel spun off its #Omni-Path #interconnect tech into Cornelis Networks, its 400Gbps CN5000 line of switches and NICs is finally ready to do battle with its long-time rival, Nvidia's #InfiniBand www.theregister.com/2025/06/09/o... #HPC #AI via @theregister.com
Omni-Path is back to take on I... -
Five years after Intel spun off its #Omni-Path #interconnect tech into Cornelis Networks, its 400Gbps CN5000 line of switches and NICs is finally ready to do battle with its long-time rival, Nvidia's #InfiniBand www.theregister.com/2025/06/09/o... #HPC #AI via @theregister.com
Omni-Path is back to take on I... -
What does a #Mellanox aka #Nvidia #Infiniband card do when no device is connected to it?
Why does it run hotter than the sun? -
@lucas3d I have thought about this as an alternative. Having a main 2.5gb Ethernet as the main haul, but use the Infiniband between nodes for the internode back haul/main machine side channel to upload ISOs and other large scale data moves to the cluster from my main machine.
My ProxMox cluster is Lenovo Tinys, so I'd also need to upgrade to ones that supported PCIe to use a card in them, but that's already on the roadmap. It'd be nice if they made a Tiny with an Infiniband so we could use them as poor man blades or something.
So maybe the answer is keep three of the dual port Infiniband cards, sell the rest off to fund a migration to a 10gb Ethernet network. The three cards I keep will be for future migration of the nodes.
Does Infiniband support more than three nodes in a round robin? All the articles I've read have had three nodes and I don't know if that is coincidence or if that's an Infiniband limitation. I don't know enough about Infiniband to know.
-
My hardlined network is currently all 1GB ethernet connections. I have a few machines that have 2.5gb Ethernet ability and am debating going the cheap route and just getting a 2.5gb switch.
I also have 2 Sun Infiniband 40gb switches and a ton of Infiniband PCIe cards, but holy heck is rack mount network gear loud AF.
I'd love to move to 40gb but can't seem to find decent desktop switches for it. Is it only data centre grade equipment? Should I just sell it off and go 10gb Ethernet?
I know Infiniband offers a lot more than just basic networking, but only one or two of my machines would support those goodies.
-
Nvidia has been doing a lot of useless stuff lately, but this is actually a big deal. I wonder what the latency looks like on these switches. Traditionally direct-attach copper has always been the preferred choice for low-latency applications, with optics used for longer connections where latency matters less. I'm curious if this is going to change that.
-
New blog “How AI Ate My Blog on RoCEv2”. #PeterWelcher #CCIE1773 #AI #ECN #PFC #RoCEV2 #Infiniband. URL: https://www.linkedin.com/pulse/ai-ate-my-blog-rocev2-peter-welcher-uu9ue/.
-
Невероятная мощь NVIDIA GB200 NVL72: Внутри гиганта ИИ-вычислений
Привет, Хабр! Если вас всегда интересовало, как устроены по-настоящему производительные системы , вы попали по адресу. В сегодняшней статье мы расскажем, как Nvidia объединила сразу 72 ускорителя B200 в единый CUDA процессор GB200 NVL72 . Узнаем, как для создания эффективного интерконнекта используются технологии NVLink , Ethernet и Infiniband . Предметный разговор об аппаратной части уже ждет вас под кнопкой «Читать далее».
https://habr.com/ru/companies/serverflow/articles/864314/
#сервер_флоу #GB200_NVL72 #nvlink #blackwell #nvidia_grace #Nvidia_Superchip #NVLink_Spine #infiniband #llm #SeverFlow
-
Невероятная мощь NVIDIA GB200 NVL72: Внутри гиганта ИИ-вычислений
Привет, Хабр! Если вас всегда интересовало, как устроены по-настоящему производительные системы , вы попали по адресу. В сегодняшней статье мы расскажем, как Nvidia объединила сразу 72 ускорителя B200 в единый CUDA процессор GB200 NVL72 . Узнаем, как для создания эффективного интерконнекта используются технологии NVLink , Ethernet и Infiniband . Предметный разговор об аппаратной части уже ждет вас под кнопкой «Читать далее».
https://habr.com/ru/companies/serverflow/articles/864314/
#сервер_флоу #GB200_NVL72 #nvlink #blackwell #nvidia_grace #Nvidia_Superchip #NVLink_Spine #infiniband #llm #SeverFlow
-
Невероятная мощь NVIDIA GB200 NVL72: Внутри гиганта ИИ-вычислений
Привет, Хабр! Если вас всегда интересовало, как устроены по-настоящему производительные системы , вы попали по адресу. В сегодняшней статье мы расскажем, как Nvidia объединила сразу 72 ускорителя B200 в единый CUDA процессор GB200 NVL72 . Узнаем, как для создания эффективного интерконнекта используются технологии NVLink , Ethernet и Infiniband . Предметный разговор об аппаратной части уже ждет вас под кнопкой «Читать далее».
https://habr.com/ru/companies/serverflow/articles/864314/
#сервер_флоу #GB200_NVL72 #nvlink #blackwell #nvidia_grace #Nvidia_Superchip #NVLink_Spine #infiniband #llm #SeverFlow
-
Невероятная мощь NVIDIA GB200 NVL72: Внутри гиганта ИИ-вычислений
Привет, Хабр! Если вас всегда интересовало, как устроены по-настоящему производительные системы , вы попали по адресу. В сегодняшней статье мы расскажем, как Nvidia объединила сразу 72 ускорителя B200 в единый CUDA процессор GB200 NVL72 . Узнаем, как для создания эффективного интерконнекта используются технологии NVLink , Ethernet и Infiniband . Предметный разговор об аппаратной части уже ждет вас под кнопкой «Читать далее».
https://habr.com/ru/companies/serverflow/articles/864314/
#сервер_флоу #GB200_NVL72 #nvlink #blackwell #nvidia_grace #Nvidia_Superchip #NVLink_Spine #infiniband #llm #SeverFlow
-
Apparently if you push a wookie, you can expect to get a cookie in response.
I'm not sure I'll be trying this one myself.
-
What If #OmniPath Morphs Into The Best #UltraEthernet?
Many #HPC centers in #US – importantly #Sandia and #LawrenceLivermore as well as the Texas Advanced Computing Center (#TACC) – wanted an alternative to #InfiniBand or proprietary interconnects like #HPE/#Cray’s Slingshot, and they have been funding the redevelopment of Omni-Path. And now, #CornelisNetworks is going to be intersecting its roadmap with Omni-Path switches and adapters with the #UEC roadmap.
https://www.nextplatform.com/2024/06/26/what-if-omni-path-morphs-into-the-best-ultra-ethernet/ -
What If #OmniPath Morphs Into The Best #UltraEthernet?
Many #HPC centers in #US – importantly #Sandia and #LawrenceLivermore as well as the Texas Advanced Computing Center (#TACC) – wanted an alternative to #InfiniBand or proprietary interconnects like #HPE/#Cray’s Slingshot, and they have been funding the redevelopment of Omni-Path. And now, #CornelisNetworks is going to be intersecting its roadmap with Omni-Path switches and adapters with the #UEC roadmap.
https://www.nextplatform.com/2024/06/26/what-if-omni-path-morphs-into-the-best-ultra-ethernet/ -
What If #OmniPath Morphs Into The Best #UltraEthernet?
Many #HPC centers in #US – importantly #Sandia and #LawrenceLivermore as well as the Texas Advanced Computing Center (#TACC) – wanted an alternative to #InfiniBand or proprietary interconnects like #HPE/#Cray’s Slingshot, and they have been funding the redevelopment of Omni-Path. And now, #CornelisNetworks is going to be intersecting its roadmap with Omni-Path switches and adapters with the #UEC roadmap.
https://www.nextplatform.com/2024/06/26/what-if-omni-path-morphs-into-the-best-ultra-ethernet/ -
What If #OmniPath Morphs Into The Best #UltraEthernet?
Many #HPC centers in #US – importantly #Sandia and #LawrenceLivermore as well as the Texas Advanced Computing Center (#TACC) – wanted an alternative to #InfiniBand or proprietary interconnects like #HPE/#Cray’s Slingshot, and they have been funding the redevelopment of Omni-Path. And now, #CornelisNetworks is going to be intersecting its roadmap with Omni-Path switches and adapters with the #UEC roadmap.
https://www.nextplatform.com/2024/06/26/what-if-omni-path-morphs-into-the-best-ultra-ethernet/ -
What If #OmniPath Morphs Into The Best #UltraEthernet?
Many #HPC centers in #US – importantly #Sandia and #LawrenceLivermore as well as the Texas Advanced Computing Center (#TACC) – wanted an alternative to #InfiniBand or proprietary interconnects like #HPE/#Cray’s Slingshot, and they have been funding the redevelopment of Omni-Path. And now, #CornelisNetworks is going to be intersecting its roadmap with Omni-Path switches and adapters with the #UEC roadmap.
https://www.nextplatform.com/2024/06/26/what-if-omni-path-morphs-into-the-best-ultra-ethernet/ -
InfiniBand в Windows — это просто
К написанию этой небольшой инструкции меня привела статья на Хабре - Быстрая сеть в домашней лаборатории или как я связался с InfiniBand . Я был очень заинтригован данным вопросом, но каково было моё удивление, когда я не мог найти почти никакой информации по InfiniBand на Windows в домашних условиях, например, в домашней лаборатории или в небольшом офисе. Информация была, конечно. Было описано, как использовали InfiniBand, какое оборудование использовали и о полученной производительности сети. Всё точно как у товарища из упомянутой статьи выше. Но не было информации о том, как поднять домашнюю сеть на IB, как настроить её и вообще с чего начать. Проведя время в интернете, я пришёл к выводу, что большинство пользователей, даже тех, кто знаком с сетями и их настройкой, тупо боятся слова InfiniBand. Для них это что-то сложное, используемое мегакорпорациями для создания суперсетей для суперкомпьютеров. А сочетание слов "InfiniBand дома" приводит их в ужас. А если ещё и коммутатор неуправляемый... Ну, вы поняли. Из той немногой информации, что мне удалось найти, я вычленил и написал простую инструкцию для новичков по InfiniBand в домашних условиях: какое оборудование нужно, как установить драйвера, как настроить сеть IB между несколькими ПК и неуправляемым коммутатором. Итак, давайте начнем!
https://habr.com/ru/articles/797759/
#infiniband #40g #mellanox #коммутатор #сетевая_карта #высокая_производительность
-
#Meta Platforms Is Determined To Make #Ethernet Work For #AI
#MetaPlatforms is one of the founding companies behind the #UltraEthernet Consortium. What unites these companies – #Broadcom, #Cisco, and #HewlettPackardEnterprise for switch #ASIC (and soon #Marvell we think), #Microsoft and Meta among the titans, and Cisco, #HPE, and #Arista Networks among the switch makers – is common enemy: #InfiniBand. Figuring out way make Ethernet as good as IB for AI & #HPC #networking
https://www.nextplatform.com/2023/09/26/meta-platforms-is-determined-to-make-ethernet-work-for-ai/ -
#Meta Platforms Is Determined To Make #Ethernet Work For #AI
#MetaPlatforms is one of the founding companies behind the #UltraEthernet Consortium. What unites these companies – #Broadcom, #Cisco, and #HewlettPackardEnterprise for switch #ASIC (and soon #Marvell we think), #Microsoft and Meta among the titans, and Cisco, #HPE, and #Arista Networks among the switch makers – is common enemy: #InfiniBand. Figuring out way make Ethernet as good as IB for AI & #HPC #networking
https://www.nextplatform.com/2023/09/26/meta-platforms-is-determined-to-make-ethernet-work-for-ai/ -
#Meta Platforms Is Determined To Make #Ethernet Work For #AI
#MetaPlatforms is one of the founding companies behind the #UltraEthernet Consortium. What unites these companies – #Broadcom, #Cisco, and #HewlettPackardEnterprise for switch #ASIC (and soon #Marvell we think), #Microsoft and Meta among the titans, and Cisco, #HPE, and #Arista Networks among the switch makers – is common enemy: #InfiniBand. Figuring out way make Ethernet as good as IB for AI & #HPC #networking
https://www.nextplatform.com/2023/09/26/meta-platforms-is-determined-to-make-ethernet-work-for-ai/ -
#Meta Platforms Is Determined To Make #Ethernet Work For #AI
#MetaPlatforms is one of the founding companies behind the #UltraEthernet Consortium. What unites these companies – #Broadcom, #Cisco, and #HewlettPackardEnterprise for switch #ASIC (and soon #Marvell we think), #Microsoft and Meta among the titans, and Cisco, #HPE, and #Arista Networks among the switch makers – is common enemy: #InfiniBand. Figuring out way make Ethernet as good as IB for AI & #HPC #networking
https://www.nextplatform.com/2023/09/26/meta-platforms-is-determined-to-make-ethernet-work-for-ai/ -
#Meta Platforms Is Determined To Make #Ethernet Work For #AI
#MetaPlatforms is one of the founding companies behind the #UltraEthernet Consortium. What unites these companies – #Broadcom, #Cisco, and #HewlettPackardEnterprise for switch #ASIC (and soon #Marvell we think), #Microsoft and Meta among the titans, and Cisco, #HPE, and #Arista Networks among the switch makers – is common enemy: #InfiniBand. Figuring out way make Ethernet as good as IB for AI & #HPC #networking
https://www.nextplatform.com/2023/09/26/meta-platforms-is-determined-to-make-ethernet-work-for-ai/ -
Nice to see that they are working to avoid #infiniband for #ai #networks #ultraethernet https://ultraethernet.org/
-
Eleven years ago I volunteered to add native #Infiniband / #RDMA support to #ZeroMQ. At the time I was working on high-performance networking and I thought it was a nice challenge... but shortly afterwards I landed my job at @mozilla and never finished it.
Since then I've been contacted multiple times by people who wished to finish my work but none succeeded. Last time was yesterday. Maybe I should give it a spin again: https://zeromq-dev.zeromq.narkive.com/a3hbU2H1/contributing-native-infiniband-rdma-support-to-0mq
-
The dates for the 2023 MVAPICH User Group (#MUG23) have been set as August 21-23 and, as usual, it will be near OSU in Columbus. Despite its name, MUG a great snapshot of the state of the practice in #InfiniBand in #HPC and #AI overall.
-
HPC/Redhat System Administrator for the National Radio Astronomy Observatory. Have been into computers since I can remember and I have finally found the job that I love and let's me work with my hobby in a laidback, chill, and interesting environment.
Questions regarding #Infiniband, #Redhat, #Torque, #MOAB, or anything else #HPC related please feel free to ask! I know I'll be posting some here eventually! :redhatalt: