home.social

#b200 — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #b200, aggregated by home.social.

  1. Из коробки не работает: запускаем свежие большие LLM

    В последнее время открытых моделей сверхбольшого размера развелось неимоверное количество, даже не просто моделей, а производителей. Вариации GLM, Kimi, DeepSeek занимают по нескольку строк в топ 5-10-20. Понадобилось перебрать основные LLM для тестов и выбора "рабочей лошадки", для чего пришлось немного пошуршать в интернетах. Оставлю в качестве памятки, вдруг кому-то окажется полезным. Всё делалось на базе образов vllm-openai, платформ B200/H200 и дров 590.48.01. На момент начала экспериментов - примерно пару недель тому назад - версии vllm 0.16 ещё не было, но, как выяснилось в итоге, это не сильно повлияло на ситуацию. Основные костыли остались теми же самыми. Разве что кастомизация образа не для каждой модели нужна теперь. В целом там, понятное дело, никакого RocketScience нету (особенно после того, как почитаешь китайские форумы в поисках нюансов). Но если бы кто-то посидел заранее и собрал советы в одном месте - жизнь была бы немного проще )) поэтому делюсь. Итак, поехали.

    habr.com/ru/articles/1006202/

    #KimiK25 #DeepSeekv32 #GLM5 #Qwen35 #vllm #B200 #H200

  2. Из коробки не работает: запускаем свежие большие LLM

    В последнее время открытых моделей сверхбольшого размера развелось неимоверное количество, даже не просто моделей, а производителей. Вариации GLM, Kimi, DeepSeek занимают по нескольку строк в топ 5-10-20. Понадобилось перебрать основные LLM для тестов и выбора "рабочей лошадки", для чего пришлось немного пошуршать в интернетах. Оставлю в качестве памятки, вдруг кому-то окажется полезным. Всё делалось на базе образов vllm-openai, платформ B200/H200 и дров 590.48.01. На момент начала экспериментов - примерно пару недель тому назад - версии vllm 0.16 ещё не было, но, как выяснилось в итоге, это не сильно повлияло на ситуацию. Основные костыли остались теми же самыми. Разве что кастомизация образа не для каждой модели нужна теперь. В целом там, понятное дело, никакого RocketScience нету (особенно после того, как почитаешь китайские форумы в поисках нюансов). Но если бы кто-то посидел заранее и собрал советы в одном месте - жизнь была бы немного проще )) поэтому делюсь. Итак, поехали.

    habr.com/ru/articles/1006202/

    #KimiK25 #DeepSeekv32 #GLM5 #Qwen35 #vllm #B200 #H200

  3. Из коробки не работает: запускаем свежие большие LLM

    В последнее время открытых моделей сверхбольшого размера развелось неимоверное количество, даже не просто моделей, а производителей. Вариации GLM, Kimi, DeepSeek занимают по нескольку строк в топ 5-10-20. Понадобилось перебрать основные LLM для тестов и выбора "рабочей лошадки", для чего пришлось немного пошуршать в интернетах. Оставлю в качестве памятки, вдруг кому-то окажется полезным. Всё делалось на базе образов vllm-openai, платформ B200/H200 и дров 590.48.01. На момент начала экспериментов - примерно пару недель тому назад - версии vllm 0.16 ещё не было, но, как выяснилось в итоге, это не сильно повлияло на ситуацию. Основные костыли остались теми же самыми. Разве что кастомизация образа не для каждой модели нужна теперь. В целом там, понятное дело, никакого RocketScience нету (особенно после того, как почитаешь китайские форумы в поисках нюансов). Но если бы кто-то посидел заранее и собрал советы в одном месте - жизнь была бы немного проще )) поэтому делюсь. Итак, поехали.

    habr.com/ru/articles/1006202/

    #KimiK25 #DeepSeekv32 #GLM5 #Qwen35 #vllm #B200 #H200

  4. Из коробки не работает: запускаем свежие большие LLM

    В последнее время открытых моделей сверхбольшого размера развелось неимоверное количество, даже не просто моделей, а производителей. Вариации GLM, Kimi, DeepSeek занимают по нескольку строк в топ 5-10-20. Понадобилось перебрать основные LLM для тестов и выбора "рабочей лошадки", для чего пришлось немного пошуршать в интернетах. Оставлю в качестве памятки, вдруг кому-то окажется полезным. Всё делалось на базе образов vllm-openai, платформ B200/H200 и дров 590.48.01. На момент начала экспериментов - примерно пару недель тому назад - версии vllm 0.16 ещё не было, но, как выяснилось в итоге, это не сильно повлияло на ситуацию. Основные костыли остались теми же самыми. Разве что кастомизация образа не для каждой модели нужна теперь. В целом там, понятное дело, никакого RocketScience нету (особенно после того, как почитаешь китайские форумы в поисках нюансов). Но если бы кто-то посидел заранее и собрал советы в одном месте - жизнь была бы немного проще )) поэтому делюсь. Итак, поехали.

    habr.com/ru/articles/1006202/

    #KimiK25 #DeepSeekv32 #GLM5 #Qwen35 #vllm #B200 #H200

  5. Из коробки не работает: запускаем свежие большие LLM В последнее время открытых моделей сверхбольшого разме...

    #Kimi-K2.5 #DeepSeek-v3.2 #GLM-5 #Qwen3.5 #vllm #B200

    Origin | Interest | Match
  6. Тестируем B200 от NVIDIA: живые бенчмарки с GLM-4.7

    Если вы занимаетесь обучением или тюнингом больших языковых моделей, используете инференс в режиме реального времени или выполняете сложные HPC-симуляции, то наверняка задавались вопросом: «а каково это будет на одном из лучших в мире чипов»? Как только мы получили B200, графический процессор, который по заявлениям производителя открывает новые грани производительности, гибкости и масштабируемости, то сразу побежали его тестировать. Сегодня я и мои коллеги из

    habr.com/ru/companies/cloud_ru

    #b200 #hgx #a100 #h100 #h200 #dgx #ml #glm47

  7. Тестируем B200 от NVIDIA: живые бенчмарки с GLM-4.7

    Если вы занимаетесь обучением или тюнингом больших языковых моделей, используете инференс в режиме реального времени или выполняете сложные HPC-симуляции, то наверняка задавались вопросом: «а каково это будет на одном из лучших в мире чипов»? Как только мы получили B200, графический процессор, который по заявлениям производителя открывает новые грани производительности, гибкости и масштабируемости, то сразу побежали его тестировать. Сегодня я и мои коллеги из

    habr.com/ru/companies/cloud_ru

    #b200 #hgx #a100 #h100 #h200 #dgx #ml #glm47

  8. Тестируем B200 от NVIDIA: живые бенчмарки с GLM-4.7

    Если вы занимаетесь обучением или тюнингом больших языковых моделей, используете инференс в режиме реального времени или выполняете сложные HPC-симуляции, то наверняка задавались вопросом: «а каково это будет на одном из лучших в мире чипов»? Как только мы получили B200, графический процессор, который по заявлениям производителя открывает новые грани производительности, гибкости и масштабируемости, то сразу побежали его тестировать. Сегодня я и мои коллеги из

    habr.com/ru/companies/cloud_ru

    #b200 #hgx #a100 #h100 #h200 #dgx #ml #glm47

  9. Тестируем B200 от NVIDIA: живые бенчмарки с GLM-4.7

    Если вы занимаетесь обучением или тюнингом больших языковых моделей, используете инференс в режиме реального времени или выполняете сложные HPC-симуляции, то наверняка задавались вопросом: «а каково это будет на одном из лучших в мире чипов»? Как только мы получили B200, графический процессор, который по заявлениям производителя открывает новые грани производительности, гибкости и масштабируемости, то сразу побежали его тестировать. Сегодня я и мои коллеги из

    habr.com/ru/companies/cloud_ru

    #b200 #hgx #a100 #h100 #h200 #dgx #ml #glm47

  10. 美國放行後,H200晶片銷中再卡關,《金融時報》:輝達供應商已暫停生產

    陳家儀 2026-01-17 14:16:00 CST
    美國近期在附帶條件下,終於批准輝達的H200人工智慧晶片銷往中國。而後卻傳出,中國海關實務上暫不放行相關晶片進口,並要求企業審慎採購。《金融時報》指出,在出口政策前景未明的情況下,輝達多家關鍵零組件供應商已先行暫停生產H200晶片。
    https://www.thenewslens.com/article/263713
    #美國 #中國 #科技 #B200 #輝達 #H200晶片 #B300 #暫停生產 #供應鍊 #海關 #政策風險

  11. 🎉 Wow, someone finally virtualized those #HGX #B200 GPUs using #open #source, because plain old hardware was just too mainstream. 🙄 Apparently, doing it in Europe makes it 100% more private, because geography is encryption now. 🚀
    ubicloud.com/blog/virtualizing #virtualization #privacy #technology #innovation #HackerNews #ngated

  12. Nvidia’s H200 chips could be ‘sugar-coated bullets’ for China

    Washington reportedly is considering allowing the export of Nvidia’s H200 graphics processing units (GPUs) to China, but Chinese…
    #NewsBeep #News #Artificialintelligence #AI #ArtificialIntelligence #AU #Australia #b200 #Block2 #China #Chipswars #GPUs #H20 #H200 #HuaHongSemiconductor #HuaweiTechnologies #JensenHuang #MaoZedong #Nvidia #SMIC #Technology #UnitedStates #us-chinatrade
    newsbeep.com/au/307660/

  13. 8x AMD Instinct #MI355X (288GB @8TB/s) take back the lead over 8x Nvidia #B200 (180GB @8TB/s) in #FluidX3D #CFD, achieving 362k MLUPs/s (vs. 219k MLUPs/s). Thanks to Jon Stevens from Hot Aisle to run the benchmarks! 🖖😊

    In single-GPU, both perform about the same, but in 8x #GPU config, MI355X is 65% faster. The difference comes from PCIe bandwidth - MI355X does 55GB/s, B200 only 14GB/s. #Nvidia leaves a lot of perf on the table by not exposing #NVLink P2P to #OpenCL.

    github.com/ProjectPhysX/FluidX

  14. 8x AMD Instinct #MI355X (288GB @8TB/s) take back the lead over 8x Nvidia #B200 (180GB @8TB/s) in #FluidX3D #CFD, achieving 362k MLUPs/s (vs. 219k MLUPs/s). Thanks to Jon Stevens from Hot Aisle to run the benchmarks! 🖖😊

    In single-GPU, both perform about the same, but in 8x #GPU config, MI355X is 65% faster. The difference comes from PCIe bandwidth - MI355X does 55GB/s, B200 only 14GB/s. #Nvidia leaves a lot of perf on the table by not exposing #NVLink P2P to #OpenCL.

    github.com/ProjectPhysX/FluidX

  15. 8x AMD Instinct #MI355X (288GB @8TB/s) take back the lead over 8x Nvidia #B200 (180GB @8TB/s) in #FluidX3D #CFD, achieving 362k MLUPs/s (vs. 219k MLUPs/s). Thanks to Jon Stevens from Hot Aisle to run the benchmarks! 🖖😊

    In single-GPU, both perform about the same, but in 8x #GPU config, MI355X is 65% faster. The difference comes from PCIe bandwidth - MI355X does 55GB/s, B200 only 14GB/s. #Nvidia leaves a lot of perf on the table by not exposing #NVLink P2P to #OpenCL.

    github.com/ProjectPhysX/FluidX

  16. 8x AMD Instinct #MI355X (288GB @8TB/s) take back the lead over 8x Nvidia #B200 (180GB @8TB/s) in #FluidX3D #CFD, achieving 362k MLUPs/s (vs. 219k MLUPs/s). Thanks to Jon Stevens from Hot Aisle to run the benchmarks! 🖖😊

    In single-GPU, both perform about the same, but in 8x #GPU config, MI355X is 65% faster. The difference comes from PCIe bandwidth - MI355X does 55GB/s, B200 only 14GB/s. #Nvidia leaves a lot of perf on the table by not exposing #NVLink P2P to #OpenCL.

    github.com/ProjectPhysX/FluidX

  17. 8x AMD Instinct #MI355X (288GB @8TB/s) take back the lead over 8x Nvidia #B200 (180GB @8TB/s) in #FluidX3D #CFD, achieving 362k MLUPs/s (vs. 219k MLUPs/s). Thanks to Jon Stevens from Hot Aisle to run the benchmarks! 🖖😊

    In single-GPU, both perform about the same, but in 8x #GPU config, MI355X is 65% faster. The difference comes from PCIe bandwidth - MI355X does 55GB/s, B200 only 14GB/s. #Nvidia leaves a lot of perf on the table by not exposing #NVLink P2P to #OpenCL.

    github.com/ProjectPhysX/FluidX

  18. Hei enää pari tuntia viikonloppuun ja 200 kilsan pyörälenkkiin! Wuhuu!
    #fillaridontti #b200 #BikeTooter

  19. Battle of the giants: Nvidia #Blackwell B200 takes the lead in FluidX3D CFD performance

    #Nvidia #B200 just launched, and I'm one of the first people to benchmark 8x B200 via Shadeform, in a WhiteFiber server with 2x #Intel #Xeon6 6960P 72-core CPUs. 🖖😋

    8x Nvidia B200 go head-to-head with 8x #AMD #MI300X in the #FluidX3D #CFD benchmark, winning overall (with FP16S storage) at 219300 MLUPs/s (~17TB/s combined VRAM bandwidth), but losing in FP32 & FP16C storage. 8x MI300X achieve 204924 MLUPs/s.

  20. Photo of the Day 15th December 2024.

     

    G-UKFD, Fokker F100, Air UK, taxiing out to Runway 24 at Manchester Airport, some time between July 1992 and January 1998.

     

      Bonus Photo of the Day 15th December 2024.
    G-IITI, Extra EA-300, waiting for its chance to perform at the annual barton Air Show, 22nd May 1994.
      Bonus Photo of the Day 2 15th December 2024.
    240, Beechcraft 200 Super King Air, Irish Air Corps, parked in the static display area at the Woodford Air Show, some some time in the 1990s.

    #airshow #AirUKPhotoOfTheDay #aviation #b200 #barton #Beech #beechcraft #EA300 #egcb #egcc #egcd #Extra #f100 #fokker #IrishAirCorps #KingAir #man #manchester #photography #planespotting #woodford

  21. Photo of the Day 15th December 2024.

     

    G-UKFD, Fokker F100, Air UK, taxiing out to Runway 24 at Manchester Airport, some time between July 1992 and January 1998.

     

      Bonus Photo of the Day 15th December 2024.
    G-IITI, Extra EA-300, waiting for its chance to perform at the annual barton Air Show, 22nd May 1994.
      Bonus Photo of the Day 2 15th December 2024.
    240, Beechcraft 200 Super King Air, Irish Air Corps, parked in the static display area at the Woodford Air Show, some some time in the 1990s.

    #airshow #AirUKPhotoOfTheDay #aviation #b200 #barton #Beech #beechcraft #EA300 #egcb #egcc #egcd #Extra #f100 #fokker #IrishAirCorps #KingAir #man #manchester #photography #planespotting #woodford

  22. Photo of the Day 15th December 2024.

     

    G-UKFD, Fokker F100, Air UK, taxiing out to Runway 24 at Manchester Airport, some time between July 1992 and January 1998.

     

      Bonus Photo of the Day 15th December 2024.
    G-IITI, Extra EA-300, waiting for its chance to perform at the annual barton Air Show, 22nd May 1994.
      Bonus Photo of the Day 2 15th December 2024.
    240, Beechcraft 200 Super King Air, Irish Air Corps, parked in the static display area at the Woodford Air Show, some some time in the 1990s.

    #airshow #AirUKPhotoOfTheDay #aviation #b200 #barton #Beech #beechcraft #EA300 #egcb #egcc #egcd #Extra #f100 #fokker #IrishAirCorps #KingAir #man #manchester #photography #planespotting #woodford

  23. Photo of the Day 15th December 2024.

     

    G-UKFD, Fokker F100, Air UK, taxiing out to Runway 24 at Manchester Airport, some time between July 1992 and January 1998.

     

      Bonus Photo of the Day 15th December 2024.
    G-IITI, Extra EA-300, waiting for its chance to perform at the annual barton Air Show, 22nd May 1994.
      Bonus Photo of the Day 2 15th December 2024.
    240, Beechcraft 200 Super King Air, Irish Air Corps, parked in the static display area at the Woodford Air Show, some some time in the 1990s.

    #airshow #AirUKPhotoOfTheDay #aviation #b200 #barton #Beech #beechcraft #EA300 #egcb #egcc #egcd #Extra #f100 #fokker #IrishAirCorps #KingAir #man #manchester #photography #planespotting #woodford

  24. Photo of the Day 15th December 2024.

     

    G-UKFD, Fokker F100, Air UK, taxiing out to Runway 24 at Manchester Airport, some time between July 1992 and January 1998.

     

      Bonus Photo of the Day 15th December 2024.
    G-IITI, Extra EA-300, waiting for its chance to perform at the annual barton Air Show, 22nd May 1994.
      Bonus Photo of the Day 2 15th December 2024.
    240, Beechcraft 200 Super King Air, Irish Air Corps, parked in the static display area at the Woodford Air Show, some some time in the 1990s.

    #airshow #AirUKPhotoOfTheDay #aviation #b200 #barton #Beech #beechcraft #EA300 #egcb #egcc #egcd #Extra #f100 #fokker #IrishAirCorps #KingAir #man #manchester #photography #planespotting #woodford

  25. Thermal issues with Nvidia's Blackwell GPUs force multiple design revisions and disrupt deployment timelines for AI projects. #nvidia #ai #blackwell #B200 #B100 #GB200

    buff.ly/48ThCpq

  26. Thermal issues with Nvidia's Blackwell GPUs force multiple design revisions and disrupt deployment timelines for AI projects. #nvidia #ai #blackwell #B200 #B100 #GB200

    buff.ly/48ThCpq

  27. Thermal issues with Nvidia's Blackwell GPUs force multiple design revisions and disrupt deployment timelines for AI projects. #nvidia #ai #blackwell #B200 #B100 #GB200

    buff.ly/48ThCpq

  28. Intel Gaudi — гонка ИИ-ускорителей

    Привет Хабр! С вами снова ServerFlow и мы хотим поговорить о насущном – о ИИ с нейросетями, а точнее о железе на котором нейросети обучают и на котором впоследствии они работают. В последние годы эта индустрия напоминает арену бойцовского клуба, где технологические гиганты с ожесточенной конкуренцией стремятся предложить наиболее производительные и эффективные решения для машинного обучения. И хотя не особо похоже, чтобы у кого-то на этой арене получилось сместить лидера рынка в лице NVIDIA, однако, попытки продолжают предприниматься. Так продолжает и Intel, представив свету свою серию ИИ-ускорителей под брендом Gaudi, а не так давно и обновленную модель Gaudi 3. Ранее Intel предпринимала попытки в собственные разработки ИИ ускорителей, но в этот раз за работу взялась компания Habana Labs, приобретённая Intel в 2019 году за внушительную сумму в 2 миллиарда долларов.

    habr.com/ru/companies/serverfl

    #npu #Intel #Gaudi #nvidia #h100 #ии #нейросети #gpu #b200 #FP8