home.social

#b200 — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #b200, aggregated by home.social.

fetched live
  1. RT @Akashi203: Ich versuchte, die LPU-Leistung auf einem einzelnen B200-Chip zu erreichen, und übertraf sie sogar, ohne irgendetwas zu fügen oder auch nur einen einzigen Kernel zu schreiben. In diesem Blogbeitrag zeige ich, dass die Hardware nicht das Problem ist, sondern die Software. Mit reiner Software-Leistung schlägt ein einzelner B200 die LPU und kommt der Cerebras-Leistung nahe. Jedes Jahr wird nun neue Silizium-Hardware für Inference-Zwecke vorgestellt. @cerebras hat die Gewichte auf einen Wafer gepackt, @GroqInc hat die LPU gebaut, @SambaNovaAI hat die RDU entwickelt – und alle drei sind echte Maschinen, die...

    mehr auf Arint.info

    #AI #B200 #Hardware #Inference #LPU #Software #arint_info

    https://x.com/Akashi203/status/2085459895499759831#m

  2. Из коробки не работает: запускаем свежие большие LLM

    В последнее время открытых моделей сверхбольшого размера развелось неимоверное количество, даже не просто моделей, а производителей. Вариации GLM, Kimi, DeepSeek занимают по нескольку строк в топ 5-10-20. Понадобилось перебрать основные LLM для тестов и выбора "рабочей лошадки", для чего пришлось немного пошуршать в интернетах. Оставлю в качестве памятки, вдруг кому-то окажется полезным. Всё делалось на базе образов vllm-openai, платформ B200/H200 и дров 590.48.01. На момент начала экспериментов - примерно пару недель тому назад - версии vllm 0.16 ещё не было, но, как выяснилось в итоге, это не сильно повлияло на ситуацию. Основные костыли остались теми же самыми. Разве что кастомизация образа не для каждой модели нужна теперь. В целом там, понятное дело, никакого RocketScience нету (особенно после того, как почитаешь китайские форумы в поисках нюансов). Но если бы кто-то посидел заранее и собрал советы в одном месте - жизнь была бы немного проще )) поэтому делюсь. Итак, поехали.

    habr.com/ru/articles/1006202/

    #KimiK25 #DeepSeekv32 #GLM5 #Qwen35 #vllm #B200 #H200

  3. Из коробки не работает: запускаем свежие большие LLM В последнее время открытых моделей сверхбольшого разме...

    #Kimi-K2.5 #DeepSeek-v3.2 #GLM-5 #Qwen3.5 #vllm #B200

    Origin | Interest | Match
  4. Тестируем B200 от NVIDIA: живые бенчмарки с GLM-4.7

    Если вы занимаетесь обучением или тюнингом больших языковых моделей, используете инференс в режиме реального времени или выполняете сложные HPC-симуляции, то наверняка задавались вопросом: «а каково это будет на одном из лучших в мире чипов»? Как только мы получили B200, графический процессор, который по заявлениям производителя открывает новые грани производительности, гибкости и масштабируемости, то сразу побежали его тестировать. Сегодня я и мои коллеги из

    habr.com/ru/companies/cloud_ru

    #b200 #hgx #a100 #h100 #h200 #dgx #ml #glm47

  5. 🎉 Wow, someone finally virtualized those #HGX #B200 GPUs using #open #source, because plain old hardware was just too mainstream. 🙄 Apparently, doing it in Europe makes it 100% more private, because geography is encryption now. 🚀
    ubicloud.com/blog/virtualizing #virtualization #privacy #technology #innovation #HackerNews #ngated

  6. 8x AMD Instinct #MI355X (288GB @8TB/s) take back the lead over 8x Nvidia #B200 (180GB @8TB/s) in #FluidX3D #CFD, achieving 362k MLUPs/s (vs. 219k MLUPs/s). Thanks to Jon Stevens from Hot Aisle to run the benchmarks! 🖖😊

    In single-GPU, both perform about the same, but in 8x #GPU config, MI355X is 65% faster. The difference comes from PCIe bandwidth - MI355X does 55GB/s, B200 only 14GB/s. #Nvidia leaves a lot of perf on the table by not exposing #NVLink P2P to #OpenCL.

    github.com/ProjectPhysX/FluidX

  7. Hei enää pari tuntia viikonloppuun ja 200 kilsan pyörälenkkiin! Wuhuu!
    #fillaridontti #b200 #BikeTooter

  8. Battle of the giants: Nvidia #Blackwell B200 takes the lead in FluidX3D CFD performance

    #Nvidia #B200 just launched, and I'm one of the first people to benchmark 8x B200 via Shadeform, in a WhiteFiber server with 2x #Intel #Xeon6 6960P 72-core CPUs. 🖖😋

    8x Nvidia B200 go head-to-head with 8x #AMD #MI300X in the #FluidX3D #CFD benchmark, winning overall (with FP16S storage) at 219300 MLUPs/s (~17TB/s combined VRAM bandwidth), but losing in FP32 & FP16C storage. 8x MI300X achieve 204924 MLUPs/s.

  9. Photo of the Day 15th December 2024.

     

    G-UKFD, Fokker F100, Air UK, taxiing out to Runway 24 at Manchester Airport, some time between July 1992 and January 1998.

     

      Bonus Photo of the Day 15th December 2024.
    G-IITI, Extra EA-300, waiting for its chance to perform at the annual barton Air Show, 22nd May 1994.
      Bonus Photo of the Day 2 15th December 2024.
    240, Beechcraft 200 Super King Air, Irish Air Corps, parked in the static display area at the Woodford Air Show, some some time in the 1990s.

    #airshow #AirUKPhotoOfTheDay #aviation #b200 #barton #Beech #beechcraft #EA300 #egcb #egcc #egcd #Extra #f100 #fokker #IrishAirCorps #KingAir #man #manchester #photography #planespotting #woodford

  10. Thermal issues with Nvidia's Blackwell GPUs force multiple design revisions and disrupt deployment timelines for AI projects. #nvidia #ai #blackwell #B200 #B100 #GB200

    buff.ly/48ThCpq

  11. Intel Gaudi — гонка ИИ-ускорителей

    Привет Хабр! С вами снова ServerFlow и мы хотим поговорить о насущном – о ИИ с нейросетями, а точнее о железе на котором нейросети обучают и на котором впоследствии они работают. В последние годы эта индустрия напоминает арену бойцовского клуба, где технологические гиганты с ожесточенной конкуренцией стремятся предложить наиболее производительные и эффективные решения для машинного обучения. И хотя не особо похоже, чтобы у кого-то на этой арене получилось сместить лидера рынка в лице NVIDIA, однако, попытки продолжают предприниматься. Так продолжает и Intel, представив свету свою серию ИИ-ускорителей под брендом Gaudi, а не так давно и обновленную модель Gaudi 3. Ранее Intel предпринимала попытки в собственные разработки ИИ ускорителей, но в этот раз за работу взялась компания Habana Labs, приобретённая Intel в 2019 году за внушительную сумму в 2 миллиарда долларов.

    habr.com/ru/companies/serverfl

    #npu #Intel #Gaudi #nvidia #h100 #ии #нейросети #gpu #b200 #FP8

  12. Intel’s “Gaudi 3” AI accelerator chip may give Nvidia’s H100 a run for its money - Enlarge / An Intel handout photo of the Gaudi 3 AI accelerator. (credit... - arstechnica.com/?p=2016421 #machinelearning #nvidiablackwell #intelgaudi #blackwell #aichips #chatgpt #chatgtp #biz#gaudi3 #nvidia #openai #intel #b200 #h100 #h200 #ai

  13. 💡Intel sfida NVIDIA con l’acceleratore IA Gaudi 3
    Intel entra finalmente nel settore dell'IA con la scheda Gaudi 3 che promette prestazioni di training e inferenza migliori delle GPU H100 di NVIDIA

    gomoot.com/intel-sfida-nvidia-

    #AI #ia #b100 #b200 #gaudi3 #gpu #H100 #inferenza #LLM #nvidia #pcie #Qualcomm #training #TSMC @intel @Intel_Italia

  14. 💻 #Nvidia has unveiled its latest artificial intelligence #AI chip which it says can do some tasks 30 times faster than its predecessor

    The firm has an 80% market share and hopes to cement its dominance

    In addition to the #B200 #BlackwellChip, its chief executive #JensenHuang detailed a new set of #software tools at its annual developer conference

    #Nvidia is the third-most valuable company in the #US, behind only #Microsoft and #Apple

    bbc.co.uk/news/business-686031 #News

  15. #Nvidia's next-gen #AI #GPU could draw an astounding 1000 Watts, 40% increase — Dell spills the beans on #B100 and #B200 in its earnings call
    Dell's chief financial officer. "We are excited about what happens at the B100 and the B200, and we think that's where there's actually another opportunity to distinguish engineering confidence. Our characterization in the thermal side, you really don't need direct liquid cooling to get to the energy density of 1,000 watts per GPU."
    tomshardware.com/tech-industry