home.social

#mlops — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #mlops, aggregated by home.social.

  1. Вышла ИИ-модель для вашего ноутбука

    12 ноября открыли исходный код Edge0 -145B и -120B. Как заявляют разработчики, Edge0-145B — первая в мире открытая модель, имеющая такое количество параметров и работающая на локальном устройстве. Модель по возможностям рассуждений, работы с кодом и агентами сравнивают с передовыми облачными моделями. Так ли это, сейчас узнаем. Модель уже можно протестировать на HuggingFace .

    habr.com/ru/companies/selectel

    #it #ии #ai #ml #mlops #huggingface #иимодель #открытая_модель #edge0

  2. Install & Scale NVIDIA NeMo on Bare Metal

    Training 70B+ parameter models demands unthrottled GPU access and rock-solid parallelism.

    Our SRE blueprint covers:
    🐳 Setup: Docker CE & NVIDIA Container Toolkit
    💾 Storage: NVMe RAID bind-mounts for 100GB+ checkpoints
    🔀 Scale: Megatron-Core 3D Parallelism (TP, PP, DP & FSDP)
    🛡️ OOM Fixes: Context Parallelism & RLHF memory tuning

    🔗 servermo.com/howto/install-nvi

    #NVIDIANeMo #MLOps #AIInfrastructure #SRE

  3. RoCEv2 vs Spectrum-X vs UEC: AI Cluster Networking

    At scale, ECMP hashing creates elephant-flow bottlenecks in AI training.

    Our SRE blueprint covers:
    🔀 Fabrics: RoCEv2 vs Spectrum-X vs UEC Spec 1.1
    📦 Congestion: Adaptive routing, packet spraying & trimming
    🛤️ Topologies: Multi-rail GPU-to-NIC PCIe/NUMA affinity
    🛠️ Validation: nvidia-smi topo -m & NCCL audit workflow

    🔗 servermo.com/blogs/rocev2-vs-s

    #AINetworking #HPC #MLOps #Networking #SRE

Share on Mastodon

Enter the server where you have an account.