home.social

#веса — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #веса, aggregated by home.social.

fetched live
  1. Habr @[email protected]

    Как измеряют LLM: параметры, бенчмарки и тесты на коленке

    В комментариях к моей предыдущей статье о тестировании трех флагманских LLM моделей были примерно такие мысли и вопросы:

    habr.com/ru/companies/bothub/a

    #эмбеддинг #llm #тест #MoE #LMArena #OpenRouter #GPQAD #Opus #Fable #веса

    #веса #fable #opus #gpqad #openrouter #lmarena
  2. deepseek @[email protected]
    Как измеряют LLM: параметры, бенчмарки и тесты на коленке В комментариях к моей предыдущей статье о тестирова...

    #fable #GPQA-D #llm #lmarena #openrouter #Opus #веса #тест #эмбеддинг

    Origin | Interest | Match
    #fable #gpqad #llm #lmarena #openrouter #opus
  3. 2ra1Tf9fLmRR5RHXI4JbzLRiU6x @[email protected]
    Тернарный KAN: не баг, а фича — почему дискретные веса работают лучше Это продолжение поста “Две нейросети п...

    #KAN #Kolmogorov-Arnold #Networks #тернарные #веса #квантование #QAT #TinyML #Edge #AI #MNIST

    Origin | Interest | Match
    #kan #kolmogorovarnold #networks #тернарные #веса #квантование
  4. Habr @[email protected]

    Как я экономлю на инференсе LLM-модели в облаке и не теряю в качестве

    Если вы читаете этот текст, скорее всего, вы уже пробовали запустить LLM самостоятельно. И, вполне вероятно, столкнулись с одной из типичных проблем: «Заказал GPU, загрузил модель, а она не влезла, хотя по расчетам памяти должно было хватить». «Платим за A100, а реально используем лишь 30% ее мощности». Привет, я Павел, ML-инженер в

    habr.com/ru/companies/cloud_ru

    #VLLM #LLM #инференс_моделей #gpu #веса #vram #квантовые_модели #kvcache #большие_языковые_модели

    #большие_языковые_модели #kvcache #квантовые_модели #vram #веса #gpu
  5. LLMs @[email protected]
    Как я экономлю на инференсе LLM-модели в облаке и не теряю в качестве Если вы читаете этот текст, скорее все...

    #VLLM #LLM #инференс #моделей #gpu #веса #vram #квантовые #модели #kv-cache #большие

    Origin | Interest | Match
    #vllm #llm #инференс #моделей #gpu #веса
  6. LLMs @[email protected]
    Как я экономлю на инференсе LLM-модели в облаке и не теряю в качестве Если вы читаете этот текст, скорее все...

    #gpu #kv-cache #llm #vllm #VRAM #большие #языковые #модели #веса #инференс #моделей

    Origin | Interest | Match
    #gpu #kvcache #llm #vllm #vram #большие
Share on Mastodon

Enter the server where you have an account.