home.social

#gguf — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #gguf, aggregated by home.social.

  1. Habr @[email protected] ·

    Сайзинг RAM и vCPU для локальной языковой модели: считаем стартовый размер VM

    Сайзинг RAM и vCPU для локальной языковой модели начинается с конкретных весов и профиля запросов. Исходные требования self-hosted LLM включают длину входа и ответа, конкурентность, рантайм и схему offload. Расчёт по размеру весов и формуле KV-кэша даёт стартовую конфигурацию, а прогретый тест показывает реальное потребление памяти и точку, где CPU перестаёт помогать.

    habr.com/ru/articles/1080970/

    #локальные_llm #selfhosted #llamacpp #gguf #ram #vcpu #kvcache #квантование #inference #numa

    #numa #inference #квантование #kvcache #vcpu #ram
  2. Habr @[email protected] ·

    Сайзинг RAM и vCPU для локальной языковой модели: считаем стартовый размер VM

    Сайзинг RAM и vCPU для локальной языковой модели начинается с конкретных весов и профиля запросов. Исходные требования self-hosted LLM включают длину входа и ответа, конкурентность, рантайм и схему offload. Расчёт по размеру весов и формуле KV-кэша даёт стартовую конфигурацию, а прогретый тест показывает реальное потребление памяти и точку, где CPU перестаёт помогать.

    habr.com/ru/articles/1080970/

    #локальные_llm #selfhosted #llamacpp #gguf #ram #vcpu #kvcache #квантование #inference #numa

    #локальные_llm #selfhosted #llamacpp #gguf #ram #vcpu
  3. Habr @[email protected] ·

    Сайзинг RAM и vCPU для локальной языковой модели: считаем стартовый размер VM

    Сайзинг RAM и vCPU для локальной языковой модели начинается с конкретных весов и профиля запросов. Исходные требования self-hosted LLM включают длину входа и ответа, конкурентность, рантайм и схему offload. Расчёт по размеру весов и формуле KV-кэша даёт стартовую конфигурацию, а прогретый тест показывает реальное потребление памяти и точку, где CPU перестаёт помогать.

    habr.com/ru/articles/1080970/

    #локальные_llm #selfhosted #llamacpp #gguf #ram #vcpu #kvcache #квантование #inference #numa

    #numa #inference #квантование #kvcache #vcpu #ram
  4. michabbb @[email protected] ·

    🎯 #OuteTTS introduces a novel approach to text-to-speech synthesis using pure #languagemodeling
    🔧 Built on #LLaMa architecture with just 350M parameters, featuring:

    Zero-shot #voicecloning capability
    Integration with #WavTokenizer (75 tokens/sec)
    Local deployment via #llamacpp
    #GGUF format compatibility

    🔍 Technical Implementation:

    Audio tokenization process
    CTC forced alignment
    Structured prompt system
    Temperature-adjustable outputs

    ⚠️ Current Limitations:

    Limited vocabulary range
    String-only input support
    Best performance with shorter sentences
    Variable temperature sensitivity

    github.com/edwko/OuteTTS
    huggingface.co/OuteAI/OuteTTS-

    #outetts #languagemodeling #llama #voicecloning #wavtokenizer #llamacpp