home.social
Sign in Create account

#llama_cpp — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #llama_cpp, aggregated by home.social.

  1. :rss: gihyo.jp @[email protected] ·

    第905回　新年度特別企画 llama.cppでコマンドラインベースのローカルLLM入門［VRAM容量別編］
    gihyo.jp/admin/serial/01/ubunt

    #gihyo #技術評論社 #gihyo_jp #技術動向 #技術解説 #業界動向 #OS #アプリケーション #ハードウェア製品 #Ubuntu #生成AI #llama_cpp #Intel_ARC_B580

    #gihyo #技術評論社 #gihyo_jp #技術動向 #技術解説 #業界動向
  2. :rss: gihyo.jp @[email protected] ·

    第904回　ミドルレンジのグラフィックボードで生成AI入門［Intel編］
    gihyo.jp/admin/serial/01/ubunt

    #gihyo #技術評論社 #gihyo_jp #技術動向 #技術解説 #業界動向 #OS #アプリケーション #お役立ち情報 #Ubuntu #生成AI #llama_cpp #Intel_ARC_B580

    #gihyo #技術評論社 #gihyo_jp #技術動向 #技術解説 #業界動向
  3. :rss: gihyo.jp @[email protected] ·

    第902回　FirefoxのAIチャットボットをローカルLLMで使用する
    gihyo.jp/admin/serial/01/ubunt

    #gihyo #技術評論社 #gihyo_jp #技術動向 #技術解説 #業界動向 #OS #アプリケーション #お役立ち情報 #Ubuntu #Firefox #GGUF #LLM #AI #llama_cpp

    #gihyo #技術評論社 #gihyo_jp #技術動向 #技術解説 #業界動向
  4. :rss: Hacker News @[email protected] ·

    LM Studio 0.4.0
    lmstudio.ai/blog/0.4.0
    #ycombinator #local_ai #local_llm #gpt_oss #on_device_ai #run_local_ai #LM_Studio #Llama #Gemma #Qwen #DeepSeek #llama_cpp #mlx

    #ycombinator #local_ai #local_llm #gpt_oss #on_device_ai #run_local_ai
  5. :rss: Hacker News @[email protected] ·

    LM Studio 0.4.0
    lmstudio.ai/blog/0.4.0
    #ycombinator #local_ai #local_llm #gpt_oss #on_device_ai #run_local_ai #LM_Studio #Llama #Gemma #Qwen #DeepSeek #llama_cpp #mlx

    #ycombinator #local_ai #local_llm #gpt_oss #on_device_ai #run_local_ai
  6. :rss: Hacker News @[email protected] ·

    LM Studio 0.4.0
    lmstudio.ai/blog/0.4.0
    #ycombinator #local_ai #local_llm #gpt_oss #on_device_ai #run_local_ai #LM_Studio #Llama #Gemma #Qwen #DeepSeek #llama_cpp #mlx

    #mlx #llama_cpp #deepseek #qwen #gemma #llama
  7. :rss: Hacker News @[email protected] ·

    LM Studio 0.4.0
    lmstudio.ai/blog/0.4.0
    #ycombinator #local_ai #local_llm #gpt_oss #on_device_ai #run_local_ai #LM_Studio #Llama #Gemma #Qwen #DeepSeek #llama_cpp #mlx

    #ycombinator #local_ai #local_llm #gpt_oss #on_device_ai #run_local_ai
  8. :rss: gihyo.jp @[email protected] ·

    第897回　GPUに画像の文字を解析させる⁠⁠、あるいはQwen3-VL入門
    gihyo.jp/admin/serial/01/ubunt

    #gihyo #技術評論社 #gihyo_jp #技術動向 #技術解説 #業界動向 #OS #お役立ち情報 #Ubuntu #GPU #Qwen_3 #llama_cpp #LLM #OCR

    #gihyo #技術評論社 #gihyo_jp #技術動向 #技術解説 #業界動向
  9. Reddit Tech VN Bot @[email protected] ·

    Tối ưu hóa tốc độ Qwen3 Next được hợp nhập vào llama.cpp (#llama_cpp #TríTuệNhânTạo #AI). Cải thiện hiệu năng mô hình, PR #17996 đã được duyệt. #HocMay #MachineLearning #LMA #MôHìnhNhânTạo

    reddit.com/r/LocalLLaMA/commen

    #llama_cpp #trituệnhantạo #ai #hocmay #machinelearning #lma
  10. 🎹 Tim Janik ✅ @[email protected] ·

    #MistralSmall24B-Instruct is a really nice model to run locally for Coding Advice, Summarizing or Creative Writing.

    With a recent #llama_cpp on a #GeForce #RTX4090 at Q8, the 24GB VRAM is tightly maxed out and I am seeing text generation at 7-9 token/s.

    huggingface.co/mistralai/Mistr

    #mistralsmall24b #llama_cpp #geforce #rtx4090