home.social

#ggml — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #ggml, aggregated by home.social.

  1. Arint - SEO+KI @[email protected] ·

    RT @rumgewieselt: Die llama.cpp-Community testet gerade erst diesen PR! 😆

    mehr auf Arint.info

    #AI #GGML #llama #llamacpp #MachineLearning #OpenSource #arint_info

    https://x.com/rumgewieselt/status/2055672028774981804#m

    #ai #ggml #llama #llamacpp #machinelearning #opensource
  2. Habr @[email protected] ·

    MitM-прокси для LLM

    Многие разработчики в последнее время используют облачные LLM для генерации программного кода, в том числе с помощью агентов. Но это вызывает как минимум две проблемы: Утечка информации: мы не знаем, какие данные LLM передаёт в облако Бесконтрольный расход токенов, особенно в случае автоматических агентов, которые запускаются в автономную работу на длительный период Для этого есть специальные инструменты мониторинга. Например, Tokentap (бывший Sherlock) отслеживает использование токенов для LLM CLI в реальном времени на панели в консоли. Такой MitM-прокси полезен для информационной безопасности и просто для учёта расходов.

    habr.com/ru/companies/globalsi

    #MitM #Hugging_Face #llamaccp #ggml #Local_AI #Gemini_CLI #Claude_Code #OpenAI_Codex #mitmproxy #HTTPSпрокси

    #httpsпрокси #mitmproxy #openai_codex #claude_code #gemini_cli #local_ai
  3. Habr @[email protected] ·

    MitM-прокси для LLM

    Многие разработчики в последнее время используют облачные LLM для генерации программного кода, в том числе с помощью агентов. Но это вызывает как минимум две проблемы: Утечка информации: мы не знаем, какие данные LLM передаёт в облако Бесконтрольный расход токенов, особенно в случае автоматических агентов, которые запускаются в автономную работу на длительный период Для этого есть специальные инструменты мониторинга. Например, Tokentap (бывший Sherlock) отслеживает использование токенов для LLM CLI в реальном времени на панели в консоли. Такой MitM-прокси полезен для информационной безопасности и просто для учёта расходов.

    habr.com/ru/companies/globalsi

    #MitM #Hugging_Face #llamaccp #ggml #Local_AI #Gemini_CLI #Claude_Code #OpenAI_Codex #mitmproxy #HTTPSпрокси

    #httpsпрокси #mitmproxy #openai_codex #claude_code #gemini_cli #local_ai
  4. Habr @[email protected] ·

    MitM-прокси для LLM

    Многие разработчики в последнее время используют облачные LLM для генерации программного кода, в том числе с помощью агентов. Но это вызывает как минимум две проблемы: Утечка информации: мы не знаем, какие данные LLM передаёт в облако Бесконтрольный расход токенов, особенно в случае автоматических агентов, которые запускаются в автономную работу на длительный период Для этого есть специальные инструменты мониторинга. Например, Tokentap (бывший Sherlock) отслеживает использование токенов для LLM CLI в реальном времени на панели в консоли. Такой MitM-прокси полезен для информационной безопасности и просто для учёта расходов.

    habr.com/ru/companies/globalsi

    #MitM #Hugging_Face #llamaccp #ggml #Local_AI #Gemini_CLI #Claude_Code #OpenAI_Codex #mitmproxy #HTTPSпрокси

    #httpsпрокси #mitmproxy #openai_codex #claude_code #gemini_cli #local_ai
  5. Habr @[email protected] ·

    MitM-прокси для LLM

    Многие разработчики в последнее время используют облачные LLM для генерации программного кода, в том числе с помощью агентов. Но это вызывает как минимум две проблемы: Утечка информации: мы не знаем, какие данные LLM передаёт в облако Бесконтрольный расход токенов, особенно в случае автоматических агентов, которые запускаются в автономную работу на длительный период Для этого есть специальные инструменты мониторинга. Например, Tokentap (бывший Sherlock) отслеживает использование токенов для LLM CLI в реальном времени на панели в консоли. Такой MitM-прокси полезен для информационной безопасности и просто для учёта расходов.

    habr.com/ru/companies/globalsi

    #MitM #Hugging_Face #llamaccp #ggml #Local_AI #Gemini_CLI #Claude_Code #OpenAI_Codex #mitmproxy #HTTPSпрокси

    #mitm #hugging_face #llamaccp #ggml #local_ai #gemini_cli
  6. Winbuzzer @[email protected] ·

    winbuzzer.com/2026/02/21/ggmla

    Open-Source llama.cpp Finds Long-Term Home at Hugging Face

    #AI #HuggingFace #AIInference #OpenSourceAI #OnDeviceAI #GGML #LlamaCpp #LocalAI #GeorgiGerganov

    #ai #huggingface #aiinference #opensourceai #ondeviceai #ggml
  7. Winbuzzer @[email protected] ·

    winbuzzer.com/2026/02/21/ggmla

    Open-Source llama.cpp Finds Long-Term Home at Hugging Face

    #AI #HuggingFace #AIInference #OpenSourceAI #OnDeviceAI #GGML #LlamaCpp #LocalAI #GeorgiGerganov

    #ai #huggingface #aiinference #opensourceai #ondeviceai #ggml
  8. Winbuzzer @[email protected] ·

    winbuzzer.com/2026/02/21/ggmla

    Open-Source llama.cpp Finds Long-Term Home at Hugging Face

    #AI #HuggingFace #AIInference #OpenSourceAI #OnDeviceAI #GGML #LlamaCpp #LocalAI #GeorgiGerganov

    #ai #huggingface #aiinference #opensourceai #ondeviceai #ggml
  9. Winbuzzer @[email protected] ·

    winbuzzer.com/2026/02/21/ggmla

    Open-Source llama.cpp Finds Long-Term Home at Hugging Face

    #AI #HuggingFace #AIInference #OpenSourceAI #OnDeviceAI #GGML #LlamaCpp #LocalAI #GeorgiGerganov

    #georgigerganov #localai #llamacpp #ggml #ondeviceai #opensourceai
  10. Winbuzzer @[email protected] ·

    winbuzzer.com/2026/02/21/ggmla

    Open-Source llama.cpp Finds Long-Term Home at Hugging Face

    #AI #HuggingFace #AIInference #OpenSourceAI #OnDeviceAI #GGML #LlamaCpp #LocalAI #GeorgiGerganov

    #ai #huggingface #aiinference #opensourceai #ondeviceai #ggml
  11. Habr @[email protected] ·

    Георгий Герганов, автор llama.cpp и звукового кейлогера

    Многие пользуются YouTube, Netflix, но не подозревают о ключевых опенсорсных программах типа ffmpeg , которые работают на бэкенде этих сервисов. Похожая ситуация с нейронками, где многие знают программу Ollama для локального запуска моделей на CPU. Но мало кто понимает, что это всего лишь простенькая оболочка вокруг опенсорсной библиотеки llama.cpp на С, которая и делает инференс. Автор этой библиотеки, талантливый разработчик Георгий Герганов , мало известен широкой публике.

    habr.com/ru/companies/ruvds/ar

    #llamacpp #ollama #llama #llm #Георгий_Герганов #Georgi_Gerganov #lm_studio #LiteLLM #ggml #тензорная_алгебра

    #llamacpp #ollama #llama #llm #георгий_герганов #georgi_gerganov
  12. Habr @[email protected] ·

    Георгий Герганов, автор llama.cpp и звукового кейлогера

    Многие пользуются YouTube, Netflix, но не подозревают о ключевых опенсорсных программах типа ffmpeg , которые работают на бэкенде этих сервисов. Похожая ситуация с нейронками, где многие знают программу Ollama для локального запуска моделей на CPU. Но мало кто понимает, что это всего лишь простенькая оболочка вокруг опенсорсной библиотеки llama.cpp на С, которая и делает инференс. Автор этой библиотеки, талантливый разработчик Георгий Герганов , мало известен широкой публике.

    habr.com/ru/companies/ruvds/ar

    #llamacpp #ollama #llama #llm #Георгий_Герганов #Georgi_Gerganov #lm_studio #LiteLLM #ggml #тензорная_алгебра

    #llama #llm #георгий_герганов #georgi_gerganov #lm_studio #litellm
  13. Habr @[email protected] ·

    Георгий Герганов, автор llama.cpp и звукового кейлогера

    Многие пользуются YouTube, Netflix, но не подозревают о ключевых опенсорсных программах типа ffmpeg , которые работают на бэкенде этих сервисов. Похожая ситуация с нейронками, где многие знают программу Ollama для локального запуска моделей на CPU. Но мало кто понимает, что это всего лишь простенькая оболочка вокруг опенсорсной библиотеки llama.cpp на С, которая и делает инференс. Автор этой библиотеки, талантливый разработчик Георгий Герганов , мало известен широкой публике.

    habr.com/ru/companies/ruvds/ar

    #llamacpp #ollama #llama #llm #Георгий_Герганов #Georgi_Gerganov #lm_studio #LiteLLM #ggml #тензорная_алгебра

    #llamacpp #ollama #llama #llm #георгий_герганов #georgi_gerganov
  14. Habr @[email protected] ·

    Георгий Герганов, автор llama.cpp и звукового кейлогера

    Многие пользуются YouTube, Netflix, но не подозревают о ключевых опенсорсных программах типа ffmpeg , которые работают на бэкенде этих сервисов. Похожая ситуация с нейронками, где многие знают программу Ollama для локального запуска моделей на CPU. Но мало кто понимает, что это всего лишь простенькая оболочка вокруг опенсорсной библиотеки llama.cpp на С, которая и делает инференс. Автор этой библиотеки, талантливый разработчик Георгий Герганов , мало известен широкой публике.

    habr.com/ru/companies/ruvds/ar

    #llamacpp #ollama #llama #llm #Георгий_Герганов #Georgi_Gerganov #lm_studio #LiteLLM #ggml #тензорная_алгебра

    #тензорная_алгебра #ggml #litellm #lm_studio #georgi_gerganov #георгий_герганов
  15. Rasaq @[email protected] ·

    Trying LiveStream on #ggml AI/ML Tensor library. Join me.
    youtube.com/live/jl9fFY0JNuY?f

    #ggml
  16. John U. Balis @[email protected] ·

    If anyone is interested in converting PyTorch models to GGML, I have a new blog post on the subject, complete with example code.

    balisujohn.github.io/convertin

    #PyTorch #ggml #opensource

    #pytorch #ggml #opensource
  17. dfdx @[email protected] ·
    I have run #nextcloud on #openbsd for years. OpenBSD has no support for #nvidia graphics cards. In fact, I have no graphics card installed at all on this server (I never thought I'd need one).

    I'd be happy to have ChatGPT-esque features if they relied on #ggml models, which don't rely on a graphics card.
    #nextcloud #openbsd #nvidia #ggml
  18. Gea-Suan Lin @[email protected] ·

    用 llama.cpp 玩 Mistral 7B Instruct，補一下 llama.cpp 的發展

    看到「Workers AI Update: Hello Mistral 7B」這篇想到的，先前有提到「號稱目前最強的 Mistral 7B」，加上

    blog.gslin.org/archives/2023/1

    #Computer #Murmuring #Software #7b #ai #deep #dnn #embedding #ggml #gguf #gpu #instruct #learning #llama #llamacpp #machine #mistral #model #network #neural #nn #opencl

    #opencl #nn #neural #network #model #mistral
  19. Rob @[email protected] ·

    Currently trying out locally this #GGML with my #llamacpp + Python wrapper API server :

    huggingface.co/TheBloke/Llama-

    #huggingface #llama #llama2 #gpt #transformers

    #ggml #llamacpp #huggingface #llama #llama2 #gpt
  20. Lapo Luchini @[email protected] ·

    RedPajama-3D enters the ring

    f.lapo.it/display/6a1cc041-206

    #llm #ggml