home.social

#gptoss — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #gptoss, aggregated by home.social.

  1. New week, more slides: Run LLMs Locally

    Now with LFM 2 and new slides for using Transformers.js with WebGPU for Privacy Filter, Function Calling and Embeddings, running completely in your browser.

    codeberg.org/thbley/talks/raw/

    #ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4 #nemotron #webgpu

  2. New week, more slides: Run LLMs Locally

    Now with LFM 2 and new slides for using Transformers.js with WebGPU for Privacy Filter, Function Calling and Embeddings, running completely in your browser.

    codeberg.org/thbley/talks/raw/

    #ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4 #nemotron #webgpu

  3. New week, more slides: Run LLMs Locally

    Now with LFM 2 and new slides for using Transformers.js with WebGPU for Privacy Filter, Function Calling and Embeddings, running completely in your browser.

    codeberg.org/thbley/talks/raw/

    #ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4 #nemotron #webgpu

  4. New week, more slides: Run LLMs Locally

    Now with LFM 2 and new slides for using Transformers.js with WebGPU for Privacy Filter, Function Calling and Embeddings, running completely in your browser.

    codeberg.org/thbley/talks/raw/

    #ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4 #nemotron #webgpu

  5. New week, more slides: Run LLMs Locally

    Now with LFM 2 and new slides for using Transformers.js with WebGPU for Privacy Filter, Function Calling and Embeddings, running completely in your browser.

    codeberg.org/thbley/talks/raw/

    #ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4 #nemotron #webgpu

  6. TUTORIAL - Passo a passo: IA local no Linux com LM Studio

    Neste vídeo, você vai aprender como rodar inteligência artificial localmente no seu Linux usando o LM Studio.

    Se você quer mais controle, mais privacidade e rodar IA direto no seu computador, esse guia é pra você.

    Link: youtu.be/M7jR2BIuGyQ

    #debian #debian13 #lmstudio #ialocal #ibmgranite #gptoss #googlegemma #qwen #rx550 #linux

  7. TUTORIAL - Passo a passo: IA local no Linux com LM Studio

    Neste vídeo, você vai aprender como rodar inteligência artificial localmente no seu Linux usando o LM Studio.

    Se você quer mais controle, mais privacidade e rodar IA direto no seu computador, esse guia é pra você.

    Link: youtu.be/M7jR2BIuGyQ

    #debian #debian13 #lmstudio #ialocal #ibmgranite #gptoss #googlegemma #qwen #rx550 #linux

  8. New week, new slides: Run LLMs Locally

    Now including Nemotron 3 Nano Omni from Nvidia, Llama.cpp built-in tools and new slides about using Transformers.js with WebGPU for Image Recognition and OCR.

    codeberg.org/thbley/talks/raw/

    #ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4 #nemotron #webgpu

  9. New week, new slides: Run LLMs Locally

    Now including Nemotron 3 Nano Omni from Nvidia, Llama.cpp built-in tools and new slides about using Transformers.js with WebGPU for Image Recognition and OCR.

    codeberg.org/thbley/talks/raw/

    #ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4 #nemotron #webgpu

  10. New week, new slides: Run LLMs Locally

    Now including Nemotron 3 Nano Omni from Nvidia, Llama.cpp built-in tools and new slides about using Transformers.js with WebGPU for Image Recognition and OCR.

    codeberg.org/thbley/talks/raw/

    #ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4 #nemotron #webgpu

  11. New week, new slides: Run LLMs Locally

    Now including Nemotron 3 Nano Omni from Nvidia, Llama.cpp built-in tools and new slides about using Transformers.js with WebGPU for Image Recognition and OCR.

    codeberg.org/thbley/talks/raw/

    #ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4 #nemotron #webgpu

  12. New week, new slides: Run LLMs Locally

    Now including Nemotron 3 Nano Omni from Nvidia, Llama.cpp built-in tools and new slides about using Transformers.js with WebGPU for Image Recognition and OCR.

    codeberg.org/thbley/talks/raw/

    #ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4 #nemotron #webgpu

  13. 🔧 Fine-tunable on domain-specific data — adapts to medical, legal or enterprise environments where generic rules fail. Based on the open #gptoss model family. Available on #HuggingFace under Apache 2.0

    🚨 Caveat: #PrivacyFilter is a redaction & data minimization aid — NOT a compliance guarantee. It should be one layer in a holistic #privacybydesign approach. Always combine with human review for high-stakes use cases
    openai.com/index/introducing-o

  14. 🔧 Fine-tunable on domain-specific data — adapts to medical, legal or enterprise environments where generic rules fail. Based on the open #gptoss model family. Available on #HuggingFace under Apache 2.0

    🚨 Caveat: #PrivacyFilter is a redaction & data minimization aid — NOT a compliance guarantee. It should be one layer in a holistic #privacybydesign approach. Always combine with human review for high-stakes use cases
    openai.com/index/introducing-o

  15. 🔧 Fine-tunable on domain-specific data — adapts to medical, legal or enterprise environments where generic rules fail. Based on the open #gptoss model family. Available on #HuggingFace under Apache 2.0

    🚨 Caveat: #PrivacyFilter is a redaction & data minimization aid — NOT a compliance guarantee. It should be one layer in a holistic #privacybydesign approach. Always combine with human review for high-stakes use cases
    openai.com/index/introducing-o

  16. 🔧 Fine-tunable on domain-specific data — adapts to medical, legal or enterprise environments where generic rules fail. Based on the open #gptoss model family. Available on #HuggingFace under Apache 2.0

    🚨 Caveat: #PrivacyFilter is a redaction & data minimization aid — NOT a compliance guarantee. It should be one layer in a holistic #privacybydesign approach. Always combine with human review for high-stakes use cases
    openai.com/index/introducing-o

  17. 🔧 Fine-tunable on domain-specific data — adapts to medical, legal or enterprise environments where generic rules fail. Based on the open #gptoss model family. Available on #HuggingFace under Apache 2.0

    🚨 Caveat: #PrivacyFilter is a redaction & data minimization aid — NOT a compliance guarantee. It should be one layer in a holistic #privacybydesign approach. Always combine with human review for high-stakes use cases
    openai.com/index/introducing-o

  18. New week, new update for the slides of my talk "Run LLMs Locally":

    Now including Gemma4 and Qwen3-Omni with Vision and Audio support and new slides describing Llama.cpp server parameters.

    codeberg.org/thbley/talks/raw/

    #ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4

  19. New week, new update for the slides of my talk "Run LLMs Locally":

    Now including Gemma4 and Qwen3-Omni with Vision and Audio support and new slides describing Llama.cpp server parameters.

    codeberg.org/thbley/talks/raw/

    #ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4

  20. New week, new update for the slides of my talk "Run LLMs Locally":

    Now including Gemma4 and Qwen3-Omni with Vision and Audio support and new slides describing Llama.cpp server parameters.

    codeberg.org/thbley/talks/raw/

    #ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4

  21. New week, new update for the slides of my talk "Run LLMs Locally":

    Now including Gemma4 and Qwen3-Omni with Vision and Audio support and new slides describing Llama.cpp server parameters.

    codeberg.org/thbley/talks/raw/

    #ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4

  22. New week, new update for the slides of my talk "Run LLMs Locally":

    Now including Gemma4 and Qwen3-Omni with Vision and Audio support and new slides describing Llama.cpp server parameters.

    codeberg.org/thbley/talks/raw/

    #ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4

  23. New update for the slides of my talk "Run LLMs Locally": Bonsai-8B

    The latest version of Llama.cpp now supports Vulkan with 1-bit quantized models like Bonsai: 8B model having 1.1 GB in size, 2.5 GB in RAM.

    codeberg.org/thbley/talks/raw/

    #ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai

  24. New update for the slides of my talk "Run LLMs Locally": Bonsai-8B

    The latest version of Llama.cpp now supports Vulkan with 1-bit quantized models like Bonsai: 8B model having 1.1 GB in size, 2.5 GB in RAM.

    codeberg.org/thbley/talks/raw/

    #ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai

  25. New update for the slides of my talk "Run LLMs Locally": Bonsai-8B

    The latest version of Llama.cpp now supports Vulkan with 1-bit quantized models like Bonsai: 8B model having 1.1 GB in size, 2.5 GB in RAM.

    codeberg.org/thbley/talks/raw/

    #ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai

  26. New update for the slides of my talk "Run LLMs Locally": WebGPU

    Now models can run completely inside the browser using Transformers.js, Vulkan and WebGPU (slower than llama.cpp, but already usable).

    codeberg.org/thbley/talks/raw/

    #ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #webgpu

    don't expect llm generated code to be correct ↓

  27. Облачные модели Ollama в задачах code review — честное сравнение на примерах

    AI всё чаще используется в разработке: генерация кода, автодополнение, агентные IDE. Но возникает логичный вопрос - можно ли доверить LLM полноценный code review? В этой статье я решил проверить это на практике. Я сравнил несколько моделей, доступных через Ollama Cloud - Qwen 3.5, GPT-OSS и DeepSeek v3.1 - и дал им проанализировать реальные Pull Request из легаси-проекта на Python. Спойлер: некоторые модели показали неожиданно хороший результат.

    habr.com/ru/articles/1010048/

    #code_review #ollama #llm #ai_code_review #pull_request #github #open_source #deepseek #qwen #gptoss

  28. Облачные модели Ollama в задачах code review — честное сравнение на примерах

    AI всё чаще используется в разработке: генерация кода, автодополнение, агентные IDE. Но возникает логичный вопрос - можно ли доверить LLM полноценный code review? В этой статье я решил проверить это на практике. Я сравнил несколько моделей, доступных через Ollama Cloud - Qwen 3.5, GPT-OSS и DeepSeek v3.1 - и дал им проанализировать реальные Pull Request из легаси-проекта на Python. Спойлер: некоторые модели показали неожиданно хороший результат.

    habr.com/ru/articles/1010048/

    #code_review #ollama #llm #ai_code_review #pull_request #github #open_source #deepseek #qwen #gptoss

  29. Облачные модели Ollama в задачах code review — честное сравнение на примерах

    AI всё чаще используется в разработке: генерация кода, автодополнение, агентные IDE. Но возникает логичный вопрос - можно ли доверить LLM полноценный code review? В этой статье я решил проверить это на практике. Я сравнил несколько моделей, доступных через Ollama Cloud - Qwen 3.5, GPT-OSS и DeepSeek v3.1 - и дал им проанализировать реальные Pull Request из легаси-проекта на Python. Спойлер: некоторые модели показали неожиданно хороший результат.

    habr.com/ru/articles/1010048/

    #code_review #ollama #llm #ai_code_review #pull_request #github #open_source #deepseek #qwen #gptoss

  30. Облачные модели Ollama в задачах code review — честное сравнение на примерах

    AI всё чаще используется в разработке: генерация кода, автодополнение, агентные IDE. Но возникает логичный вопрос - можно ли доверить LLM полноценный code review? В этой статье я решил проверить это на практике. Я сравнил несколько моделей, доступных через Ollama Cloud - Qwen 3.5, GPT-OSS и DeepSeek v3.1 - и дал им проанализировать реальные Pull Request из легаси-проекта на Python. Спойлер: некоторые модели показали неожиданно хороший результат.

    habr.com/ru/articles/1010048/

    #code_review #ollama #llm #ai_code_review #pull_request #github #open_source #deepseek #qwen #gptoss

  31. New update for the slides of my talk "Run LLMs Locally":

    Now including Reranking, Qwen 3.5 (slower than Qwen 3, but includes Vision) and loading models with Direct I/O.

    codeberg.org/thbley/talks/raw/

    #llm #llamacpp #ollama #stablediffusion #gptoss #qwen3 #glm #opencode #localai #mcp

  32. I updated the slides for my talk "Run LLMs Locally":

    Now including image generation with Qwen3 and content classification from the Qwen3Guard Technical Report paper.

    codeberg.org/thbley/talks/raw/

    #llm #llamacpp #ollama #stablediffusion #gptoss #qwen3 #glm #opencode #localai

  33. Tell ya what, #Mailroute + #Sortana / #gptoss has made my #email manageable for the first time in maybe 2 decades. Truly amazing.

  34. DES-Projekt Hochschulschriften: Unterstützung aus Frankreich

    Über das seit Dezember 2021 laufende DES-Projekt „Hochschulschriften“ des Vereins für Computergenealogie in Zusammenarbeit mit dem Max-Planck-Institut für Innovation und Wettbewerb in München berichtet der CompGen-Blog regelmäßig. Die Projektfamilie wächst dank einer französischen Bibliographie. Das Jahresverzeichnis der deutschen Hochschulschriften wurde zum 15. August 1885 vom preußischen Bildungsministerium ins Leben gerufen. Ein Auslöser dafür war, dass die französische […]

    compgen.de/2026/03/des-projekt

  35. DES-Projekt Hochschulschriften: Unterstützung aus Frankreich

    Über das seit Dezember 2021 laufende DES-Projekt „Hochschulschriften“ des Vereins für Computergenealogie in Zusammenarbeit mit dem Max-Planck-Institut für Innovation und Wettbewerb in München berichtet der CompGen-Blog regelmäßig. Die Projektfamilie wächst dank einer französischen Bibliographie. Das Jahresverzeichnis der deutschen Hochschulschriften wurde zum 15. August 1885 vom preußischen Bildungsministerium ins Leben gerufen. Ein Auslöser dafür war, dass die französische […]

    compgen.de/2026/03/des-projekt

  36. DES-Projekt Hochschulschriften: Unterstützung aus Frankreich

    Über das seit Dezember 2021 laufende DES-Projekt „Hochschulschriften“ des Vereins für Computergenealogie in Zusammenarbeit mit dem Max-Planck-Institut für Innovation und Wettbewerb in München berichtet der CompGen-Blog regelmäßig. Die Projektfamilie wächst dank einer französischen Bibliographie. Das Jahresverzeichnis der deutschen Hochschulschriften wurde zum 15. August 1885 vom preußischen Bildungsministerium ins Leben gerufen. Ein Auslöser dafür war, dass die französische […]

    compgen.de/2026/03/des-projekt

  37. I updated the slides for my talk "Run LLMs Locally":

    Now including requirements, costs, setup, llama.cpp, stable-diffusion.cpp, embeddings, function calling, opencode, image recognition, speech recognition, image generation, prompt injection and popular models like GPT-OSS, Qwen3, Qwen3-vl, Z-Image and Whisper.

    codeberg.org/thbley/talks/raw/

    #llm #llamacpp #stablediffusion #gptoss #qwen3 #opencode #php #digitalsovereignty #localai

  38. DES-Projekt Hochschulschriften: XXX. Jahrgang in der Erfassung mit noch mehr KI-Unterstützung

    Über das seit Dezember 2021 laufende DES-Projekt „Hochschulschriften“ des Vereins für Computergenealogie in Zusammenarbeit mit dem Max-Planck-Institut für Innovation und Wettbewerb in München berichtet der CompGen-Blog regelmäßig. Mit dem neuen Jahrgang für 1914 wurde die Vorbereitung der Einträge mit Hilfe von Großen Sprachmodellen weiter verbessert. Seit der letzten Meldung wurden die Jahrgänge 1912 und 1913 abgeschlossen. Die Datenbank umfasst nun knapp 84.000 vollständig […]

    compgen.de/2026/01/des-projekt

  39. DES-Projekt Hochschulschriften: XXX. Jahrgang in der Erfassung mit noch mehr KI-Unterstützung

    Über das seit Dezember 2021 laufende DES-Projekt „Hochschulschriften“ des Vereins für Computergenealogie in Zusammenarbeit mit dem Max-Planck-Institut für Innovation und Wettbewerb in München berichtet der CompGen-Blog regelmäßig. Mit dem neuen Jahrgang für 1914 wurde die Vorbereitung der Einträge mit Hilfe von Großen Sprachmodellen weiter verbessert. Seit der letzten Meldung wurden die Jahrgänge 1912 und 1913 abgeschlossen. Die Datenbank umfasst nun knapp 84.000 vollständig […]

    compgen.de/2026/01/des-projekt

  40. DES-Projekt Hochschulschriften: XXX. Jahrgang in der Erfassung mit noch mehr KI-Unterstützung

    Über das seit Dezember 2021 laufende DES-Projekt „Hochschulschriften“ des Vereins für Computergenealogie in Zusammenarbeit mit dem Max-Planck-Institut für Innovation und Wettbewerb in München berichtet der CompGen-Blog regelmäßig. Mit dem neuen Jahrgang für 1914 wurde die Vorbereitung der Einträge mit Hilfe von Großen Sprachmodellen weiter verbessert. Seit der letzten Meldung wurden die Jahrgänge 1912 und 1913 abgeschlossen. Die Datenbank umfasst nun knapp 84.000 vollständig […]

    compgen.de/2026/01/des-projekt

  41. Doing some sprucing up on my #AI #LLM powered #email filtering/tagging #Thunderbird add-on #Sortana. I had got it working with #Qwen, but realized it really didn't work for other model chat formats.

    Trying it now with #gptoss (4bit quant) and in testing it is pretty fast. Pleased so far.

  42. RepE — как активационная инъекция влияет на энтропию, деградацию и качество ответов LLM?

    Современные большие языковые модели достигли впечатляющих результатов в генерации текста, однако они до сих пор остаются жуткой стохастикой. На мой взгляд проблема текущего ИИ заключается не в синтетических обучающих данных или архитектурных ограничениях, а в отсутствии внутренней верификации . Для LLM галлюцинация и факт онтологически равноценны: и то, и другое — лишь вероятностная последовательность токенов, максимизирующая правдоподобие. Стандартные методы донастройки, такие как RLHF, часто еще сильнее ухудшают ситуацию: они учат модель казаться правильной и вежливой, создавая маску дружелюбного ассистента, но не меняют глубинные механизмы принятия решений. В результате мы получаем модели, которые полноценно врут даже там, где их знаний возможно хватило бы для правильного ответа на вопрос. Данная работа посвящена изучению методов Representation Engineering (RepE) — подхода, который позволяет проникать в активационные слои нейросетей и слегка усиливать отдельные вектора. В отличии от классического промпт инженеринга мы не задаем роль, а правим внутреннюю генерацию ответа, можно сказать точечно правим "веса" хоть это в действительности и не так. Цель - проверка того, может ли выделение и активация специфических семантических векторов служить функциональным регулятором генерации - и как в целом это выделение влияет на модель. Возможно ли таким методом снизить энтропию или получить сравнительно лучшие ответы от модели.

    habr.com/ru/articles/981520/

    #ai #ml #repe #активации #gemma #gptoss #Owen #вектор #скрытый_слой #искусственный_интеллект

  43. RepE — как активационная инъекция влияет на энтропию, деградацию и качество ответов LLM?

    Современные большие языковые модели достигли впечатляющих результатов в генерации текста, однако они до сих пор остаются жуткой стохастикой. На мой взгляд проблема текущего ИИ заключается не в синтетических обучающих данных или архитектурных ограничениях, а в отсутствии внутренней верификации . Для LLM галлюцинация и факт онтологически равноценны: и то, и другое — лишь вероятностная последовательность токенов, максимизирующая правдоподобие. Стандартные методы донастройки, такие как RLHF, часто еще сильнее ухудшают ситуацию: они учат модель казаться правильной и вежливой, создавая маску дружелюбного ассистента, но не меняют глубинные механизмы принятия решений. В результате мы получаем модели, которые полноценно врут даже там, где их знаний возможно хватило бы для правильного ответа на вопрос. Данная работа посвящена изучению методов Representation Engineering (RepE) — подхода, который позволяет проникать в активационные слои нейросетей и слегка усиливать отдельные вектора. В отличии от классического промпт инженеринга мы не задаем роль, а правим внутреннюю генерацию ответа, можно сказать точечно правим "веса" хоть это в действительности и не так. Цель - проверка того, может ли выделение и активация специфических семантических векторов служить функциональным регулятором генерации - и как в целом это выделение влияет на модель. Возможно ли таким методом снизить энтропию или получить сравнительно лучшие ответы от модели.

    habr.com/ru/articles/981520/

    #ai #ml #repe #активации #gemma #gptoss #Owen #вектор #скрытый_слой #искусственный_интеллект

  44. RepE — как активационная инъекция влияет на энтропию, деградацию и качество ответов LLM?

    Современные большие языковые модели достигли впечатляющих результатов в генерации текста, однако они до сих пор остаются жуткой стохастикой. На мой взгляд проблема текущего ИИ заключается не в синтетических обучающих данных или архитектурных ограничениях, а в отсутствии внутренней верификации . Для LLM галлюцинация и факт онтологически равноценны: и то, и другое — лишь вероятностная последовательность токенов, максимизирующая правдоподобие. Стандартные методы донастройки, такие как RLHF, часто еще сильнее ухудшают ситуацию: они учат модель казаться правильной и вежливой, создавая маску дружелюбного ассистента, но не меняют глубинные механизмы принятия решений. В результате мы получаем модели, которые полноценно врут даже там, где их знаний возможно хватило бы для правильного ответа на вопрос. Данная работа посвящена изучению методов Representation Engineering (RepE) — подхода, который позволяет проникать в активационные слои нейросетей и слегка усиливать отдельные вектора. В отличии от классического промпт инженеринга мы не задаем роль, а правим внутреннюю генерацию ответа, можно сказать точечно правим "веса" хоть это в действительности и не так. Цель - проверка того, может ли выделение и активация специфических семантических векторов служить функциональным регулятором генерации - и как в целом это выделение влияет на модель. Возможно ли таким методом снизить энтропию или получить сравнительно лучшие ответы от модели.

    habr.com/ru/articles/981520/

    #ai #ml #repe #активации #gemma #gptoss #Owen #вектор #скрытый_слой #искусственный_интеллект

  45. RepE — как активационная инъекция влияет на энтропию, деградацию и качество ответов LLM?

    Современные большие языковые модели достигли впечатляющих результатов в генерации текста, однако они до сих пор остаются жуткой стохастикой. На мой взгляд проблема текущего ИИ заключается не в синтетических обучающих данных или архитектурных ограничениях, а в отсутствии внутренней верификации . Для LLM галлюцинация и факт онтологически равноценны: и то, и другое — лишь вероятностная последовательность токенов, максимизирующая правдоподобие. Стандартные методы донастройки, такие как RLHF, часто еще сильнее ухудшают ситуацию: они учат модель казаться правильной и вежливой, создавая маску дружелюбного ассистента, но не меняют глубинные механизмы принятия решений. В результате мы получаем модели, которые полноценно врут даже там, где их знаний возможно хватило бы для правильного ответа на вопрос. Данная работа посвящена изучению методов Representation Engineering (RepE) — подхода, который позволяет проникать в активационные слои нейросетей и слегка усиливать отдельные вектора. В отличии от классического промпт инженеринга мы не задаем роль, а правим внутреннюю генерацию ответа, можно сказать точечно правим "веса" хоть это в действительности и не так. Цель - проверка того, может ли выделение и активация специфических семантических векторов служить функциональным регулятором генерации - и как в целом это выделение влияет на модель. Возможно ли таким методом снизить энтропию или получить сравнительно лучшие ответы от модели.

    habr.com/ru/articles/981520/

    #ai #ml #repe #активации #gemma #gptoss #Owen #вектор #скрытый_слой #искусственный_интеллект