#gptoss — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #gptoss, aggregated by home.social.
-
New week, more slides: Run LLMs Locally
Now with LFM 2 and new slides for using Transformers.js with WebGPU for Privacy Filter, Function Calling and Embeddings, running completely in your browser.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4 #nemotron #webgpu
-
New week, more slides: Run LLMs Locally
Now with LFM 2 and new slides for using Transformers.js with WebGPU for Privacy Filter, Function Calling and Embeddings, running completely in your browser.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4 #nemotron #webgpu
-
New week, more slides: Run LLMs Locally
Now with LFM 2 and new slides for using Transformers.js with WebGPU for Privacy Filter, Function Calling and Embeddings, running completely in your browser.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4 #nemotron #webgpu
-
New week, more slides: Run LLMs Locally
Now with LFM 2 and new slides for using Transformers.js with WebGPU for Privacy Filter, Function Calling and Embeddings, running completely in your browser.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4 #nemotron #webgpu
-
New week, more slides: Run LLMs Locally
Now with LFM 2 and new slides for using Transformers.js with WebGPU for Privacy Filter, Function Calling and Embeddings, running completely in your browser.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4 #nemotron #webgpu
-
TUTORIAL - Passo a passo: IA local no Linux com LM Studio
Neste vídeo, você vai aprender como rodar inteligência artificial localmente no seu Linux usando o LM Studio.
Se você quer mais controle, mais privacidade e rodar IA direto no seu computador, esse guia é pra você.
Link: https://youtu.be/M7jR2BIuGyQ
#debian #debian13 #lmstudio #ialocal #ibmgranite #gptoss #googlegemma #qwen #rx550 #linux
-
TUTORIAL - Passo a passo: IA local no Linux com LM Studio
Neste vídeo, você vai aprender como rodar inteligência artificial localmente no seu Linux usando o LM Studio.
Se você quer mais controle, mais privacidade e rodar IA direto no seu computador, esse guia é pra você.
Link: https://youtu.be/M7jR2BIuGyQ
#debian #debian13 #lmstudio #ialocal #ibmgranite #gptoss #googlegemma #qwen #rx550 #linux
-
New week, new slides: Run LLMs Locally
Now including Nemotron 3 Nano Omni from Nvidia, Llama.cpp built-in tools and new slides about using Transformers.js with WebGPU for Image Recognition and OCR.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4 #nemotron #webgpu
-
New week, new slides: Run LLMs Locally
Now including Nemotron 3 Nano Omni from Nvidia, Llama.cpp built-in tools and new slides about using Transformers.js with WebGPU for Image Recognition and OCR.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4 #nemotron #webgpu
-
New week, new slides: Run LLMs Locally
Now including Nemotron 3 Nano Omni from Nvidia, Llama.cpp built-in tools and new slides about using Transformers.js with WebGPU for Image Recognition and OCR.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4 #nemotron #webgpu
-
New week, new slides: Run LLMs Locally
Now including Nemotron 3 Nano Omni from Nvidia, Llama.cpp built-in tools and new slides about using Transformers.js with WebGPU for Image Recognition and OCR.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4 #nemotron #webgpu
-
New week, new slides: Run LLMs Locally
Now including Nemotron 3 Nano Omni from Nvidia, Llama.cpp built-in tools and new slides about using Transformers.js with WebGPU for Image Recognition and OCR.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4 #nemotron #webgpu
-
🔧 Fine-tunable on domain-specific data — adapts to medical, legal or enterprise environments where generic rules fail. Based on the open #gptoss model family. Available on #HuggingFace under Apache 2.0
🚨 Caveat: #PrivacyFilter is a redaction & data minimization aid — NOT a compliance guarantee. It should be one layer in a holistic #privacybydesign approach. Always combine with human review for high-stakes use cases
https://openai.com/index/introducing-openai-privacy-filter/ -
🔧 Fine-tunable on domain-specific data — adapts to medical, legal or enterprise environments where generic rules fail. Based on the open #gptoss model family. Available on #HuggingFace under Apache 2.0
🚨 Caveat: #PrivacyFilter is a redaction & data minimization aid — NOT a compliance guarantee. It should be one layer in a holistic #privacybydesign approach. Always combine with human review for high-stakes use cases
https://openai.com/index/introducing-openai-privacy-filter/ -
🔧 Fine-tunable on domain-specific data — adapts to medical, legal or enterprise environments where generic rules fail. Based on the open #gptoss model family. Available on #HuggingFace under Apache 2.0
🚨 Caveat: #PrivacyFilter is a redaction & data minimization aid — NOT a compliance guarantee. It should be one layer in a holistic #privacybydesign approach. Always combine with human review for high-stakes use cases
https://openai.com/index/introducing-openai-privacy-filter/ -
🔧 Fine-tunable on domain-specific data — adapts to medical, legal or enterprise environments where generic rules fail. Based on the open #gptoss model family. Available on #HuggingFace under Apache 2.0
🚨 Caveat: #PrivacyFilter is a redaction & data minimization aid — NOT a compliance guarantee. It should be one layer in a holistic #privacybydesign approach. Always combine with human review for high-stakes use cases
https://openai.com/index/introducing-openai-privacy-filter/ -
🔧 Fine-tunable on domain-specific data — adapts to medical, legal or enterprise environments where generic rules fail. Based on the open #gptoss model family. Available on #HuggingFace under Apache 2.0
🚨 Caveat: #PrivacyFilter is a redaction & data minimization aid — NOT a compliance guarantee. It should be one layer in a holistic #privacybydesign approach. Always combine with human review for high-stakes use cases
https://openai.com/index/introducing-openai-privacy-filter/ -
New week, new update for the slides of my talk "Run LLMs Locally":
Now including Gemma4 and Qwen3-Omni with Vision and Audio support and new slides describing Llama.cpp server parameters.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4
-
New week, new update for the slides of my talk "Run LLMs Locally":
Now including Gemma4 and Qwen3-Omni with Vision and Audio support and new slides describing Llama.cpp server parameters.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4
-
New week, new update for the slides of my talk "Run LLMs Locally":
Now including Gemma4 and Qwen3-Omni with Vision and Audio support and new slides describing Llama.cpp server parameters.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4
-
New week, new update for the slides of my talk "Run LLMs Locally":
Now including Gemma4 and Qwen3-Omni with Vision and Audio support and new slides describing Llama.cpp server parameters.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4
-
New week, new update for the slides of my talk "Run LLMs Locally":
Now including Gemma4 and Qwen3-Omni with Vision and Audio support and new slides describing Llama.cpp server parameters.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4
-
New update for the slides of my talk "Run LLMs Locally": Bonsai-8B
The latest version of Llama.cpp now supports Vulkan with 1-bit quantized models like Bonsai: 8B model having 1.1 GB in size, 2.5 GB in RAM.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai
-
New update for the slides of my talk "Run LLMs Locally": Bonsai-8B
The latest version of Llama.cpp now supports Vulkan with 1-bit quantized models like Bonsai: 8B model having 1.1 GB in size, 2.5 GB in RAM.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai
-
New update for the slides of my talk "Run LLMs Locally": Bonsai-8B
The latest version of Llama.cpp now supports Vulkan with 1-bit quantized models like Bonsai: 8B model having 1.1 GB in size, 2.5 GB in RAM.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai
-
New update for the slides of my talk "Run LLMs Locally": WebGPU
Now models can run completely inside the browser using Transformers.js, Vulkan and WebGPU (slower than llama.cpp, but already usable).
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #webgpu
don't expect llm generated code to be correct ↓
-
New update for the slides of my talk "Run LLMs Locally":
Now including music generation with ACE-Step and OCR using LightOnOCR.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai
-
Облачные модели Ollama в задачах code review — честное сравнение на примерах
AI всё чаще используется в разработке: генерация кода, автодополнение, агентные IDE. Но возникает логичный вопрос - можно ли доверить LLM полноценный code review? В этой статье я решил проверить это на практике. Я сравнил несколько моделей, доступных через Ollama Cloud - Qwen 3.5, GPT-OSS и DeepSeek v3.1 - и дал им проанализировать реальные Pull Request из легаси-проекта на Python. Спойлер: некоторые модели показали неожиданно хороший результат.
https://habr.com/ru/articles/1010048/
#code_review #ollama #llm #ai_code_review #pull_request #github #open_source #deepseek #qwen #gptoss
-
Облачные модели Ollama в задачах code review — честное сравнение на примерах
AI всё чаще используется в разработке: генерация кода, автодополнение, агентные IDE. Но возникает логичный вопрос - можно ли доверить LLM полноценный code review? В этой статье я решил проверить это на практике. Я сравнил несколько моделей, доступных через Ollama Cloud - Qwen 3.5, GPT-OSS и DeepSeek v3.1 - и дал им проанализировать реальные Pull Request из легаси-проекта на Python. Спойлер: некоторые модели показали неожиданно хороший результат.
https://habr.com/ru/articles/1010048/
#code_review #ollama #llm #ai_code_review #pull_request #github #open_source #deepseek #qwen #gptoss
-
Облачные модели Ollama в задачах code review — честное сравнение на примерах
AI всё чаще используется в разработке: генерация кода, автодополнение, агентные IDE. Но возникает логичный вопрос - можно ли доверить LLM полноценный code review? В этой статье я решил проверить это на практике. Я сравнил несколько моделей, доступных через Ollama Cloud - Qwen 3.5, GPT-OSS и DeepSeek v3.1 - и дал им проанализировать реальные Pull Request из легаси-проекта на Python. Спойлер: некоторые модели показали неожиданно хороший результат.
https://habr.com/ru/articles/1010048/
#code_review #ollama #llm #ai_code_review #pull_request #github #open_source #deepseek #qwen #gptoss
-
Облачные модели Ollama в задачах code review — честное сравнение на примерах
AI всё чаще используется в разработке: генерация кода, автодополнение, агентные IDE. Но возникает логичный вопрос - можно ли доверить LLM полноценный code review? В этой статье я решил проверить это на практике. Я сравнил несколько моделей, доступных через Ollama Cloud - Qwen 3.5, GPT-OSS и DeepSeek v3.1 - и дал им проанализировать реальные Pull Request из легаси-проекта на Python. Спойлер: некоторые модели показали неожиданно хороший результат.
https://habr.com/ru/articles/1010048/
#code_review #ollama #llm #ai_code_review #pull_request #github #open_source #deepseek #qwen #gptoss
-
New update for the slides of my talk "Run LLMs Locally":
Now including Reranking, Qwen 3.5 (slower than Qwen 3, but includes Vision) and loading models with Direct I/O.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#llm #llamacpp #ollama #stablediffusion #gptoss #qwen3 #glm #opencode #localai #mcp
-
One more update for the slides of my talk "Run LLMs Locally":
Now including text to speech with Qwen3-TTS and Model Context Protocol.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#llm #llamacpp #ollama #stablediffusion #gptoss #qwen3 #glm #opencode #localai #mcp
-
I updated the slides for my talk "Run LLMs Locally":
Now including image generation with Qwen3 and content classification from the Qwen3Guard Technical Report paper.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#llm #llamacpp #ollama #stablediffusion #gptoss #qwen3 #glm #opencode #localai
-
Tell ya what, #Mailroute + #Sortana / #gptoss has made my #email manageable for the first time in maybe 2 decades. Truly amazing.
-
DES-Projekt Hochschulschriften: Unterstützung aus Frankreich
Über das seit Dezember 2021 laufende DES-Projekt „Hochschulschriften“ des Vereins für Computergenealogie in Zusammenarbeit mit dem Max-Planck-Institut für Innovation und Wettbewerb in München berichtet der CompGen-Blog regelmäßig. Die Projektfamilie wächst dank einer französischen Bibliographie. Das Jahresverzeichnis der deutschen Hochschulschriften wurde zum 15. August 1885 vom preußischen Bildungsministerium ins Leben gerufen. Ein Auslöser dafür war, dass die französische […]https://www.compgen.de/2026/03/des-projekt-hochschulschriften-unterstuetzung-aus-frankreich/
-
DES-Projekt Hochschulschriften: Unterstützung aus Frankreich
Über das seit Dezember 2021 laufende DES-Projekt „Hochschulschriften“ des Vereins für Computergenealogie in Zusammenarbeit mit dem Max-Planck-Institut für Innovation und Wettbewerb in München berichtet der CompGen-Blog regelmäßig. Die Projektfamilie wächst dank einer französischen Bibliographie. Das Jahresverzeichnis der deutschen Hochschulschriften wurde zum 15. August 1885 vom preußischen Bildungsministerium ins Leben gerufen. Ein Auslöser dafür war, dass die französische […]https://www.compgen.de/2026/03/des-projekt-hochschulschriften-unterstuetzung-aus-frankreich/
-
DES-Projekt Hochschulschriften: Unterstützung aus Frankreich
Über das seit Dezember 2021 laufende DES-Projekt „Hochschulschriften“ des Vereins für Computergenealogie in Zusammenarbeit mit dem Max-Planck-Institut für Innovation und Wettbewerb in München berichtet der CompGen-Blog regelmäßig. Die Projektfamilie wächst dank einer französischen Bibliographie. Das Jahresverzeichnis der deutschen Hochschulschriften wurde zum 15. August 1885 vom preußischen Bildungsministerium ins Leben gerufen. Ein Auslöser dafür war, dass die französische […]https://www.compgen.de/2026/03/des-projekt-hochschulschriften-unterstuetzung-aus-frankreich/
-
I updated the slides for my talk "Run LLMs Locally":
Now including remote code execution with Skills, ascii smuggling and extended embeddings slide.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#llm #llamacpp #ollama #stablediffusion #gptoss #qwen3 #glm #opencode #localai #security
-
I updated the slides for my talk "Run LLMs Locally":
Now including OCR, Qwen3-Coder, GLM-Flash and more links on the resources slide.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#llm #llamacpp #ollama #stablediffusion #gptoss #qwen3 #glm #opencode #php #digitalsovereignty #localai
-
I updated the slides for my talk "Run LLMs Locally":
Now including requirements, costs, setup, llama.cpp, stable-diffusion.cpp, embeddings, function calling, opencode, image recognition, speech recognition, image generation, prompt injection and popular models like GPT-OSS, Qwen3, Qwen3-vl, Z-Image and Whisper.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#llm #llamacpp #stablediffusion #gptoss #qwen3 #opencode #php #digitalsovereignty #localai
-
DES-Projekt Hochschulschriften: XXX. Jahrgang in der Erfassung mit noch mehr KI-Unterstützung
Über das seit Dezember 2021 laufende DES-Projekt „Hochschulschriften“ des Vereins für Computergenealogie in Zusammenarbeit mit dem Max-Planck-Institut für Innovation und Wettbewerb in München berichtet der CompGen-Blog regelmäßig. Mit dem neuen Jahrgang für 1914 wurde die Vorbereitung der Einträge mit Hilfe von Großen Sprachmodellen weiter verbessert. Seit der letzten Meldung wurden die Jahrgänge 1912 und 1913 abgeschlossen. Die Datenbank umfasst nun knapp 84.000 vollständig […] -
DES-Projekt Hochschulschriften: XXX. Jahrgang in der Erfassung mit noch mehr KI-Unterstützung
Über das seit Dezember 2021 laufende DES-Projekt „Hochschulschriften“ des Vereins für Computergenealogie in Zusammenarbeit mit dem Max-Planck-Institut für Innovation und Wettbewerb in München berichtet der CompGen-Blog regelmäßig. Mit dem neuen Jahrgang für 1914 wurde die Vorbereitung der Einträge mit Hilfe von Großen Sprachmodellen weiter verbessert. Seit der letzten Meldung wurden die Jahrgänge 1912 und 1913 abgeschlossen. Die Datenbank umfasst nun knapp 84.000 vollständig […] -
DES-Projekt Hochschulschriften: XXX. Jahrgang in der Erfassung mit noch mehr KI-Unterstützung
Über das seit Dezember 2021 laufende DES-Projekt „Hochschulschriften“ des Vereins für Computergenealogie in Zusammenarbeit mit dem Max-Planck-Institut für Innovation und Wettbewerb in München berichtet der CompGen-Blog regelmäßig. Mit dem neuen Jahrgang für 1914 wurde die Vorbereitung der Einträge mit Hilfe von Großen Sprachmodellen weiter verbessert. Seit der letzten Meldung wurden die Jahrgänge 1912 und 1913 abgeschlossen. Die Datenbank umfasst nun knapp 84.000 vollständig […] -
RepE — как активационная инъекция влияет на энтропию, деградацию и качество ответов LLM?
Современные большие языковые модели достигли впечатляющих результатов в генерации текста, однако они до сих пор остаются жуткой стохастикой. На мой взгляд проблема текущего ИИ заключается не в синтетических обучающих данных или архитектурных ограничениях, а в отсутствии внутренней верификации . Для LLM галлюцинация и факт онтологически равноценны: и то, и другое — лишь вероятностная последовательность токенов, максимизирующая правдоподобие. Стандартные методы донастройки, такие как RLHF, часто еще сильнее ухудшают ситуацию: они учат модель казаться правильной и вежливой, создавая маску дружелюбного ассистента, но не меняют глубинные механизмы принятия решений. В результате мы получаем модели, которые полноценно врут даже там, где их знаний возможно хватило бы для правильного ответа на вопрос. Данная работа посвящена изучению методов Representation Engineering (RepE) — подхода, который позволяет проникать в активационные слои нейросетей и слегка усиливать отдельные вектора. В отличии от классического промпт инженеринга мы не задаем роль, а правим внутреннюю генерацию ответа, можно сказать точечно правим "веса" хоть это в действительности и не так. Цель - проверка того, может ли выделение и активация специфических семантических векторов служить функциональным регулятором генерации - и как в целом это выделение влияет на модель. Возможно ли таким методом снизить энтропию или получить сравнительно лучшие ответы от модели.
https://habr.com/ru/articles/981520/
#ai #ml #repe #активации #gemma #gptoss #Owen #вектор #скрытый_слой #искусственный_интеллект
-
RepE — как активационная инъекция влияет на энтропию, деградацию и качество ответов LLM?
Современные большие языковые модели достигли впечатляющих результатов в генерации текста, однако они до сих пор остаются жуткой стохастикой. На мой взгляд проблема текущего ИИ заключается не в синтетических обучающих данных или архитектурных ограничениях, а в отсутствии внутренней верификации . Для LLM галлюцинация и факт онтологически равноценны: и то, и другое — лишь вероятностная последовательность токенов, максимизирующая правдоподобие. Стандартные методы донастройки, такие как RLHF, часто еще сильнее ухудшают ситуацию: они учат модель казаться правильной и вежливой, создавая маску дружелюбного ассистента, но не меняют глубинные механизмы принятия решений. В результате мы получаем модели, которые полноценно врут даже там, где их знаний возможно хватило бы для правильного ответа на вопрос. Данная работа посвящена изучению методов Representation Engineering (RepE) — подхода, который позволяет проникать в активационные слои нейросетей и слегка усиливать отдельные вектора. В отличии от классического промпт инженеринга мы не задаем роль, а правим внутреннюю генерацию ответа, можно сказать точечно правим "веса" хоть это в действительности и не так. Цель - проверка того, может ли выделение и активация специфических семантических векторов служить функциональным регулятором генерации - и как в целом это выделение влияет на модель. Возможно ли таким методом снизить энтропию или получить сравнительно лучшие ответы от модели.
https://habr.com/ru/articles/981520/
#ai #ml #repe #активации #gemma #gptoss #Owen #вектор #скрытый_слой #искусственный_интеллект
-
RepE — как активационная инъекция влияет на энтропию, деградацию и качество ответов LLM?
Современные большие языковые модели достигли впечатляющих результатов в генерации текста, однако они до сих пор остаются жуткой стохастикой. На мой взгляд проблема текущего ИИ заключается не в синтетических обучающих данных или архитектурных ограничениях, а в отсутствии внутренней верификации . Для LLM галлюцинация и факт онтологически равноценны: и то, и другое — лишь вероятностная последовательность токенов, максимизирующая правдоподобие. Стандартные методы донастройки, такие как RLHF, часто еще сильнее ухудшают ситуацию: они учат модель казаться правильной и вежливой, создавая маску дружелюбного ассистента, но не меняют глубинные механизмы принятия решений. В результате мы получаем модели, которые полноценно врут даже там, где их знаний возможно хватило бы для правильного ответа на вопрос. Данная работа посвящена изучению методов Representation Engineering (RepE) — подхода, который позволяет проникать в активационные слои нейросетей и слегка усиливать отдельные вектора. В отличии от классического промпт инженеринга мы не задаем роль, а правим внутреннюю генерацию ответа, можно сказать точечно правим "веса" хоть это в действительности и не так. Цель - проверка того, может ли выделение и активация специфических семантических векторов служить функциональным регулятором генерации - и как в целом это выделение влияет на модель. Возможно ли таким методом снизить энтропию или получить сравнительно лучшие ответы от модели.
https://habr.com/ru/articles/981520/
#ai #ml #repe #активации #gemma #gptoss #Owen #вектор #скрытый_слой #искусственный_интеллект
-
RepE — как активационная инъекция влияет на энтропию, деградацию и качество ответов LLM?
Современные большие языковые модели достигли впечатляющих результатов в генерации текста, однако они до сих пор остаются жуткой стохастикой. На мой взгляд проблема текущего ИИ заключается не в синтетических обучающих данных или архитектурных ограничениях, а в отсутствии внутренней верификации . Для LLM галлюцинация и факт онтологически равноценны: и то, и другое — лишь вероятностная последовательность токенов, максимизирующая правдоподобие. Стандартные методы донастройки, такие как RLHF, часто еще сильнее ухудшают ситуацию: они учат модель казаться правильной и вежливой, создавая маску дружелюбного ассистента, но не меняют глубинные механизмы принятия решений. В результате мы получаем модели, которые полноценно врут даже там, где их знаний возможно хватило бы для правильного ответа на вопрос. Данная работа посвящена изучению методов Representation Engineering (RepE) — подхода, который позволяет проникать в активационные слои нейросетей и слегка усиливать отдельные вектора. В отличии от классического промпт инженеринга мы не задаем роль, а правим внутреннюю генерацию ответа, можно сказать точечно правим "веса" хоть это в действительности и не так. Цель - проверка того, может ли выделение и активация специфических семантических векторов служить функциональным регулятором генерации - и как в целом это выделение влияет на модель. Возможно ли таким методом снизить энтропию или получить сравнительно лучшие ответы от модели.
https://habr.com/ru/articles/981520/
#ai #ml #repe #активации #gemma #gptoss #Owen #вектор #скрытый_слой #искусственный_интеллект