home.social

#gemma — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #gemma, aggregated by home.social.

  1. How to Replace Siri with a Free Local Model

    Explain the difference between local AI and cloud AI in simple terms

    #LocalAI is processed on your device, keeping all data private.
    #CloudAI is processed on a server and requires internet access.

    app.therundown.ai/guides/how-t

    #LocallyAI #gemma #gemma4 #llm #ai

  2. Как Gemma и LangGraph написали законопроект победившего биопанка

    Для специального бенчмарка мне потребовался нормативно-правовой документ с научной терминологией, перекрестными ссылками и набором сложных для векторизации имён. По традиции для подобных задач я использую тексты в жанре Киберпанк. Сразу вспомнил о «Манифесте Киберпанка» (слишком коротком для моей задачи) и Предложении 653 из «Видоизмененного углерода», у которого в реальности вообще нет текста. Делать подобный текст руками долго и довольно странно. В итоге решил совместить, опробовать агентную архитектуру для подготовки корпоративной «нетленки» и проверить, на что способна локальная модель в плане юридических и околонаучных текстов.

    habr.com/ru/articles/1030684/

    #text_generation #ollama #gemma #киберпанк #будущее #langgraph #agentic_ai #legal_ai

  3. Ich glaube, ich habe mit Gemma-4-26b-a4b das ideale Modell für den #MacMini gefunden. Bester Kompromiss aus Geschwindigkeit und Reife. Falls jemand einen noch besseren Vorschlag hat, gerne her damit.

    #lokalLLM #llm #lmstudio #ki #gemma

  4. Франкенштейн на 30 ГБ RAM: Как мы пересадили мозг Gemma в скелет DeepSeek и сломали Transformers

    Операционная «Ghetto MLOps»: пересадка 31B-мозга Gemma в MoE-экзоскелет DeepSeek. Без наркоза и дообучения.

    habr.com/ru/articles/1028910/

    #llm #deepseek #gemma #transformers #huggingface #pytorch #monkey_patching #moe #kaggle #ghetto_mlops

  5. Франкенштейн на 30 ГБ RAM: Как мы пересадили мозг Gemma в скелет DeepSeek и сломали Transformers

    Операционная «Ghetto MLOps»: пересадка 31B-мозга Gemma в MoE-экзоскелет DeepSeek. Без наркоза и дообучения.

    habr.com/ru/articles/1028910/

    #llm #deepseek #gemma #transformers #huggingface #pytorch #monkey_patching #moe #kaggle #ghetto_mlops

  6. Франкенштейн на 30 ГБ RAM: Как мы пересадили мозг Gemma в скелет DeepSeek и сломали Transformers

    Операционная «Ghetto MLOps»: пересадка 31B-мозга Gemma в MoE-экзоскелет DeepSeek. Без наркоза и дообучения.

    habr.com/ru/articles/1028910/

    #llm #deepseek #gemma #transformers #huggingface #pytorch #monkey_patching #moe #kaggle #ghetto_mlops

  7. Франкенштейн на 30 ГБ RAM: Как мы пересадили мозг Gemma в скелет DeepSeek и сломали Transformers

    Операционная «Ghetto MLOps»: пересадка 31B-мозга Gemma в MoE-экзоскелет DeepSeek. Без наркоза и дообучения.

    habr.com/ru/articles/1028910/

    #llm #deepseek #gemma #transformers #huggingface #pytorch #monkey_patching #moe #kaggle #ghetto_mlops

  8. Франкенштейн на 30 ГБ RAM: Как мы пересадили мозг Gemma в скелет DeepSeek и сломали Transformers Операционная «Ghetto MLOps»: пер...

    #llm #deepseek #gemma #transformers #huggingface #pytorch #monkey #patching #moe #kaggle #ghetto

    Origin | Interest | Match
  9. Выжать больше из локальных LLM. Ollama медленнее llama.cpp в 3 раза. UD_Q4_K_XL лучше чем Q4_K_M, а вес тот же и т.д

    Самый просто способ запустить локальную LLM - это установить ollama или LM Studio. Это быстро и просто, но вы теряете и в скорости, и в качестве. Почему UD_Q4_K_XL лучше при том же размере, почему квант Q3 может быть медленнее чем Q4. Хорошая ли идея взять REAP для вырезания ненужных экспертов из MoE. Кто быстрее, Linux или Windows. В общем как выжать больше из локальных LLM на домашнем железе.

    habr.com/ru/articles/1025132/

    #ik_llama #llamacpp #qwen36 #qwen #локальные_нейросети #cmoe #llm #агенты #gemma4 #gemma

  10. We were looking for a local tokenizer for counting the number of input tokens before calling the gemini-embedding-001 endpoint on vertex AI. Turns out this Gemma tokenizer returns exactly the same number of tokens as the usage in the embeddings result `embedding.statistics.token_count` of the Gemini embeddings endpoint. Tested on 2000 datapoints. 😁

    github.com/google/gemma_pytorc

  11. 🚀 Android Studio + Gemma 4 = local AI coding power

    🔒 Private (runs on-device)
    ⚡ No API / no internet needed
    🤖 Build, refactor & fix apps with Agent Mode

    From idea → working app faster than ever 👀

    🔗 android-developers.googleblog.

    #AndroidDev #AI #AndroidStudio #Kotlin #Gemma

  12. RepE — как активационная инъекция влияет на энтропию, деградацию и качество ответов LLM?

    Современные большие языковые модели достигли впечатляющих результатов в генерации текста, однако они до сих пор остаются жуткой стохастикой. На мой взгляд проблема текущего ИИ заключается не в синтетических обучающих данных или архитектурных ограничениях, а в отсутствии внутренней верификации . Для LLM галлюцинация и факт онтологически равноценны: и то, и другое — лишь вероятностная последовательность токенов, максимизирующая правдоподобие. Стандартные методы донастройки, такие как RLHF, часто еще сильнее ухудшают ситуацию: они учат модель казаться правильной и вежливой, создавая маску дружелюбного ассистента, но не меняют глубинные механизмы принятия решений. В результате мы получаем модели, которые полноценно врут даже там, где их знаний возможно хватило бы для правильного ответа на вопрос. Данная работа посвящена изучению методов Representation Engineering (RepE) — подхода, который позволяет проникать в активационные слои нейросетей и слегка усиливать отдельные вектора. В отличии от классического промпт инженеринга мы не задаем роль, а правим внутреннюю генерацию ответа, можно сказать точечно правим "веса" хоть это в действительности и не так. Цель - проверка того, может ли выделение и активация специфических семантических векторов служить функциональным регулятором генерации - и как в целом это выделение влияет на модель. Возможно ли таким методом снизить энтропию или получить сравнительно лучшие ответы от модели.

    habr.com/ru/articles/981520/

    #ai #ml #repe #активации #gemma #gptoss #Owen #вектор #скрытый_слой #искусственный_интеллект

  13. #Google removed the #Gemma #AImodel from AI Studio after Senator #MarshaBlackburn accused it of fabricating #falseaccusations of #sexualmisconduct against her. Blackburn argued that these fabrications constituted #defamation, not harmless hallucinations. Google stated that Gemma was never intended for consumer use and will remain available via API. techcrunch.com/2025/11/02/goog #tech #media #news

  14. Small language models are becoming increasingly practical in AI, offering efficiency and strong performance. This article explores seven leading models like Google's Gemma, Qwen and Phi-4, highlighting their strengths in areas such as reasoning, multilingual capabilities and accessibility. These models are reshaping AI by enabling on-device intelligence and versatile applications. #SmallLanguageModels #AI #MachineLearning #NLP #Gemma #Qwen #Phi4 kdnuggets.com/top-7-small-lang

  15. ♊️ #gemini and #gemma text tokenization in #Java ☕️

    Thanks to the #DJL library, and its support for the SentencePiece tokenizer implementation from Google.

    glaforge.dev/posts/2024/10/04/

  16. Altra #gemma #stupenda del primo album degli #yes: un concerto dal vivo del #1969 dove eseguono #everylittlethings ovvero una cover dei #beatles (e pure #Somethingscoming presa dal musical #westsidestory).

    Si potrebbero dire tantissime cose riguardo a questo video ma, come direbbe #PierreDeFermat, "Ho una meravigliosa dimostrazione di questo teorema, che non entra nel margine stretto della pagina" 😉

    #JonAnderson #PeterBanks #ChrisSquire #TonyKaye #BillBruford

    i.devol.it/watch?v=TapORXaQs5E