home.social

#grokking — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #grokking, aggregated by home.social.

  1. Как я поймал Трансформер на читерстве: гроккинг, математика и Mechanistic Interpretability

    Феномен Grokking и Mechanistic Interpretability — главные тренды в исследованиях лабораторий уровня OpenAI и Anthropic. Я решил потрогать эти концепции своими руками на уровне тензоров. Цель казалась тривиальной: заставить кастомный микро-Трансформер (всего 1М параметров) выучить базовую арифметику с нуля. Однако вместо математического гения я получил ленивого мошенника. Эта статья — инженерный детектив о том, как нейросети пытаются нас обмануть (Specification Gaming), и как вскрытие Attention-матриц помогает поймать их за руку. Вскрыть Трансформер

    habr.com/ru/articles/1008656/

    #machine_learning #transformers #grokking #mechanistic_interpretability #pytorch #specification_gaming #ai_alignment

  2. e509 — Maverick and Marbles

    e509 with Michael and Michael - stories and discussion all around #AI, #LLMs, #llamas, generated #Quake, #grokking, #generalization and much more.

    gamesatwork.biz/2025/04/14/e50

  3. e509 — Maverick and Marbles

    e509 with Michael and Michael - stories and discussion all around #AI, #LLMs, #llamas, generated #Quake, #grokking, #generalization and much more.

    gamesatwork.biz/2025/04/14/e50

  4. At long last, the blog post I've been working on for what seems like forever is finished!

    cprimozic.net/blog/growing-spa

    It's packed with lots of really cool stuff: ML #interpretability, #grokking, #tinygrad, #graphviz, and more