#grokking — Public Fediverse posts

Как я поймал Трансформер на читерстве: гроккинг, математика и Mechanistic Interpretability

Феномен Grokking и Mechanistic Interpretability — главные тренды в исследованиях лабораторий уровня OpenAI и Anthropic. Я решил потрогать эти концепции своими руками на уровне тензоров. Цель казалась тривиальной: заставить кастомный микро-Трансформер (всего 1М параметров) выучить базовую арифметику с нуля. Однако вместо математического гения я получил ленивого мошенника. Эта статья — инженерный детектив о том, как нейросети пытаются нас обмануть (Specification Gaming), и как вскрытие Attention-матриц помогает поймать их за руку. Вскрыть Трансформер

https://habr.com/ru/articles/1008656/

#machine_learning #transformers #grokking #mechanistic_interpretability #pytorch #specification_gaming #ai_alignment

Scammers Exploit Grok AI With Video Ad Scam to Push Malware on X – Source:hackread.com https://ciso2ciso.com/scammers-exploit-grok-ai-with-video-ad-scam-to-push-malware-on-x-sourcehackread-com/ #1CyberSecurityNewsPost #artificialintelligence #CyberSecurityNews #cybersecurity #Vulnerability #Infostealer #SocialMedia #ElonMusk #Grokking #Hackread #security #malware #twitter #Fraud #Grok #Scam #xAI #X

e509 — Maverick and Marbles

e509 with Michael and Michael - stories and discussion all around #AI, #LLMs, #llamas, generated #Quake, #grokking, #generalization and much more.

https://gamesatwork.biz/2025/04/14/e509-maverick-and-marbles/

e509 — Maverick and Marbles

e509 with Michael and Michael - stories and discussion all around #AI, #LLMs, #llamas, generated #Quake, #grokking, #generalization and much more.

https://gamesatwork.biz/2025/04/14/e509-maverick-and-marbles/

At long last, the blog post I've been working on for what seems like forever is finished!

https://cprimozic.net/blog/growing-sparse-computational-graphs-with-rnns/

It's packed with lots of really cool stuff: ML #interpretability, #grokking, #tinygrad, #graphviz, and more