#grokking — Public Fediverse posts

П維чему нейро考ети дел思ют так

Если вы хоть раз тестировали локальную модель (да и нелокальную тоже) и замечали, как она посреди нормального текста вдруг выдает иероглиф, то заголовок статьи вам не покажется странным. И к концу будет ясно, что именно происходит когда ИИ-шка вам подсовывает иероглифы. Статью я решил поделить на два уровня. Первая часть (без которой сложно понять вторую) — для тех, кто слышал слово «эмбеддинг», но не трогал его руками: разберем на пальцах и со стрелочками, что модель держит внутри своего цифрового серого вещества, в общем объясню простые вещи простыми словами. Вторая часть — для тех, кому интересно копнуть чуть дальше базы: туда я поместил grokking, фурье-частоты и суперпозицию, и там мы вытащим реальное пространство обученной модели и посмотрим, как оно устроено.

https://habr.com/ru/companies/selectel/articles/1044854/

#нейросети #машинное_обучение #эмбеддинги #grokking #гроккинг #llm #векторное_пространство #mechanistic_interpretability #токены #selectel

П維чему нейро考ети дел思ют так

Если вы хоть раз тестировали локальную модель (да и нелокальную тоже) и замечали, как она посреди нормального текста вдруг выдает иероглиф, то заголовок статьи вам не покажется странным. И к концу будет ясно, что именно происходит когда ИИ-шка вам подсовывает иероглифы. Статью я решил поделить на два уровня. Первая часть (без которой сложно понять вторую) — для тех, кто слышал слово «эмбеддинг», но не трогал его руками: разберем на пальцах и со стрелочками, что модель держит внутри своего цифрового серого вещества, в общем объясню простые вещи простыми словами. Вторая часть — для тех, кому интересно копнуть чуть дальше базы: туда я поместил grokking, фурье-частоты и суперпозицию, и там мы вытащим реальное пространство обученной модели и посмотрим, как оно устроено.

https://habr.com/ru/companies/selectel/articles/1044854/

#нейросети #машинное_обучение #эмбеддинги #grokking #гроккинг #llm #векторное_пространство #mechanistic_interpretability #токены #selectel

П維чему нейро考ети дел思ют так

Если вы хоть раз тестировали локальную модель (да и нелокальную тоже) и замечали, как она посреди нормального текста вдруг выдает иероглиф, то заголовок статьи вам не покажется странным. И к концу будет ясно, что именно происходит когда ИИ-шка вам подсовывает иероглифы. Статью я решил поделить на два уровня. Первая часть (без которой сложно понять вторую) — для тех, кто слышал слово «эмбеддинг», но не трогал его руками: разберем на пальцах и со стрелочками, что модель держит внутри своего цифрового серого вещества, в общем объясню простые вещи простыми словами. Вторая часть — для тех, кому интересно копнуть чуть дальше базы: туда я поместил grokking, фурье-частоты и суперпозицию, и там мы вытащим реальное пространство обученной модели и посмотрим, как оно устроено.

https://habr.com/ru/companies/selectel/articles/1044854/

#нейросети #машинное_обучение #эмбеддинги #grokking #гроккинг #llm #векторное_пространство #mechanistic_interpretability #токены #selectel

Provable Scaling Laws of Feature Emergence from Learning Dynamics of Grokking

https://arxiv.org/abs/2509.21519

#HackerNews #ProvableScalingLaws #FeatureEmergence #LearningDynamics #Grokking #AIResearch

Provable Scaling Laws of Feature Emergence from Learning Dynamics of Grokking

https://arxiv.org/abs/2509.21519

#HackerNews #ProvableScalingLaws #FeatureEmergence #LearningDynamics #Grokking #AIResearch

"Behold, the ultimate 120-page miracle cure for your terminal-phobia, offering salvation to those too enlightened to read the actual manual. 📚💸 Pay what you want, because apparently, 'Grokking' the command line shouldn't bankrupt you, unless you count the cost of overused #buzzwords. 🙄✨"
https://commandline.stribny.name/ #miraclecure #terminalphobia #paywhatyouwant #commandline #grokking #HackerNews #ngated

"Behold, the ultimate 120-page miracle cure for your terminal-phobia, offering salvation to those too enlightened to read the actual manual. 📚💸 Pay what you want, because apparently, 'Grokking' the command line shouldn't bankrupt you, unless you count the cost of overused #buzzwords. 🙄✨"
https://commandline.stribny.name/ #miraclecure #terminalphobia #paywhatyouwant #commandline #grokking #HackerNews #ngated