#transformer — Public Fediverse posts

RT @HowToPrompt__: Chinesische Forscher haben es erneut geschafft! Moonshot AI hat das größte Transformer-Upgrade seit 2015 als Open-Source veröffentlicht. Seit über einem Jahrzehnt verarbeiteten alle Transformer Daten Schicht für Schicht, indem sie blind neue Ausgaben auf alte Ausgaben stapelten. Es gab kein Filtern oder Urteilen. Es war einfach ein massiver Datenstapel, bei dem frühe, grundlegende Konzepte von den lauteren Schichten oben vollständig übertönt wurden. Ingenieure nennen dies PreNorm-Dilution (Verwässerung). In der Praxis bedeutet dies, dass Ihre KI ihre eigene beste Arbeit langsam vergisst, je tiefer sie wird. Also tötete Moonshot AI den festen Stapel. Sie bauten Attention Residuals (Aufmerksamkeits-Residuen). Statt blind alles zu akkumulieren, verwendet jede Schicht nun Softmax-Aufmerksamkeit über die Tiefe. Sie schaut aktiv zurück, bewertet jede vorangehende Schicht und zieht selektiv nur die Daten, die sie tatsächlich benötigt. Das Netzwerk lernte, wie man auswählt, was man sich merken soll. Und die Ergebnisse sind schrecklich effizient: • Sie erreicht die Leistung von Modellen, die mit 25 % mehr Rechenleistung trainiert wurden. • Massive Sprünge in Mathematik (+3,6 auf MATH), Schlussfolgerung (+7,5 auf GPQA) und Programmierung (+3,1 auf HumanEval). • Weniger als 2 % zusätzliche Latenz bei der Inferenz. Sie skalieren es sogar in ein reales Modell mit 48 Milliarden Parametern (Kimi Linear), das auf 1,4 Billionen Token vortrainiert wurde, und beweisen damit, dass es im Unternehmensmaßstab funktioniert. Der Transformer von 2017 ersetzte Rekurrenz durch Aufmerksamkeit über Wört…

mehr auf Arint.info

#DeepLearning #KünstlicheIntelligenz #MachineLearning #MoonshotAI #OpenSource #Transformer #arint_info

https://x.com/HowToPrompt__/status/2087106178451190074#m

RT @HowToPrompt__: Chinesische Forscher haben es erneut geschafft! Moonshot AI hat das größte Transformer-Upgrade seit 2015 open-sourced. Seit über einem Jahrzehnt verarbeiteten alle Transformer Daten schichtweise, indem sie blind neue Ausgaben auf alte Ausgaben stapelten. Es gab kein Filtern und Urteilen. Es war nur ein massiver Stapel von Daten, bei dem frühe, grundlegende Konzepte von den lauteren Schichten oben vollständig übertönt wurden. Ingenieure nennen dies PreNorm-Dilution. In der Praxis bedeutet dies, dass Ihre KI ihre eigene beste Arbeit langsam vergisst, je tiefer sie wird. Also hat Moonshot AI den festen Stapel abgeschafft. Sie bauten Attention Residuals. Anstatt blind alles zu akkumulieren, nutzt jede Schicht nun Softmax-Aufmerksamkeit über die Tiefe. Sie schaut aktiv zurück, bewertet jede vorangehende Schicht und zieht selektiv nur die Daten, die sie tatsächlich benötigt. Das Netzwerk lernte, wie man auswählt, was man sich merken soll. Und die Ergebnisse sind erschreckend effizient: • Es entspricht der Leistung von Modellen, die mit 25 % mehr Rechenleistung trainiert wurden. • Massive Sprünge in Mathematik (+3,6 auf MATH), Schlussfolgerung (+7,5 auf GPQA) und Programmierung (+3,1 auf HumanEval). • Weniger als 2 % Inference-Latenz-Overhead. Sie haben es sogar in ein reales 48-Milliarden-Parameter-Modell (Kimi Linear) hochskaliert, das auf 1,4 Billionen Token vortrainiert wurde, und bewiesen, dass es im Unternehmensmaßstab funktioniert. Der Transformer von 2017 ersetzte Rekurrenz durch Aufmerksamkeit über Wörter hinweg. Dieses Papier tat genau dasselbe über Schichten der Tiefe h…

mehr auf Arint.info

#AIResearch #AttentionResiduals #DeepLearning #KimiLinear #MoonshotAI #Transformer #arint_info

https://x.com/HowToPrompt__/status/2087106178451190074#m

Топ вопросов с NLP собеседований: архитектуры LLM, инференс и оптимизация

На NLP/LLM собеседованиях все чаще проверяют не только знание трансформеров, но и понимание того, как устроены современные GPT-like модели: почему большинство генеративных LLM используют decoder-only архитектуру, чем LLaMA отличается от ванильного Transformer, зачем нужны RoPE, RMSNorm, SwiGLU и GQA. Почему инференс LLM дорогой и какие оптимизации помогают его ускорять: fused kernels, FlashAttention, KV-cache и PagedAttention, continuous batching, speculative decoding, квантизация и дистилляция. Много схем и картинок, а также полный список вопросов с собесов в конце.

https://habr.com/ru/articles/1068944/

#LLM #архитектура_LLM #инференс_LLM #ускорение_LLM #оптимизация_LLM #Transformer #FlashAttention #KVcache #квантизация_LLM #Mixture_of_Experts

Doing transformer research recently reminded me how simple the concept of attention is. The transformer really just allowed us to scale the fuck out of compute and data (something previous seq2seq architectures failed at).

I think Dario was right, we were probably on track to create LLMs from the moment we invented the transistor, or "arguably even earlier when we first learned to control fire."

#Transformer #AIResearch

Doing transformer research recently reminded me how simple the concept of attention is. The transformer really just allowed us to scale the fuck out of compute and data (something previous seq2seq architectures failed at).

I think Dario was right, we were probably on track to create LLMs from the moment we invented the transistor, or "arguably even earlier when we first learned to control fire."

#Transformer #AIResearch

Finished my #Lego #Transformer #Soundwave I got for my birthday. Put my original G1 Soundwave next to it for scale.

it's totally normal to update your website to add a page for a #transformer from a few years ago at 1am right? well i just did that for legacy burn out on my #neocities lol

https://princess-viola.neocities.org/toyphotos/transformers/legacy-burn-out/

Memorization vs Generalization: что действительно умеет языковая модель (TLM) на 2 160 параметров (v1.1.0)

Продолжая тему Крошечной Языковой Модели на Nodejs мы поймем где проходит граница ее возможностей. На примере Крошечной Языковой Модели (TLM) из 2 160 параметров мы проведём воспроизводимый эксперимент и увидим в цифрах: знакомый шаблон - 99,93%, перестановка токенов - 81,69%, неизвестная структура -?%.

https://habr.com/ru/articles/1065160/

#machinelearning #machine_learning #backpropagation #selfattention #autograd #nodejs #javascript #sft #нейронная_сеть #transformer

Elixir と Livebook で学ぶ LLM / Transformer 入門 〜 トークン化からミニGPTの自作学習まで
https://qiita.com/RyoWakabayashi/items/ca95db1982c78e40a907?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #Elixir #Transformer #nx #Livebook #LLM

People that still believe, in light of Fable- and Sol-class models, that we're not on the cusp of recursive self improvement, what would change your mind?

- Google's models already improving scheduling
- OpenAI using Sol to improve own inference stack and gain 20% lower serving costs and 15% token generation efficiency

#AI #Transformer #GPU #Inference

People that still believe, in light of Fable- and Sol-class models, that we're not on the cusp of recursive self improvement, what would change your mind?

- Google's models already improving scheduling
- OpenAI using Sol to improve own inference stack and gain 20% lower serving costs and 15% token generation efficiency

#AI #Transformer #GPU #Inference

Transformer Transformer: A Unified Model for Motion-Conditioned Robot Co-Design

https://transformer-transformer.github.io/

Comments: https://news.ycombinator.com/item?id=49093232

#HackerNews #Transformer #Robot #CoDesign #Motion #AI #Robotics

Transformer Transformer: A Unified Model for Motion-Conditioned Robot Co-Design

https://transformer-transformer.github.io/

Comments: https://news.ycombinator.com/item?id=49093232

#HackerNews #Transformer #Robot #CoDesign #Motion #AI #Robotics

Bathroom exhaust fan in zone 1

https://blog.rozman.info/bathroom-exhaust-fan-in-zone-1/

[Перевод] Языковая Модель без магии: Крошечная Language Model на чистом Node.js

Мы создаем крошечную языковую модель с нуля на чистом Node.js без использования TensorFlow или PyTorch, реализуя нейроны, автоград, эмбеддинги, механизм самовнимания (self-attention), полносвязную сеть (FFN), обратное распространение ошибки и SFT, одновременно наблюдая за тем, как отдельные веса и целые матрицы изменяются в процессе обучения Это не новая GPT и не прод ML...

https://habr.com/ru/articles/1063406/

#machinelearning #machine_learning #backpropagation #selfattention #autograd #nodejs #javascript #sft #нейронная_сеть #transformer

"Attention Is All You Need" is a 2017 research paper in #machineLearning authored by eight scientists and engineers working at #Google. The paper introduced a new #deepLearning architecture known as the #transformer, based on the #attentionMechanism proposed in 2014 by Bahdanau et al. The transformer approach it describes has become the main architecture of a wide variety of artificial intelligence systems, including #largeLanguageModels. At the time.
https://www.youtube.com/watch?v=JR8d4PExrXI

"Attention Is All You Need" is a 2017 research paper in #machineLearning authored by eight scientists and engineers working at #Google. The paper introduced a new #deepLearning architecture known as the #transformer, based on the #attentionMechanism proposed in 2014 by Bahdanau et al. The transformer approach it describes has become the main architecture of a wide variety of artificial intelligence systems, including #largeLanguageModels. At the time.
https://www.youtube.com/watch?v=JR8d4PExrXI

9 turns of Ethernet pair on a ø2cm plastic bobbin makes a very inefficient but working #transformer .
Signal is distinguishable up to 2MHz, and max voltage is 0.3V. Even though the signal generator outputs 3V without load, it seems to choke on the inductivity and gives only 0.3 at output.

I think this might be good for transferring data. But how to receive it?

#electronics

9 turns of Ethernet pair on a ø2cm plastic bobbin makes a very inefficient but working #transformer .
Signal is distinguishable up to 2MHz, and max voltage is 0.3V. Even though the signal generator outputs 3V without load, it seems to choke on the inductivity and gives only 0.3 at output.

I think this might be good for transferring data. But how to receive it?

#electronics

Lou Reed « Transformer »

#nowplaying #PlayVinyls #loureed #transformer

Lou Reed « Transformer »

#nowplaying #PlayVinyls #loureed #transformer

Is One Layer Enough? A Single Transformer Layer Matches Full-Parameter RL Train

https://arxiv.org/abs/2607.01232

#HackerNews #transformer #machinelearning #reinforcementlearning #AIresearch #neuralnetworks

Is One Layer Enough? A Single Transformer Layer Matches Full-Parameter RL Train

https://arxiv.org/abs/2607.01232

#HackerNews #transformer #machinelearning #reinforcementlearning #AIresearch #neuralnetworks

LE NOM (Kurt Marti)

https://arbrealettres.wordpress.com/2026/06/22/le-nom-kurt-marti/

Die Vier von der Tankstelle
#Transformer
#Schwurbel