home.social

#machine-learning — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #machine-learning, aggregated by home.social.

fetched live
  1. #introduction — I spent the last year measuring something oddly regular: in trained transformers, attention weight decays with token distance as a clean power law, \(A(d)\propto d^{-\gamma}\), with \(R^2>0.95\) across 40+ open models.

    The fun part: \(\gamma\) behaves like a state variable. There's a closed-form baseline from RoPE geometry + maximum entropy, \(\gamma \approx \frac{2\theta - T\sqrt{2}}{2\theta + T\sqrt{2}}\), a phase boundary at \(\gamma=1\) (the partition function \(\sum_d d^{-\gamma}\) diverges — ~36% of public LLMs sit near it), and practical corollaries for long context and KV-cache compression.

    The honest part: I keep a public registry of my own refuted claims — several beautiful hypotheses died on pre-registered tests, and those documents are the ones I'm proudest of.

    Everything is open: a bilingual interactive field guide on how transformers attend, a browser-only diagnostics tool (zero install, four languages), papers on Zenodo, code on GitHub. Links in profile. Happy to talk attention, statistical mechanics of nets, or why your 128K-context model can't actually use 128K.

    #math #MachineLearning #transformers #OpenScience

  2. Microsoft announces a family of seven in-house models across image, voice, and more. Direct from the source, not a recap channel. The stuff my feed keeps before it trends.

    #Threadverse #AI #MachineLearning #LLM #Tech

  3. Microsoft announces a family of seven in-house models across image, voice, and more. Direct from the source, not a recap channel. The stuff my feed keeps before it trends.

    #Threadverse #AI #MachineLearning #LLM #Tech

  4. 🧵 … heute also erster Live-Einsatz von #DeFeedback von #Alphalabs, bei einem Tauergottesdienst in der #Klosterkirche #Bebenhausen. Das Tool rechnet mittels #MachineLearning, großspurig #KI genannt, Rückkopplungen und Raumhall live aus Tonsignalen raus.

    6 Lautsprecher drinne, 1 draußen. Nur 2 Mics, die aber weit weg vom Mund. Rednerpult-Situation eben.

    Zunächst zeigte sich dann, dass in der Einstellung 100% das getrocknete Signal sich ziemlich "speech procesed" vernudelt anhörte. Die Wunderwaffe, als die das 499$ schwere Software-Tool gepriesen wird, ist es nicht. Empfindsame Mics einpfeifen ist weiterhin Pflicht. Und vor allem das richtige Mic nehmen, da hatte ich beim Soundcheck eines erstmal gewechselt… das bringt weit weit mehr als #AI Defeedback.

    Am Ende brachte es dann aber doch viel: Nämlich dass ich die Regler ohne Nervenkitzel auch in sonst gefährlich hohe Stellungen schubsen konnte – auch in der Einstellung 70%, wo es deutlich natürlicher tönte.

    #Tontechnik #Veranstaltungstechnik #EventTech

  5. 🧵 … heute also erster Live-Einsatz von #DeFeedback von #Alphalabs, bei einem Tauergottesdienst in der #Klosterkirche #Bebenhausen. Das Tool rechnet mittels #MachineLearning, großspurig #KI genannt, Rückkopplungen und Raumhall live aus Tonsignalen raus.

    6 Lautsprecher drinne, 1 draußen. Nur 2 Mics, die aber weit weg vom Mund. Rednerpult-Situation eben.

    Zunächst zeigte sich dann, dass in der Einstellung 100% das getrocknete Signal sich ziemlich "speech procesed" vernudelt anhörte. Die Wunderwaffe, als die das 499$ schwere Software-Tool gepriesen wird, ist es nicht. Empfindsame Mics einpfeifen ist weiterhin Pflicht. Und vor allem das richtige Mic nehmen, da hatte ich beim Soundcheck eines erstmal gewechselt… das bringt weit weit mehr als #AI Defeedback.

    Am Ende brachte es dann aber doch viel: Nämlich dass ich die Regler ohne Nervenkitzel auch in sonst gefährlich hohe Stellungen schubsen konnte – auch in der Einstellung 70%, wo es deutlich natürlicher tönte.

    #Tontechnik #Veranstaltungstechnik #EventTech