RT @rohanpaul_ai: Dies ist eine wirklich wilde Idee. Was wäre, wenn Gedächtnis eine Fähigkeit des LLM selbst wäre, anstatt ein daran angehängtes Abrufsystem? Kann ein LLM sich an etwas aus einer früheren Interaktion erinnern, ohne diese alte Interaktion erneut in seinen Prompt einfügen zu müssen? Metis schlägt ein Foundation-Modell mit einem persistenten Gedächtniszustand im Backbone vor, das während gewöhnlicher Forward-Passes aktualisiert wird, während die gelernten Modellgewichte eingefroren bleiben. Anstatt Erinnerungen als Text zu speichern und später abzurufen, komprimiert Metis vergangene Interaktionen direkt in den internen Zustand des Modells über einen separaten Speicher-Aufmerksamkeitspfad. Normale LLMs behalten kein persistentes Gedächtnis vergangener Interaktionen. Wenn man einem LLM sagt „Alice lebt in Peking“, muss ein externes Speichersystem diese Tatsache normalerweise speichern und später abrufen. Metis komprimiert die Interaktion stattdessen in einen internen numerischen Gedächtniszustand, der im Modell verbleibt und in zukünftigen Aufrufen verwendet werden kann. Das Modell wird während des Trainings darauf trainiert, Gedächtnisverfahren wie Erinnern, Aktualisieren, Vergessen und Reflektieren zu lernen, anstatt sich auf handgeschriebene Abrufregeln zu verlassen. Unter der No-Context-Einstellung erzielt Metis-27B 26,74 Punkte auf LoCoMo (Gold), im Vergleich zu 0,07 für das Vanilla-Qwen3.5-27B-Backbone und 4,24 für Temp-LoRA-27B. Es liegt immer noch deutlich unter Qwen3.5-27B mit vollem Kontext bei 65,03, daher hat natives Gedächtnis das Wiederholen der Geschichte noch nicht…
mehr auf Arint.info
#DeepLearning #Gedächtnis #KünstlicheIntelligenz #LLM #MaschinellesLernen #Metis #arint_info
https://x.com/rohanpaul_ai/status/2086544779974955262#m