#universalgrammatik — Public Fediverse posts

1/ Ich fahre ja auf einen Workshop zu #LLMs und #Grammatik (die gute alte symbolische #KI). #Piantadosi meinte vor ein paar Jahren, dass die LLMs #Chomsky widerlegt hätten. Ich denke, dass dem nicht so ist, ganz davon abgesehen, dass Chomsky schon vorher widerlegt war. Jedenfalls zeigen LLMs nicht, dass es keine #Universalgrammatik geben muss. Ein ziemlich krasser Punkt ist die Größe des Trainingsaterials. Ein Kind hört wohl 3 bis 11 Millionen Wärter pro Jahr. Das heißt, eine Zehnjährig*e hat vielleicht 100 Mio Wörter gehört.

Hier die Visualisierung von Warstadt & Bowermann:

Warstadt, Alex & Samuel R Bowman. 2022. What artificial neural networks can tell us about human language
acquisition. In Shalom Lappin & Jean-Philippe Bernardy (eds.), Algebraic structures in natural language,
17–59. Boca Raton: CRC Press. https://doi.org/10.1201/9781003205388-2.

1/ Ich fahre ja auf einen Workshop zu #LLMs und #Grammatik (die gute alte symbolische #KI). #Piantadosi meinte vor ein paar Jahren, dass die LLMs #Chomsky widerlegt hätten. Ich denke, dass dem nicht so ist, ganz davon abgesehen, dass Chomsky schon vorher widerlegt war. Jedenfalls zeigen LLMs nicht, dass es eine #Universalgrammatik geben muss. Ein ziemlich krasser Punkt ist die Größe des Trainingsaterials. Ein Kind hört wohl 3 bis 11 Millionen Wärter pro Jahr. Das heißt, eine Zehnjährig*e hat vielleicht 100 Mio Wörter gehört.

Hier die Visualisierung von Warstadt & Bowermann:

Warstadt, Alex & Samuel R Bowman. 2022. What artificial neural networks can tell us about human language
acquisition. In Shalom Lappin & Jean-Philippe Bernardy (eds.), Algebraic structures in natural language,
17–59. Boca Raton: CRC Press. https://doi.org/10.1201/9781003205388-2.