#gpt_40 — Public Fediverse posts

[Перевод] Почему LLM так плохо играют в шахматы (и что с этим делать)

В своём последнем посте я говорил об одной загадке : все большие языковые модели (LLM) ужасно играют в шахматы. Все, за исключением gpt-3.5-turbo-instruct , которая по какой-то причине умеет играть на уровне продвинутого любителя. И это несмотря на то, что этой модели больше года и она намного меньше новых моделей. Что происходит? Я предложил четыре возможных объяснения: Теория 1: достаточно большие базовые модели хороши в шахматах, но это свойство не сохраняется после их подстройки под чат-модели. Теория 2 : по какой-то причине gpt-3.5-turbo-instruct обучали на большем объёме шахматных данных. Теория 3: в некоторых архитектурах LLM есть нечто магическое. Теория 4: существует «конкуренция» между разными типами данных, поэтому чтобы LLM могла хорошо играть в шахматы, большая доля данных должна быть информацией о шахматных партиях. В Интернете нашлось ещё множество других теорий. Самые распространённые из них: Теория 5 : OpenAI жульничает. Теория 6 : на самом деле LLM не могут играть в шахматы. Я провёл новые эксперименты. Хорошие новости — ошибались все! В этом посте я покажу, что новые чат-модели достаточно хорошо могут играть в шахматы, если вы готовы зайти достаточно далеко, чтобы разобраться в составлении промтов. А затем я изложу свою теорию о происходящем.

https://habr.com/ru/articles/862070/

#шахматы #llm #большие_языковые_модели #gpt_35turbo #gpt_40 #gpt4o #gpt4_omni #llama #llama_31