#ограничения_ии — Public Fediverse posts

Почему токенизация – костыль? Передовые подходы для больших языковых моделей следующего поколения

Сдерживает ли токенизация потенциал больших языковых моделей? Несмотря на свою популярность, этот подход имеет ряд ограничений, которые становятся всё более заметными с развитием LLM. В статье мы разберём, почему токенизация является костылём, какие проблемы она создаёт и какие альтернативные методы предлагают исследователи для их решения. От байтовых моделей до работы с концептами — как пытаются улучшить ситуацию и что это может означать для будущего языковых моделей.

https://habr.com/ru/articles/873120/

#большие_языковые_модели #llm #токенизация #bytelevel_models #Byte_Latent_Transformer #Large_Concept_Model #ограничения_ии #патчинг #концепты #мультиязычность

[Перевод] LLM будут врать вечно

Сможем ли мы когда-нибудь доверять искусственному интеллекту? Несмотря на впечатляющий прогресс языковых моделей, они по-прежнему страдают от серьезной «болезни» — так называемых галлюцинаций, когда ИИ выдает ложную или бессмысленную информацию. В одном из недавних исследований выдвигается предположение, что эта проблема — не временный сбой, а фундаментальная особенность работы нейросетей. Если это действительно так, нам придется пересмотреть подход к ИИ.

https://habr.com/ru/companies/magnus-tech/articles/859768/

#искусственный_интеллект #нейросети #галлюцинирование_нейросетей #галлюцинации_ИИ #ограничения_ИИ #потолок_развития_ИИ #обучение_нейросетей #проблемы_обучения_ИИ #ошибки_нейросети