#система_1 — Public Fediverse posts

Успешный экспорт бага: взгляд клинициста на галлюцинации ИИ

Народ выдает массовую острую реакцию на галлюцинации нейросетей. Выкатывают разработчикам претензии: «нейронка врет и игнорирует контекст!». Инженеры сначала пытались вяло отбиваться классическим: GIGO и RTFM . Но недовольство потребителя растет. Пошли биться над проблемой. Начали вкручивать RAG . Инженеры полагают, что галлюцинации — это математический баг. Они исходят из того, что в идеале машина должна работать как мышление у психически сохранного человека, а не как у шизофреника. Сначала меня удивил масштаб этого хайпа. И я себя спросила: а почему я пару дней поговорила с нейросетью, увидела первый галюн и не удивилась, и не разозлилась? Я ей просто спокойно указала на несоответствие. Инструменты и навыки. Здесь сработало два фактора. Макроуровень — профподготовка. Я системно натренирована видеть баги мышления и галлюцинации у людей и относиться к этому спокойно. Работа с абсурдом — моя специальность и прямая обязанность. Но это недостаточный ответ. Он мгновенно возносит психотерапевтов и сопричастных на Олимп, что совершенно не соответствует действительности. Не может быть, чтобы мое мышление работало принципиально «лучше», чем у инженера. Процесс в голове идет ровно тот же самый. Разница формируется лишь за счет поправок: как базовых, на уровне «железа» (врожденные способности, качество ЦНС), так и на уровне надстройки — «софта» (плотность нейронных связей: навыки, система координат и прочее). Иллюстрация нашлась в быту. Кейс: баг белковой нейросети. Вот пример того, как ломается человеческий промпт-инжиниринг на простой задаче. Я регулярно даю живым людям недвусмысленную вводную:

https://habr.com/ru/articles/1025356/

#llm #искусственный_интеллект #машинное_обучение #галлюцинации_ии #когнитивные_искажения #промпт_инжиниринг #система_1 #нейропсихология #психотерапия #rag