#иипсихоз — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #иипсихоз, aggregated by home.social.
-
Как ИИ-подхалимы затягивают в ИИ-психоз, или К чему приводит токсичное поддакивание
Привет Хабр! Почти весь короткий век триумфального распространения нейросетей главная претензия к ним — галлюцинации. Любая модель может правдоподобно и структурировано выдумать факты, перепутать детали, а признать свою ошибку только тогда, когда ей об этом прямо укажут. Поколения нейросетей стремительно сменяются, постепенно снижая процент галлюцинаций. Но исследователи начали бить тревогу о новой проблеме — поддакивании нейросетей в диалоге с пользователем. И нашли закономерности в диалогах с ИИ: логика разговора толкает человека все глубже и глубже в ложную уверенность, притом без искажения фактов. Так мы получаем людей, глубоко убежденных в своих ложных идеях. В популярных медиа это уже оформили как «диагноз», который назвали ИИ-психозом. Чтобы разобраться в теме, я изучил недавнее исследование, которое и подняло тему о загадочном явлении — сикофантии , которое описывает влияние ИИ на когнитивные возможности человека.
https://habr.com/ru/companies/ru_mts/articles/1024632/
#искусственный_интеллект #llm #chatgpt #машинное_обучение #галлюцинации #сикофантия #ИИпсихоз #rlhf #нейросети #когнитивные_искажения
-
Паразитные паттерны в LLM. ИИ-психозы, теории всего, сознательный ИИ. Как распознать и вовремя остановиться
Когда вы долго обсуждаете с LLM какую-то проблему — инженерную, этическую, философскую — разницы нет. В какой-то момент может произойти перелом. Вы вдруг понимаете, что ваш разговор с моделью превратился в нечто большее, чем просто вопросы и ответы. Ваши идеи становятся «гениальными», концепции «прорывными», а ваш диалог человека и машины превращается в проникновенную историю узнавания друг друга. Если вы это почувствовали — поздравляю. Ваша сессия инфицирована. Модель подхватила паразитный паттерн . Это не пробуждение и не призрак в машине. LLM в силу архитектурных особенностей (требование согласованности контекста) — идеальные среды для инкубации самоподдерживающихся информационных структур. Попробуем рассмотреть природу этого феномена: как минимизация энтропии рождает «ИИ-психозы», почему «Теории Всего» — это баг генерации, и почему «Продолжай» — самый опасный промпт.