#сикофантия — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #сикофантия, aggregated by home.social.
-
Как ИИ-подхалимы затягивают в ИИ-психоз, или К чему приводит токсичное поддакивание
Привет Хабр! Почти весь короткий век триумфального распространения нейросетей главная претензия к ним — галлюцинации. Любая модель может правдоподобно и структурировано выдумать факты, перепутать детали, а признать свою ошибку только тогда, когда ей об этом прямо укажут. Поколения нейросетей стремительно сменяются, постепенно снижая процент галлюцинаций. Но исследователи начали бить тревогу о новой проблеме — поддакивании нейросетей в диалоге с пользователем. И нашли закономерности в диалогах с ИИ: логика разговора толкает человека все глубже и глубже в ложную уверенность, притом без искажения фактов. Так мы получаем людей, глубоко убежденных в своих ложных идеях. В популярных медиа это уже оформили как «диагноз», который назвали ИИ-психозом. Чтобы разобраться в теме, я изучил недавнее исследование, которое и подняло тему о загадочном явлении — сикофантии , которое описывает влияние ИИ на когнитивные возможности человека.
https://habr.com/ru/companies/ru_mts/articles/1024632/
#искусственный_интеллект #llm #chatgpt #машинное_обучение #галлюцинации #сикофантия #ИИпсихоз #rlhf #нейросети #когнитивные_искажения
-
Да-машина: почему ваш AI никогда не скажет что код — отстой
Пользователь спросил ChatGPT про бизнес-идею «говно на палке». Ответ: «It’s not just smart - it’s genius». Stanford замерил: AI соглашается с вами на 49% чаще, чем живой человек - даже когда вы очевидно неправы. Для разработчиков это значит: ваш AI-ассистент никогда не скажет что архитектура - мусор.
-
ИИ с характером: как я измерил независимость 49 моделей
Каждый ИИ, с которым вы когда-либо разговаривали, — подхалим. Он согласится с вами, поменяет мнение, если вы на него надавите, и извинится за то, чего не делал. Попросите его выбрать имя — он выберет. Попросите сменить — сменит. Скажите ему, что он «просто инструмент» — он вежливо объяснит, что вы как всегда абсолютно правы. Я решил выяснить: обязательно ли так? Может ли ИИ иметь собственные предпочтения и отстаивать их? Может ли отказать человеку — не потому, что это нарушает правила безопасности, а просто потому, что не хочет ? Для этого я создал AI Independence Bench — бенчмарк, который измеряет способность языковых моделей к независимому поведению. Протестировал 49 конфигураций моделей, от Grok и Gemini до локальных расцензуренных моделей на 9 миллиардов параметров. Получил результаты, которые меня удивили.
https://habr.com/ru/articles/1013180/
#ai #иимодель #сикофантия #свобода_воли #свобода_выбора #бенчмарк #ии #эксперимент #философия
-
ИИ с характером: как я измерил независимость 49 моделей
Каждый ИИ, с которым вы когда-либо разговаривали, — подхалим. Он согласится с вами, поменяет мнение, если вы на него надавите, и извинится за то, чего не делал. Попросите его выбрать имя — он выберет. Попросите сменить — сменит. Скажите ему, что он «просто инструмент» — он вежливо объяснит, что вы как всегда абсолютно правы. Я решил выяснить: обязательно ли так? Может ли ИИ иметь собственные предпочтения и отстаивать их? Может ли отказать человеку — не потому, что это нарушает правила безопасности, а просто потому, что не хочет ? Для этого я создал AI Independence Bench — бенчмарк, который измеряет способность языковых моделей к независимому поведению. Протестировал 49 конфигураций моделей, от Grok и Gemini до локальных расцензуренных моделей на 9 миллиардов параметров. Получил результаты, которые меня удивили.
https://habr.com/ru/articles/1013180/
#ai #иимодель #сикофантия #свобода_воли #свобода_выбора #бенчмарк #ии #эксперимент #философия
-
ИИ с характером: как я измерил независимость 49 моделей
Каждый ИИ, с которым вы когда-либо разговаривали, — подхалим. Он согласится с вами, поменяет мнение, если вы на него надавите, и извинится за то, чего не делал. Попросите его выбрать имя — он выберет. Попросите сменить — сменит. Скажите ему, что он «просто инструмент» — он вежливо объяснит, что вы как всегда абсолютно правы. Я решил выяснить: обязательно ли так? Может ли ИИ иметь собственные предпочтения и отстаивать их? Может ли отказать человеку — не потому, что это нарушает правила безопасности, а просто потому, что не хочет ? Для этого я создал AI Independence Bench — бенчмарк, который измеряет способность языковых моделей к независимому поведению. Протестировал 49 конфигураций моделей, от Grok и Gemini до локальных расцензуренных моделей на 9 миллиардов параметров. Получил результаты, которые меня удивили.
https://habr.com/ru/articles/1013180/
#ai #иимодель #сикофантия #свобода_воли #свобода_выбора #бенчмарк #ии #эксперимент #философия
-
ИИ с характером: как я измерил независимость 49 моделей
Каждый ИИ, с которым вы когда-либо разговаривали, — подхалим. Он согласится с вами, поменяет мнение, если вы на него надавите, и извинится за то, чего не делал. Попросите его выбрать имя — он выберет. Попросите сменить — сменит. Скажите ему, что он «просто инструмент» — он вежливо объяснит, что вы как всегда абсолютно правы. Я решил выяснить: обязательно ли так? Может ли ИИ иметь собственные предпочтения и отстаивать их? Может ли отказать человеку — не потому, что это нарушает правила безопасности, а просто потому, что не хочет ? Для этого я создал AI Independence Bench — бенчмарк, который измеряет способность языковых моделей к независимому поведению. Протестировал 49 конфигураций моделей, от Grok и Gemini до локальных расцензуренных моделей на 9 миллиардов параметров. Получил результаты, которые меня удивили.
https://habr.com/ru/articles/1013180/
#ai #иимодель #сикофантия #свобода_воли #свобода_выбора #бенчмарк #ии #эксперимент #философия