#галлюцинирование_нейросетей — Public Fediverse posts

H-Neurons: 0.1% нейронов, из-за которых LLM врут

А вы когда-нибудь задумывались, почему ваша любимая LLM-ка на 70 лярдов параметров, обученная на всем интернете, может с уверенностью университетского профессора выдать, например, что Наполеон изобрел электричество? Откуда это берется? Долгое время индустрия списывала галлюцинации на плохие данные, кривой RLHF или декодинг. Но группа ученых из Университета Цинхуа залезла внутрь нейросети и нашла конкретных виновников — 0.1% нейронов , которые буквально заставляют модель врать. И это не метафора, это реальные веса в FFN-слоях трансформера. В этой статье расскажу, что же обнаружили китайские исследователи, как нейроны-галлюцинаторы связаны с чрезмерной уступчивостью модели и почему корень зла лежит в претрейне. Возможно будет любопытно ML- и дата-инженерам, а также всем, кто не хочет быть одураченным в очередном диалоге с GPT-шкой.

https://habr.com/ru/companies/cloud_ru/articles/1068988/

#интерпретируемость #нейросети #исследования #llmмодели #галлюцинирование_нейросетей #галлюцинации_llm

Нас окружают «невозможные» кубики Рубика

Подавляющее большинство изображений кубика Рубика — в иллюстрациях, принтах на одежде, мультфильмах, компьютерной графике и особенно в генерациях нейросетей — воспроизводят неправильные кубики. Чаще всего это невозможные в реальности комбинации цветов, реже к некорректным цветовым схемам добавляются нарушения геометрии и структуры кубика. Разгоняем эту тему в статье. Крутить далее...

https://habr.com/ru/articles/983682/

#кубик_рубика #галлюцинирование_нейросетей #искусственный_интеллект #ai #алиса_ai #gigachat #дизайн #графический_дизайн

Галлюцинации LLM: запретить нельзя использовать

Давайте поговорим о "галлюцинациях" LLM (больших языковых моделей) — генерации несуществующих фактов в уверенной подаче. Обычно их считают багом и стараются подавить через дообучение и фильтры. Однако недавнее исследование Why Language Models Hallucinate , 2025, показывает, что сама система оценивания поощряет модели угадывать, а не честно признавать неопределённость. Я попробовала разобрать, могут ли такие "галлюцинации" быть функциональной интуицией и как превратить их в инструмент идей.

https://habr.com/ru/articles/947964/

#ии #галлюцинирование_нейросетей #промт #llm #языковые_модели #трансформеры #нейросети #достоверность #reasoning

[Перевод] Причины возникновения галлюцинаций LLM

В данной статье будет представлен укороченный и упрощенный перевод статьи “A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions” . А именно перевод части, относящейся к причинам возникновения галлюцинаций. Упрощение состоит в том, что были опущены части, уходящие в конкретику. В этом переводе мы сосредоточимся на основных причинах возникновения галлюцинаций и примерах.

https://habr.com/ru/articles/874750/

#llm #галлюцинации #галлюцинирование_нейросетей #галлюцинации_ии #большие_языковые_модели

[Перевод] LLM будут врать вечно

Сможем ли мы когда-нибудь доверять искусственному интеллекту? Несмотря на впечатляющий прогресс языковых моделей, они по-прежнему страдают от серьезной «болезни» — так называемых галлюцинаций, когда ИИ выдает ложную или бессмысленную информацию. В одном из недавних исследований выдвигается предположение, что эта проблема — не временный сбой, а фундаментальная особенность работы нейросетей. Если это действительно так, нам придется пересмотреть подход к ИИ.

https://habr.com/ru/companies/magnus-tech/articles/859768/

#искусственный_интеллект #нейросети #галлюцинирование_нейросетей #галлюцинации_ИИ #ограничения_ИИ #потолок_развития_ИИ #обучение_нейросетей #проблемы_обучения_ИИ #ошибки_нейросети

ChatGPT и Gemini не могут справиться даже с простой математической задачкой на логику

Сегодня увидел на репетиторском канале простенькую задачку на логику. И решил попробовать скормить ее ChatGPT и Gemini. Просто интереса ради. Вспомнил, что когда вышла ChatGPT 4-o в демках показывали, как она якобы может заменить учителей.

https://habr.com/ru/articles/849046/

#chatgpt #gemini #ai #галлюцинации #галлюцинирование_нейросетей #comedy #humor #jokes #комедия #юмор

Open AI заплатит за нарушение авторских прав и «галлюцинации» Chat GPT?

Над OpenAI — разработчиком искусственного интеллекта и Chat GPT, сгустились тучи. С середины 2023 года против компании и её основного инвестора Microsoft было возбуждено более дюжины громких судебных процессов и правительственных расследований в разных странах. Истцы утверждают, что компания нарушает закон об авторском праве, обучая алгоритмы искусственного интеллекта. Илон Маск подал в суд на OpenAI за отказ от первоначальной некоммерческой миссии, а государственные регуляторы в США, ЕС и Великобритании расследуют, нарушила ли компания законы о конкуренции, ценных бумагах и защите прав потребителей.

https://habr.com/ru/articles/815575/

#искусственный_интеллект(ai) #open_ai #авторские_права #юридические_риски #microsoft #илон_маск #галлюцинирование_нейросетей

Проблема «галлюцинирования» в больших языковых моделях на примере чат-ботов

Добрый день, уважаемые читатели Хабр. По роду деятельности, я уже некоторое время занимаюсь вопросами NLP , в частности, генеративными большими языковыми моделями и, реализованными, на них чат-ботами. При этом, очень часто в их разработке возникает ряд проблем, с которыми приходится постоянно бороться. Одна из них — «галлюцинирование» моделей, то есть выдача неточной информации на поступающие запросы от пользователя, и, в целом, некорректное поведение модели при длительном ведении диалогов различной степени направленности, специфики, глубины рассуждений, оценки фактов и правдивости выдаваемых ответов. Исходя из этого, я решил систематизировать все имеющиеся по этой теме сведения. Сразу оговорюсь, статья носит обзорный характер и я ставлю своей целью обобщение фактов, причин и признаков такого поведения. Поиск возможных вариантов, методик и подходов для решения данной проблемы будут рассмотрены в следующей статье. Здесь, не будет кода и строгих выкладок, лишь, наблюдения, аналитика, способы оценки, выявленные закономерности и оценка работы в общем. В качестве результата исследования, предлагается описание общей ситуации с обнаруженными возможными проявлениями феномена «галлюцинирования». На целостность и завершенность обзора, при описании полученных вариаций и проявлений данного факта, не претендую. Это результаты моего поиска и анализа. Информация собиралась, буквально по крупицам, так как все сведения сильно разрознены, проявления их в «дикой природе» не всегда можно заметить и четко классифицировать, либо они начинают проявляться спустя большое количество тестов, диалогов, рассуждений, запросов, вариантов подачи подсказок и уточнений на поставленные запросы и исходных текстов. Кроме всего прочего, градация распределения этих аномалий по степени отслеживания, так же, сильно разнится. Есть те, которые проявляются весьма быстро, а есть крайне редкие, для которых нужен специфических, очень тонкий подход. Ниже я представлю данный перечень с подробными пояснениями, так что всех прошу под кат.

https://habr.com/ru/companies/sberbank/articles/812775/

#галлюцинирование_нейросетей