#галлюцинации_llm — Public Fediverse posts

Почему ваш LLM-бот врёт клиентам — и паттерн, который это чинит

Air Canada проиграла суд за слова чат-бота. Дилер Chevrolet «продал» Tahoe за доллар. Корень один: LLM одновременно решает что сказать и как. Под давлением точность проигрывает беглости. Разбор паттерна, который это чинит.

https://habr.com/ru/articles/1027080/

#llm #большие_языковые_модели #чатботы #aiагенты #prompt_engineering #архитектура_по #sycophancyeval #галлюцинации_llm #prompt_injection #triageandvoice

Почему ваш LLM-бот врёт клиентам — и паттерн, который это чинит

Air Canada проиграла суд за слова чат-бота. Дилер Chevrolet «продал» Tahoe за доллар. Корень один: LLM одновременно решает что сказать и как. Под давлением точность проигрывает беглости. Разбор паттерна, который это чинит.

https://habr.com/ru/articles/1027080/

#llm #большие_языковые_модели #чатботы #aiагенты #prompt_engineering #архитектура_по #sycophancyeval #галлюцинации_llm #prompt_injection #triageandvoice

Почему ваш LLM-бот врёт клиентам — и паттерн, который это чинит

Air Canada проиграла суд за слова чат-бота. Дилер Chevrolet «продал» Tahoe за доллар. Корень один: LLM одновременно решает что сказать и как. Под давлением точность проигрывает беглости. Разбор паттерна, который это чинит.

https://habr.com/ru/articles/1027080/

#llm #большие_языковые_модели #чатботы #aiагенты #prompt_engineering #архитектура_по #sycophancyeval #галлюцинации_llm #prompt_injection #triageandvoice

Почему ваш LLM-бот врёт клиентам — и паттерн, который это чинит

Air Canada проиграла суд за слова чат-бота. Дилер Chevrolet «продал» Tahoe за доллар. Корень один: LLM одновременно решает что сказать и как. Под давлением точность проигрывает беглости. Разбор паттерна, который это чинит.

https://habr.com/ru/articles/1027080/

#llm #большие_языковые_модели #чатботы #aiагенты #prompt_engineering #архитектура_по #sycophancyeval #галлюцинации_llm #prompt_injection #triageandvoice

Список литературы тоже умеет галлюцинировать: как я делаю систему проверки научных источников

Список литературы долго казался мне самой скучной частью научной работы. Пока не выяснилось, что именно там может прятаться очень неприятная штука: ссылка, которая выглядит убедительно, аккуратно и по‑научному, но в реальности либо ведет в никуда, либо вообще не существует. Когда я брала тему диплома, она казалась мне очень приличной и даже немного слишком аккуратной. Ну правда: что может быть понятнее, чем проверить список литературы? Берем научную работу, смотрим на ссылки, сверяем их с реальностью, находим ошибки, помогаем автору, делаем мир чуть менее хаотичным. На бумаге это выглядело как хорошая прикладная задача. В жизни оказалось, что библиография умеет устраивать маленький фестиваль боли. Сейчас до защиты у меня два месяца, и это как раз тот момент, когда уже можно честно рассказать не только красивую формулировку темы, но и то, почему проблема правда важная, что именно я пытаюсь построить и где все оказалось сильно интереснее, чем я думала в начале. Тема моей ВКР звучит так:

https://habr.com/ru/articles/1018664/

#машинное_обучение #NLP #обработка_PDF #библиография #научные_публикации #проверка_источников #DOI #Python #валидация_данных #галлюцинации_LLM

Список литературы тоже умеет галлюцинировать: как я делаю систему проверки научных источников

Список литературы долго казался мне самой скучной частью научной работы. Пока не выяснилось, что именно там может прятаться очень неприятная штука: ссылка, которая выглядит убедительно, аккуратно и по‑научному, но в реальности либо ведет в никуда, либо вообще не существует. Когда я брала тему диплома, она казалась мне очень приличной и даже немного слишком аккуратной. Ну правда: что может быть понятнее, чем проверить список литературы? Берем научную работу, смотрим на ссылки, сверяем их с реальностью, находим ошибки, помогаем автору, делаем мир чуть менее хаотичным. На бумаге это выглядело как хорошая прикладная задача. В жизни оказалось, что библиография умеет устраивать маленький фестиваль боли. Сейчас до защиты у меня два месяца, и это как раз тот момент, когда уже можно честно рассказать не только красивую формулировку темы, но и то, почему проблема правда важная, что именно я пытаюсь построить и где все оказалось сильно интереснее, чем я думала в начале. Тема моей ВКР звучит так:

https://habr.com/ru/articles/1018664/

#машинное_обучение #NLP #обработка_PDF #библиография #научные_публикации #проверка_источников #DOI #Python #валидация_данных #галлюцинации_LLM

Список литературы тоже умеет галлюцинировать: как я делаю систему проверки научных источников

Список литературы долго казался мне самой скучной частью научной работы. Пока не выяснилось, что именно там может прятаться очень неприятная штука: ссылка, которая выглядит убедительно, аккуратно и по‑научному, но в реальности либо ведет в никуда, либо вообще не существует. Когда я брала тему диплома, она казалась мне очень приличной и даже немного слишком аккуратной. Ну правда: что может быть понятнее, чем проверить список литературы? Берем научную работу, смотрим на ссылки, сверяем их с реальностью, находим ошибки, помогаем автору, делаем мир чуть менее хаотичным. На бумаге это выглядело как хорошая прикладная задача. В жизни оказалось, что библиография умеет устраивать маленький фестиваль боли. Сейчас до защиты у меня два месяца, и это как раз тот момент, когда уже можно честно рассказать не только красивую формулировку темы, но и то, почему проблема правда важная, что именно я пытаюсь построить и где все оказалось сильно интереснее, чем я думала в начале. Тема моей ВКР звучит так:

https://habr.com/ru/articles/1018664/

#машинное_обучение #NLP #обработка_PDF #библиография #научные_публикации #проверка_источников #DOI #Python #валидация_данных #галлюцинации_LLM

Список литературы тоже умеет галлюцинировать: как я делаю систему проверки научных источников

Список литературы долго казался мне самой скучной частью научной работы. Пока не выяснилось, что именно там может прятаться очень неприятная штука: ссылка, которая выглядит убедительно, аккуратно и по‑научному, но в реальности либо ведет в никуда, либо вообще не существует. Когда я брала тему диплома, она казалась мне очень приличной и даже немного слишком аккуратной. Ну правда: что может быть понятнее, чем проверить список литературы? Берем научную работу, смотрим на ссылки, сверяем их с реальностью, находим ошибки, помогаем автору, делаем мир чуть менее хаотичным. На бумаге это выглядело как хорошая прикладная задача. В жизни оказалось, что библиография умеет устраивать маленький фестиваль боли. Сейчас до защиты у меня два месяца, и это как раз тот момент, когда уже можно честно рассказать не только красивую формулировку темы, но и то, почему проблема правда важная, что именно я пытаюсь построить и где все оказалось сильно интереснее, чем я думала в начале. Тема моей ВКР звучит так:

https://habr.com/ru/articles/1018664/

#машинное_обучение #NLP #обработка_PDF #библиография #научные_публикации #проверка_источников #DOI #Python #валидация_данных #галлюцинации_LLM

[Перевод] Объяснение галлюцинаций LLM

Большие языковые модели, типа GPT, Claude, Gemini и другие ИИ-системы, поразили разработчиков своей способностью генерировать тексты, звучащие как человеческие. Однако, если вы когда-либо использовали ChatGPT или подобные инструменты, вероятно, они не раз уверенно говорили вам что-то совершенно неверное. Эти ошибки ИИ, часто называемые «галлюцинациями», варьируются от незначительных фактических ошибок до полных выдумок. Они могут быть забавными (например, ИИ изобретает вымышленный исторический факт) или представлять серьезную проблему (представьте, что ИИ-ассистент предлагает несуществующую функцию или чат-бот выдает медицинский совет, которого не существует). В этой статье мы рассмотрим, почему языковые модели галлюцинируют и, что более важно, как мы можем уменьшить эти галлюцинации. Мы будем использовать интуитивно понятные примеры и аналогии, чтобы все было доступно, а также предложим инструментарий бесплатных техник, которые помогут удержать результаты работы ИИ в рамках реальности.

https://habr.com/ru/companies/otus/articles/988076/

#галлюцинации #ai #галлюцинации_LLM #проверка_фактов #RAG #промптинжиниринг