#интерпретируемый_ии — Public Fediverse posts

Заглянуть в «черный ящик»: как ИИ учат быть понятным человеку

Начну с реального случая: в 2023 году американский юрист Стивен Шварц использовал ChatGPT для подготовки судебного иска. Система уверенно создала юридический документ с многочисленными ссылками на прецеденты. С одним нюансом — все цитируемые дела оказались полностью выдуманными. Более того, когда юрист попросил ChatGPT проверить достоверность источников, система с той же уверенностью «подтвердила» подлинность несуществующих судебных решений. И это не единичный случай. Современные нейронные сети стали настолько сложными, что мы перестали понимать, как они принимают решения. Почему беспилотный автомобиль внезапно поворачивает не туда? По какой причине система медицинской диагностики пропустила опухоль на рентгеновском снимке? В таких критических случаях простого «доверия» к ИИ недостаточно — важно понимать, почему система принимает то или иное решение. Именно об этом и поговорим в статье.

https://habr.com/ru/companies/magnus-tech/articles/958854/

#объяснимый_ИИ #explainable_ai #интерпретируемый_ии #объяснимость_нейросетей #xai #методы_интерпретации_MLмоделей #нейросети #искусственный_интеллект

Заглянуть в «черный ящик»: как ИИ учат быть понятным человеку

Начну с реального случая: в 2023 году американский юрист Стивен Шварц использовал ChatGPT для подготовки судебного иска. Система уверенно создала юридический документ с многочисленными ссылками на прецеденты. С одним нюансом — все цитируемые дела оказались полностью выдуманными. Более того, когда юрист попросил ChatGPT проверить достоверность источников, система с той же уверенностью «подтвердила» подлинность несуществующих судебных решений. И это не единичный случай. Современные нейронные сети стали настолько сложными, что мы перестали понимать, как они принимают решения. Почему беспилотный автомобиль внезапно поворачивает не туда? По какой причине система медицинской диагностики пропустила опухоль на рентгеновском снимке? В таких критических случаях простого «доверия» к ИИ недостаточно — важно понимать, почему система принимает то или иное решение. Именно об этом и поговорим в статье.

https://habr.com/ru/companies/magnus-tech/articles/958854/

#объяснимый_ИИ #explainable_ai #интерпретируемый_ии #объяснимость_нейросетей #xai #методы_интерпретации_MLмоделей #нейросети #искусственный_интеллект

Заглянуть в «черный ящик»: как ИИ учат быть понятным человеку

Начну с реального случая: в 2023 году американский юрист Стивен Шварц использовал ChatGPT для подготовки судебного иска. Система уверенно создала юридический документ с многочисленными ссылками на прецеденты. С одним нюансом — все цитируемые дела оказались полностью выдуманными. Более того, когда юрист попросил ChatGPT проверить достоверность источников, система с той же уверенностью «подтвердила» подлинность несуществующих судебных решений. И это не единичный случай. Современные нейронные сети стали настолько сложными, что мы перестали понимать, как они принимают решения. Почему беспилотный автомобиль внезапно поворачивает не туда? По какой причине система медицинской диагностики пропустила опухоль на рентгеновском снимке? В таких критических случаях простого «доверия» к ИИ недостаточно — важно понимать, почему система принимает то или иное решение. Именно об этом и поговорим в статье.

https://habr.com/ru/companies/magnus-tech/articles/958854/

#объяснимый_ИИ #explainable_ai #интерпретируемый_ии #объяснимость_нейросетей #xai #методы_интерпретации_MLмоделей #нейросети #искусственный_интеллект

Заглянуть в «черный ящик»: как ИИ учат быть понятным человеку

Начну с реального случая: в 2023 году американский юрист Стивен Шварц использовал ChatGPT для подготовки судебного иска. Система уверенно создала юридический документ с многочисленными ссылками на прецеденты. С одним нюансом — все цитируемые дела оказались полностью выдуманными. Более того, когда юрист попросил ChatGPT проверить достоверность источников, система с той же уверенностью «подтвердила» подлинность несуществующих судебных решений. И это не единичный случай. Современные нейронные сети стали настолько сложными, что мы перестали понимать, как они принимают решения. Почему беспилотный автомобиль внезапно поворачивает не туда? По какой причине система медицинской диагностики пропустила опухоль на рентгеновском снимке? В таких критических случаях простого «доверия» к ИИ недостаточно — важно понимать, почему система принимает то или иное решение. Именно об этом и поговорим в статье.

https://habr.com/ru/companies/magnus-tech/articles/958854/

#объяснимый_ИИ #explainable_ai #интерпретируемый_ии #объяснимость_нейросетей #xai #методы_интерпретации_MLмоделей #нейросети #искусственный_интеллект

Интерпретация и оптимизация перцептрона Розенблатта

В прошлой статье на хабре " На дворе LLM, а книгу о перцептроне так никто и не открыл!? " я указал, что многие понятия не имеют о перцептроне Розенблатта, но пишут о нем так как будто читали оригинал. И так или иначе в комментариях прошла дискуссия, как минимум с тремя оппонентами, которые тоже находятся в разного рода не знании о перцептроне. Что только подтверждает мои слова, что это массовое явление. Поэтому даже в научной статье мне придётся этому уделить не малое внимание. Свою статью, я еще не опубликовал, да ещё полностью и не написал, хотя все эксперименты были сделаны 15 лет назад, а сейчас их нужно улучшить. Собственно, когда я сам стряхнул пыль с них, я долго не мог по программному коду понять, о чем это, что это дает, так и возникла моя мысль, что это нужно донести людям. И подумал, почему бы мне некоторые разделы будущей статьи, сразу не взять и не опубликовать тут на хабре. Имея широкий охват, это может иметь даже большую пользу, чем публикация в модерируемом издании. Поэтому ниже я дам выдержки из своего черновика статьи "как есть", относящиеся в основном к "утерянной памяти о перцептроне", но т.к. как это часть научной статьи, настоятельно прошу при цитировании ссылаться на меня. Хотя и понимаю, что выдержки не дадут вам полного понимания проблемы, но как минимум расскажут о известных фактах и надеюсь, все же уберегут от поверхностного взгляда. Ну и мало ли - если тут найдется специалист, который публикуется на https://arxiv.org последние 5 лет, мне нужна ваша помощь с рекомендацией, свяжитесь со мной. Тогда полноценная статья выйдет быстрее. Но прежде, чем начать, я хочу, в отличии от прошлой своей статьи на хабре, похвалить автора статьи Всё, что вы хотели знать о перцептронах Розенблатта, но боялись спросить , которая вселяет надежду, что люди все таки читают оригиналы, и не живут мифами. А за информацию о биографии Розенблатта - отдельное спасибо, таких подробностей я не знал. Очень рекомендую прежде, чем читать дальше.

https://habr.com/ru/articles/944462/

#перцептроны #искусственный_интеллект #исследование #интерпретируемый_ии