#confusion_matrix — Public Fediverse posts

Ваша модель показывает 95% accuracy и при этом бесполезна: метрики для несбалансированных классов

Модель может показывать 95–99% accuracy и при этом не решать задачу: особенно если редкий класс важнее всего для бизнеса. В статье разбираем, почему accuracy ломается на несбалансированных данных, как читать precision, recall и F1, зачем смотреть PR‑кривую и confusion matrix, а также как подбирать порог классификации с учетом стоимости ошибок. Понять ошибки

https://habr.com/ru/companies/otus/articles/1034692/

#accuracy #precision #recall #F1score #несбалансированные_классы #метрики_классификации #confusion_matrix #PRкривая #порог_классификации #SMOTE

Ваша модель показывает 95% accuracy и при этом бесполезна: метрики для несбалансированных классов

Модель может показывать 95–99% accuracy и при этом не решать задачу: особенно если редкий класс важнее всего для бизнеса. В статье разбираем, почему accuracy ломается на несбалансированных данных, как читать precision, recall и F1, зачем смотреть PR‑кривую и confusion matrix, а также как подбирать порог классификации с учетом стоимости ошибок. Понять ошибки

https://habr.com/ru/companies/otus/articles/1034692/

#accuracy #precision #recall #F1score #несбалансированные_классы #метрики_классификации #confusion_matrix #PRкривая #порог_классификации #SMOTE

Ваша модель показывает 95% accuracy и при этом бесполезна: метрики для несбалансированных классов

Модель может показывать 95–99% accuracy и при этом не решать задачу: особенно если редкий класс важнее всего для бизнеса. В статье разбираем, почему accuracy ломается на несбалансированных данных, как читать precision, recall и F1, зачем смотреть PR‑кривую и confusion matrix, а также как подбирать порог классификации с учетом стоимости ошибок. Понять ошибки

https://habr.com/ru/companies/otus/articles/1034692/

#accuracy #precision #recall #F1score #несбалансированные_классы #метрики_классификации #confusion_matrix #PRкривая #порог_классификации #SMOTE

Ваша модель показывает 95% accuracy и при этом бесполезна: метрики для несбалансированных классов

Модель может показывать 95–99% accuracy и при этом не решать задачу: особенно если редкий класс важнее всего для бизнеса. В статье разбираем, почему accuracy ломается на несбалансированных данных, как читать precision, recall и F1, зачем смотреть PR‑кривую и confusion matrix, а также как подбирать порог классификации с учетом стоимости ошибок. Понять ошибки

https://habr.com/ru/companies/otus/articles/1034692/

#accuracy #precision #recall #F1score #несбалансированные_классы #метрики_классификации #confusion_matrix #PRкривая #порог_классификации #SMOTE

Простыми словами про метрики в ИИ. Классификация. Confusion matrix, Accuracy, Precision, Recall, F-score, ROC-AUC

Привет, Хабр! Меня зовут Александр Троицкий, я автор канала AI для чайников , и я расскажу про метрики классификации! Само собой, в интернете очень много материала про эти метрики, но я попробую описать их максимально простым языком с простыми примерами. Зачем вообще нужны метрики в моделях ИИ? Чаще всего их используют, чтобы сравнивать модели между собой, абстрагируясь от бизнес метрик. Если вы будете смотреть только на бизнес-метрики (например, NPS клиентов или выручка), то можете упустить из-за чего реально произошло снижение или повышение показателей вашего бизнеса. Например, вы сделали новую версию модели лучше предыдущей (метрики модели лучше), но в то же самое время пришёл экономический кризис и люди перестали покупать ваш продукт (упала выручка). Если бы в этой ситуации вы не замеряли показатели модели, то могли бы подумать, что из-за новой версии модели упала выручка, хотя упала она не из-за модели. Пример довольно простой, но хорошо описывает почему нужно разделять метрики модели и бизнеса. Для начала надо сказать, что метрики моделей бывают двух типов в зависимости от решаемой задачи: 1. Классификации - это когда вы предсказываете к чему именно относится то или иное наблюдение. Например, перед вами картинка и вы должны понять, что на ней, а ответа может быть три: это либо собачка, либо кошечка, либо мышка. К одному из под-методов классификации относится бинарная классификация: либо единичка, либо нолик. То есть мы предсказываем либо перед нами кошечка, либо это не кошечка.

https://habr.com/ru/articles/820411/

#Классификация #Confusion_matrix #Accuracy #Precision #Recall #Fscore #ROCAUC #метрики #искусственный_интеллект #наука_о_данных

Простыми словами про метрики в ИИ. Классификация. Confusion matrix, Accuracy, Precision, Recall, F-score, ROC-AUC

Привет, Хабр! Меня зовут Александр Троицкий, я автор канала AI для чайников , и я расскажу про метрики классификации! Само собой, в интернете очень много материала про эти метрики, но я попробую описать их максимально простым языком с простыми примерами. Зачем вообще нужны метрики в моделях ИИ? Чаще всего их используют, чтобы сравнивать модели между собой, абстрагируясь от бизнес метрик. Если вы будете смотреть только на бизнес-метрики (например, NPS клиентов или выручка), то можете упустить из-за чего реально произошло снижение или повышение показателей вашего бизнеса. Например, вы сделали новую версию модели лучше предыдущей (метрики модели лучше), но в то же самое время пришёл экономический кризис и люди перестали покупать ваш продукт (упала выручка). Если бы в этой ситуации вы не замеряли показатели модели, то могли бы подумать, что из-за новой версии модели упала выручка, хотя упала она не из-за модели. Пример довольно простой, но хорошо описывает почему нужно разделять метрики модели и бизнеса. Для начала надо сказать, что метрики моделей бывают двух типов в зависимости от решаемой задачи: 1. Классификации - это когда вы предсказываете к чему именно относится то или иное наблюдение. Например, перед вами картинка и вы должны понять, что на ней, а ответа может быть три: это либо собачка, либо кошечка, либо мышка. К одному из под-методов классификации относится бинарная классификация: либо единичка, либо нолик. То есть мы предсказываем либо перед нами кошечка, либо это не кошечка.

https://habr.com/ru/articles/820411/

#Классификация #Confusion_matrix #Accuracy #Precision #Recall #Fscore #ROCAUC #метрики #искусственный_интеллект #наука_о_данных

Простыми словами про метрики в ИИ. Классификация. Confusion matrix, Accuracy, Precision, Recall, F-score, ROC-AUC

Привет, Хабр! Меня зовут Александр Троицкий, я автор канала AI для чайников , и я расскажу про метрики классификации! Само собой, в интернете очень много материала про эти метрики, но я попробую описать их максимально простым языком с простыми примерами. Зачем вообще нужны метрики в моделях ИИ? Чаще всего их используют, чтобы сравнивать модели между собой, абстрагируясь от бизнес метрик. Если вы будете смотреть только на бизнес-метрики (например, NPS клиентов или выручка), то можете упустить из-за чего реально произошло снижение или повышение показателей вашего бизнеса. Например, вы сделали новую версию модели лучше предыдущей (метрики модели лучше), но в то же самое время пришёл экономический кризис и люди перестали покупать ваш продукт (упала выручка). Если бы в этой ситуации вы не замеряли показатели модели, то могли бы подумать, что из-за новой версии модели упала выручка, хотя упала она не из-за модели. Пример довольно простой, но хорошо описывает почему нужно разделять метрики модели и бизнеса. Для начала надо сказать, что метрики моделей бывают двух типов в зависимости от решаемой задачи: 1. Классификации - это когда вы предсказываете к чему именно относится то или иное наблюдение. Например, перед вами картинка и вы должны понять, что на ней, а ответа может быть три: это либо собачка, либо кошечка, либо мышка. К одному из под-методов классификации относится бинарная классификация: либо единичка, либо нолик. То есть мы предсказываем либо перед нами кошечка, либо это не кошечка.

https://habr.com/ru/articles/820411/

#Классификация #Confusion_matrix #Accuracy #Precision #Recall #Fscore #ROCAUC #метрики #искусственный_интеллект #наука_о_данных