#отбор_признаков — Public Fediverse posts

Почему дефолтный Feature Importance в бустинге врёт

Недавно для я озадачился проектом — создать автономного ML‑агента для табличных данных. На этапе отбора признаков логика Feature Selection казалась очевидной. Агент строит быстрый бейзлайн на LightGBM, смотрит на feature_importances_ , отсекает часть и вперёд. Агент после работы отчитался: размерность снижена. Но на тесте RMSE деградировала. Оказалось, что агент отсекал часть очень важных признаков.

https://habr.com/ru/articles/1096086/

#машинное_обучение #lightgbm #градиентный_бустинг #feature_importance #shap #отбор_признаков #treeshap

Слишком хороший признак: как звёзды, галактики и квазары научили меня не верить графикам

На Kaggle завершился шестой эпизод Playground Series , и тема на этот раз была астрономическая: по горстке чисел определить, что перед нами: звезда, галактика или квазар. По этому выпуску я решил собрать почти исчерпывающий разбор EDA.

https://habr.com/ru/articles/1056802/

#kaggle #EDA #разведочный_анализ_данных #машинное_обучение #кроссвалидация #balanced_accuracy #LightGBM #астрономия #SDSS #отбор_признаков

Рекурсивный отбор признаков. Динамический шаг в танце feature selection

В статье рассматривается выбор оптимального шага при рекурсивном отборе признаков (RFE). Предлагаются три подхода: фиксированный шаг, динамический шаг, зависящий от количества признаков, и динамический шаг, основанный на значимости признаков. На основе как искусственно сгенерированных, так и реальных наборов данных проводится анализ эффективности каждого метода, выявляются их преимущества и недостатки. Также внимание уделяется недостаткам текущей реализации RFE в библиотеке Scikit-learn, и предлагаются пути их улучшения, а также креативные подходы к решению задач feature selection.

https://habr.com/ru/articles/833954/

#data_science #machine_learning #feature_selection #feature_extraction #отбор_признаков #lightgbm #машинное_обучение