#sklearn — Public Fediverse posts

Мета-модель для диагностики обучения нейросетей

Когда мы обучаем модели машинного обучения, почти всегда возникает один и тот же вопрос: Что именно происходит во время обучения? Обычно мы смотрим на графики метрик и пытаемся вручную интерпретировать происходящее. Можно посмотреть на learning curves и понять, что происходит: Но этот анализ почти всегда выполняется вручную или с помощью простейших эвристических правил. А ведь сколько времени, сил и нервов можно было бы сэкономить, если обучить до 100 эпохи а не до 500 (см картинка выше) :-( Но можно задать интересный вопрос: А можно ли автоматически определить состояние обучения модели?

https://habr.com/ru/articles/1010556/

#ml #mlops #mlинженер #python #sklearn #random_forest

Мета-модель для диагностики обучения нейросетей

Когда мы обучаем модели машинного обучения, почти всегда возникает один и тот же вопрос: Что именно происходит во время обучения? Обычно мы смотрим на графики метрик и пытаемся вручную интерпретировать происходящее. Можно посмотреть на learning curves и понять, что происходит: Но этот анализ почти всегда выполняется вручную или с помощью простейших эвристических правил. А ведь сколько времени, сил и нервов можно было бы сэкономить, если обучить до 100 эпохи а не до 500 (см картинка выше) :-( Но можно задать интересный вопрос: А можно ли автоматически определить состояние обучения модели?

https://habr.com/ru/articles/1010556/

#ml #mlops #mlинженер #python #sklearn #random_forest

Мета-модель для диагностики обучения нейросетей

Когда мы обучаем модели машинного обучения, почти всегда возникает один и тот же вопрос: Что именно происходит во время обучения? Обычно мы смотрим на графики метрик и пытаемся вручную интерпретировать происходящее. Можно посмотреть на learning curves и понять, что происходит: Но этот анализ почти всегда выполняется вручную или с помощью простейших эвристических правил. А ведь сколько времени, сил и нервов можно было бы сэкономить, если обучить до 100 эпохи а не до 500 (см картинка выше) :-( Но можно задать интересный вопрос: А можно ли автоматически определить состояние обучения модели?

https://habr.com/ru/articles/1010556/

#ml #mlops #mlинженер #python #sklearn #random_forest

Мета-модель для диагностики обучения нейросетей

Когда мы обучаем модели машинного обучения, почти всегда возникает один и тот же вопрос: Что именно происходит во время обучения? Обычно мы смотрим на графики метрик и пытаемся вручную интерпретировать происходящее. Можно посмотреть на learning curves и понять, что происходит: Но этот анализ почти всегда выполняется вручную или с помощью простейших эвристических правил. А ведь сколько времени, сил и нервов можно было бы сэкономить, если обучить до 100 эпохи а не до 500 (см картинка выше) :-( Но можно задать интересный вопрос: А можно ли автоматически определить состояние обучения модели?

https://habr.com/ru/articles/1010556/

#ml #mlops #mlинженер #python #sklearn #random_forest

Компрессор для данных или как я написал свой первый custom transformer

Эта статья будет полезна DS специалистам, и тем, кто хоть когда-нибудь сталкивался с такой проблемой, как выбросы в данных или OOD (out of distribution), и ищет пути решения проблем, возникающих из-за них.

https://habr.com/ru/articles/988736/

#выбросы #анализ_данных #data_science #preprocessing #compression #outliner #custom_transformer #transformer #sklearn

От «обезьяньей» работы к Smart-анализу: как выполнить предобработку данных для моделей

От «обезьяньей» работы к Smart-анализу: как правильно готовить данные для моделей. Что такое Exploratory Data Analysis и как избежать основных ошибок при его выполнении.

https://habr.com/ru/articles/975082/

#pandas #sklearn #data_science #exploratory_data_analysis #machine_learning #numpy #statistics #feature_engineering

@data @datadon 🧵

Redressing #Bias: "Correlation Constraints for Regression Models":
Treder et al (2021) https://doi.org/10.3389/fpsyt.2021.615754

#dataDev #linearRegression #modeling #probability #probabilities #statistics #stats #modelling #regression #correctionRatio #skLearn #scikitLearn #python #AIDev

@data @datadon 🧵

Redressing #Bias: "Correlation Constraints for Regression Models":
Treder et al (2021) https://doi.org/10.3389/fpsyt.2021.615754

#dataDev #linearRegression #modeling #probability #probabilities #statistics #stats #modelling #regression #correctionRatio #skLearn #scikitLearn #python #AIDev

@[email protected] @[email protected] 🧵

Redressing #Bias: "Correlation Constraints for Regression Models":
Treder et al (2021) https://doi.org/10.3389/fpsyt.2021.615754

#dataDev #linearRegression #modeling #probability #probabilities #statistics #stats #modelling #regression #correctionRatio #skLearn #scikitLearn #python #AIDev

@data @datadon 🧵

Redressing #Bias: "Correlation Constraints for Regression Models":
Treder et al (2021) https://doi.org/10.3389/fpsyt.2021.615754

#dataDev #linearRegression #modeling #probability #probabilities #statistics #stats #modelling #regression #correctionRatio #skLearn #scikitLearn #python #AIDev

@data @datadon 🧵

Redressing #Bias: "Correlation Constraints for Regression Models":
Treder et al (2021) https://doi.org/10.3389/fpsyt.2021.615754

#dataDev #linearRegression #modeling #probability #probabilities #statistics #stats #modelling #regression #correctionRatio #skLearn #scikitLearn #python #AIDev

"Feature importance helps in understanding which features contribute most to the prediction"

A few lines with #sklearn: https://mljourney.com/sklearn-linear-regression-feature-importance/

#interpretability #explainability #AIethics #compliance #taxonomy #ethicalAI #AIevaluation #linearRegression #featureEngineering

"Feature importance helps in understanding which features contribute most to the prediction"

A few lines with #sklearn: https://mljourney.com/sklearn-linear-regression-feature-importance/

#interpretability #explainability #AIethics #compliance #taxonomy #ethicalAI #AIevaluation #linearRegression #featureEngineering

"Feature importance helps in understanding which features contribute most to the prediction"

A few lines with #sklearn: https://mljourney.com/sklearn-linear-regression-feature-importance/

#interpretability #explainability #AIethics #compliance #taxonomy #ethicalAI #AIevaluation #linearRegression #featureEngineering

"Feature importance helps in understanding which features contribute most to the prediction"

A few lines with #sklearn: https://mljourney.com/sklearn-linear-regression-feature-importance/

#interpretability #explainability #AIethics #compliance #taxonomy #ethicalAI #AIevaluation #linearRegression #featureEngineering

"Feature importance helps in understanding which features contribute most to the prediction"

A few lines with #sklearn: https://mljourney.com/sklearn-linear-regression-feature-importance/

#interpretability #explainability #AIethics #compliance #taxonomy #ethicalAI #AIevaluation #linearRegression #featureEngineering

@datadon

#Lasso #LinearRegression "is useful in some contexts due to its tendency to prefer solutions with fewer non-zero coefficients, effectively reducing the number of features upon which the given solution is dependent"

https://scikit-learn.org/stable/modules/linear_model.html#lasso 🧵

#dataDev #AIDev #ML #sklearn #python #interpretability

@datadon

#Lasso #LinearRegression "is useful in some contexts due to its tendency to prefer solutions with fewer non-zero coefficients, effectively reducing the number of features upon which the given solution is dependent"

https://scikit-learn.org/stable/modules/linear_model.html#lasso 🧵

#dataDev #AIDev #ML #sklearn #python #interpretability

@[email protected]

#Lasso #LinearRegression "is useful in some contexts due to its tendency to prefer solutions with fewer non-zero coefficients, effectively reducing the number of features upon which the given solution is dependent"

https://scikit-learn.org/stable/modules/linear_model.html#lasso 🧵

#dataDev #AIDev #ML #sklearn #python #interpretability

@datadon

#Lasso #LinearRegression "is useful in some contexts due to its tendency to prefer solutions with fewer non-zero coefficients, effectively reducing the number of features upon which the given solution is dependent"

https://scikit-learn.org/stable/modules/linear_model.html#lasso 🧵

#dataDev #AIDev #ML #sklearn #python #interpretability

@datadon

#Lasso #LinearRegression "is useful in some contexts due to its tendency to prefer solutions with fewer non-zero coefficients, effectively reducing the number of features upon which the given solution is dependent"

https://scikit-learn.org/stable/modules/linear_model.html#lasso 🧵

#dataDev #AIDev #ML #sklearn #python #interpretability

Uhm... if I get a decision tree like the one shown in the picture, does it mean that I only need the columns shown in the tree for training and validation, right? I would only need the columns 2 and 3 (x[2], x[3]), isn't it? Or am I missing something else?

#Sklearn #MachineLearning #ML #DecisionTree

#LinearRegression #Python #Sklearn
Dive into predictive modeling with our comprehensive guide on linear regression using Python and sklearn. Learn step-by-step implementation, result interpretation, and data visualization techniques. Perfect for beginners

https://teguhteja.id/mastering-linear-regression-with-python-and-sklearn-a-step-by-step-guide/

#MachineLearning #DataScience #PythonProgramming #Sklearn #TensorFlow #AI #DeepLearning #DataPreprocessing #FeatureEngineering #MLJourney #LearnML #TechSkills #DataCleaning #MLModels

https://teguhteja.id/machine-learning-sklearn-and-tensorflow-course-path/

AI фэшн-стилист-колорист или как научить модель различать 16,7 млн оттенков без их текстового представления

Небольшое интро, в котором многие себя узнают Как часто, листая продуктовый каталог в интернет-магазине одежды, вы не находили товар нужного вам оттенка? Наткнувшись на юбку мечты, вы перебираете в уме все имеющиеся в арсенале аксессуары и понимаете, что ничего подходящего нет. Нужно срочно искать нечто как минимум идеальное для этого образа! Но как перебирать товары вручную? Как отфильтровать их по ограниченному набору предлагаемых цветов? А теперь представьте, что вас пригласили на свадьбу с заранее определенной палитрой желательных цветов для костюма. Согласитесь, вероятность успеха в поисках не так велика в условиях, если нужно подобрать, например, светло-пурпурный. И вопрос работы с оттенками является важным не только при подборе гардероба. Сфера интерьерного дизайна неразрывно связана с цветовыми решениями при согласовании элементов декора, выборе краски, обоев и отделочных материалов; Цифровой дизайн работает с логотипами, баннерами, интерфейсами, в которых также важна колористика; Индустрия красоты : подбор оттенков косметики, которые будут гармонировать с кожей и одеждой клиента; Искусство: анализ цветовой палитры произведений искусства, реставрация картин, создание новых произведений с учетом цветовых гармоний; Реклама: создание ярких и запоминающихся материалов с учетом психологии восприятия цвета; Автомобили и мотоциклы : поиск краски для маскировки царапин или полной перекраски, чтобы цвет точно соответствовал оригиналу; выбор аксессуаров — диски, накладки, коврики и чехлы, которые соответствуют цвету транспортного средства.

https://habr.com/ru/companies/neoflex/articles/823326/

#neoflex #datascience #computervision #deeplearning #keras #tensorflow #tripletloss #neuralnetworks #sklearn #python

Really excited to attend #JupyterCon in Paris next month!

@vincent_m and I will give a full day tutorial on predictive Survival Analysis and Competing Risks modeling with a Gradient Boosting model assembled from generic scikit-learn building blocks. We will also introduce many concepts and model evaluation methodology using specialized libraries such as lifelines and scikit-survival.

Here is the full agenda for this session:

https://cfp.jupytercon.com/2023/talk/ACPULZ/

#PyData #SurvivalAnalysis #sklearn

The TargetEncoder PR has been merged into the scikit-learn main branch!

https://github.com/scikit-learn/scikit-learn/pull/25334

It's a very efficient way to deal with high cardinality categorical variables for supervised machine learning tasks. See the following quick tutorial to compare its performance with one-hot encoding, ordinal encoding and native support of categorical variables in Gradient Boosted Trees:

https://scikit-learn.org/dev/auto_examples/preprocessing/plot_target_encoder.html

It will be part of scikit-learn 1.3.

#sklearn #PyData #SciPy #MachineLearnig #Python

I just did an #introduction a few days ago, but I've moved servers, so let's try one more time, for the cheap seats in the back!

I'm currently a data analyst/product #DataScientist working with free-to-play #VideoGames, and living in #Halifax, #NovaScotia, #Canada. I've done a lot of work on #Analytics design, with a focus on ensuring player telemetry events are sensibly cross-referenceable, and looking for relationships between engagement with different game features and business outcomes.

Business teams in freemium games love looking for magic buttons.

I primarily use #SQL, #Pandas, #Statsmodels, and #SKLearn on #Databricks (#Python), and #JuliaLang (DataFrames.jl, GLM.jl, Gadfly.jl, and Makie.jl, etc) for smaller, locally run projects. My interests lie in expanding the library of ML models I have in my back pocket for performing inference based knowledge generation. I'm not super keen on automating products with quasi-black-boxes for the sake of revenue optimization. If I'm not personally learning something new about people through my work, I don't usually see the value in it.

I did my BSc in #Physics and my MSc in #Astronomy, and, though I had dreams of progressing further down that pipeline, life kind of got in the way. Between the two degrees, I worked at the #Edmonton #Planetarium for four years as a presenter/operator (should out to the #ZeidlerDome at #TWoSE!).

I'm a life-long #Trekie, thanks to my mother. I grew up with #TNG and #DS9, and watched the first 5 seasons of #VOY before leaving home for university. Currently very bullish on #SNW and #LDS.

I'm also a lifelong #Baseball fan (#BlueJays and #Expos), and actively play rec #Softball.

About a year ago, I purchased my first lens-swappable digital #camera, and have been figuring out #Photography ever since. Most of my posts have focused on sharing my pictures, though I've recently decided to start a dedicated account for that on a #PixelFed server, for the sake of searchability.

My wife is currently studying political sociology, and I find her work fascinating. She's not currently on the Fediverse, but maybe one of these days.

This has really lost all sense of narrative flow, hasn't it? Oops!

Scikit Flow #skflow has been moved to @TensorFlo https://goo.gl/WvpO79 and will be maintained there! #deeperlearning #datascience #sklearn