#mlflow — Public Fediverse posts

MLflow MLOps on #RaspberryPi? 📈🍓
Tutorial: install, setup, and experiment tracking. With tests in my chatbot program, all self-hosted!
https://peppe8o.com/raspberry-pi-mlflow/ #RaspberryPi #MLflow #python #AI #MLOps #peppe8o @

MLflow MLOps on #RaspberryPi? 📈🍓
Tutorial: install, setup, and experiment tracking. With tests in my chatbot program, all self-hosted!
https://peppe8o.com/raspberry-pi-mlflow/ #RaspberryPi #MLflow #python #AI #MLOps #peppe8o @

MLflow MLOps on #RaspberryPi? 📈🍓
Tutorial: install, setup, and experiment tracking. With tests in my chatbot program, all self-hosted!
https://peppe8o.com/raspberry-pi-mlflow/ #RaspberryPi #MLflow #python #AI #MLOps #peppe8o @

MLflow MLOps on #RaspberryPi? 📈🍓
Tutorial: install, setup, and experiment tracking. With tests in my chatbot program, all self-hosted!
https://peppe8o.com/raspberry-pi-mlflow/ #RaspberryPi #MLflow #python #AI #MLOps #peppe8o @

MLflow MLOps on #RaspberryPi? 📈🍓
Tutorial: install, setup, and experiment tracking. With tests in my chatbot program, all self-hosted!
https://peppe8o.com/raspberry-pi-mlflow/ #RaspberryPi #MLflow #python #AI #MLOps #peppe8o @

Как я уместил весь MLOps пайплайн в 10 строк

В последнее время я часто работал с разными ML-проектами в GitLab. В каждом был свой .gitlab-ci.yml , своя обвязка вокруг MLFlow, своя регистрация и валидация модели. Со временем я понял, что MLOps пайплайн во всех проектах очень похож, а при работе с новыми копипаста размножается быстрее кроликов. Ну и тут уже хочешь не хочешь, но идея сделать общий шаблон напрашивается. Однако будем честны, обычный template для CI — это круто, но хочется чего-то гибкого, декларативного и красивого. Для достижения этих целей GitLab уже давно предлагает переходить на CI/CD компоненты . В результате я хотел видеть 10 строк YAML, которые будут выдавать полноценный пайплайн с валидацией данных, обучением, quality gates и регистрацией модели. И спустя месяц я добился желаемого. В этой статье покажу, как устроен компонент, на какие грабли наступал по пути, и как подключить всё это в ваш проект. Сам компонент.

https://habr.com/ru/companies/ruvds/articles/1013854/

#mlops #gitlab #gitlabci #ml #mlflow #ruvds_статьи

Как я уместил весь MLOps пайплайн в 10 строк

В последнее время я часто работал с разными ML-проектами в GitLab. В каждом был свой .gitlab-ci.yml , своя обвязка вокруг MLFlow, своя регистрация и валидация модели. Со временем я понял, что MLOps пайплайн во всех проектах очень похож, а при работе с новыми копипаста размножается быстрее кроликов. Ну и тут уже хочешь не хочешь, но идея сделать общий шаблон напрашивается. Однако будем честны, обычный template для CI — это круто, но хочется чего-то гибкого, декларативного и красивого. Для достижения этих целей GitLab уже давно предлагает переходить на CI/CD компоненты . В результате я хотел видеть 10 строк YAML, которые будут выдавать полноценный пайплайн с валидацией данных, обучением, quality gates и регистрацией модели. И спустя месяц я добился желаемого. В этой статье покажу, как устроен компонент, на какие грабли наступал по пути, и как подключить всё это в ваш проект. Сам компонент.

https://habr.com/ru/companies/ruvds/articles/1013854/

#mlops #gitlab #gitlabci #ml #mlflow #ruvds_статьи

Как я уместил весь MLOps пайплайн в 10 строк

В последнее время я часто работал с разными ML-проектами в GitLab. В каждом был свой .gitlab-ci.yml , своя обвязка вокруг MLFlow, своя регистрация и валидация модели. Со временем я понял, что MLOps пайплайн во всех проектах очень похож, а при работе с новыми копипаста размножается быстрее кроликов. Ну и тут уже хочешь не хочешь, но идея сделать общий шаблон напрашивается. Однако будем честны, обычный template для CI — это круто, но хочется чего-то гибкого, декларативного и красивого. Для достижения этих целей GitLab уже давно предлагает переходить на CI/CD компоненты . В результате я хотел видеть 10 строк YAML, которые будут выдавать полноценный пайплайн с валидацией данных, обучением, quality gates и регистрацией модели. И спустя месяц я добился желаемого. В этой статье покажу, как устроен компонент, на какие грабли наступал по пути, и как подключить всё это в ваш проект. Сам компонент.

https://habr.com/ru/companies/ruvds/articles/1013854/

#mlops #gitlab #gitlabci #ml #mlflow #ruvds_статьи

Как я уместил весь MLOps пайплайн в 10 строк

В последнее время я часто работал с разными ML-проектами в GitLab. В каждом был свой .gitlab-ci.yml , своя обвязка вокруг MLFlow, своя регистрация и валидация модели. Со временем я понял, что MLOps пайплайн во всех проектах очень похож, а при работе с новыми копипаста размножается быстрее кроликов. Ну и тут уже хочешь не хочешь, но идея сделать общий шаблон напрашивается. Однако будем честны, обычный template для CI — это круто, но хочется чего-то гибкого, декларативного и красивого. Для достижения этих целей GitLab уже давно предлагает переходить на CI/CD компоненты . В результате я хотел видеть 10 строк YAML, которые будут выдавать полноценный пайплайн с валидацией данных, обучением, quality gates и регистрацией модели. И спустя месяц я добился желаемого. В этой статье покажу, как устроен компонент, на какие грабли наступал по пути, и как подключить всё это в ваш проект. Сам компонент.

https://habr.com/ru/companies/ruvds/articles/1013854/

#mlops #gitlab #gitlabci #ml #mlflow #ruvds_статьи

Building an ML-Powered Transaction Classifier with Retraining and A/B Testing
Every month I download a CSV from my bank with all our household transactions. Each one needs a category: groceries, fuel, mortgage, subscriptions, insurance.
https://www.hylkerozema.nl/2026/02/26/building-an-ml-powered-transaction-classifier-with-retraining-and-a-b-testing/
#DataScience #MachineLearningEngineering #classification #DataScience #Flask #MachineLearning #MLflow #MLOps #mongodb #NAS #Optuna #Python

Building an ML-Powered Transaction Classifier with Retraining and A/B Testing
Every month I download a CSV from my bank with all our household transactions. Each one needs a category: groceries, fuel, mortgage, subscriptions, insurance.
https://www.hylkerozema.nl/2026/02/26/building-an-ml-powered-transaction-classifier-with-retraining-and-a-b-testing/
#DataScience #MachineLearningEngineering #classification #DataScience #Flask #MachineLearning #MLflow #MLOps #mongodb #NAS #Optuna #Python

Building an ML-Powered Transaction Classifier with Retraining and A/B Testing
Every month I download a CSV from my bank with all our household transactions. Each one needs a category: groceries, fuel, mortgage, subscriptions, insurance.
https://www.hylkerozema.nl/2026/02/26/building-an-ml-powered-transaction-classifier-with-retraining-and-a-b-testing/
#DataScience #MachineLearningEngineering #classification #DataScience #Flask #MachineLearning #MLflow #MLOps #mongodb #NAS #Optuna #Python

Building an ML-Powered Transaction Classifier with Retraining and A/B Testing
Every month I download a CSV from my bank with all our household transactions. Each one needs a category: groceries, fuel, mortgage, subscriptions, insurance.
https://www.hylkerozema.nl/2026/02/26/building-an-ml-powered-transaction-classifier-with-retraining-and-a-b-testing/
#DataScience #MachineLearningEngineering #classification #DataScience #Flask #MachineLearning #MLflow #MLOps #mongodb #NAS #Optuna #Python

Building an ML-Powered Transaction Classifier with Retraining and A/B Testing
Every month I download a CSV from my bank with all our household transactions. Each one needs a category: groceries, fuel, mortgage, subscriptions, insurance.
https://www.hylkerozema.nl/2026/02/26/building-an-ml-powered-transaction-classifier-with-retraining-and-a-b-testing/
#DataScience #MachineLearningEngineering #classification #DataScience #Flask #MachineLearning #MLflow #MLOps #mongodb #NAS #Optuna #Python

We’re looking for a way to version and catalogue self-trained deep learning models (training data, code revision, etc.) from our Tissue-Concepts family of medical foundation models.

We’ve briefly looked at #W&B, #MLflow (now integrated into GitLab), and intensely tried storing more-or-less-documented model snapshots to disk.

Has anyone had good or bad experiences with these tools in research / medical ML settings? Any recommendations?

#ComputationalPathology #datascience #deeplearning

We’re looking for a way to version and catalogue self-trained deep learning models (training data, code revision, etc.) from our Tissue-Concepts family of medical foundation models.

We’ve briefly looked at #W&B, #MLflow (now integrated into GitLab), and intensely tried storing more-or-less-documented model snapshots to disk.

Has anyone had good or bad experiences with these tools in research / medical ML settings? Any recommendations?

#ComputationalPathology #datascience #deeplearning

We’re looking for a way to version and catalogue self-trained deep learning models (training data, code revision, etc.) from our Tissue-Concepts family of medical foundation models.

We’ve briefly looked at #W&B, #MLflow (now integrated into GitLab), and intensely tried storing more-or-less-documented model snapshots to disk.

Has anyone had good or bad experiences with these tools in research / medical ML settings? Any recommendations?

#ComputationalPathology #datascience #deeplearning

We’re looking for a way to version and catalogue self-trained deep learning models (training data, code revision, etc.) from our Tissue-Concepts family of medical foundation models.

We’ve briefly looked at #W&B, #MLflow (now integrated into GitLab), and intensely tried storing more-or-less-documented model snapshots to disk.

Has anyone had good or bad experiences with these tools in research / medical ML settings? Any recommendations?

#ComputationalPathology #datascience #deeplearning

Benchmark Driven Development: почему мы перестали верить чужим бенчмаркам

В этой статье расскажем, как мы пришли к подходу, который внутри называем Benchmark Driven Development (BDD) — разработка, движимая бенчмарками на своих данных. (Да, мы знаем, что BDD — это ещё и Behavior Driven Development, тут у нас своя расшифровка 🙂)

https://habr.com/ru/articles/975188/

#ML #mlflow #datascience #benchmark #ocr

🚀 New blog post: Choosing the Right LLM with MLflow

How do you systematically evaluate which open-source LLM performs best for your use case?

I wrote a hands-on guide covering:
✅ Comparing multiple models (Llama, Mistral, DeepSeek)
✅ Docker Compose infrastructure
✅ Complete Python & bash code

The evaluation pipeline works unchanged from local → staging → production.

https://www.lotharschulz.info/2025/12/08/choosing-the-right-llm-systematic-model-evaluation-with-mlflow/

#MLOps #LLM #MLflow #Python #DevOps #MachineLearning #OpenSource #AI

Единый вход для ML-стека на примере Keycloak

Привет! Я Саша Абакумов, DevOps-инженер в KTS . Нашей команде часто приходится поднимать инфраструктуру под ML-проекты. Со временем число ML-инженеров и разработчиков на таких проектах росло, и логиниться в каждый по отдельности становилось все больнее. Чтобы упростить коллегам жизнь, мы интегрировали Single Sign-On (SSO) в стек одного из наших проектов, состоящий из JupyterHub, Airflow и MLflow. SSO позволяет единообразно аутентифицироваться во всех инструментах под одной учетной записью. Помимо очевидного удобства, нам это также дало возможность централизованно управлять доступом и внедрить RBAC — сопоставление ролей в инструментах с группами или ролями в IdP. В качестве инструмента для реализации SSO я использовал OIDC-провайдер Keycloak, наверняка многим хорошо знакомый. Ниже я расскажу о том, как с его помощью настроить SSO для JupyterHub, MLflow и Airflow (все компоненты разворачиваются с помощью Helm-чартов).

https://habr.com/ru/companies/kts/articles/971982/

#ml #mlflow #sso #sso_аутентификация #jupyterhub #airflow #keycloak

Единый вход для ML-стека на примере Keycloak

Привет! Я Саша Абакумов, DevOps-инженер в KTS . Нашей команде часто приходится поднимать инфраструктуру под ML-проекты. Со временем число ML-инженеров и разработчиков на таких проектах росло, и логиниться в каждый по отдельности становилось все больнее. Чтобы упростить коллегам жизнь, мы интегрировали Single Sign-On (SSO) в стек одного из наших проектов, состоящий из JupyterHub, Airflow и MLflow. SSO позволяет единообразно аутентифицироваться во всех инструментах под одной учетной записью. Помимо очевидного удобства, нам это также дало возможность централизованно управлять доступом и внедрить RBAC — сопоставление ролей в инструментах с группами или ролями в IdP. В качестве инструмента для реализации SSO я использовал OIDC-провайдер Keycloak, наверняка многим хорошо знакомый. Ниже я расскажу о том, как с его помощью настроить SSO для JupyterHub, MLflow и Airflow (все компоненты разворачиваются с помощью Helm-чартов).

https://habr.com/ru/companies/kts/articles/971982/

#ml #mlflow #sso #sso_аутентификация #jupyterhub #airflow #keycloak

Единый вход для ML-стека на примере Keycloak

Привет! Я Саша Абакумов, DevOps-инженер в KTS . Нашей команде часто приходится поднимать инфраструктуру под ML-проекты. Со временем число ML-инженеров и разработчиков на таких проектах росло, и логиниться в каждый по отдельности становилось все больнее. Чтобы упростить коллегам жизнь, мы интегрировали Single Sign-On (SSO) в стек одного из наших проектов, состоящий из JupyterHub, Airflow и MLflow. SSO позволяет единообразно аутентифицироваться во всех инструментах под одной учетной записью. Помимо очевидного удобства, нам это также дало возможность централизованно управлять доступом и внедрить RBAC — сопоставление ролей в инструментах с группами или ролями в IdP. В качестве инструмента для реализации SSO я использовал OIDC-провайдер Keycloak, наверняка многим хорошо знакомый. Ниже я расскажу о том, как с его помощью настроить SSO для JupyterHub, MLflow и Airflow (все компоненты разворачиваются с помощью Helm-чартов).

https://habr.com/ru/companies/kts/articles/971982/

#ml #mlflow #sso #sso_аутентификация #jupyterhub #airflow #keycloak

Unlock MLOps mastery! Dive into the power of MLflow tracking with our 5 essential steps. Transform your ML workflow from chaos to clarity and achieve true reproducibility. #MLOps #MLflow #MachineLearning #DataScience #AI #TechTutorial

https://teguhteja.id/mlops-mlflow-tracking-guide/?utm_source=mastodon&utm_medium=jetpack_social

Библиотека OutboxML от Страхового Дома ВСК

Хабр, привет! Меня зовут Семён Семёнов, я руковожу Data Science и Machine Learning в Страховом Доме ВСК. В этой статье расскажу, как мы создали систему автоматического обучения и развёртывания моделей машинного обучения с открытым исходным кодом. Первый вопрос, который может задать себе читатель, знакомый с темой современного машинного обучения: «Почему бы не взять одну из десятков (если не сотен) открытых AutoML-библиотек?» Ответ прост: мы не стремились создать ещё один «стандартный» проект AutoML. Наша цель — сфокусироваться на вещах, которые редко встречаются в готовых решениях:

https://habr.com/ru/companies/vsk_insurance/articles/942110/

#automl #машинное_обучение #машинное_обучение_python #data_science #mlops #mlflow #fastapi #grafana #открытый_код #ml

Библиотека OutboxML от Страхового Дома ВСК

Хабр, привет! Меня зовут Семён Семёнов, я руковожу Data Science и Machine Learning в Страховом Доме ВСК. В этой статье расскажу, как мы создали систему автоматического обучения и развёртывания моделей машинного обучения с открытым исходным кодом. Первый вопрос, который может задать себе читатель, знакомый с темой современного машинного обучения: «Почему бы не взять одну из десятков (если не сотен) открытых AutoML-библиотек?» Ответ прост: мы не стремились создать ещё один «стандартный» проект AutoML. Наша цель — сфокусироваться на вещах, которые редко встречаются в готовых решениях:

https://habr.com/ru/companies/vsk_insurance/articles/942110/

#automl #машинное_обучение #машинное_обучение_python #data_science #mlops #mlflow #fastapi #grafana #открытый_код #ml

Библиотека OutboxML от Страхового Дома ВСК

Хабр, привет! Меня зовут Семён Семёнов, я руковожу Data Science и Machine Learning в Страховом Доме ВСК. В этой статье расскажу, как мы создали систему автоматического обучения и развёртывания моделей машинного обучения с открытым исходным кодом. Первый вопрос, который может задать себе читатель, знакомый с темой современного машинного обучения: «Почему бы не взять одну из десятков (если не сотен) открытых AutoML-библиотек?» Ответ прост: мы не стремились создать ещё один «стандартный» проект AutoML. Наша цель — сфокусироваться на вещах, которые редко встречаются в готовых решениях:

https://habr.com/ru/companies/vsk_insurance/articles/942110/

#automl #машинное_обучение #машинное_обучение_python #data_science #mlops #mlflow #fastapi #grafana #открытый_код #ml

Библиотека OutboxML от Страхового Дома ВСК

Хабр, привет! Меня зовут Семён Семёнов, я руковожу Data Science и Machine Learning в Страховом Доме ВСК. В этой статье расскажу, как мы создали систему автоматического обучения и развёртывания моделей машинного обучения с открытым исходным кодом. Первый вопрос, который может задать себе читатель, знакомый с темой современного машинного обучения: «Почему бы не взять одну из десятков (если не сотен) открытых AutoML-библиотек?» Ответ прост: мы не стремились создать ещё один «стандартный» проект AutoML. Наша цель — сфокусироваться на вещах, которые редко встречаются в готовых решениях:

https://habr.com/ru/companies/vsk_insurance/articles/942110/

#automl #машинное_обучение #машинное_обучение_python #data_science #mlops #mlflow #fastapi #grafana #открытый_код #ml

MLflow для исследований: как систематизировать ML-эксперименты

Когда речь заходит о таких инструментах, как Airflow, MLflow или Docker, многие сразу представляют себе продакшен-среду, и новичков это может пугать. Однако на самом деле эти инструменты полезны не только в проде или крупных компаниях. Сегодня я хочу рассказать об MLflow. Эта статья рассчитана на тех, кто только начинает свой путь в машинном обучении и обладает базовыми знаниями, а также на практикующих ученых в области ИИ, которые пока не знакомы с этим инструментом или сознательно им не пользуются.

https://habr.com/ru/articles/905986/

#mlflow #машинное_обучение #искусственный_интеллект #эксперименты #логирование #трекинг #mlops

Введение в MLflow: настройка и запуск

Введение в MLflow: настройка и запуск Привет, Хабр! Я Александр Кузьмичёв, специалист по анализу данных и машинному обучению в ПГК Диджитал. Мы в компании занимаемся разработкой цифровых продуктов для железнодорожных грузоперевозок. Ранее я рассказывал о том, как открытая платформа MLflow помогает нам в работе. В этой серии статей я хотел бы поделиться с вами увлекательным путешествием в мир MLflow, Optuna, AutoML и развёртывания моделей с помощью MLflow. Сегодня мы заложим фундамент, начнём с вводной статьи. Я расскажу, как установить и настроить MLflow, а также как опубликовать его с доступом в интернет. Это пригодится для мини- и пет-проектов. В дальнейшем добавлю функционал по логированию, что значительно упростит процесс работы с моделями. Что потребуется: Docker Statics IP- статический (неизменяемый внешний) IP Internet Free space ~40gb Что получим: MLflow Jupyter Minio Mysql Настроенные пути к портам Логин и пароли для моделей

https://habr.com/ru/companies/pgk/articles/904078/

#mlflow #mlops #python #ML #devops #jupyter #minio #mysql

Explore how to design a #MachineLearning pipeline with built-in observability for credit card fraud detection.

The approach leverages powerful tools like MLflow, Streamlit, Prometheus, Grafana & Evidently AI.

📖 #InfoQ article: https://bit.ly/4l0FrBa

#MLflow #Streamlit #Prometheus #Grafana #EvidentlyAI #Observability #Performance #DataVisualization

Live coding #mlflow

[Перевод] 5 лучших фреймворков с открытым исходным кодом для оценки больших языковых моделей (LLM) в 2024 году

«У меня такое чувство, что решений для оценки LLM больше, чем проблем, связанных с их оценкой», — сказал Дилан, руководитель отдела ИИ в компании из списка Fortune 500. И я полностью согласен — кажется, что каждую неделю появляется новый репозиторий с открытым исходным кодом, пытающийся сделать то же самое, что и другие 30+ уже существующих фреймворков. В конце концов, чего действительно хочет Дилан, так это фреймворка, пакета, библиотеки, как угодно, который просто количественно оценил бы производительность LLM (приложения), которую он хочет запустить в продакшен. Итак, как человек, который когда-то был на месте Дилана, я составил список из 5 лучших фреймворков для оценки LLM, существующих в 2024 году :) 😌 Начнем!

https://habr.com/ru/articles/865212/

#deepeval #mlflow #rag #ragas #llm #arize_ai

[Перевод] 5 лучших фреймворков с открытым исходным кодом для оценки больших языковых моделей (LLM) в 2024 году

«У меня такое чувство, что решений для оценки LLM больше, чем проблем, связанных с их оценкой», — сказал Дилан, руководитель отдела ИИ в компании из списка Fortune 500. И я полностью согласен — кажется, что каждую неделю появляется новый репозиторий с открытым исходным кодом, пытающийся сделать то же самое, что и другие 30+ уже существующих фреймворков. В конце концов, чего действительно хочет Дилан, так это фреймворка, пакета, библиотеки, как угодно, который просто количественно оценил бы производительность LLM (приложения), которую он хочет запустить в продакшен. Итак, как человек, который когда-то был на месте Дилана, я составил список из 5 лучших фреймворков для оценки LLM, существующих в 2024 году :) 😌 Начнем!

https://habr.com/ru/articles/865212/

#deepeval #mlflow #rag #ragas #llm #arize_ai

[Перевод] 5 лучших фреймворков с открытым исходным кодом для оценки больших языковых моделей (LLM) в 2024 году

«У меня такое чувство, что решений для оценки LLM больше, чем проблем, связанных с их оценкой», — сказал Дилан, руководитель отдела ИИ в компании из списка Fortune 500. И я полностью согласен — кажется, что каждую неделю появляется новый репозиторий с открытым исходным кодом, пытающийся сделать то же самое, что и другие 30+ уже существующих фреймворков. В конце концов, чего действительно хочет Дилан, так это фреймворка, пакета, библиотеки, как угодно, который просто количественно оценил бы производительность LLM (приложения), которую он хочет запустить в продакшен. Итак, как человек, который когда-то был на месте Дилана, я составил список из 5 лучших фреймворков для оценки LLM, существующих в 2024 году :) 😌 Начнем!

https://habr.com/ru/articles/865212/

#deepeval #mlflow #rag #ragas #llm #arize_ai

[Перевод] 5 лучших фреймворков с открытым исходным кодом для оценки больших языковых моделей (LLM) в 2024 году

«У меня такое чувство, что решений для оценки LLM больше, чем проблем, связанных с их оценкой», — сказал Дилан, руководитель отдела ИИ в компании из списка Fortune 500. И я полностью согласен — кажется, что каждую неделю появляется новый репозиторий с открытым исходным кодом, пытающийся сделать то же самое, что и другие 30+ уже существующих фреймворков. В конце концов, чего действительно хочет Дилан, так это фреймворка, пакета, библиотеки, как угодно, который просто количественно оценил бы производительность LLM (приложения), которую он хочет запустить в продакшен. Итак, как человек, который когда-то был на месте Дилана, я составил список из 5 лучших фреймворков для оценки LLM, существующих в 2024 году :) 😌 Начнем!

https://habr.com/ru/articles/865212/

#deepeval #mlflow #rag #ragas #llm #arize_ai

Nuevo Meetup de #PyData #Granada

Y van 🔟‼️

#Python + #R en #Oncología / Aprende #MLFlow

Amalia y Daniel cerrarán este intenso año 2024 con una edición prenavideña 🎄 el próximo 1️⃣9️⃣ de DICIEMBRE a las 19h 🕖 en la sede de #ELCA

📍Calle Andrés Segovia 53, 3B · Granada

Apuntáos ya! 🔽

https://www.meetup.com/es-ES/pydatagrx/events/304896778

Введение в MLflow

MLflow - это инструмент для управления жизненным циклом машинного обучения: отслеживание экспериментов, управление и деплой моделей и проектов. В этом руководстве мы посмотрим, как организовать эксперименты и запуски, оптимизировать гиперпараметры с помощью optuna, сравнивать модели и выбирать лучшие параметры. Также рассмотрим логирование моделей, использование их в разных форматах, упаковку проекта в MLproject и установку удаленного Tracking Server MLflow.

https://habr.com/ru/companies/ods/articles/828458/

#python #mlflow #mlops #ml #machine_learning

Canonical Launches Data Science Stack for Data Science and Machine Learning Beginners #DataScienceStack #DSS #Datascience #MachineLearning #Ubuntu #Pytorch #Tensorflow #Microk8s #Jupyterlab #MLflow #Linux
https://ostechnix.com/canonical-data-science-stack-dss/

Canonical Launches Data Science Stack for Data Science and Machine Learning Beginners #DataScienceStack #DSS #Datascience #MachineLearning #Ubuntu #Pytorch #Tensorflow #Microk8s #Jupyterlab #MLflow #Linux
https://ostechnix.com/canonical-data-science-stack-dss/

Canonical Launches Data Science Stack for Data Science and Machine Learning Beginners #DataScienceStack #DSS #Datascience #MachineLearning #Ubuntu #Pytorch #Tensorflow #Microk8s #Jupyterlab #MLflow #Linux
https://ostechnix.com/canonical-data-science-stack-dss/

Canonical Launches Data Science Stack for Data Science and Machine Learning Beginners #DataScienceStack #DSS #Datascience #MachineLearning #Ubuntu #Pytorch #Tensorflow #Microk8s #Jupyterlab #MLflow #Linux
https://ostechnix.com/canonical-data-science-stack-dss/

Canonical Launches Data Science Stack for Data Science and Machine Learning Beginners #DataScienceStack #DSS #Datascience #MachineLearning #Ubuntu #Pytorch #Tensorflow #Microk8s #Jupyterlab #MLflow #Linux
https://ostechnix.com/canonical-data-science-stack-dss/

Question about R, mlflow and models...

I am trying to register a R model using the crate flavor in mlflow, and I have some doubts.

I have been able to log and register the model. I have also tested that I can load the model again and use it for prediction (inputs/outputs are data.frames).

I was thinking... that would mean I should write the inference part in R, wouldn't it?

How could I deploy the model so it can be served as a general web service (REST API), not actually relying on final users to use R?

I'm now quite tired, but the only solution I have found is to maybe use plumbr to expose an API receiving a JSON with all the inputs as simple types, and generating the data.frame inside, as I have always done.

Do you think this can be done directly using a crated function? Has anybody done something similar?

Thanks in advance. I think this is a discussion worth having, as there is a lack of documentation on this topic for us R users. :(

#rstats #ml #machinelearning #models #mlflow #ai #datascience #data #prediction #mlops #modeldeployment

I'm learning #mlflow for real for the first time and boy, I wish I was recording my reactions. Nothing makes sense!

Why am I getting this WARNING? Why are there little green and gray circles without tooltips? Why was this apparently successful run marked as "Failed"?

This is not a critique just on MLFlow. Software in general is often inscrutable and makes you feel stupid. After a while we get used to it and then write tutorials like "foo is easy, you just simply..."

Строим lineage моделей машинного обучения и признаков с помощью OpenMetadata

Привет, Хабр! Мы в билайне любим машинное обучение. В какой-то момент моделей машинного обучения стало так много, что это вынудило нас решать определенные задачи. Я Дмитрий Ермилов, руковожу ML в дирекции по искусственному интеллекту и большим данным. О решении одной такой задачи и будет этот рассказ. Давайте представим, что у вас в компании большое количество моделей машинного обучения, каждая из которой может зависеть от нескольких десятков до нескольких тысяч признаков (фич). Причем разные модели могут зависеть от одних и тех же фич. Неожиданно случается несчастье, и одна из популярных фич ломается. Может произойти поломка на уровне подготовки данных, могут измениться внешние источники, отвалиться интеграции и прочее. Что делать с этим знанием? Конечно, бежать в продуктовые команды и кричать, что модели, которые зависят от этой фичи, могут деградировать, то есть их метрики качества могут снизиться. Вопрос только в том, какие модели могут деградировать и в какие команды бежать? Напомним, в каких условиях мы анализируем данные и строим модели машинного обучения.

https://habr.com/ru/companies/beeline_tech/articles/807833/

#mlops #openmetadata #airflow #mlflow

Мозг промышленного масштаба или как воплотить мечту в реальность?

В предыдущей статье мы рассмотрели различные типы нейросетей и обсудили, какие задачи можно решать с их помощью. Теперь рассмотрим задачу искусственного интеллекта с организационной и технической точки зрения. При работе над сложными проектами обычно вовлечена команда разработчиков и специалистов по обработке данных, у которых сразу возникают вопросы: как управлять проектом, совместно разрабатывать модель машинного обучения (Machine Learning model), проводить ее тестирование, каким образом синхронизировать код и результаты экспериментов? После разработки и оптимизации ML-модели возникает необходимость ее развертывания в промышленной среде. Все эти проблемы могут казаться менее увлекательными, чем решение самой задачи машинного обучения, но они имеют критическое значение для успешной реализации ML-проектов. В этой статье мы подробно рассмотрим жизненный цикл ML-сервиса от идеи до разработки и внедрения, а также инструменты и принципы, используемые на каждом этапе.

https://habr.com/ru/articles/795985/

#mlflow #mlops #mlops_tools #data_analysis #data_science #mlмодель #mlинженер #docker #kubernetes #project_management

Мозг промышленного масштаба или как воплотить мечту в реальность?

В предыдущей статье мы рассмотрели различные типы нейросетей и обсудили, какие задачи можно решать с их помощью. Теперь рассмотрим задачу искусственного интеллекта с организационной и технической точки зрения. При работе над сложными проектами обычно вовлечена команда разработчиков и специалистов по обработке данных, у которых сразу возникают вопросы: как управлять проектом, совместно разрабатывать модель машинного обучения (Machine Learning model), проводить ее тестирование, каким образом синхронизировать код и результаты экспериментов? После разработки и оптимизации ML-модели возникает необходимость ее развертывания в промышленной среде. Все эти проблемы могут казаться менее увлекательными, чем решение самой задачи машинного обучения, но они имеют критическое значение для успешной реализации ML-проектов. В этой статье мы подробно рассмотрим жизненный цикл ML-сервиса от идеи до разработки и внедрения, а также инструменты и принципы, используемые на каждом этапе.

https://habr.com/ru/articles/795985/

#mlflow #mlops #mlops_tools #data_analysis #data_science #mlмодель #mlинженер #docker #kubernetes #project_management

Мозг промышленного масштаба или как воплотить мечту в реальность?

В предыдущей статье мы рассмотрели различные типы нейросетей и обсудили, какие задачи можно решать с их помощью. Теперь рассмотрим задачу искусственного интеллекта с организационной и технической точки зрения. При работе над сложными проектами обычно вовлечена команда разработчиков и специалистов по обработке данных, у которых сразу возникают вопросы: как управлять проектом, совместно разрабатывать модель машинного обучения (Machine Learning model), проводить ее тестирование, каким образом синхронизировать код и результаты экспериментов? После разработки и оптимизации ML-модели возникает необходимость ее развертывания в промышленной среде. Все эти проблемы могут казаться менее увлекательными, чем решение самой задачи машинного обучения, но они имеют критическое значение для успешной реализации ML-проектов. В этой статье мы подробно рассмотрим жизненный цикл ML-сервиса от идеи до разработки и внедрения, а также инструменты и принципы, используемые на каждом этапе.

https://habr.com/ru/articles/795985/

#mlflow #mlops #mlops_tools #data_analysis #data_science #mlмодель #mlинженер #docker #kubernetes #project_management

Ya está abierto el registro para nuestra reunión de octubre: "🗄️ SQL generado con lenguaje natural y MLFlow para productivización de modelos" este mes en las oficinas de Cepsa

https://www.meetup.com/pydata-madrid/events/296678892/

¡Nos vemos el jueves 19 a las 19:00! Y después, al bar a hacer networking 🍻

#PyDataMadrid #PyData #Python #datascience #machinelearning #text2sql #llms #mlflow