#тематическое_моделирование — Public Fediverse posts

NLP, Catboost и тематическое моделирование: создаем модель для прогнозирования цен с использованием новостей

Привет, Хабр! Меня зовут Иван, я Data Science специалист SimbirSoft. Я расскажу, как на одном из проектов мы занимались прогнозированием на месяц вперед с помощью методов NLP, Catboost и тематического моделирования на новостном потоке. Один из способов достижения экономического превосходства над конкурентами — это получение инструмента, оценивающего ситуацию на рынке сейчас и позволяющего делать точные достоверные прогнозы на будущее. И с помощью искусственного интеллекта, анализа данных, работы с временными рядами можно создать достаточно точный инструмент прогнозирования цен. К нам обратился заказчик, который занимается продажами удобрений. Ему необходимо было протестировать различные подходы к прогнозированию цен на удобрения. Нашей задачей стало построить бейзлайн-модель и оценить, насколько перспективен подход с использованием новостей. Заказчик хотел, чтобы мы оценили предсказательную силу именно новостей, поэтому мы не использовали признаки из самого временного ряда цен (лаги/сезонность/тренд) и признаки, связанные с рынком.

https://habr.com/ru/companies/simbirsoft/articles/821689/

#nlp #catboost #тематическое_моделирование #прогнозирование_цен #машинное_обучение #data_science

Анализ новостей с помощью сегментации и кластеризации временных рядов

В Отусе я прошла курс ML Advanced и открыла для себя интересные темы, связанные с анализом временных рядов, а именно, их сегментацию и кластеризацию. Я решила позаимствовать полученные знания для своей дипломной университетской работы по ивент-анализу социальных явлений и событий и описать часть этого исследования в данной статье. Шаг 1. Сбор данных В качестве источника данных я взяла информационно-новостной ресурс Лента.ру , так как с него легко парсить данные, новости разнообразны и пополняются в большом объеме ежедневно. Для теста я спарсила новости за последний год (март 2023 – март 2024) с помощью питоновских BeautifulSoup и requests . В коде происходит процедура сбора заголовка, даты и тематики новостей:

https://habr.com/ru/articles/805801/

#сегментация #анализ_временных_рядов #кластеризация_данных #новостные_ресурсы #тематическое_моделирование #kmeans #python #машинное_обучение #otus

Анализ новостей с помощью сегментации и кластеризации временных рядов

В Отусе я прошла курс ML Advanced и открыла для себя интересные темы, связанные с анализом временных рядов, а именно, их сегментацию и кластеризацию. Я решила позаимствовать полученные знания для своей дипломной университетской работы по ивент-анализу социальных явлений и событий и описать часть этого исследования в данной статье. Шаг 1. Сбор данных В качестве источника данных я взяла информационно-новостной ресурс Лента.ру , так как с него легко парсить данные, новости разнообразны и пополняются в большом объеме ежедневно. Для теста я спарсила новости за последний год (март 2023 – март 2024) с помощью питоновских BeautifulSoup и requests . В коде происходит процедура сбора заголовка, даты и тематики новостей:

https://habr.com/ru/articles/805801/

#сегментация #анализ_временных_рядов #кластеризация_данных #новостные_ресурсы #тематическое_моделирование #kmeans #python #машинное_обучение #otus