#временные_ряды — Public Fediverse posts

Свёрточные сети в финансовом анализе: от компьютерного зрения к прогнозированию рынков

Свёрточные нейросети умеют находить закономерности в данных, но на финансовых рынках легко принять особенности волатильности за сигнал и получить модель, которая хорошо работает только на исторических котировках. Разберём, как применять CNN к временным рядам и данным ордербука, избегать утечки будущего и проверять качество прогнозов, чтобы понять, когда свёрточные архитектуры действительно полезны в финансовом анализе. Изучить метод

https://habr.com/ru/companies/otus/articles/1096898/

#анализ_данных #финансовый_анализ #нейросети #машинное_обучение #биткоин #временные_ряды #алгоритмическая_торговля #прогнозирование_цен #lightgbm #сверточные_нейросети

Почему ваш бэктест врёт: 7 ловушек грязных рыночных данных и как написать Point-in-Time пайплайн на Python

Торговая стратегия на исторических данных показывает фантастический коэффициент Шарпа 1.8 и ровную линию доходности под 45 градусов. Вы подключаете исполнение на реальной бирже — и через пару месяцев Шарп падает до 0.4, просадка вдвое превышает расчетную, а алгоритм стабильно теряет деньги. Первая реакция разработчика — «сменился рыночный режим» или «нейросеть переобучилась на шуме». Однако в 40–60% случаев проблема кроется глубже: бэктест тестировался на «грязных» данных, в которые разработчик сам, не осознавая этого, заложил заглядывание в будущее (look-ahead bias) и систематические искажения. Под катом подробный инженерный разбор 7 скрытых дефектов рыночных данных: от ошибки выжившего и неявного знания о сплитах акций за три года до их проведения до фантомной доходности на застрявших котировках (stale prices) и рассинхрона часовых поясов. С формулами, оценкой влияния каждого искажения на финансовые метрики и рабочим кодом на Python / Polars для построения строгого Point-in-Time пайплайна с битемпоральной валидацией. Разобрать ошибки

https://habr.com/ru/articles/1089618/

#алгоритмическая_торговля #бэктестинг #pointintime_restore #quantitative_finance #quantitative_trading #python #polars #survivorship_bias #lookahead_bias #временные_ряды

[Перевод] Количественная торговля: как искать структуру в шуме и не переобучить модель

Как сделать количественную торговлю эффективной? Не каждый аналитик может дать ответ на этот вопрос, но эффективная алгоритмическая торговля базируется на поиске структуры в зашумлённых рыночных данных. Это поиск закономерностей или областей предсказуемости. Например, если рынок растёт два дня подряд, то он обычно растёт и на третий день. Если такое происходит довольно часто, значит, мы нашли закономерность, которую искали. Далее следует торговая стратегия: если рынок растёт два дня подряд, покупайте на закрытии второго дня и продавайте на закрытии третьего. Однако не всё так просто.

https://habr.com/ru/companies/finam_broker/articles/1083794/

#количественная_торговля #алготрейдинг #торговые_стратегии #закономерности_рынка #финансы_в_it #финансы_в_ит #финансовый_план #финансовая_модель #временные_ряды #волатильность

Отбор акций на .NET: 14,5 млн баров в SQLite, фильтр, который мерил не в тех единицах, и перестановочный тест

Каждый вечер мне нужно ответить на один вопрос: на какие бумаги из примерно тринадцати тысяч имеет смысл потратить время сегодня. Не «какие вырастут» — этого никто не знает, — а на каких стоит нарисовать уровень и поставить заявку. Год назад я написал под эту задачу программу и с тех пор работаю только через неё. Ниже — её устройство: как читаются 14,5 миллиона баров, как считается ранг относительной силы, как устроена воронка фильтров, какой из них год работал неправильно и почему, чем разбирается исход сделки и чем я проверяю, что отбор вообще чего-то стоит. Кода будет много: половина статьи именно про то, где решения оказались не такими, как выглядели на бумаге. Стек, чтобы дальше не отвлекаться: .NET 10, C#, WinForms для окна, SQLite (Microsoft.Data.Sqlite) вместо сервера, ScottPlot для графиков, xUnit — 867 тестов на три проекта. Ни одного внешнего сервиса, кроме поставщика котировок, ключ к которому вводит пользователь.

https://habr.com/ru/articles/1081206/

#c# #net #sqlite #временные_ряды #оптимизация #параллельные_вычисления #бэктест #перестановочный_тест #анализ_данных #отбор_акций

Ежедневный индекс спроса на новостройки из Wordstat: как устроен сбор и где цифры нельзя читать в лоб

У маркетолога застройщика есть скучный, но регулярный вопрос атрибуции: обращений за неделю стало меньше — это рынок просел или собственные кампании сломались. Ответ во многом лежит в поисковом спросе. Если люди в городе стали реже искать квартиры, дело в рынке; если ищут столько же, а заявок меньше — причина внутри воронки. Беда в том, что Wordstat отвечает на этот вопрос медленно: нужно руками перебрать десятки фраз, сложить их по региону, вычесть аренду и переходы на классифайды — и к обеду вместо ответа получить таблицу, которую ещё надо интерпретировать. Мы ведём контекстную рекламу для застройщиков, упирались в этот вопрос постоянно и в итоге автоматизировали сбор, а результат выложили открытой страницей без регистрации: ежедневный индекс поискового спроса на новостройки по 15 городам-миллионникам и по России, по данным Wordstat, с рядами от 2018 года. Ниже — инженерная часть, а не витрина: как устроен фиксированный набор запросов и «чистый контур», почему дельты считаются только по закрытым периодам, что делать с ретро-правками источника и выбросами, и в каких именно местах эти цифры врут, если читать их в лоб.

https://habr.com/ru/articles/1074846/

#аналитика_данных #временные_ряды #недвижимость #атрибуция

Быстрое обучение, экономия ресурсов и другие преимущества сетей эхо-состояний

Существует класс рекуррентных нейросетей, в котором обучается только линейный выходной слой, а внутренняя структура (резервуар) остаётся фиксированной. Отсюда появилось название более общего подхода — «резервуарные вычисления». Такая архитектура делает нейросети крайне быстрыми и энергоэффективными, но сложными в настройке. Поэтому они пока не получили широкого распространения и долгое время оставались в тени более универсальных архитектур. Сотрудник отдела перспективных исследований компании «Криптонит» Илья Андросов провёл глубокий сравнительный анализ архитектур и методов обучения сетей эхо-состояний (Echo State Networks, ESNs). Автор выполнил обзор ряда известных ESNs и для некоторых из них предложил модификации, существенно улучшившие их основные характеристики.

https://habr.com/ru/companies/kryptonite/articles/1072416/

#резервуарные_вычисления #сети_эхосостояний #ESN #reservoir #нейрополевые_модели #SVD #временные_ряды #графовая_память #Graph_memory #рекуррентные_нейросети

ИИ‑прогноз погоды на своём железе: запускаем AIFS 2.0 от ECMWF

Открытые веса модели мало помогают, если для её запуска нужен конкретный GPU и непростое окружение. Разберём, как запустить AIFS Single 2.0 от ECMWF через Hugging Face Jobs или локально, обойти зависимость от flash-attn и получить собственный прогноз погоды даже на CPU или Apple MPS. Запустить AIFS

https://habr.com/ru/companies/otus/articles/1069812/

#AIFS_20 #ECMWF #прогнозирование_погоды #машинное_обучение #нейросети #инференс #Hugging_Face #локальный_запуск #GPU #временные_ряды

Нейросеть, которую почти не учат или что такое резервуарные вычисления

В машинном обучении есть негласный договор. Если хочешь чтобы сеть работала - обучи все веса. Итеративно, через обратное распространение ошибки, тысячи шагов градиентного спуска. А вот к резервуарным вычислениям этот договор применяется с обратной логикой. Подавляющее большинство весов генерируются случайно и никогда не меняются. Обучается только один выходной слой. И это, как ни странно, работает. Начнем, впрочем, говорить про проблему - иначе непонятно, зачем вообще идти на такой компромисс. Рекуррентные нейросети придуманы для последовательных данных - временных рядов, речи, текста. В отличие от обычных сетей, у них есть интересное состояние. Выход на шаге t зависит не только от входа на шаге t, но и от всего что было до. Это делает их мощными - и одновременно очень неудобными в обучении. Обучают РНС через BPTT - метод обратного распространения ошибки по времени. Собственно, алгоритм раскрывает сеть во времени. Берет все T шагов, строит граф вычислений и считает градиент через него. На каждом шаге градиент проходит через матрицу весов W. Если W перемножать саму на себя T раз подряд - при собственных значениях меньше 1 произведение стремится к нулю экспоненциально. При больше 1 - к бесконечности. Первое называется затуханием градиента, второе - взрывом градиента. И это, кстати, нюанс. RNN плохо запоминает то, что было давно. Градиент от событий на шаге t=1 до шага t=100 затухает настолько, что сеть его просто не видит. LSTM частично решает это через систему гейтов, которые контролируют поток информации. Но LSTM тяжелее, медленнее, и проблему не убирает - немного смягчает.

https://habr.com/ru/companies/syntx_ai/articles/1065958/

#резервуарные_вычисления #рекуррентные_нейронные_сети #rnn #машинное_обучение #временные_ряды

Торговля по паттернам с точки зрения алгоритмов

Классические фигуры вроде «головы и плеч» легко увидеть глазами, но тяжело формализовать без десятков спорных условий. В статье я рассказываю, как заменил ручное описание паттернов поиском похожих исторических участков с помощью корреляции Пирсона, какие проблемы возникают при таком подходе и почему высокая корреляция сама по себе ещё не является торговым сигналом.

https://habr.com/ru/articles/1065564/

#алгоритмическая_торговля #торговые_паттерны #временные_ряды #поиск_похожих_участков #торговый_робот #финансовые_рынки #статистический_анализ #Python

Иллюзия 99% F1 в Time Series: как искажаются метрики в детекции аномалий и что показывает реальный тест 14 архитектур

Многие свежие SOTA-статьи по детекции аномалий во временных рядах заявляют F1 ≈ 99%. Мы проверили один из таких методов, и оказалось, что волшебство исчезает, если убрать из расчета протокол Point Adjustment. На датасете SMD разрыв между «бумажным» F1 и честным составил 47 процентных пунктов. В статье мы разбираем, как именно метрики искажаются, и представляем результаты нашего масштабного бенчмаркинга: 14 моделей (от LSTM-VAE до графовых сетей и нормализующих потоков), 7 датасетов, включая реальную промышленную телеметрию. Добавили стресс-тесты: шум, дрейф, выпадение датчиков и увидели, что «универсального чемпиона» не существует. Главный вывод: в условиях производства простые и проверенные архитектуры часто оказываются эффективнее тяжёлых SOTA-решений. Мы собрали результаты в практическую таблицу выбора модели — в зависимости от типа данных, характера аномалий и ожидаемых искажений сигнала. Всё основано только на реальных экспериментах.

https://habr.com/ru/articles/1048196/

#time_series #временные_ряды #anomaly_detection #поиск_аномалий #predictive_maintenance #предиктивная_аналитика #benchmark #трансформеры #графовые_нейросети #MVTS

Когда мониторинг молчит: поиск скрытых деградаций сети с помощью ClickHouse

В телеком-сети возник класс «тихих» деградаций: абоненты сообщали, что при отличном уровне сигнала невозможно совершить или принять голосовой вызов, при этом вендорский мониторинг не фиксировал аварий. С точки зрения метрик оборудование оставалось «зеленым», а проблема обнаруживалась только по пользовательским жалобам. Задача сводилась к автоматическому выявлению таких инцидентов на десятках тысяч объектов сети, используя только исторические временные ряды в ClickHouse, без вынесения вычислений во внешние системы. Сложность заключается в том, что поведение объектов существенно различается: для большинства базовых станций периодическое отсутствие трафика является нормой, поэтому фиксированные пороги либо дают ложные срабатывания, либо пропускают реальные инциденты. В статье разбирается инженерный подход: построение индивидуальных исторических профилей нагрузки, медианные бейзлайны и детекция отклонений от ожидаемого поведения. Показана реализация на SQL в ClickHouse с применением паттерна Islands & Gaps для выделения инцидентов во временных рядах. Разбор SQL-решения

https://habr.com/ru/articles/1045572/

#ClickHouse #SQL #детекция_аномалий #временные_ряды #мониторинг #аномалии_в_данных #деградации_сети #сезонность #Islands_and_Gaps #анализ_данных

Торговля на отклонениях: почему мы вернулись к тесту Дики-Фуллера (ADF)

Как бы мы ни пытались отказаться от этого инструмента в поисках более изящных алгоритмических решений, каждый раз мы к нему возвращаемся. В прошлой статье про Гамма-флип я вскользь касался механики работы с отклонениями, но не раскрыл тему до конца. В этой статье мы углубимся в стохастический анализ и рассмотрим методы определения стационарности временных рядов в реальном времени. Разберем математический аппарат расширенного теста Дики-Фуллера (ADF), причины его интеграции в ядро нашей торговой системы и особенности реализации на Python при работе с большими массивами данных.

https://habr.com/ru/articles/1043810/

#python #adfтест #стационарность #временные_ряды #zscore #mean_reversion #hft #adf #Стохастик

SLA как инструмент, а не отчёт. Часть 1. Как подружить бизнес и инженеров через общие цифры

Наш прежний SLA формально выглядел корректно: была формула, «четыре девятки» и отчёты. Но в моменты сбоев это не помогало ответить бизнесу на вопросы: сколько времени мы были недоступны, какова потенциально недополученная прибыль и каким был вклад разных подразделений в «наши девятки». Команды по‑своему считали простои и потери, называли разные цифры, и формально все были правы, но временами договориться про общий знаменатель в расчётах становилось слишком сложно. Меня зовут Дмитрий Химион, я руководитель ML Platform в X5 Digital. В статье расскажу, как мы «жили у границы потери доверия к SLA» и что с этим сделали: от запроса руководства и пересборки инцидент-менеджмента до доверенного алгоритма расчёта потерь и разделения SLA на бизнес- и технический уровни.

https://habr.com/ru/companies/X5Tech/articles/1038772/

#инцидентменеджмент #sla #backend #управление_рисками #аналитика #мониторинг #временные_ряды #дашборды #надежность_сервисов #расчет_потерь

Объединяем SCADA, MES и ERP без «мусора на входе»

Когда модель промышленной аналитики начинает показывать отрицательный расход электроэнергии или теряет 15% сырья на ровном месте, проблема часто лежит глубже качества данных и выбора алгоритма. SCADA, MES и ERP могут хранить корректные числа, но вкладывать в них разный смысл: по времени, единицам измерения, границам операции и правилам учета. В статье разбираем, как возникает семантическая несогласованность между промышленными и корпоративными системами, почему обычная очистка данных здесь бессильна и как семантический слой помогает превратить разрозненные показатели в пригодную для аналитики картину. Перейти к разбору

https://habr.com/ru/companies/otus/articles/1032752/

#SCADA #MES #ERP #семантическая_несогласованность #промышленная_аналитика #семантический_слой #интеграция_данных #качество_данных #временные_ряды #Data_Fabric

Парадокс ансамблей: почему «слабые» модели иногда побеждают «сильные»

В ансамблевом прогнозировании важнее не индивидуальное качество моделей, а разнообразие их ошибок. Эксперимент показывает: пул из «худших» по отдельности моделей даёт лучшую точность ансамбля, чем пул из «лучших».

https://habr.com/ru/articles/1022318/

#ансамбли #машинное_обучение #прогнозирование #временные_ряды

Укрощаем рыночный хаос: Пишем Liquid Neural Network (LNN) на PyTorch для алготрейдинга

Если вы когда-нибудь пытались натравить классическую LSTM на минутные свечи волатильных активов, вы знаете эту боль. Сначала Loss красиво падает на трейне, вы предвкушаете покупку острова, а на тесте модель превращается в тыкву. Она либо предсказывает скользящую среднюю со сдвигом на один шаг, либо упирается в «стену» Loss = 0.693 (то есть −ln(0.5)), сводя всё к подбрасыванию монетки. Проблема не в вас. Проблема в том, что рекуррентные сети (RNN, LSTM, GRU) живут в дискретном времени. Для них шаг между 10:00 и 10:01 абсолютно идентичен шагу между пятницей и утром понедельника. Они не умеют сжимать и растягивать восприятие времени, когда волатильность взрывается. В этой статье мы отойдем от мейнстримных архитектур и напишем с нуля Liquid Neural Network (Жидкую Нейронную Сеть) . Мы заставим время течь непрерывно, используя численные методы дифференциальных уравнений прямо внутри PyTorch-графа, и посмотрим, как она вытаскивает скрытый макро-тренд из абсолютного рыночного хаоса. Теория без воды: Что делает сеть «жидкой»? Концепция Liquid Time-Constant Networks была представлена исследователями из Лаборатории искусственного интеллекта MIT (CSAIL). Их изначальная цель — управление дронами и автопилотами в непредсказуемой среде. Но финансовые рынки — это та же турбулентность, только выраженная в долларах , рублях и других валютах. В классической RNN скрытое состояние $h_t$ обновляется по дискретным шагам: $$h_t = \tanh(W_{in} x_t + W_h h_{t-1} + b)$$ В Liquid Network мы отказываемся от дискретности. Состояние нейрона $h(t)$ — это непрерывная переменная, описываемая обыкновенным дифференциальным уравнением (ОДУ):

https://habr.com/ru/articles/1020630/

#machine_learning #pytorch #liquid_neural_networks #lnn #алготрейдинг #временные_ряды #time_series #ode

Как я построила систему раннего обнаружения падений активности игровых провайдеров

Стек: Python, Airflow, ClickHouse, Slack В iGaming падение активности игровых провайдеров почти никогда не выглядит как "обрыв". Чаще это медленное затухание: ставок становится меньше, затем еще меньше, игроки уходят постепенно. Формально провайдер продолжает работать, стандартный мониторинг молчит, а бизнес уже теряет деньги. Моя задача была не фиксировать факт полного падения активности, а поймать момент, когда траектория уже направлена вниз, но ситуацию ещё можно развернуть. Вся логика работает внутри DAG в Airflow. Он запускается каждые 6 минут и анализирует активность игровых провайдеров в реальном времени. При обнаружении начала падения или восстановления система отправляет уведомления в Slack.

https://habr.com/ru/articles/989586/

#аналитика_данных #временные_ряды #статистика #анализ_трендов #igaming

Как деанонимизировать поведение трансформера на временных рядах: визуальная диагностика и фальсифицируемые тесты

Рассматриваю метод интерпретации модели на временных рядах, который работает как инструмент дебага с интервенционным протоколом , а не как банальная визуализация. Метод строит карту вклада входных сигналов в координатах время × масштаб × признак , и я проверяю ее через два фальсифицируемых теста. Цель — не проиллюстрировать веса конкретной предобученной нейросети, а деанонимизировать поведение модели : прямо и доказуемо увидеть внутреннюю стратегию чтения сигнала.

https://habr.com/ru/articles/989052/

#deeplearning #нейросеть #transformers #временные_ряды

Покоряем гору временных рядов: делаем прогноз для 200+ рядов с библиотекой Etna

Я работаю дата-сайентистом 5 лет и до сих пор испытываю боль, когда нужно сделать MVP по временным рядам. Начиная с того, как построить несколько графиков одновременно без «слипшихся» меток по осям, заканчивая поиском подходящего метода очистки ряда от аномалий. И всё это венчает цикл по каждому ряду с бесконечным жонглированием данными между numpy, pandas, sklearn, yet_another_library. Если вы DS, и тоже, как и я, устали от вот этого всего, добро пожаловать под кат. Я покажу, как написать production-ready код для прогноза 200+ временных рядов от EDA до результата. Разберем на практике, как бороться с аномалиями, ловить смены тренда и в итоге – получить масштабируемое решение, а не очередной «велосипед».

https://habr.com/ru/companies/magnit/articles/985864/

#data_science #machine_learning #анализ_данных #временные_ряды #productionready_код #прогнозирование #прогнозирование_спроса #магнит #etna

Оценка эффекта релиза по истории метрики: causal impact без AB теста

После релиза метрика почти всегда меняется. Иногда это реальный эффект изменения, иногда - сезонность, маркетинг, внешний фон или просто шум. Если AB теста не было, а решение все равно нужно принимать, остается вопрос: как аккуратно оценить влияние релиза по истории метрики и не обмануться простым сравнением до и после. В статье разбираю практический подход causal impact для случая, когда у нас есть одна метрика во времени и понятная дата изменения. Строим контрфакт (counterfactual) - прогноз того, какой была бы метрика без релиза - и сравниваем его с фактом. На этой основе считаем эффект в абсолютных значениях, накопленный эффект и относительный вклад в процентах. Отдельное внимание уделяю проверкам, без которых такой анализ может превратиться в тыкву: качество прогноза на периоде до изменения, учет зависимости по времени через block bootstrap, устойчивость к выбору окна и плацебо даты, которые помогают понять, выделяется ли реальный эффект на фоне ложных интервенций. Материал ориентирован на продуктовые задачи: когда релиз уже сделан, данные есть, а надежной оценки эффекта нет. В следующей части перейдем к более частому сценарию, когда изменение затронуло не всех, и вместо одной линии метрики у нас появляется набор линий по группам (географии, сегменты, кластеры). Там разберем синтетический контроль и diff-in-diff и частые ошибки, которые встречаются в таких данных.

https://habr.com/ru/articles/984504/

#causal_impact #временные_ряды #контрфакт #ковариаты #оценка_без_AB_теста #причинный_анализ #оценка_эффекта #влияние_релиза #продуктовая_аналитика

WarpTrade и робастные алгоритмические стратегии

Всем, Добрый день! На связи Андрей Счастливый. Продолжаю писать пакет для бэктестинга торговых стратегий "WarpTrade", о котором я писал в первой статье . Я обратил внимание, что в комментариях отписалось достаточно людей, не равнодушных к теме алготрейдинга, это радует. Какая моя цель? Продолжать заниматься любимым делом, а конкретно данной статьёй я хочу показать, что возможно то, что многие считают невозможным. Ну что, перейдём к делу и расскажу о своих наработках.

https://habr.com/ru/articles/973928/

#python #финтех #алгоритмическая_торговля #анализ_данных #moex #временные_ряды

Продвинутый анализ на PySpark: учимся работать с рекуррентными соотношениями

Обработка и анализ временных последовательностей (временных рядов) достаточно часто встречающаяся задача. Обычно она решается с помощью идентичных подходов и методов. Однако когда анализ временного ряда предполагает выражение каждого последующего элемента через предыдущие, возникают проблемы с эффективностью реализации такого анализа. Это особенно актуально в контексте больших данных. В данной статье я продемонстрирую подход к анализу и вычислению рекуррентных соотношений. В качестве примера будет представлена реализация на базе Apache Spark и Python метода экспоненциальной скользящей средней с использованием DataFrame API. Мы рассмотрим метод агрегации данных, совместимый со Spark Connect, который был добавлен в версию 3.1 (для Scala - начиная с версии фреймворка 3.0), а именно – функцию aggregate.

https://habr.com/ru/companies/axenix/articles/952278/

#apache_spark #pyspark #python #рекуррентные_соотношения #временные_ряды #анализ_данных #spark_connect

От нестационарности к прогнозу: пайплайн анализа и моделирования временных рядов

Привет, Хабр! Я Михаил Зуев — Data Scientist из команды затрат корпоративных клиентов Сбера. Мы много предсказываем, классифицируем и прогнозируем. Впервые столкнувшись с последним и проведя исследование по этой теме, я столкнулся с большим количеством неструктурированной информации. Эта статья — одновременно описание моего пути и небольшое упорядоченное наставление по анализу и прогнозированию временных рядов, которое я сам хотел бы получить.

https://habr.com/ru/companies/sberbank/articles/954636/

#временные_ряды #алгоритмы

Сводные показатели сделок в Athenix

Всем известно, что работа на бирже — это потоки денег, которыми управляют из-за кулис и армии хомяков несут свои монетки туда, куда, по их мнению, подует ветер надежды. В Athenix я реализовал своё видение анализа потоков сделок. Не удивляйтесь, если результаты анализа сделок будут противоречить общим выводам аналитиков, которые сейчас на поверхности в разных источниках. Рынок реагирует наперёд и только на те факторы, на которые посчитает нужным. Целью анализа сделок я определил анализ, который покажет показатели наиболее важных критических точек и не позволит запутаться. Показателями критических точек я определил баланс покупок и продаж: - в целом за торговую сессию; - на уровне цены с наибольшим проведённым объёмом за сессию (POC); - в пиковый момент сессии, в минуту, в которую прошёл наибольший объём. ...

https://habr.com/ru/articles/944488/

#python #финтех #финтехпроекты #анализ_данных #moex #временные_ряды #j #объемный_анализ

Athenix — мониторинг котировок с глубоким анализом объёмов и прогнозами от ИИ

Проект Athenix — это уникальная система мониторинга котировок с глубоким анализом объёмов торгов и прогнозами на основе искусственного интеллекта. Если вы интересуетесь финансовыми рынками, трейдингом и современными технологиями, эта статья для вас. Созданная на Python, платформа Athenix сочетает мощь вычислений, анализ временных рядов и нейросетевые модели для прогнозирования динамики цен на бирже MOEX и потенциалом подключения к другим биржам. В статье вы узнаете, как автор с опытом работы на биржах и в программировании реализовал систему, которая собирает данные, анализирует их с помощью инновационных алгоритмов и визуализирует результаты в удобном для анализа виде. Проект предлагает практичный подход к сложностям анализа рынка — концентрируется на главном, снимая с трейдера необходимость обрабатывать сотни показателей вручную. Будут подробно рассмотрены методы обработки объёмных данных, шумоподавление с вейвлет-преобразованиями, бинарное прогнозирование и использование LSTM-нейросетей. Эта статья будет полезна тем, кто хочет понять, как современные технологии и алгоритмы могут помочь в эффективной среднесрочной и долгосрочной торговле. Погрузитесь в мир финансового анализа будущего с Athenix!

https://habr.com/ru/articles/942364/

#python #машинное_обучение #нейросети #финтех #финтех_стартапы #анализ_данных #moex #временные_ряды #прогнозирование #объемный_анализ

Как мы разработали гибкий пайплайн для прогноза временных рядов любых метрик

Практически каждый ML‑разработчик сталкивался с прогнозированием временных рядов, ведь окружающие нас сущности и метрики зачастую зависят от времени. Меня зовут Александр Елизаров, я работаю в группе аналитики ключевых показателей в бизнес‑группе Поиска и рекламных технологий. В течение нескольких лет нам приходилось прогнозировать большое количество временных рядов разных доменных областей: от поисковой доли Яндекса до DAU определённых сервисов. Чтобы успешно справляться с этой задачей, мы вместе с коллегами разработали собственный прогнозный фреймворк. В этой статье я расскажу, как создать универсальный и гибкий пайплайн для прогнозирования. Под катом рассмотрим: — правильно выстроенную иерархию данных; — методы консистентного предсказания абсолютных и относительных метрик; — частые проблемы моделей и то, как мы их фиксили; — а также все важные этапы, о которых нельзя забывать, когда работаешь с временными рядами.

https://habr.com/ru/companies/yandex/articles/930014/

#machine_learning #яндекс #временные_ряды #машинное_обучение #аналитика_данных #анализ_данных

Многомерный анализ данных временных рядов

Попробуем применить многомерный анализ к данным временных рядов с помощью интерактивной визуализации данных измерений и их взаимосвязей.

https://habr.com/ru/articles/926598/

#временные_ряды #анализ_временных_рядов #java #lowcode #adhoc #колоночные_субд #rdbms #postgresql #oracle #clickhouse

Кросс-валидация на временных рядах: как не перемешать время

Привет, Хабр! Сегодня рассмотрим то, что чаще всего ломает даже круто выглядящие модели при работе с временными рядами — неправильная кросс‑валидация . Разберем, почему KFold тут не работает, как легко словить утечку будущего, какие сплиттеры реально честны по отношению ко времени, как валидировать фичи с лагами и агрегатами.

https://habr.com/ru/companies/otus/articles/921604/

#временные_ряды #time_series #машинное_обучение #прогнозирование #кроссвалидация #crossvalidation

Когда 0 в продажах — аномалия? CUSUM для поиска проблем в ритейле

Всем привет! Меня зовут Костя, и в этой статье я продолжу рассказ моей коллеги Анастасии из команды доступности Magnit Tech о том, как можно искать проблемные товары на полках магазинов, опираясь лишь на данные по дневным продажам и остаткам товара в магазине. В этой статье я расскажу о другом, альтернативном алгоритме, который детектирует ощутимую долю проблемных позиций наравне с тем, о котором рассказывала моя коллега. Этот алгоритм также прост для понимания и интерпретации бизнесом. Его внедрение и эксплуатация требуют минимальных затрат: вычислительные ресурсы, сопровождение и адаптация под разные форматы магазинов обходятся недорого. Кроме того, он может служить эффективным первым шагом перед внедрением более сложных и ресурсоемких ML-алгоритмов. В отличие от нейросетевых подходов к поиску аномалий, которые требуют тщательной настройки (или даже разработки) оптимальной архитектуры сети, настроить этот алгоритм значительно проще.

https://habr.com/ru/companies/magnit/articles/918928/

#доступность_товаров_на_полке #оффлайнритейл #детекция_аномалий #временные_ряды #аналитика_данных

[Перевод] 5 техник, применяемых в анализе временных рядов, которые должен знать каждый. Часть 2

В отличие от традиционных наборов данных, где объекты часто остаются статичными, данные временных рядов обладают уникальными временными паттернами , которые необходимо использовать для извлечения значимых признаков. В этом разделе мы рассмотрим некоторые из наиболее эффективных методов.

https://habr.com/ru/companies/otus/articles/918832/

#временные_ряды #лаговые_признаки #pandas #python #time_series #стационарность #анализ_временных_рядов