#lnn — Public Fediverse posts

Укрощаем рыночный хаос: Пишем Liquid Neural Network (LNN) на PyTorch для алготрейдинга

Если вы когда-нибудь пытались натравить классическую LSTM на минутные свечи волатильных активов, вы знаете эту боль. Сначала Loss красиво падает на трейне, вы предвкушаете покупку острова, а на тесте модель превращается в тыкву. Она либо предсказывает скользящую среднюю со сдвигом на один шаг, либо упирается в «стену» Loss = 0.693 (то есть −ln(0.5)), сводя всё к подбрасыванию монетки. Проблема не в вас. Проблема в том, что рекуррентные сети (RNN, LSTM, GRU) живут в дискретном времени. Для них шаг между 10:00 и 10:01 абсолютно идентичен шагу между пятницей и утром понедельника. Они не умеют сжимать и растягивать восприятие времени, когда волатильность взрывается. В этой статье мы отойдем от мейнстримных архитектур и напишем с нуля Liquid Neural Network (Жидкую Нейронную Сеть) . Мы заставим время течь непрерывно, используя численные методы дифференциальных уравнений прямо внутри PyTorch-графа, и посмотрим, как она вытаскивает скрытый макро-тренд из абсолютного рыночного хаоса. Теория без воды: Что делает сеть «жидкой»? Концепция Liquid Time-Constant Networks была представлена исследователями из Лаборатории искусственного интеллекта MIT (CSAIL). Их изначальная цель — управление дронами и автопилотами в непредсказуемой среде. Но финансовые рынки — это та же турбулентность, только выраженная в долларах , рублях и других валютах. В классической RNN скрытое состояние $h_t$ обновляется по дискретным шагам: $$h_t = \tanh(W_{in} x_t + W_h h_{t-1} + b)$$ В Liquid Network мы отказываемся от дискретности. Состояние нейрона $h(t)$ — это непрерывная переменная, описываемая обыкновенным дифференциальным уравнением (ОДУ):

https://habr.com/ru/articles/1020630/

#machine_learning #pytorch #liquid_neural_networks #lnn #алготрейдинг #временные_ряды #time_series #ode

I recently chanced upon the paper, "Deep, Differentiable Logic Gate Networks", Petersen (2022). It describes the Logical Neural Network, whose neurons are 2-input, 1-output #logic gates. The whole network is but a #combinational #circuit, so the trained network can readily be synthesised on #FPGA. Fancy that! And given the simplicity and sparsity of an FPGA-borne LNN, it runs a couple of orders of magnitude faster than a GPU-borne DNN, and consumes an order of magnitude less power, yet able to attain a comparable task accuracy.
https://arxiv.org/pdf/2210.08277

The seminal paper on LNN is this: "Logical Neural Networks", Riegel (2020).
https://arxiv.org/pdf/2006.13155

This paper below, "Logic Neural Networks for Efficient FPGA Implementation", Ramírez (2024), is a good companion paper to read, too.
https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10746856

NB—The Logical Neural Network #LNN is not related to the Binary Neural Network #BNN. The BNN is a binarised (read, "crude") approximation of a conventional, real-valued DNN (yielding 1-bit activations and weights). The LNN, in contrast, has no weights at all on the wires that connect the gates and the activation functions are the inherently non-linear logic operations.

Träden i svenska städer
Vilka träd som är vanliga i svenska parker och alléer varierar från stad till stad. I Stockholm är de vanligaste träden lönn, oxel och björk. Göteborg har en helt annan sammansättning vad det gäller parkträden med parklind som det överlägset vanligaste trädet och därefter alm och vanlig lind. Malmö har en betydlig större blan
https://blog.zaramis.se/2023/08/12/traden-i-svenska-stader/
#Gteborg #Malm #Stockholm #Gatutrd #Lind #Lnn #Oxel #Parker #Parktrd #Stadstrd