#lnn — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #lnn, aggregated by home.social.
-
Укрощаем рыночный хаос: Пишем Liquid Neural Network (LNN) на PyTorch для алготрейдинга
Если вы когда-нибудь пытались натравить классическую LSTM на минутные свечи волатильных активов, вы знаете эту боль. Сначала Loss красиво падает на трейне, вы предвкушаете покупку острова, а на тесте модель превращается в тыкву. Она либо предсказывает скользящую среднюю со сдвигом на один шаг, либо упирается в «стену» Loss = 0.693 (то есть −ln(0.5)), сводя всё к подбрасыванию монетки. Проблема не в вас. Проблема в том, что рекуррентные сети (RNN, LSTM, GRU) живут в дискретном времени. Для них шаг между 10:00 и 10:01 абсолютно идентичен шагу между пятницей и утром понедельника. Они не умеют сжимать и растягивать восприятие времени, когда волатильность взрывается. В этой статье мы отойдем от мейнстримных архитектур и напишем с нуля Liquid Neural Network (Жидкую Нейронную Сеть) . Мы заставим время течь непрерывно, используя численные методы дифференциальных уравнений прямо внутри PyTorch-графа, и посмотрим, как она вытаскивает скрытый макро-тренд из абсолютного рыночного хаоса. Теория без воды: Что делает сеть «жидкой»? Концепция Liquid Time-Constant Networks была представлена исследователями из Лаборатории искусственного интеллекта MIT (CSAIL). Их изначальная цель — управление дронами и автопилотами в непредсказуемой среде. Но финансовые рынки — это та же турбулентность, только выраженная в долларах , рублях и других валютах. В классической RNN скрытое состояние $h_t$ обновляется по дискретным шагам: $$h_t = \tanh(W_{in} x_t + W_h h_{t-1} + b)$$ В Liquid Network мы отказываемся от дискретности. Состояние нейрона $h(t)$ — это непрерывная переменная, описываемая обыкновенным дифференциальным уравнением (ОДУ):
https://habr.com/ru/articles/1020630/
#machine_learning #pytorch #liquid_neural_networks #lnn #алготрейдинг #временные_ряды #time_series #ode
-
Укрощаем рыночный хаос: Пишем Liquid Neural Network (LNN) на PyTorch для алготрейдинга
Если вы когда-нибудь пытались натравить классическую LSTM на минутные свечи волатильных активов, вы знаете эту боль. Сначала Loss красиво падает на трейне, вы предвкушаете покупку острова, а на тесте модель превращается в тыкву. Она либо предсказывает скользящую среднюю со сдвигом на один шаг, либо упирается в «стену» Loss = 0.693 (то есть −ln(0.5)), сводя всё к подбрасыванию монетки. Проблема не в вас. Проблема в том, что рекуррентные сети (RNN, LSTM, GRU) живут в дискретном времени. Для них шаг между 10:00 и 10:01 абсолютно идентичен шагу между пятницей и утром понедельника. Они не умеют сжимать и растягивать восприятие времени, когда волатильность взрывается. В этой статье мы отойдем от мейнстримных архитектур и напишем с нуля Liquid Neural Network (Жидкую Нейронную Сеть) . Мы заставим время течь непрерывно, используя численные методы дифференциальных уравнений прямо внутри PyTorch-графа, и посмотрим, как она вытаскивает скрытый макро-тренд из абсолютного рыночного хаоса. Теория без воды: Что делает сеть «жидкой»? Концепция Liquid Time-Constant Networks была представлена исследователями из Лаборатории искусственного интеллекта MIT (CSAIL). Их изначальная цель — управление дронами и автопилотами в непредсказуемой среде. Но финансовые рынки — это та же турбулентность, только выраженная в долларах , рублях и других валютах. В классической RNN скрытое состояние $h_t$ обновляется по дискретным шагам: $$h_t = \tanh(W_{in} x_t + W_h h_{t-1} + b)$$ В Liquid Network мы отказываемся от дискретности. Состояние нейрона $h(t)$ — это непрерывная переменная, описываемая обыкновенным дифференциальным уравнением (ОДУ):
https://habr.com/ru/articles/1020630/
#machine_learning #pytorch #liquid_neural_networks #lnn #алготрейдинг #временные_ряды #time_series #ode
-
Укрощаем рыночный хаос: Пишем Liquid Neural Network (LNN) на PyTorch для алготрейдинга
Если вы когда-нибудь пытались натравить классическую LSTM на минутные свечи волатильных активов, вы знаете эту боль. Сначала Loss красиво падает на трейне, вы предвкушаете покупку острова, а на тесте модель превращается в тыкву. Она либо предсказывает скользящую среднюю со сдвигом на один шаг, либо упирается в «стену» Loss = 0.693 (то есть −ln(0.5)), сводя всё к подбрасыванию монетки. Проблема не в вас. Проблема в том, что рекуррентные сети (RNN, LSTM, GRU) живут в дискретном времени. Для них шаг между 10:00 и 10:01 абсолютно идентичен шагу между пятницей и утром понедельника. Они не умеют сжимать и растягивать восприятие времени, когда волатильность взрывается. В этой статье мы отойдем от мейнстримных архитектур и напишем с нуля Liquid Neural Network (Жидкую Нейронную Сеть) . Мы заставим время течь непрерывно, используя численные методы дифференциальных уравнений прямо внутри PyTorch-графа, и посмотрим, как она вытаскивает скрытый макро-тренд из абсолютного рыночного хаоса. Теория без воды: Что делает сеть «жидкой»? Концепция Liquid Time-Constant Networks была представлена исследователями из Лаборатории искусственного интеллекта MIT (CSAIL). Их изначальная цель — управление дронами и автопилотами в непредсказуемой среде. Но финансовые рынки — это та же турбулентность, только выраженная в долларах , рублях и других валютах. В классической RNN скрытое состояние $h_t$ обновляется по дискретным шагам: $$h_t = \tanh(W_{in} x_t + W_h h_{t-1} + b)$$ В Liquid Network мы отказываемся от дискретности. Состояние нейрона $h(t)$ — это непрерывная переменная, описываемая обыкновенным дифференциальным уравнением (ОДУ):
https://habr.com/ru/articles/1020630/
#machine_learning #pytorch #liquid_neural_networks #lnn #алготрейдинг #временные_ряды #time_series #ode
-
Укрощаем рыночный хаос: Пишем Liquid Neural Network (LNN) на PyTorch для алготрейдинга
Если вы когда-нибудь пытались натравить классическую LSTM на минутные свечи волатильных активов, вы знаете эту боль. Сначала Loss красиво падает на трейне, вы предвкушаете покупку острова, а на тесте модель превращается в тыкву. Она либо предсказывает скользящую среднюю со сдвигом на один шаг, либо упирается в «стену» Loss = 0.693 (то есть −ln(0.5)), сводя всё к подбрасыванию монетки. Проблема не в вас. Проблема в том, что рекуррентные сети (RNN, LSTM, GRU) живут в дискретном времени. Для них шаг между 10:00 и 10:01 абсолютно идентичен шагу между пятницей и утром понедельника. Они не умеют сжимать и растягивать восприятие времени, когда волатильность взрывается. В этой статье мы отойдем от мейнстримных архитектур и напишем с нуля Liquid Neural Network (Жидкую Нейронную Сеть) . Мы заставим время течь непрерывно, используя численные методы дифференциальных уравнений прямо внутри PyTorch-графа, и посмотрим, как она вытаскивает скрытый макро-тренд из абсолютного рыночного хаоса. Теория без воды: Что делает сеть «жидкой»? Концепция Liquid Time-Constant Networks была представлена исследователями из Лаборатории искусственного интеллекта MIT (CSAIL). Их изначальная цель — управление дронами и автопилотами в непредсказуемой среде. Но финансовые рынки — это та же турбулентность, только выраженная в долларах , рублях и других валютах. В классической RNN скрытое состояние $h_t$ обновляется по дискретным шагам: $$h_t = \tanh(W_{in} x_t + W_h h_{t-1} + b)$$ В Liquid Network мы отказываемся от дискретности. Состояние нейрона $h(t)$ — это непрерывная переменная, описываемая обыкновенным дифференциальным уравнением (ОДУ):
https://habr.com/ru/articles/1020630/
#machine_learning #pytorch #liquid_neural_networks #lnn #алготрейдинг #временные_ряды #time_series #ode
-
I recently chanced upon the paper, "Deep, Differentiable Logic Gate Networks", Petersen (2022). It describes the Logical Neural Network, whose neurons are 2-input, 1-output #logic gates. The whole network is but a #combinational #circuit, so the trained network can readily be synthesised on #FPGA. Fancy that! And given the simplicity and sparsity of an FPGA-borne LNN, it runs a couple of orders of magnitude faster than a GPU-borne DNN, and consumes an order of magnitude less power, yet able to attain a comparable task accuracy.
https://arxiv.org/pdf/2210.08277The seminal paper on LNN is this: "Logical Neural Networks", Riegel (2020).
https://arxiv.org/pdf/2006.13155This paper below, "Logic Neural Networks for Efficient FPGA Implementation", Ramírez (2024), is a good companion paper to read, too.
https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10746856NB—The Logical Neural Network #LNN is not related to the Binary Neural Network #BNN. The BNN is a binarised (read, "crude") approximation of a conventional, real-valued DNN (yielding 1-bit activations and weights). The LNN, in contrast, has no weights at all on the wires that connect the gates and the activation functions are the inherently non-linear logic operations.
-
I recently chanced upon the paper, "Deep, Differentiable Logic Gate Networks", Petersen (2022). It describes the Logical Neural Network, whose neurons are 2-input, 1-output #logic gates. The whole network is but a #combinational #circuit, so the trained network can readily be synthesised on #FPGA. Fancy that! And given the simplicity and sparsity of an FPGA-borne LNN, it runs a couple of orders of magnitude faster than a GPU-borne DNN, and consumes an order of magnitude less power, yet able to attain a comparable task accuracy.
https://arxiv.org/pdf/2210.08277The seminal paper on LNN is this: "Logical Neural Networks", Riegel (2020).
https://arxiv.org/pdf/2006.13155This paper below, "Logic Neural Networks for Efficient FPGA Implementation", Ramírez (2024), is a good companion paper to read, too.
https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10746856NB—The Logical Neural Network #LNN is not related to the Binary Neural Network #BNN. The BNN is a binarised (read, "crude") approximation of a conventional, real-valued DNN (yielding 1-bit activations and weights). The LNN, in contrast, has no weights at all on the wires that connect the gates and the activation functions are the inherently non-linear logic operations.
-
I recently chanced upon the paper, "Deep, Differentiable Logic Gate Networks", Petersen (2022). It describes the Logical Neural Network, whose neurons are 2-input, 1-output #logic gates. The whole network is but a #combinational #circuit, so the trained network can readily be synthesised on #FPGA. Fancy that! And given the simplicity and sparsity of an FPGA-borne LNN, it runs a couple of orders of magnitude faster than a GPU-borne DNN, and consumes an order of magnitude less power, yet able to attain a comparable task accuracy.
https://arxiv.org/pdf/2210.08277The seminal paper on LNN is this: "Logical Neural Networks", Riegel (2020).
https://arxiv.org/pdf/2006.13155This paper below, "Logic Neural Networks for Efficient FPGA Implementation", Ramírez (2024), is a good companion paper to read, too.
https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10746856NB—The Logical Neural Network #LNN is not related to the Binary Neural Network #BNN. The BNN is a binarised (read, "crude") approximation of a conventional, real-valued DNN (yielding 1-bit activations and weights). The LNN, in contrast, has no weights at all on the wires that connect the gates and the activation functions are the inherently non-linear logic operations.
-
I recently chanced upon the paper, "Deep, Differentiable Logic Gate Networks", Petersen (2022). It describes the Logical Neural Network, whose neurons are 2-input, 1-output #logic gates. The whole network is but a #combinational #circuit, so the trained network can readily be synthesised on #FPGA. Fancy that! And given the simplicity and sparsity of an FPGA-borne LNN, it runs a couple of orders of magnitude faster than a GPU-borne DNN, and consumes an order of magnitude less power, yet able to attain a comparable task accuracy.
https://arxiv.org/pdf/2210.08277The seminal paper on LNN is this: "Logical Neural Networks", Riegel (2020).
https://arxiv.org/pdf/2006.13155This paper below, "Logic Neural Networks for Efficient FPGA Implementation", Ramírez (2024), is a good companion paper to read, too.
https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10746856NB—The Logical Neural Network #LNN is not related to the Binary Neural Network #BNN. The BNN is a binarised (read, "crude") approximation of a conventional, real-valued DNN (yielding 1-bit activations and weights). The LNN, in contrast, has no weights at all on the wires that connect the gates and the activation functions are the inherently non-linear logic operations.
-
I recently chanced upon the paper, "Deep, Differentiable Logic Gate Networks", Petersen (2022). It describes the Logical Neural Network, whose neurons are 2-input, 1-output #logic gates. The whole network is but a #combinational #circuit, so the trained network can readily be synthesised on #FPGA. Fancy that! And given the simplicity and sparsity of an FPGA-borne LNN, it runs a couple of orders of magnitude faster than a GPU-borne DNN, and consumes an order of magnitude less power, yet able to attain a comparable task accuracy.
https://arxiv.org/pdf/2210.08277The seminal paper on LNN is this: "Logical Neural Networks", Riegel (2020).
https://arxiv.org/pdf/2006.13155This paper below, "Logic Neural Networks for Efficient FPGA Implementation", Ramírez (2024), is a good companion paper to read, too.
https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10746856NB—The Logical Neural Network #LNN is not related to the Binary Neural Network #BNN. The BNN is a binarised (read, "crude") approximation of a conventional, real-valued DNN (yielding 1-bit activations and weights). The LNN, in contrast, has no weights at all on the wires that connect the gates and the activation functions are the inherently non-linear logic operations.
-
🚨 New post about the cybersecurity challenges of adopting or implementing AI based on Liquid Neural Networks.
Check it out here:
🔗 https://paolozaino.wordpress.com/2025/02/11/ai-the-security-challenges-of-liquid-neural-networks/
#TechNews #AI #LNN #CyberSecurity #DeepLearning #Rust #ArtificialIntelligence #MachineLearning #AIResearch #NeuralNetworks #TechBlog #AICommunity #AIApplications #AIInnovation #AITrends #AIInsights #AIAdvancements #zLNN
-
🚨 New post about the cybersecurity challenges of adopting or implementing AI based on Liquid Neural Networks.
Check it out here:
🔗 https://paolozaino.wordpress.com/2025/02/11/ai-the-security-challenges-of-liquid-neural-networks/
#TechNews #AI #LNN #CyberSecurity #DeepLearning #Rust #ArtificialIntelligence #MachineLearning #AIResearch #NeuralNetworks #TechBlog #AICommunity #AIApplications #AIInnovation #AITrends #AIInsights #AIAdvancements #zLNN
-
🚨 New post about the cybersecurity challenges of adopting or implementing AI based on Liquid Neural Networks.
Check it out here:
🔗 https://paolozaino.wordpress.com/2025/02/11/ai-the-security-challenges-of-liquid-neural-networks/
#TechNews #AI #LNN #CyberSecurity #DeepLearning #Rust #ArtificialIntelligence #MachineLearning #AIResearch #NeuralNetworks #TechBlog #AICommunity #AIApplications #AIInnovation #AITrends #AIInsights #AIAdvancements #zLNN
-
🚨 New post about the cybersecurity challenges of adopting or implementing AI based on Liquid Neural Networks.
Check it out here:
🔗 https://paolozaino.wordpress.com/2025/02/11/ai-the-security-challenges-of-liquid-neural-networks/
#TechNews #AI #LNN #CyberSecurity #DeepLearning #Rust #ArtificialIntelligence #MachineLearning #AIResearch #NeuralNetworks #TechBlog #AICommunity #AIApplications #AIInnovation #AITrends #AIInsights #AIAdvancements #zLNN
-
🚨 New post about the cybersecurity challenges of adopting or implementing AI based on Liquid Neural Networks.
Check it out here:
🔗 https://paolozaino.wordpress.com/2025/02/11/ai-the-security-challenges-of-liquid-neural-networks/
#TechNews #AI #LNN #CyberSecurity #DeepLearning #Rust #ArtificialIntelligence #MachineLearning #AIResearch #NeuralNetworks #TechBlog #AICommunity #AIApplications #AIInnovation #AITrends #AIInsights #AIAdvancements #zLNN
-
After receiving so many questions about my #zLNN and how #LiquidNeuralNetworks work, I’ve decided to start publishing articles to help people better understand LNNs. Check the first one out here:
#AI #ArtificialIntelligence #MachineLearning #DeepLearning #LNN #LiquidAI #LiquidNeuralNetwork #Rust
-
After receiving so many questions about my #zLNN and how #LiquidNeuralNetworks work, I’ve decided to start publishing articles to help people better understand LNNs. Check the first one out here:
#AI #ArtificialIntelligence #MachineLearning #DeepLearning #LNN #LiquidAI #LiquidNeuralNetwork #Rust
-
After receiving so many questions about my #zLNN and how #LiquidNeuralNetworks work, I’ve decided to start publishing articles to help people better understand LNNs. Check the first one out here:
#AI #ArtificialIntelligence #MachineLearning #DeepLearning #LNN #LiquidAI #LiquidNeuralNetwork #Rust
-
After receiving so many questions about my #zLNN and how #LiquidNeuralNetworks work, I’ve decided to start publishing articles to help people better understand LNNs. Check the first one out here:
#AI #ArtificialIntelligence #MachineLearning #DeepLearning #LNN #LiquidAI #LiquidNeuralNetwork #Rust
-
After receiving so many questions about my #zLNN and how #LiquidNeuralNetworks work, I’ve decided to start publishing articles to help people better understand LNNs. Check the first one out here:
#AI #ArtificialIntelligence #MachineLearning #DeepLearning #LNN #LiquidAI #LiquidNeuralNetwork #Rust
-
🎉 I've have prepared a comprehensive presentation page for my #zLNN (Zed Liquid Neural Network). It’s packed with info and provides a sneak peek into the API and the roadmap. 📈
All tests are succeeding, and the accuracy is now optimal!
Dive into the details of the library here:
https://tinyurl.com/bdd7zknmFeedback welcome!
#MachineLearning #AI #NeuralNetworks #RustLang #TechInnovation #DeepLearning #TechUpdates #ArtificialIntelligence #Coding #DeveloperCommunity #OpenSource #Cybersecurity #LNN
-
I also need to be researching and writing more about multi-modal #causal #DigitalTwins in these contexts, especially with the advent of liquid neural networks #LNN within the realm of truly #Bayesian neural networks using empirical Bayes and weighted Bayesian variables for a priori similarity of engineering and technical parameters expressed as directed acyclic graphs #DAG within the digital twins of the #SensAE and interactions/dependencies of neighboring sensor analytics ecosystems
-
Träden i svenska städer
Vilka träd som är vanliga i svenska parker och alléer varierar från stad till stad. I Stockholm är de vanligaste träden lönn, oxel och björk. Göteborg har en helt annan sammansättning vad det gäller parkträden med parklind som det överlägset vanligaste trädet och därefter alm och vanlig lind. Malmö har en betydlig större blan
https://blog.zaramis.se/2023/08/12/traden-i-svenska-stader/
#Gteborg #Malm #Stockholm #Gatutrd #Lind #Lnn #Oxel #Parker #Parktrd #Stadstrd -
Träden i svenska städer
Vilka träd som är vanliga i svenska parker och alléer varierar från stad till stad. I Stockholm är de vanligaste träden lönn, oxel och björk. Göteborg har en helt annan sammansättning vad det gäller parkträden med parklind som det överlägset vanligaste trädet och därefter alm och vanlig lind. Malmö har en betydlig större blan
https://blog.zaramis.se/2023/08/12/traden-i-svenska-stader/
#Gteborg #Malm #Stockholm #Gatutrd #Lind #Lnn #Oxel #Parker #Parktrd #Stadstrd -
Träden i svenska städer
Vilka träd som är vanliga i svenska parker och alléer varierar från stad till stad. I Stockholm är de vanligaste träden lönn, oxel och björk. Göteborg har en helt annan sammansättning vad det gäller parkträden med parklind som det överlägset vanligaste trädet och därefter alm och vanlig lind. Malmö har en betydlig större blan
https://blog.zaramis.se/2023/08/12/traden-i-svenska-stader/
#Gteborg #Malm #Stockholm #Gatutrd #Lind #Lnn #Oxel #Parker #Parktrd #Stadstrd -
This Toot by @RuthMalan makes me wonder how #ML #DL and if we ever see it #AI #reliability in the context of #SystemRisk is handled. In 1982, #SoftwareQuality was being standardized. But throughout the 80s, we weren’t sure how to incorporate software predictive system models for risk, safety, reliability and maintainability. How is this addressed now for things like #LLM #GPT and #LNN (liquid neural networks)?