#sesame — Public Fediverse posts

Меньше шума, больше смысла: опыт SESAME для Speech Enhancement

Привет, Хабр! Мы — Александр Забурдаев, Ксения Золина, Даниил Марценюк, Илья Трофименко, Илья Кулешов — студенты мастерской по сервисам и платформам ИИ в Инженерно-математической школе НИУ ВШЭ и VK. Хотим поделиться опытом, который мы накопили, пытаясь перестать кормить весь речевой сигнал одной и той же нейросети целиком, и дать разным экспертам разбираться с разными типами шума. Речь пойдёт о задаче улучшения качества речи (Speech Enhancement, SE) и о том, как получилось интегрировать в неё разреженную смесь экспертов (sparse Mixture of Experts, MoE). Это архитектура, которая в языковых моделях уже стала стандартом, а в обработке аудио до сих пор не прижилась. Модель мы назвали SESAME — Speech Enhancement with Sparse Adaptive Mixture of Experts. Она построена на базе MP-SENet. В ней стандартные полносвязные блоки внутри трансформера заменены на разреженный MoE-модуль. Код проекта доступен на GitHub . Зачем вообще понадобилась очередная модель шумоподавления, когда их и так десятки — расскажем ниже. А заодно разберём, какие трюки из мира LLM в аудио работают, а какие нет (например, Expert Choice) — и почему.

https://habr.com/ru/companies/vk/articles/1077722/

#Speech_Enhancement #улучшение_звука #SESAME #шум #звук

RE: https://social.treehouse.systems/@bodil/117192184593175250

the #Omarchy launderbros and capitalist circle-jerkers:

#1Password
#37Signals
#Block
#Cloudflare
#Coinbase
#Dell
#OpenClaw
#Sesame
#Shopify
#Stripe
#TapTap

since they’re nvidious of Huang’s big VC incest fundarama, they’re cosplaying the Habsburgs with one of their jerkerbro bash files

capitalists, they're definitely not like us.

RE: https://social.treehouse.systems/@bodil/117192184593175250

the #Omarchy launderbros and capitalist circle-jerkers:

#1Password
#37Signals
#Block
#Cloudflare
#Coinbase
#Dell
#OpenClaw
#Sesame
#Shopify
#Stripe
#TapTap

since they’re nvidious of Huang’s big VC incest fundarama, they’re cosplaying the Habsburgs with one of their jerkerbro bash files

capitalists, they're definitely not like us.

RE: https://social.treehouse.systems/@bodil/117192184593175250

the #Omarchy launderbros and capitalist circle-jerkers:

#1Password
#37Signals
#Block
#Cloudflare
#Coinbase
#Dell
#OpenClaw
#Sesame
#Shopify
#Stripe
#TapTap

since they’re nvidious of Huang’s big VC incest fundarama, they’re cosplaying the Habsburgs with one of their jerkerbro bash files

capitalists, they're definitely not like us.

RE: https://social.treehouse.systems/@bodil/117192184593175250

the #Omarchy launderbros and capitalist circle-jerkers:

#1Password
#37Signals
#Block
#Cloudflare
#Coinbase
#Dell
#OpenClaw
#Sesame
#Shopify
#Stripe
#TapTap

since they’re nvidious of Huang’s big VC incest fundarama, they’re cosplaying the Habsburgs with one of their jerkerbro bash files

capitalists, they're definitely not like us.

RE: https://social.treehouse.systems/@bodil/117192184593175250

the #Omarchy launderbros and capitalist circle-jerkers:

#1Password
#37Signals
#Block
#Cloudflare
#Coinbase
#Dell
#OpenClaw
#Sesame
#Shopify
#Stripe
#TapTap

since they’re nvidious of Huang’s big VC incest fundarama, they’re cosplaying the Habsburgs with one of their jerkerbro bash files

capitalists, they're definitely not like us.