home.social

#whisper — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #whisper, aggregated by home.social.

  1. Погружаем модели в сказки русские, да рассказы древние – тестируем возможности Qwen и Whisper на дореволюционномъ

    Хотите не забывать детали диалога или то, что вас просили купить в магазине? Конечно, можно по старинке открывать блокнот в телефоне или чат в избранном и записывать все руками, но в потоке задач это неудобно. Гораздо проще надиктовать мысли голосом или записать разговор, а расшифровку доверить сервису. Сегодня ASR-системы нового поколения способны учитывать контекст беседы и выдавать осмысленный текст. Однако у любой медали есть обратная сторона — архитектурные ограничения. Чтобы понять, готовы ли эти модели к жизненным сценариям, мы устроили им бенчмарк на Hugging Face. Ниже — разбор того, ломается ли контекстное окно алгоритмов на длинных видеозаписях и как фоновый шум влияет на итоговое качество транскрибации.

    habr.com/ru/companies/selectel

    #selectel #распознавание_речи #whisper #qwen #asr #транскрибация_речи #автоматическое_распознавание_речи #искусственный_интеллект #тестирование_моделей

  2. Что под капотом у ИИ-агента для отдела продаж: архитектура, код и грабли

    «ИИ-агент для продаж» на демо выглядит как одна кнопка: подключил, и он сам слушает звонок и ставит задачу в CRM. В проде между этими двумя точками десяток слоёв, и в каждом всё тихо ломается. Разбираем пайплайн целиком: распознавание и диаризация на телефонном звуке 8 кГц, извлечение фактов с проверкой каждого вывода против расшифровки, запись в CRM без дублей и потерь, действия наружу через MCP вместо хрупкого браузера, контроль качества на сотне размеченных звонков. Везде код, реальные цифры и грабли из боевого режима.

    habr.com/ru/articles/1050336/

    #ииагенты #llm #asr #диаризация #whisper #amocrm #очереди #followup

  3. Мы тут уже больше года с @rayslava ходим на уроки японского. Вы это уже, конечно, знаете если слушали наш подкаст и читали нас.

    Первые пару месяцев я вёл конспекты в тетрадочке, но в итоге перестал потому что:

    • не успеваю записывать и одновременно воспринимать полноценно то, что на экране
    • потом искать по тетрадочке с её разрастанием становится мягко говоря неудобно - была несколько раз ситуация когда я хотел найти нужное слово или форму, но на её поиск требовалось больше времени чем поиск в интернете или обращение к LLM

    А недавно я всё-таки решил вернуться к конспектам, но уже по-новому.

    Теперь у меня есть скриптик, который делает слудующее:

    • получает от меня имя файла с записью занятия (которую я делаю в OBS)
    • с ffmpeg вынимает аудио
    • с ffmpeg делает скриншоты картинки раз в 15 секунд
    • скармливает аудио занятия whisper.cpp:main-vulkan (предварительно скачав с HuggingFace нужную модельку если её нет)
    • упаковывает субтитры, аудио и скриншоты в тарбол
    • я отдаю тарбол ChatGPT с заранее написанным промптом и получаю на выходе:
      • Markdown (Obsidian)
      • EPUB (e-Ink читалка)
      • PDF (десктоп)

    Несмотря на дикие лулзы, которые творит Whisper на смешанной речи записанной из удалённого урока, работает на удивление годно и уже помогало мне готовиться к урокам и при выполнении домашнего задания.

    P.S. В появлении этого поста вините @rayslava

    #LLM #ML #AI #study #Japanese #log #workflow #automation #thoughts #pic #whisper #FFMPEG #ChatGPT #STT #ASR #pipeline #language

  4. Мы тут уже больше года с @rayslava ходим на уроки японского. Вы это уже, конечно, знаете если слушали наш подкаст и читали нас.

    Первые пару месяцев я вёл конспекты в тетрадочке, но в итоге перестал потому что:

    • не успеваю записывать и одновременно воспринимать полноценно то, что на экране
    • потом искать по тетрадочке с её разрастанием становится мягко говоря неудобно - была несколько раз ситуация когда я хотел найти нужное слово или форму, но на её поиск требовалось больше времени чем поиск в интернете или обращение к LLM

    А недавно я всё-таки решил вернуться к конспектам, но уже по-новому.

    Теперь у меня есть скриптик, который делает слудующее:

    • получает от меня имя файла с записью занятия (которую я делаю в OBS)
    • с ffmpeg вынимает аудио
    • с ffmpeg делает скриншоты картинки раз в 15 секунд
    • скармливает аудио занятия whisper.cpp:main-vulkan (предварительно скачав с HuggingFace нужную модельку если её нет)
    • упаковывает субтитры, аудио и скриншоты в тарбол
    • я отдаю тарбол ChatGPT с заранее написанным промптом и получаю на выходе:
      • Markdown (Obsidian)
      • EPUB (e-Ink читалка)
      • PDF (десктоп)

    Несмотря на дикие лулзы, которые творит Whisper на смешанной речи записанной из удалённого урока, работает на удивление годно и уже помогало мне готовиться к урокам и при выполнении домашнего задания.

    P.S. В появлении этого поста вините @rayslava

    #LLM #ML #AI #study #Japanese #log #workflow #automation #thoughts #pic #whisper #FFMPEG #ChatGPT #STT #ASR #pipeline #language

  5. ✮ Dots ✮

    Subscribe to keep reading

    Become a paid subscriber to get access to the rest of this post and other exclusive content.

    Subscribe #Adventure #AgingAndMemory #Childhood #ChildhoodAdventures #ChildhoodLandscapes #ChildhoodMemories #ChildhoodWonder #ComingOfAgeReflections #Connection #ConnectionToRoots #ContemporaryCreativeNonfiction #ContemporaryLiteraryProse #CreativeNonfictionWriting #DeeplyPersonalWriting #Discovery #Dreams #Echoes #Embrace #EmotionalConnectionToNature #EmotionalLandscape #EmotionalProse #EmotionalStorytelling #Erwinism #EvocativeNatureWriting #FamilyMemories #ForestImagery #ForestNostalgia #ForestPathsAndMemories #Freedom #FYP #HealingThroughMemory #Heartfelt #HeartfeltReflection #Innocence #Inspiration #Journey #Learning #Life #LifeAndRemembrance #LiteraryNatureWriting #LiteraryNostalgia #LiteraryReflection #LiteraryWriting #Longing #LongingForHome #LongingForThePast #Loss #Love #LoveForTheNaturalWorld #Magic #MelancholicWriting #Memories #MemoriesOfSummer #MemoryAndLoss #MemoryAndPlace #MemoryAsIdentity #Motivation #Nature #NatureAndBelonging #NatureAndHealing #NatureAndIdentity #NatureAndTheSoul #NatureAndWonder #NatureWriting #Nostalgia #NostalgiaAndMemory #NostalgicLiterature #NostalgicStorytelling #Past #PersonalEssay #PersonalGrowthAndMemory #personalReflection #PoeticProse #Poetry #Progress #Reflection #ReflectiveLiterature #ReflectiveProse #Reminiscence #ReminiscenceAndLoss #RuralMemories #SeekingConnection #SentimentalWriting #Shadows #Solace #Sunlight #TheBeautyOfSimplicity #TheCallOfTheWildWoods #TheEchoesOfChildhood #TheForestWithin #TheHumanCondition #TheLostWoods #TheMeaningOfHome #ThePassageOfChildhood #thePassageOfTime #ThePowerOfNostalgia #ThePowerOfPlace #TheWeightOfTime #TheWoodsOfChildhood #Time #timeAndMemory #trees #UncleAndNephewRelationship #Whisper #WoodlandDreams #WoodlandReflections #Woods #Writing
  6. ✮ Dots ✮

    Subscribe to keep reading

    Become a paid subscriber to get access to the rest of this post and other exclusive content.

    Subscribe #Adventure #AgingAndMemory #Childhood #ChildhoodAdventures #ChildhoodLandscapes #ChildhoodMemories #ChildhoodWonder #ComingOfAgeReflections #Connection #ConnectionToRoots #ContemporaryCreativeNonfiction #ContemporaryLiteraryProse #CreativeNonfictionWriting #DeeplyPersonalWriting #Discovery #Dreams #Echoes #Embrace #EmotionalConnectionToNature #EmotionalLandscape #EmotionalProse #EmotionalStorytelling #Erwinism #EvocativeNatureWriting #FamilyMemories #ForestImagery #ForestNostalgia #ForestPathsAndMemories #Freedom #FYP #HealingThroughMemory #Heartfelt #HeartfeltReflection #Innocence #Inspiration #Journey #Learning #Life #LifeAndRemembrance #LiteraryNatureWriting #LiteraryNostalgia #LiteraryReflection #LiteraryWriting #Longing #LongingForHome #LongingForThePast #Loss #Love #LoveForTheNaturalWorld #Magic #MelancholicWriting #Memories #MemoriesOfSummer #MemoryAndLoss #MemoryAndPlace #MemoryAsIdentity #Motivation #Nature #NatureAndBelonging #NatureAndHealing #NatureAndIdentity #NatureAndTheSoul #NatureAndWonder #NatureWriting #Nostalgia #NostalgiaAndMemory #NostalgicLiterature #NostalgicStorytelling #Past #PersonalEssay #PersonalGrowthAndMemory #personalReflection #PoeticProse #Poetry #Progress #Reflection #ReflectiveLiterature #ReflectiveProse #Reminiscence #ReminiscenceAndLoss #RuralMemories #SeekingConnection #SentimentalWriting #Shadows #Solace #Sunlight #TheBeautyOfSimplicity #TheCallOfTheWildWoods #TheEchoesOfChildhood #TheForestWithin #TheHumanCondition #TheLostWoods #TheMeaningOfHome #ThePassageOfChildhood #thePassageOfTime #ThePowerOfNostalgia #ThePowerOfPlace #TheWeightOfTime #TheWoodsOfChildhood #Time #timeAndMemory #trees #UncleAndNephewRelationship #Whisper #WoodlandDreams #WoodlandReflections #Woods #Writing
  7. Fairly valid use of #AI, near realtime voice to text #estonian -> English translation tool. I have spent about 2 hours gluing together OpenAI #whisper and Google Gemma 4 e2b and WebRTC VAD (voice activity detection) in Python. Both whisper and Gemma are running on GPU together utilizing about 50% of my Radeon.

  8. Fairly valid use of #AI, near realtime voice to text #estonian -> English translation tool. I have spent about 2 hours gluing together OpenAI #whisper and Google Gemma 4 e2b and WebRTC VAD (voice activity detection) in Python. Both whisper and Gemma are running on GPU together utilizing about 50% of my Radeon.

  9. Почему WER недостаточно: Семантическая декомпозиция ошибок ASR

    В продуктах, построенных поверх моделей распознавания речи (Automatic Speech Recognition models, ASR), качество распознавания речи напрямую влияет на пользовательский опыт. О том, какие есть методы оценки качества таких моделей, какие у них ограничения и как мы измеряем качество их работы — и пойдет речь.

    habr.com/ru/articles/1043102/

    #wer #asr #ner #nlp #речевые_технологии #распознавание_речи #whisper #машинное_обучение #Оценка_качества_моделей #речь_в_текст

  10. Whisper или GigaAM для русского ASR в продакшене: три ловушки бенчмарка, которые перевернут ваши выводы

    Полгода назад мы публиковали статью про то, как получили 3.3% WER для русского ASR с GigaAM. Замеры шли на пяти TTS-фрагментах из аудиокниг, что подтверждало тезис «специализация бьёт универсальность». С тех пор мы перемерили обе модели на реальных продакшен-записях и попали в три ловушки бенчмарка. Первый замер показал «GigaAM впереди Whisper на 7 pp». На тех же данных, после небольшой чистки, обе модели идут вровень. А на самом шумном клипе с реверберацией Whisper уходит вперёд на 19 pp. Это всё на одном подкасте, с одними и теми же скриптами, одними и теми же моделями. Детали разбираем под катом. Протестировали 10 методов «улучшения» аудио (большинство сделали хуже), измерили RTF на RTX 4090 и сформулировали финальный выбор: GPU - до обученный Whisper-turbo, CPU - GigaAM v3-e2e-rnnt. И почему именно так.

    habr.com/ru/articles/1042574/

    #распознавание_речи #ASR #Whisper #GigaAM #WER #fasterwhisper #бенчмарк #finetuning #русский_ASR #оффлайнраспознавание

  11. Как я решил проблему русской диктовки для ИИ

    По мере погружения в ИИ и вайб‑кодинг, я столкнулся с одним неудобным моментом — отсутствием возможности диктовать на русском языке в некоторых программах. И если OpenAI в своем приложении позаботились об этом, то в Anthropic такой возможности на тот момент просто не оказалось. А мне уже так понравилось, откинувшись на спинку кресла с чашкой чая, надиктовывать промпты без клавиатуры. Но я быстро нашел выход, хоть и костыльный — просто диктовать свой текст в окошке GPT, потом копировать его и вставлять в Claude. Вроде несложно, но и удобным этот метод я бы не назвал. И я задумался, как этот процесс оптимизировать. И какая же идея могла прийти в голову в 3 часа ночи человеку, который полжизни занимается программированием? Ну конечно же — разработать свое приложение. Посоветовавшись с Claude и GPT, я набросал небольшой план и приступил к разработке. Поскольку я работаю на macOS, то для начала не стал заморачиваться с мультиплатформенностью и решил делать все на Swift.

    habr.com/ru/articles/1039248/

    #AI #OpenAI #Claude #Whisper #speechtotext #диктовка #voice_input #Apple_Silicon

  12. I've been working in #Pitxu these days.

    - I left behind the Infinite-loop approach to a Callback-based one triggered by VAD, reducing about a 40% of the load and imilar battery life improvement.

    - Added a Long Term Memory system, so that I can reduce the amount of context in use per session relaying on an external support, making it faster and cheaper.

    - I've switched #Vosk for #Whisper in the Speech-To-Text step, that brings an incredible improvement on the transcription, which at its turn improves the overall user experience.

    - I switched from Gemini 2.5 Flash to Gemini 3.1 Flash-Lite, which improves quality but also penalizes reaction speed.

    - I delegated some background work into a new Support process that takes it out from the main (user experience) thread.

    - I corrected numerous visualization bugs that improves the user-Pitxu interaction.

    All in all, I just had a long conversation with Pitxu, and has been by far the best demo I ever had in year and a half.

    This is a self-tap-on-the-shoulder post, thank you for your attention 🙂

  13. I've been working in #Pitxu these days.

    - I left behind the Infinite-loop approach to a Callback-based one triggered by VAD, reducing about a 40% of the load and imilar battery life improvement.

    - Added a Long Term Memory system, so that I can reduce the amount of context in use per session relaying on an external support, making it faster and cheaper.

    - I've switched #Vosk for #Whisper in the Speech-To-Text step, that brings an incredible improvement on the transcription, which at its turn improves the overall user experience.

    - I switched from Gemini 2.5 Flash to Gemini 3.1 Flash-Lite, which improves quality but also penalizes reaction speed.

    - I delegated some background work into a new Support process that takes it out from the main (user experience) thread.

    - I corrected numerous visualization bugs that improves the user-Pitxu interaction.

    All in all, I just had a long conversation with Pitxu, and has been by far the best demo I ever had in year and a half.

    This is a self-tap-on-the-shoulder post, thank you for your attention 🙂

  14. I've been working in #Pitxu these days.

    - I left behind the Infinite-loop approach to a Callback-based one triggered by VAD, reducing about a 40% of the load and imilar battery life improvement.

    - Added a Long Term Memory system, so that I can reduce the amount of context in use per session relaying on an external support, making it faster and cheaper.

    - I've switched #Vosk for #Whisper in the Speech-To-Text step, that brings an incredible improvement on the transcription, which at its turn improves the overall user experience.

    - I switched from Gemini 2.5 Flash to Gemini 3.1 Flash-Lite, which improves quality but also penalizes reaction speed.

    - I delegated some background work into a new Support process that takes it out from the main (user experience) thread.

    - I corrected numerous visualization bugs that improves the user-Pitxu interaction.

    All in all, I just had a long conversation with Pitxu, and has been by far the best demo I ever had in year and a half.

    This is a self-tap-on-the-shoulder post, thank you for your attention 🙂

  15. От MVP на Whisper до собственной ASR: как мы построили платформу субтитров для RUTUBE

    Автоматическое создание субтитров для пользовательского контента может выглядеть довольно простой задачей: берем готовую ASR‑модель, распознаем аудио из видео и сохраняем результат. Именно таким и был наш первый MVP в RUTUBE — сервис на базе Whisper, который позволил быстро проверить гипотезу и запустить субтитры в production. Но очень быстро стало понятно, что между «распознать речь» и «сделать субтитры для всего контента» лежит огромный пласт работы. Миллионы новых видео, ролики длиной до 24 часов, неизвестный язык, шумный пользовательский контент, требования к качеству текста и жесткие ограничения по скорости обработки — всё это превратило задачу из простого ASR в полноценную платформу с микросервисной архитектурой и собственной системой распознавания речи. В статье расскажу, почему Whisper не подошел для production, как мы перестроили всю архитектуру и за счет чего смогли выйти на производительность около 1200 видео в час на один ASR.

    habr.com/ru/companies/habr_rut

    #asr #whisper #распознавание_речи #highload #субтитры #production_ml #machine_learning

  16. Топ локальных нейросетей ︎◍ 2026: подборка ИИ для запуска из дома

    Сознаюсь: когда я впервые попытался запустить большую языковую модель на своём ноутбуке, всё закончилось вертушкой кулера, жутким лагом и системным сообщением “Недостаточно памяти”. Казалось, что домашний ИИ – удел владельцев космических станций с жидким азотом. Но прошло совсем немного времени, и ситуация изменилась до неузнаваемости. Теперь достаточно обычной RTX 3060 и получаса свободного вечера, чтобы завести себе персонального ассистента, который работает на даче без интернета и умеет шутить (или хотя бы пытается). Я расскажу обо всём по порядку – без воды и фанатизма. Что вообще запускать, на чём запускать, какие подводные камни ждут и почему “самая новая модель” дома – далеко не всегда лучший выбор. Поехали! Готовьте отвёртку и VRAM – мы начинаем!

    habr.com/ru/companies/bothub/a

    #gemma_4 #qwen36 #qwen35 #gptoss30b #mistral_7b #phi4 #deepseek_v32 #whisper #nemotron_cascade_2

  17. Грабилка звука с переводом

    Сидя на очередном teams митинге с коллегами на французском, и в очередной раз понимая, что упускаю смысл совещания, ибо уровень этого самого французского оставляет желать лучшего, подумал, что надо что-то делать. И так как их много, а меня — мало, делать что-то предстояло мне. Teams и прочие платформы, конечно, имеют опции на такой случай, но не просить же включать запись каждый раз. Получилась небольшая программа, которая берёт воспроизводимый звуковой поток, делит его на фразы, через whisper распознаёт в указанный язык (проверял русский, английский, французский) и переводит. Немного деталей и возможности

    habr.com/ru/articles/1015636/

    #whisper #перевод #запись_разговоров

  18. Грабилка звука с переводом

    Сидя на очередном teams митинге с коллегами на французском, и в очередной раз понимая, что упускаю смысл совещания, ибо уровень этого самого французского оставляет желать лучшего, подумал, что надо что-то делать. И так как их много, а меня — мало, делать что-то предстояло мне. Teams и прочие платформы, конечно, имеют опции на такой случай, но не просить же включать запись каждый раз. Получилась небольшая программа, которая берёт воспроизводимый звуковой поток, делит его на фразы, через whisper распознаёт в указанный язык (проверял русский, английский, французский) и переводит. Немного деталей и возможности

    habr.com/ru/articles/1015636/

    #whisper #перевод #запись_разговоров

  19. Грабилка звука с переводом

    Сидя на очередном teams митинге с коллегами на французском, и в очередной раз понимая, что упускаю смысл совещания, ибо уровень этого самого французского оставляет желать лучшего, подумал, что надо что-то делать. И так как их много, а меня — мало, делать что-то предстояло мне. Teams и прочие платформы, конечно, имеют опции на такой случай, но не просить же включать запись каждый раз. Получилась небольшая программа, которая берёт воспроизводимый звуковой поток, делит его на фразы, через whisper распознаёт в указанный язык (проверял русский, английский, французский) и переводит. Немного деталей и возможности

    habr.com/ru/articles/1015636/

    #whisper #перевод #запись_разговоров

  20. Умная колонка своими руками

    В этой статье я расскажу, как сделать своими руками две умные колонки, полностью поддерживающие русский язык: 1) На микроконтроллере esp32s3, используя XiaoZhi 2) На Raspberry Pi автономную голосовую колонку с камерой, которая будет работать и распознавать всё, что не только слышит, но и видит перед собой, даже при отсутствии Интернета! С локально запущенными моделями ИИ, связка Ollama+Gemma3:1b+Moondream+OpenWakeWord+Whisper.cpp+Silero TTS А также расскажу, как подключить обе эти колонки к Home Assistant для управления устройствами умного дома.

    habr.com/ru/articles/1005272/

    #xiaozhi #esp32s3 #голосовой_ассистент #whisper #silero #ollama #raspberrypi

  21. Как я снизил WER с 33% до 3.3% для русской речи на CPU: сравнение GigaAM, Whisper и Vosk

    За два месяца я перепробовал три ASR-движка, шесть моделей Whisper, адаптивное чанкование, T5-коррекцию и ансамблевое голосование — и большая часть идей оказалась тупиком. В статье — подробный разбор шести тупиков и одной находки: почему GigaAM от Сбера на обычном CPU показывает 3.3% WER на русском, обходя Whisper large-v3-turbo на RTX 4090 (7.9%) в 2.4 раза. С бенчмарками, кодом и честными оговорками.

    habr.com/ru/articles/1002260/

    #speechtotext #gigaam #whisper #vosk #onnx #распознавание_речи #WER #голосовой_ввод #ASR #python

  22. CW:NSFW!!!
    I appreciate devotion, but I admire discipline even more. Impress me with your manners, not your ego.

    #ASMR
    #Whisper
    #FootFetish
    #Worship
    #GoddessWorship
    #Femdom

  23. @techsimplified yes, accuracy issues indeed. The current state is good enough for the initial development tests, but the accuracy STT mistakes makes the rest of the pipeline mediocre, no matter how good it is. The input is the key.

    #Vosk has been great but I feel I bump to the limits. I am testing #Whisper and should deliver punctuation and better accuracy, that translates to better interaction with the Chatbot, which brings improved user experience.

    I will take a look at your suggestion, but I do focus on Voice to Text rather than Voice to action, as I aim for conversational experience more than simply executing tasks.

    Thanx!

  24. Marededéusinyó, 4 dies per fer que els ventiladors de la caixa del #Pitxu funcionin a diferents velocitats segons la temperatura, i en silenci.

    He après molt aquesta dies. A nivell més de vida, aquest típic soroll d'aparell elèctric (el típic que ens fa canviar-lo per vell) és degut a que emet una freqüència audible, moltes vegades per error, com era el meu cas

    Primer he conectat els ventiladors. Funcionen al 100%.
    Després el pin de control. Tirar de llibreria GPIO per encendre'ls i apagar-los a certa temperatura.
    Després aprendre d'Hysteresis, que és això de que ventili fins mes abaix del llindar per què no s'estigui encenent i apagant cada 5 segons.
    Després convertir-lo a PWM, que permet variar la velocitat per que faci menys soroll.
    Descobrir com funciona, i que a freqüències baixes el "zumbit" toca els ous. Massa.
    Aprendre que s'ha d'usar una freqüència no-audible (~25kHz), i que la llibreria que uso explota a més de 10kHz, i el soroll no mola.
    Resulta que totes les llibreries Python fan PWM per software, cal fer-ho per hardware.
    La mare que va parir el Kernel de Linux, els overlays, i sa puta mare.

    M'he fet un overlay jo mateix, ja tinc els canals que necessito, i ja puc moure els ventiladors a la freqüència que vull.

    El #Pitxu ja respira en silenci, i prèn grans bocanades d'aire quan ho necessita.

    Entre la millora del micro, el que estic cohent per canviar de #Vosk a #Whisper, i que el hardware aguanti com toca tota la infra, ja començo a tenir ganes de posar-me amb els models altra cop.

  25. Marededéusinyó, 4 dies per fer que els ventiladors de la caixa del #Pitxu funcionin a diferents velocitats segons la temperatura, i en silenci.

    He après molt aquesta dies. A nivell més de vida, aquest típic soroll d'aparell elèctric (el típic que ens fa canviar-lo per vell) és degut a que emet una freqüència audible, moltes vegades per error, com era el meu cas

    Primer he conectat els ventiladors. Funcionen al 100%.
    Després el pin de control. Tirar de llibreria GPIO per encendre'ls i apagar-los a certa temperatura.
    Després aprendre d'Hysteresis, que és això de que ventili fins mes abaix del llindar per què no s'estigui encenent i apagant cada 5 segons.
    Després convertir-lo a PWM, que permet variar la velocitat per que faci menys soroll.
    Descobrir com funciona, i que a freqüències baixes el "zumbit" toca els ous. Massa.
    Aprendre que s'ha d'usar una freqüència no-audible (~25kHz), i que la llibreria que uso explota a més de 10kHz, i el soroll no mola.
    Resulta que totes les llibreries Python fan PWM per software, cal fer-ho per hardware.
    La mare que va parir el Kernel de Linux, els overlays, i sa puta mare.

    M'he fet un overlay jo mateix, ja tinc els canals que necessito, i ja puc moure els ventiladors a la freqüència que vull.

    El #Pitxu ja respira en silenci, i prèn grans bocanades d'aire quan ho necessita.

    Entre la millora del micro, el que estic cohent per canviar de #Vosk a #Whisper, i que el hardware aguanti com toca tota la infra, ja començo a tenir ganes de posar-me amb els models altra cop.

  26. Marededéusinyó, 4 dies per fer que els ventiladors de la caixa del #Pitxu funcionin a diferents velocitats segons la temperatura, i en silenci.

    He après molt aquesta dies. A nivell més de vida, aquest típic soroll d'aparell elèctric (el típic que ens fa canviar-lo per vell) és degut a que emet una freqüència audible, moltes vegades per error, com era el meu cas

    Primer he conectat els ventiladors. Funcionen al 100%.
    Després el pin de control. Tirar de llibreria GPIO per encendre'ls i apagar-los a certa temperatura.
    Després aprendre d'Hysteresis, que és això de que ventili fins mes abaix del llindar per què no s'estigui encenent i apagant cada 5 segons.
    Després convertir-lo a PWM, que permet variar la velocitat per que faci menys soroll.
    Descobrir com funciona, i que a freqüències baixes el "zumbit" toca els ous. Massa.
    Aprendre que s'ha d'usar una freqüència no-audible (~25kHz), i que la llibreria que uso explota a més de 10kHz, i el soroll no mola.
    Resulta que totes les llibreries Python fan PWM per software, cal fer-ho per hardware.
    La mare que va parir el Kernel de Linux, els overlays, i sa puta mare.

    M'he fet un overlay jo mateix, ja tinc els canals que necessito, i ja puc moure els ventiladors a la freqüència que vull.

    El #Pitxu ja respira en silenci, i prèn grans bocanades d'aire quan ho necessita.

    Entre la millora del micro, el que estic cohent per canviar de #Vosk a #Whisper, i que el hardware aguanti com toca tota la infra, ja començo a tenir ganes de posar-me amb els models altra cop.

  27. @techsimplified it is, completely! I find that having my hands free to do actions (and queries) is indeed a game changer. I'm just bumping my head to make the STT to work smooth.

    This project in the pic is a satellite device from my main #Pitxu ongoing built, chaining STT > Chatbot > TTS. As a satellite, it just captures sound, sends it to the "server" and plays the answer. It is a #RaspberryPiZero2 so it can't really hold all the engines needed.

    As per tooling, the whole pack uses:
    - #Vosk (now tinkering with #Whisper)
    - #Gemini (now tinkering with #Ollama offline)
    - #Piper

    But a big chunk of my brain goes to the UX hardware:
    - screen for a more human interaction
    - soundcard I/O (gosh RPi is not yet polished here)
    - GPIO buttons, UPS, PWM fan cases,...

  28. @techsimplified it is, completely! I find that having my hands free to do actions (and queries) is indeed a game changer. I'm just bumping my head to make the STT to work smooth.

    This project in the pic is a satellite device from my main #Pitxu ongoing built, chaining STT > Chatbot > TTS. As a satellite, it just captures sound, sends it to the "server" and plays the answer. It is a #RaspberryPiZero2 so it can't really hold all the engines needed.

    As per tooling, the whole pack uses:
    - #Vosk (now tinkering with #Whisper)
    - #Gemini (now tinkering with #Ollama offline)
    - #Piper

    But a big chunk of my brain goes to the UX hardware:
    - screen for a more human interaction
    - soundcard I/O (gosh RPi is not yet polished here)
    - GPIO buttons, UPS, PWM fan cases,...

  29. @techsimplified it is, completely! I find that having my hands free to do actions (and queries) is indeed a game changer. I'm just bumping my head to make the STT to work smooth.

    This project in the pic is a satellite device from my main #Pitxu ongoing built, chaining STT > Chatbot > TTS. As a satellite, it just captures sound, sends it to the "server" and plays the answer. It is a #RaspberryPiZero2 so it can't really hold all the engines needed.

    As per tooling, the whole pack uses:
    - #Vosk (now tinkering with #Whisper)
    - #Gemini (now tinkering with #Ollama offline)
    - #Piper

    But a big chunk of my brain goes to the UX hardware:
    - screen for a more human interaction
    - soundcard I/O (gosh RPi is not yet polished here)
    - GPIO buttons, UPS, PWM fan cases,...

  30. Habe nun seit einer Woche ein vollständig lokales Setup mit #Homeassistant #Voice am laufen.
    #Whisper large v3 und #LLM läuft auf einem Jetson Orin AGX. Allerdings bin ich mit der Geschwindigkeit von #ollama noch nicht zufrieden. Ich muss mal #vllm oder #tensorRT-llm testen. Kann aber auch am Modell #gpt-oss:20b liegen, wobei das zumindest uneindeutige Anfragen gut interpretiert. Aber alles über 10 Sekunden Wartezeit ist zu lang.
    Whisper versteht leider auch Frauenstimmen nicht 100% zuverlässig

  31. Habe nun seit einer Woche ein vollständig lokales Setup mit #Homeassistant #Voice am laufen.
    #Whisper large v3 und #LLM läuft auf einem Jetson Orin AGX. Allerdings bin ich mit der Geschwindigkeit von #ollama noch nicht zufrieden. Ich muss mal #vllm oder #tensorRT-llm testen. Kann aber auch am Modell #gpt-oss:20b liegen, wobei das zumindest uneindeutige Anfragen gut interpretiert. Aber alles über 10 Sekunden Wartezeit ist zu lang.
    Whisper versteht leider auch Frauenstimmen nicht 100% zuverlässig

  32. Whisper Warmup Doodle
    Finally forced myself to pick up my pen and this is what happened lol
    Haven't read the comics yet, but I think Whisper's neat :)
    #RoaringLycan #RoaringLycanArt #illustration #digitalart #art #drawing #sonicseries #sonicthehedgehog #whisper #whisperthewolf #wolf #female #fanart

  33. Công cụ Transcribe (tx) miễn phí, chạy cục bộ với Whisper, hỗ trợ nhận diện giọng nói theo thời gian thực, phân biệt người nói (diarization) và thời gian chính xác. Hỗ trợ file, mic, âm thanh hệ thống và tích hợp Ollama để tóm tắt nội dung (tùy chọn). Hoạt động ngoại tuyến, đa nền tảng: Windows, macOS, Linux. Giao diện đồ họa và CLI tiện lợi tự động hóa.

    #Transcribe #Whisper #Ollama #SpeechToText #Diarization #AI #LocalAI #CôngCụ #TríTuệNhânTạo #ThuyếtTrình

    reddit.com/r/LocalLLaM