#ocr_asr_tts_сервер — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #ocr_asr_tts_сервер, aggregated by home.social.
-
Как запустить 4 независимые нейросети на одном GPU (16 ГБ) под FastAPI
Как поднять мультимодальный AI-сервис (OCR, ASR, LLM, TTS) на одной GPU 16GB без облачных API? Разбираем пошагово: - Подготовка VPS (Ubuntu + CUDA + драйверы) -FastAPI-архитектура с PyTorch/Transformers - Управление памятью (без OOM-ошибок) - Продакшен: systemd + Nginx + HTTPS + домен - Тестирование в Swagger Итог: локальный сервис "под ключ" с предсказуемыми расходами, полной приватностью данных и возможностью масштабирования. Для кого: DevOps, Python-разработчики, AI-интеграторы, стартапы. Исходники в репозитории, демо-видео, лайфхаки по разработке прямо на сервере!
https://habr.com/ru/companies/hostkey/articles/982278/
#fastapi #whisper #deepseek #deepseek_ocr #python #локальный_ии #Локальные_LLM_VPS #Локальный_AI_сервис #OCR_ASR_TTS_сервер #CUDA_PyTorch_FastAPI