#дисконнекты — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #дисконнекты, aggregated by home.social.
-
Ваша LLM стримит в никуда: разбираемся, как работать с дисконнектами в FastAPI
Что делает ваше FastAPI-приложение, когда клиент неожиданно закрывает соединение? По умолчанию — ничего. Если сервису важно экономить ресурсы (например, при работе с LLM), дисконнекты приходится обрабатывать явно, иначе GPU продолжит генерировать токены в пустоту. В FastAPI есть встроенные механизмы отмены обработки запроса при дисконнекте клиента. Однако просто включить их недостаточно: нужно подготовить ваш код к этому. Иначе возможны проблемы: зависшие транзакции и сломанный пул соединений с БД.
https://habr.com/ru/companies/tochka/articles/992134/
#fastapi #starlette #uvicorn #стримминг #sse #дисконнекты #отмена_запроса #asgi