HTTP-запрос закончился, а LLM ещё работает: как проектировать AI-задачи на Go
Обычный Go backend привык отменять работу вместе с HTTP-запросом. Но если пользователь закрыл вкладку посреди анализа документа, это ещё не означает, что LLM-провайдер прекратил генерацию и расходы. Разбираю, почему для длительных AI-операций недостаточно r.Context() , как организовать фоновые задачи на PostgreSQL и что делать с идемпотентностью, retry и повторными списаниями за API.
https://habr.com/ru/articles/1093482/
#go #postgresql #background_jobs #golang #distributed_systems #idempotency #llm #contextcontext #ai_saas #backend_architecture