Confidence ≠ Permission: почему я не разрешаю LLM самостоятельно принимать решения
LLM может быть уверена в своём ответе, но это ещё не означает, что системе разрешено выполнять действие. В AI Career Inbox Assistant разделены понимание сообщения, принятие решения и фактическое выполнение действия. Модель извлекает намерение и факты, профиль кандидата остаётся источником истины, а отдельный policy/decision layer определяет, что можно сделать: подготовить draft, попросить пользователя принять решение, ничего не делать или отправить безопасный автоответ при заранее заданных условиях. На практике это особенно важно для Telegram‑ассистента, который может отвечать от имени пользователя. Ошибка в тексте и ошибочное действие — не одно и то же: второе уже становится архитектурной проблемой. Поэтому в статье разбирается, почему UNKNOWN должен оставаться неизвестным, почему уверенность LLM не должна расширять права системы и почему даже правильное решение требует отдельной защиты на уровне исполнения, например от повторной отправки сообщения. Главный принцип: уверенность модели — это сигнал для принятия решения, но не разрешение на действие.
https://habr.com/ru/articles/1090816/
#LLM #искусственный_интеллект #AIагенты #Telegram #Python #архитектура #decision_layer #автоматизация #policy #безопасность