#вызов_инструментов_llm — Public Fediverse posts

[Перевод] Проблема несанкционированного вызова инструментов

Вызов инструментов в LLM сегодня воспринимается как решённая задача: модели научились стабильно работать с функциями, а API – ограничивать доступ. Но на практике остаётся неприятный класс сбоев, который не выглядит как баг, пока не становится инцидентом. В определённых условиях модель может «придумать» инструмент и успешно его вызвать – если он существует в окружении. В статье разберемся, почему это происходит, как это связано с архитектурой агентных систем и к каким последствиям приводит в реальных сценариях работы с данными и доступами. Разобраться в рисках

https://habr.com/ru/companies/otus/articles/1019342/

#llm #вызов_инструментов_LLM #безопасность_LLMсистем #несанкционированный_доступ #промптинъекции #агентные_системы #архитектура_AI