#prompt_injection — Public Fediverse posts

Локальный ассистент для зумов, часть 5: зачем локальному ассистенту облако и что уходит наружу

Пятая часть про локальный ассистент для созвонов. В первой части я написал: ничего не уходит в облако. Облако появилось на второй день проекта, потому что большая модель одним чтением стенограммы находила то, чего локальная не видела. Что уходит с машины при каждом из пяти тумблеров и в каком объёме, почему остался Opus, как каждая третья ревизия не доезжала из-за усилия, а не размера промпта, и где сегодня проходит граница между локальным и облачным.

https://habr.com/ru/articles/1083382/

#ассистент_встреч #локальные_llm #облачная_ревизия #приватность #claude_code #opus #граф_знаний #obsidian #prompt_injection #open_source

Агентам выкатили патч. А git status в чужой папке до сих пор выполняет чужой код

Тебе присылают папку с репозиторием. Ты её открываешь, и на твоей машине выполняется чужой код. Ты не набрал ни одной команды. Это GitSpawn: восемь находок в семи кодинг-агентах. Агентам уже выкатили патчи, и это почти ничего не меняет, потому что твой собственный git status в той же папке по-прежнему выполняет чужой код. Проверял руками на git 2.53.0 и Claude Code 2.1.271.

https://habr.com/ru/articles/1082946/

#gitspawn #git #corefsmonitor #кодингагенты #claude_code #prompt_injection #информационная_безопасность

Летальное трио агентской разработки: как ИИ-агенты открывают доступ к инфраструктуре и что с этим делать

Привет, Хабр! Я Денис Макрушин, работаю в Яндексе, и вместе с командой SourceCraft Security строю платформу для безопасной агентской разработки, а в свободное время ищу уязвимости в ИИ-агентах и иногда рассказываю об исследованиях в своем блоге . Чем дольше этим занимаюсь, тем лучше вижу тенденцию: индустрия обсуждает, что агенты умеют делать, но реже говорит о том, какие решения и как проще внедрять, чтобы сделать агентскую инфраструктуру безопаснее. Вместе с моими коллегами Ратмиром Самархановым и Андреем Погирейчиком мы решили проверить гипотезу: “наши ИИ-агенты в разработке могут быть скомпрометированы и существуют простые средства для контроля их безопасности”. Расскажем о первых результатах.

https://habr.com/ru/companies/oleg-bunin/articles/1071908/

#ai_security #agentic_engineering #ai_red_teaming #ИИагенты #агентская_разработка #безопасность_ИИ #безопасная_разработка #LLM_security #prompt_injection #RAG_poisoning

Летальное трио агентской разработки: как ИИ-агенты открывают доступ к инфраструктуре и что с этим делать

Привет, Хабр! Я Денис Макрушин, работаю в Яндексе, и вместе с командой SourceCraft Security строю платформу для безопасной агентской разработки, а в свободное время ищу уязвимости в ИИ-агентах и иногда рассказываю об исследованиях в своем блоге . Чем дольше этим занимаюсь, тем лучше вижу тенденцию: индустрия обсуждает, что агенты умеют делать, но реже говорит о том, какие решения и как проще внедрять, чтобы сделать агентскую инфраструктуру безопаснее. Вместе с моими коллегами Ратмиром Самархановым и Андреем Погирейчиком мы решили проверить гипотезу: “наши ИИ-агенты в разработке могут быть скомпрометированы и существуют простые средства для контроля их безопасности”. Расскажем о первых результатах.

https://habr.com/ru/companies/oleg-bunin/articles/1071908/

#ai_security #agentic_engineering #ai_red_teaming #ИИагенты #агентская_разработка #безопасность_ИИ #безопасная_разработка #LLM_security #prompt_injection #RAG_poisoning

Летальное трио агентской разработки: как ИИ-агенты открывают доступ к инфраструктуре и что с этим делать

Привет, Хабр! Я Денис Макрушин, работаю в Яндексе, и вместе с командой SourceCraft Security строю платформу для безопасной агентской разработки, а в свободное время ищу уязвимости в ИИ-агентах и иногда рассказываю об исследованиях в своем блоге . Чем дольше этим занимаюсь, тем лучше вижу тенденцию: индустрия обсуждает, что агенты умеют делать, но реже говорит о том, какие решения и как проще внедрять, чтобы сделать агентскую инфраструктуру безопаснее. Вместе с моими коллегами Ратмиром Самархановым и Андреем Погирейчиком мы решили проверить гипотезу: “наши ИИ-агенты в разработке могут быть скомпрометированы и существуют простые средства для контроля их безопасности”. Расскажем о первых результатах.

https://habr.com/ru/companies/oleg-bunin/articles/1071908/

#ai_security #agentic_engineering #ai_red_teaming #ИИагенты #агентская_разработка #безопасность_ИИ #безопасная_разработка #LLM_security #prompt_injection #RAG_poisoning