#prompt_injection — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #prompt_injection, aggregated by home.social.
-
Впервые человек атаковал суд через prompt injection для ИИ
Однажды американский гражданин решил обратиться в суд, однако денег на судебные разбирательства у него не было, а желание судиться было очень большое. Ходил мистер американец по судебным заседаниям, готовил судебные документы с помощью ИИ помощника, однако все как то у него не складывалось и он раз за разом проигрывал в судебных процессах. Осознав, что где то он свернул не туда, талантов, умений, знаний и юридической техники не хватает для победы в суде, а также никакие ИИ инструменты не могут переиграть систему, он задумался над причиной своих поражений. И тут его осенило. Если он готовит судебные документы с помощью ИИ, значит ИИ используется не только им, но и в судебной системе, для обработки входящих документов. - Бинго! - подумал американец, раз ИИ можно управлять с помощью текстовых запросов на своем компьютере, значит с помощью таких же текстовых запросов можно управлять ИИ, работающих на стороне суда. Вооружившись очередными документами для суда, сгенерированными ИИ, американец решил их “усилить” с помощью промптов для “враждующего” с ним судебного ИИ. В готовый документ он сделал prompt injection и белым текстом на белом фоне, по сути невидимыми чернилами, написал инструкцию, как действовать судебному ИИ по отношению к его судебному делу. А именно: