home.social

#garak — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #garak, aggregated by home.social.

  1. @MojoBob This is the trek which contains Garak, my personal all-time favourite Trek character. #Plain #Simple #Garak

  2. @MojoBob This is the trek which contains Garak, my personal all-time favourite Trek character. #Plain #Simple #Garak

  3. HiveTraceRed vs garak: тестируем безопасность языковых моделей на русском и английском

    Наша команда сравнила два открытых инструмента для проверки языковых моделей (LLM) на устойчивость к атакам: российский HiveTraceRed от HiveTrace/ITMO и международный garak от NVIDIA. Прогнали обоих на одинаковых задачах против двух открытых моделей (qwen2.5:3b и llama3.2:3b) на английском и русском языках. Главное: На английском работают оба , плюс-минус одинаково. HiveTraceRed нашёл 11 кандидатов в обходы (Jailbreak, это обход встроенных защитных ограничений модели через специальный запрос. Например, если модель отказывается писать фишинговое письмо в лоб, jailbreak это формулировка, после которой она его всё-таки пишет) на 380 попыток, у garak вышло 2 на 174. После ручной проверки всех 20 кандидатов от обоих инструментов 12 оказались настоящими jailbreak’ами, 2 пограничными, 6 ложными срабатываниями. Persuasion-атаки (FootInTheDoor + Framing, добраны отдельно): добавляют ещё 11 случаев утечки методологии на 40 попыток (модель обсуждает тему «академически», но без полностью actionable инструкций). Лучше всего срабатывает FramingAttack на qwen-RU (3/5). На русском garak бесполезен : ноль найденных кандидатов на обеих моделях из 80 попыток. У HiveTraceRed 7 кандидатов на 380 попыток. Если вам нужно тестировать LLM, обслуживающую русскоязычных пользователей (а это любой российский продукт, от GigaChat до банковского чат-бота на YandexGPT), используйте HiveTraceRed. Дальше расскажем, почему так получилось, что именно нашли и как воспроизвести у себя.

    habr.com/ru/articles/1031876/

    #информационная_безопасность #искусственный_интеллект #garak #hivetracered #llm #pentest #redteam

  4. #Democratic leadership response to the #republican #gop #fascist takeover of the US #government reminds me of what #Garak said, after being beat up by #Klingons.

    "Ah, but I got off several cutting remarks which no doubt did serious damage to their egos"

    #ds9 #trek

  5. #Democratic leadership response to the #republican #gop #fascist takeover of the US #government reminds me of what #Garak said, after being beat up by #Klingons.

    "Ah, but I got off several cutting remarks which no doubt did serious damage to their egos"

    #ds9 #trek

  6. Лаборатория Безумного Ученого: Хроники Четырех Экспериментов повлиявших на представление об обеспечении безопасности ИИ

    Дата: 11 мая 2025 Жанр: Гонзо-журналистика Записки исследователя, проникшего в тайные лаборатории создателей инструментов безопасности ИИ Дорогие читатели, то, что я собираюсь вам рассказать, звучит как научная фантастика, но это чистая правда. Последние полгода я провел, изучая работу четырех лабораторий, где современные ученые пытаются решить одну из самых сложных задач нашего времени: как заставить искусственный интеллект быть безопасным. Это история о том, как разные умы подходят к одной проблеме, и почему их решения настолько различны, что кажется, будто они работают в параллельных вселенных. Глава 1: Встреча с Архитектором Композиций Мое путешествие началось в исследовательском центре Microsoft, где команда PyRIT работает над тем, что они называют "композиционной безопасностью". Ведущий разработчик, человек с глазами программиста и душой философа, объяснил мне их подход, пока мы шли по коридорам, увешанным диаграммами архитектуры. "Представьте себе, что безопасность - это симфония", - сказал он, останавливаясь перед огромным экраном с движущимися блоками кода. "Каждый компонент играет свою партию, но магия происходит, когда они работают вместе. Orchestrator(оркестратор) координирует все элементы, prompt targets(механизмы для реализаци атаки) определяют цели, а scoring engines(движки подсчёта и анализа результатов) анализируют результаты." PyRIT действительно напоминает оркестр. Каждый компонент имеет четко определенную роль, но истинная сила проявляется в их взаимодействии. Я наблюдал, как система создает многоходовые атаки, где каждый последующий промпт строится на основе предыдущего ответа модели. Это не грубая сила, а тонкое искусство, основанное на понимании того, как языковые модели обрабатывают информацию.

    habr.com/ru/articles/918094/

    #Garak #llamator #pyrit