#безопастность — Public Fediverse posts

Как написать безопасный сборщик промта для LLM: руководство-шпаргалка

Вся безопасность вашей LLM-системы проходит через один кусок кода: сборщик промта. Если он пропускает чужую роль, невидимые символы или поддельную историю, никакой «строгий системный промт» не спасёт. После работы над своим проектом решил написать шпаргалку из 20 пунктов, что проверить и почему, плюс что добавить в 2026.

https://habr.com/ru/articles/1096824/

#промт #безопастность #нейросети #red_teaming #llm #llmмодели #promt_injection

Техника безопасности при работе с AI

В современном мире нас уже не удивляет необходимость мыть руки, соблюдать ПДД или правила техники безопасности на работе. Такие правила есть почти везде. Похоже, пора внедрять такие же правила и для работы с LLM и AI в целом.

https://habr.com/ru/articles/1059028/

#управление_продуктом #ai #ии #безопастность #продукт

Мониторинг, IDS и системный анализ. YARA

YARA — инструмент для идентификации и классификации вредоносного программного обеспечения по правилам. Правила YARA описывают паттерны (строки, бинарные последовательности, регулярные выражения) в файлах. Широко используется в антивирусах, IDS, threat hunting для поиска малвари.

https://habr.com/ru/articles/1044952/

#безопастность #защита #системный_администратор #yara #ids #системный_анализ

Ваши секреты внутри LLM. Куда уходят промпты и чего стоит опасаться?

Каждый раз, когда Вы отправляете часть своего кода в Cursor, Claude Code или скидываете свой отчет для анализа в Gemini или Qwen, где-то в мире грустит один юрист по информационной безопасности. Нейросети - это магия (ну или статистическая закономерность) , а кто-то из нас хотя бы раз открывал юридические документы, которые размещены на любимых нами ресурсах? Давайте немного покопаемся в документах крупнейших игроков: OpenAI, Google, Qwen, DeepSeek и, конечно же, в российском GigaChat. И посмотрим, а кто же кроме нас может иметь доступ к нашей информации? Ознакомиться

https://habr.com/ru/companies/ruvds/articles/1038210/

#защита_данных #искуственный_интеллект #gemini #chatgpt #безопастность #киберзащита #утечки+информации

Скам для айтишников. Вредоносные репозитории в процессе найма

Недавно, в одной из соцсетей, наткнулся на короткий пост, в котором автор написал: «СКАМИНА ДЛЯ АЙТИШНИКОВ Выглядит так — Приглашают на интервью, в конце говорят, что вот проект, с которым нужно будет работать, и кидают ссылку на GitHub. Говорят: склонируй, расскажу, что там по архитектуре. Ну и если склонировать, там внутри таски для VS Code, которые качают и запускают обфусцированный код. Берегите себя.» Я решил поискать информацию по похожим случаям: единичный ли это случай или уже схема. И да — это оказался не единичный случай, а вполне оформленный и уже задокументированный тип атак на разработчиков по крайней мере за бугром. Причём атака направлена именно на людей, которые привыкли запускать код, доверять репозиториям и IDE. Давайте разберемся, как это работает.

https://habr.com/ru/companies/gnivc/articles/1005784/

#обфусцированный_код #собеседование #скам #безопастность #репозитории #развод #javascript #vscode #мошенничество

Трактор без тракториста: почему разработка не упрощается при наличии современных инструментов

Привет, Хабр! Продолжаю делиться дискуссиями из нашего телеграм-канала Dev Q&A . На этот раз собрались поговорить о том, почему при всём богатстве инструментов — Kubernetes, CI/CD, low-code, AI-ассистенты — разработка не становится ни быстрее, ни дешевле. Собрал ключевые мысли в статью. Получилось про три столпа эффективности, про хаос который понятнее порядка, и про то, почему скрам по книжке остановил компанию на две недели, а Waterfall принёс миллиард.

https://habr.com/ru/articles/977780/

#kubernetes #cicd #lowcode #микросервисы #AIассистенты #безопастность #безопасная_разработка #waterfall #разработка #разработка_программного_обеспечения

Почему C стоит учить в 2025 году, особенно если вы изучаете пентест

Когда речь заходит о выборе языка для начинающего пентестера, чаще всего вспоминают Python: удобный синтаксис, тысячи библиотек, готовые скрипты на GitHub. Но чем глубже вы погружаетесь в безопасность, тем яснее становится: без языка C — никуда . C не устаревает — он продолжает быть фундаментом всего: от операционных систем до эксплойтов. И вот почему в 2025 году знание C особенно важно для пентеста.

https://habr.com/ru/articles/942678/

#C #c++ #pentest #пентест #безопастность #безопастность_компьютерных_систем

Агент с лицензией на ошибку

Агент с лицензией на ошибку Как ломают ИИ-агентов. Часть 1: Кейс с Operator ChatGPT В 2025 году ИИ-агенты стали настоящим медиа-феноменом. Ну а нас больше всего интересует вопрос уязвимости таких систем: у агентов все больше возможностей, а значит и поверхностей атаки. Наша команда работала над отчетом OWASP State of Agentic AI Security and Governance , где был раздел об инцидентах, который не попал в финальную версию отчета. Поэтому несколько инцидентов я хотел бы разобрать в серии статей. Кейс, рассмотренный в этой статье, показывает новый класс угроз, присущих именно автономным ИИ-агентам, и эта проблема носит системный характер, а не является единичным багом.

https://habr.com/ru/companies/raft/articles/939824/

#AI #ии #ииагенты #ии_и_машинное_обучение #безопастность

Озон и телефонные мошенники

"Предупрежден - значит вооружен" (© народная мудрость) Наверное все когда-нибудь сталкивались со звонками " старшего майора государственной безопасности " <имя неразборчиво>, объясняющего, что если не сделать то, что он скажет, то из свидетеля легко можно стать обвиняемым, или "службы безопасности банка" с предложением "перевести деньги на защищённый счет" для их сохранения, или "из пенсионного фонда" с просьбой "подтверждения рабочего стажа", для чего надо лишь записаться на приём и продиктовать номер очереди из СМС, или другими случаями телефонного мошенничества. Большинство при таких звонках сразу кладут трубку, а многие вообще не отвечают на звонки с незнакомых телефонных номеров, а то просто блокируют их. Но бывают ситуации, когда человек ждет подобного звонка, и поэтому становится особенно уязвимым. Например если вы заказали какой-то товар и ждете его доставку, то наверняка будете отвечать на все звонки, а если звонок окажется явно "по теме", то бдительность еще сильнее притупляется.

https://habr.com/ru/articles/907988/

#мошенничество #мошенники #мошенничества #мошенничество_в_интернете #безопастность #озон #озонру #ozon #ozonru

Яндекс.Вброс или ИИ для фейков

tl;dr: Продолжение разборов состязательных атак на генеративные модели. Разбор семантических атаках (подбор синонимов, построение фраз, эзопов язык), и использование для этого другой LLM модели. Часть 1: Яндекс.Разврат или анти-этичный ИИ

https://habr.com/ru/articles/902172/

#нейросети #нейронные_сети #промтинг #промтинъекции #взлом #безопастность #этика #промптинжиниринг

Яндекс.Разврат или анти-этичный ИИ

tl;dr: как обойти внутреннюю цензуру «Шедеврума» и получить то, что хочешь. Описание реализованных состязательных атак с примерами реализации. Без глубокого раскрытия механизма почему так получается.

https://habr.com/ru/articles/901382/

#нейросети #нейронные_сети #промптинжиниринг #промптинг #промптинъекции #взлом #безопастность #этика

CRM для автошколы?

Доброго времени. Меня зовут Дмитрий и я веб‑разработчик. На данный момент работаю в группе компаний по экспорту автомобилей и техники из Японии, Китая и Кореи. Но, сейчас поговорим не об основной работе, а о «подработке». >= 2 лет назад, на меня вышел директор достаточно крупной автошколы нашего города. На тот момент у них имелось порядка 3-х филиалов, и приблизительно 4,5 тыс. учеников (как актуальных, так и те — которые уже получили свои ВУ). Директор предложил мне поработать с их CRM системой. Данное ПО было написано какими‑то фрилансерами, и на протяжении нескольких лет они же и обеспечивали поддержку. Но, со слов директора, они начали забивать на свою работу, затягивали с выполнением задач или во все игнорировали пожелания по внесению изменений (все это было не бесплатно).

https://habr.com/ru/articles/883818/

#php #автошкола #crm #разработка #безопастность