Пытаемся не взорваться на сливе данных через ИИ-агента

Пытаемся не взорваться на сливе данных через ИИ-агента ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ 2️⃣ ⬜️ 1️⃣ 1️⃣ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ 2️⃣ 3️⃣ 💥 Агент слил контекст Запомните: всё, что знает модель, всегда узнает пользователь — просто потому что она отвечает на вопросы. Модель не знает разницы между вашими требованиями и запросами пользователя. 🚩 Защита: Лишние данные не фильтруют на выходе — их не дают модели с самого начала. ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ 3️⃣ ⬜️ 1️⃣ 1️⃣ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ 2️⃣ 3️⃣ 💥 Агент слил ваш индекс RAG Когда все клиенты сидят в одном векторном индексе без метаданных владельца, поиск не различает, чьи данные перед ним — он просто ищет ближайшие векторы. Если запрос пользователя по смыслу близок к документам другого клиента, они всё равно окажутся в контексте. И это будет логично. 🚩 Защита: На каждый фрагмент при индексации нужны метки доступа. И они должны меняться вместе с моделью доступа — иначе старые права остаются в базе и продолжают работать. ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ 1️⃣ ⬜️ 1️⃣ 1️⃣ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ 1️⃣ 2️⃣ 💥 Агент слил вашу среду исполнения Вызов инструмента — это не ответ в чат, а действие во внешней системе, у которого есть побочные эффекты. Контекст вывода модели шире, чем текст: всё, что модель имитирует — параметры вызовов, промежуточные данные — уходит в среду исполнения и может оказаться там, где не должно. Причём это не зависит от того, что пользователь видит на экране. 🚩 Защита: Среда исполнения входит в модель угроз наравне с входящими данными. Нужно контролировать не только то, что модель говорит, но и что она делает и куда это попадает. ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ 2️⃣ ⬜️ 1️⃣ 1️⃣ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ ⬜️ 1️⃣ 2️⃣ О том, как не дать агенту слить секретные материалы и какие уровни безопасности поставить, рассказали эксперты из Альфа-Банка в статье на Тпрогере . #полезное #cybersec #ии ❤️ Подписывайтесь на @alfadigital_jobs