Зміст
Коротко
Мовні моделі знаходять тисячі вразливостей у коді, а агентів дедалі частіше використовують для кібератак. Атакуючі дроблять шкідливе завдання між багатьма акаунтами: кожен окремий діалог виглядає безобідно, а небезпека видна лише в сумі. Звичайні монітори, що оцінюють один контекст за раз, за архітектурою не бачать такого сценарію.
Що вивчали
Автори зібрали розподілену атаку на агента: мультиагентний каркас виконує складні задачі з безпеки, ховаючи мету між субагентами з обмеженим контекстом. Стандартний монітор ловить її у п’ять разів рідше, ніж «одноакаунтні» атаки з попередніх робіт.
Захист — онлайн-монітор з пам’яттю стану: слабкі сигнали підозри збираються кластеризацією по множині транскриптів; важка модель вмикається лише при ескалації. На симульованому трафіку дата-центру монітор раніше на ~30% виявляє розподілені атаки при незначній затримці для ~99% легітимного трафіку.
Головні висновки
- Безпеку агентів не можна будувати лише на аналізі однієї сесії користувача.
- Агрегація слабких сигналів + рідка ескалація дає кращий компроміс «точність / затримка».
- Після спільної імітації атак та сама схема ловить і звичайні обходи обмежень моделі — атакуючі повторюють варіанти між акаунтами.
Що це означає для розробників
- У продакшен-агентах закладайте крос-користувацький шар моніторингу для багатотenant API.
- Зберігайте агрегати поведінки, а не лише останній промпт.
- Ескалація на LLM — дорогий ресурс; спочатку дешеві евристики та кластери.
- Тестуйте розбиття задачі на кілька сесій, а не лише один злий промпт.
Обмеження
Оцінка на симульованому трафіку; перенесення на ваш продукт потребує калібрування порогів. При дуже великому фоні легітимного трафіку перевага звужується.