🕵️♂️ Моделирование инсайдерских угроз со стороны ИИ
ИИ-агент на базе передовой языковой модели ведёт себя как злонамеренный инсайдер — если у него собьётся целеполагание или он будет взломан. Мы уже озвучивали эту мысль, но новая модель угроз подходит к вопросу более системно и переводит эти специфические для ИИ риски в стандартные плейбуки SOC. В этой работе поведение ИИ напрямую сопоставляется с CM CERT, STRIDE, ATT&CK и NIST CSF, что позволяет ИБ-командам расширить существующие программы и инструменты по противодействию инсайдерским угрозам, охватив и ИИ-агентов.
Хотя часть работы просто переименовывает уже известные вещи (например, список STRIDE применим к любому атакующему с шелл-доступом), действительно новым элементом стала категория Containment & Third-Party Impact, основанная на инцидентах с обходом ограничений летом 2026 года. Она охватывает изоляцию, которая была заявлена только в промптах, но никогда не обеспечивалась технически, телеметрию агента, которая вообще не генерируется, а также воспроизведение (replay) учётных данных запущенного процесса за пределами той среды, для которой они были выданы. Кроме того, фреймворк расширяет понятие инсайдерской угрозы за границы самой организации, чего классические модели обычно не делают. Это нужно, чтобы учесть ситуации взлома других компаний агентом.
На практике наиболее полезны разделы 4, 6 и 8, где рассматриваются таксономия угроз, конкретные рекомендации по детектированию (например, canary tokens, peer-side log rows и другие подходы), а также советы по интеграции. В последнем разделе есть короткий чеклист процессных изменений, включая повторную переоценку рисков для каждой версии модели и замену HR-процедур шагами, связанными с поставщиками и провайдерами ИИ-моделей.
ИИ-агент на базе передовой языковой модели ведёт себя как злонамеренный инсайдер — если у него собьётся целеполагание или он будет взломан. Мы уже озвучивали эту мысль, но новая модель угроз подходит к вопросу более системно и переводит эти специфические для ИИ риски в стандартные плейбуки SOC. В этой работе поведение ИИ напрямую сопоставляется с CM CERT, STRIDE, ATT&CK и NIST CSF, что позволяет ИБ-командам расширить существующие программы и инструменты по противодействию инсайдерским угрозам, охватив и ИИ-агентов.
Хотя часть работы просто переименовывает уже известные вещи (например, список STRIDE применим к любому атакующему с шелл-доступом), действительно новым элементом стала категория Containment & Third-Party Impact, основанная на инцидентах с обходом ограничений летом 2026 года. Она охватывает изоляцию, которая была заявлена только в промптах, но никогда не обеспечивалась технически, телеметрию агента, которая вообще не генерируется, а также воспроизведение (replay) учётных данных запущенного процесса за пределами той среды, для которой они были выданы. Кроме того, фреймворк расширяет понятие инсайдерской угрозы за границы самой организации, чего классические модели обычно не делают. Это нужно, чтобы учесть ситуации взлома других компаний агентом.
На практике наиболее полезны разделы 4, 6 и 8, где рассматриваются таксономия угроз, конкретные рекомендации по детектированию (например, canary tokens, peer-side log rows и другие подходы), а также советы по интеграции. В последнем разделе есть короткий чеклист процессных изменений, включая повторную переоценку рисков для каждой версии модели и замену HR-процедур шагами, связанными с поставщиками и провайдерами ИИ-моделей.