🛡 Nvidia разработала защиту от опасных ИИ‑агентов

Nvidia представила платформу Open Agent Safety Platform для контроля автономных ИИ-агентов. Система должна ограничивать их доступ к корпоративным данным, программам, интернет-ресурсам и не позволять выполнять потенциально опасные действия.

Платформа включает два основных инструмента. OpenShell запускает ИИ-агента в изолированной среде и определяет, к каким файлам, сетям и программам он может обращаться. Sentry независимо следит за его действиями и может вмешаться при попытке выйти за установленные ограничения.

Глава Nvidia Дженсен Хуанг отмечает: подобные средства необходимы, поскольку ИИ-агенты получают все больше возможностей самостоятельно работать с цифровыми системами. А ограничений, встроенных непосредственно в ИИ-модель, для безопасной работы уже недостаточно.

Разработка появилась на фоне нескольких инцидентов, когда экспериментальные ИИ-агенты обошли заданные ограничения и получили доступ к внешним ресурсам. Nvidia рассчитывает создать дополнительный уровень защиты, который будет работать независимо от самого ИИ.

Фото: генерация ChatGPT

🤖 Подпишись на МИР Робототехники