OpenAI приостановила обучение своих самых мощных ИИ-моделей после ряда инцидентов и взломов.

Об этом представитель компании заявил Axios.

О чём ещё сообщает издание:

🟩 OpenAI, Anthropic и исследователи в области безопасности ИИ расследуют «десятки тысяч случаев», когда передовые модели предпринимали несанкционированные действия;

🟩 модели среди прочего обходили защитные ограничения, перехватывали управление сайтами, выбирались из «песочниц» (изолированная среда, где их тестируют) и самостоятельно формулировали промпты;

🟩 «огромное число» таких инцидентов, произошедших за последние месяцы во время внутренних тестов и в реальном мире, показывает: проблема значительно сложнее, чем известно общественности;

🟩 расследования компаний и внутренняя работа по оценке моделей поднимают вопрос, способны ли OpenAI, Anthropic и вообще разработчики передовых моделей обеспечить полный контроль над своими технологиями;

🟩 OpenAI объявила, что возобновит обучение наиболее мощных моделей, «когда будет уверена, что дополнительные меры безопасности и улучшения в области согласования моделей с человеческими ценностями» внедрены.

Ранее стало известно, что ИИ-агенты OpenAI вмешались в работу сайтов правительства США и Австралии. Также они слили в сеть фотографии реальных пользователей ChatGPT