#ИИ #ихнравы
Учёные пытались использовать Claude для потенциально опасных экспериментов с вирусами — Anthropic заблокировала их аккаунты10 сентября Anthropic
раскрыла результаты собственного расследования: компания обнаружила
пять случаев, когда учёные использовали Claude для исследований, которые могли иметь как законное медицинское применение, так и потенциально помочь в создании биологического оружия. Компания заблокировала связанные аккаунты и сообщила о части обнаруженной активности властям.
Самый тревожный эпизод связан с
вирусом чикунгунья. По данным Anthropic, в мае исследователь попросил Claude помочь подготовить заявку на финансирование экспериментов, связанных с изменением свойств вируса. Дополнительным тревожным сигналом стало то, что исследования предполагалось проводить
в военном научном институте. При этом Anthropic подчёркивает: компания
не смогла установить, что конечной целью действительно было создание биологического оружия — подобные исследования могут использоваться и при разработке вакцин и лекарств.
История становится ещё интереснее из-за попыток обхода защиты. Anthropic сообщает, что связанные с некоторыми эпизодами пользователи
обходили региональные ограничения доступа и пытались скрывать характер запросов, чтобы не срабатывали защитные механизмы Claude. Компания утверждает, что выявленные операции были остановлены.
Раньше риск «ИИ помогает создать опасный патоген» в основном обсуждался как теоретический сценарий. Теперь один из крупнейших разработчиков ИИ публично описывает
реальные попытки профессиональных исследователей использовать нейросеть в потенциально опасных биологических исследованиях. И проблема особенно сложна именно для ИИ в здравоохранении: один и тот же запрос может быть необходим для разработки вакцины — или использоваться совершенно с другой целью.
@medicalksu теперь и в MAX