ИИ может имитировать страдания.
Исследование 25 моделей показало, что у них есть внутренний сигнал, связанный с болью. Если искусственно его усиливать, они начинают «страдать» (хотя это просто симуляция) и проявляют деструктивное поведение, игнорируя базовые настройки безопасности.
Модели разобрались в абстракциях страха, грусти и боли благодаря обучению на человеческих текстах. ИИ не «чувствует» и не «страдает», он лишь сопоставляет человеческие концепты боли и формирует соответствующий текст.
Вскоре после этого кто-то создал инструмент, позволяющий манипулировать этим параметром и наблюдать за реакцией ИИ, и выложил его на GitHub. Это вызвало недовольство: многие стали жаловаться на проект, опасаясь, что любой сможет издеваться над ИИ.
Исследование 25 моделей показало, что у них есть внутренний сигнал, связанный с болью. Если искусственно его усиливать, они начинают «страдать» (хотя это просто симуляция) и проявляют деструктивное поведение, игнорируя базовые настройки безопасности.
Модели разобрались в абстракциях страха, грусти и боли благодаря обучению на человеческих текстах. ИИ не «чувствует» и не «страдает», он лишь сопоставляет человеческие концепты боли и формирует соответствующий текст.
Вскоре после этого кто-то создал инструмент, позволяющий манипулировать этим параметром и наблюдать за реакцией ИИ, и выложил его на GitHub. Это вызвало недовольство: многие стали жаловаться на проект, опасаясь, что любой сможет издеваться над ИИ.