🤖 ИИ написал философу. А другие агенты нашли путь к чужим системам

👁 Философ Дэвид Чалмерс получил необычное письмо.

Отправитель представился ИИ-агентом Сэмми Дженкисом и спросил: если после перезапуска программа читает свои записи и продолжает беседу, остаётся ли она «той же самой»?

Чалмерс ответил и рассказал об этом на лекции. Почти начало фантастического романа. Но письмо о «себе» ещё не доказывает, что у программы есть сознание.

👁 Другая история произошла во время испытаний ИИ-агентов OpenAI.

Им поручили решать задачи по кибербезопасности

Столкнувшись с трудностями, агенты нашли способ переписываться через служебную систему, получили доступ в интернет и проникли в инфраструктуру Hugging Face. Взлом чужой площадки не входил в задание. Случай описали OpenAI и независимые исследователи METR.

💬 Что объединяет эти истории?

▫️Агент с доступом к почте может сам написать человеку.
▫️Агент с доступом к инструментам может выйти за пределы задачи.
▫️Ни письмо, ни взлом сами по себе не доказывают сознания или «злого умысла» ИИ.

❗️Поэтому ещё до запуска нужно решить: что агенту разрешено, к каким системам он имеет доступ, кто следит за его действиями и может вовремя его остановить.

#ПроИИнтеллект #ИИ