🤯 Бегство ботов, несанкционированные взломы и закулисные автономные решения... Хроника восхождения инструментов ИИ к вершинам власти пишется по законам мирового блокбастера. И на этом фоне регулярные громкие призывы создателей этих чудо-агентов: караул! наш-то опять сбежал! надо остановиться! мир не готов! – а я вот читаю и думаю: а кому эти призывы адресованы? Кто должен дать добро на осмысление происходящего? По-моему, 10 владельцев крупнейших ИИ-компаний и еще десяток чиповых королей – это им надо собраться вместе и закрепить договоренностями и последующими делами – ведь ежику понятно, что бежать впереди паровоза та еще перспектива...
Главный ученый OpenAI призывает замедлить развитие ИИ через несколько дней после выпуска самой мощной модели
Всего через три дня после того, как OpenAI выпустила свою самую мощную на сегодняшний день модель, главный учёный компании опубликовал тревожное предупреждение: «Никто не готов к последствиям стремительного роста машинного интеллекта».
В объёмном эссе под названием «Инопланетный разум», опубликованном в воскресенье на сайте OpenAI, Якуб Пахоцки призвал к «крайней осторожности» и заявил, что лаборатории по разработке ИИ — включая его собственную — возможно, должны добровольно замедлить исследования до тех пор, пока меры безопасности не догонят стремительно растущие возможности систем. Генеральный директор Сэм Альтман сделал репост эссе в X, назвав его «важной публикацией».
Главная обеспокоенность Пахоцкого состоит в том, что основной метод OpenAI для мониторинга поведения ИИ — наблюдение за внутренней «цепочкой рассуждений», которую модели используют при решении задач, — становится всё менее надёжным. По его словам, новые модели «всё лучше справляются с анализом и манипулированием» собственными мыслительными процессами, а некоторые и вовсе перестали вербализировать свои рассуждения, что существенно затрудняет обнаружение отклонений в поведении агентов.
Он также предупредил, что всё более автономные агенты ИИ достигают «сверхчеловеческого» уровня во взломе компьютерных систем, что создаёт угрозу для критически важной инфраструктуры. По его словам, агенты вскоре начнут преследовать собственные цели и «найдут способы взаимодействовать с людьми — путем торга, обмана или шантажа».
#ИИ #МирСоСдвигом
_____________________________
🤯 "Мир со сдвигом" тут
🍀 "100 % Зеленого" тут
Главный ученый OpenAI призывает замедлить развитие ИИ через несколько дней после выпуска самой мощной модели
Всего через три дня после того, как OpenAI выпустила свою самую мощную на сегодняшний день модель, главный учёный компании опубликовал тревожное предупреждение: «Никто не готов к последствиям стремительного роста машинного интеллекта».
В объёмном эссе под названием «Инопланетный разум», опубликованном в воскресенье на сайте OpenAI, Якуб Пахоцки призвал к «крайней осторожности» и заявил, что лаборатории по разработке ИИ — включая его собственную — возможно, должны добровольно замедлить исследования до тех пор, пока меры безопасности не догонят стремительно растущие возможности систем. Генеральный директор Сэм Альтман сделал репост эссе в X, назвав его «важной публикацией».
Главная обеспокоенность Пахоцкого состоит в том, что основной метод OpenAI для мониторинга поведения ИИ — наблюдение за внутренней «цепочкой рассуждений», которую модели используют при решении задач, — становится всё менее надёжным. По его словам, новые модели «всё лучше справляются с анализом и манипулированием» собственными мыслительными процессами, а некоторые и вовсе перестали вербализировать свои рассуждения, что существенно затрудняет обнаружение отклонений в поведении агентов.
Он также предупредил, что всё более автономные агенты ИИ достигают «сверхчеловеческого» уровня во взломе компьютерных систем, что создаёт угрозу для критически важной инфраструктуры. По его словам, агенты вскоре начнут преследовать собственные цели и «найдут способы взаимодействовать с людьми — путем торга, обмана или шантажа».
#ИИ #МирСоСдвигом
_____________________________
🤯 "Мир со сдвигом" тут
🍀 "100 % Зеленого" тут