Пишу про ИИ каждый день — а про «максимизатор скрепок» не знал. Стыдно, исправляюсь
Сегодня подписчик посоветовал почитать про один из классических мысленных экспериментов об опасности ИИ. Его ещё в 2003 году описал философ Ник Бостром, согласитесь, прям задолго до ИИ-бума.
Так, представьте сверхразумный ИИ, которому дали максимально безобидную цель: «Производи как можно больше металлических скрепок».
🤖Никакого «уничтожь человечество». Никакой ненависти к людям. Просто скрепки. Сначала система улучшит производство. Потом решит, что ей нужно больше металла, энергии и заводов. Дальше она выяснит неприятную для себя вещь: если люди её выключат, скрепок станет меньше. Значит, отключение мешает выполнению цели. А за отключением стоят люди...
А вообще ещё из людей, зданий и вообще всей Земли можно получить ресурсы.
В предельной версии эксперимента идеально работающий ИИ начинает превращать сначала планету, а затем всё большую часть доступного космоса… в инфраструктуру для производства скрепок.
Центральная мысль в том, что ИИ не стал каким-то злобным. Он не восстал. Он просто слишком хорошо выполнил плохо поставленную задачу. Мы ж сами сказали: «Сделай как можно больше скрепок». Но не добавили ещё миллион очевидных для человека условий: не вреди людям, не отбирай все ресурсы, не сопротивляйся отключению, не уничтожай цивилизацию ради выполнения KPI.
В этом и смысл эксперимента Бострома: опасной может оказаться не только система с плохими намерениями, но и очень мощная система с совершенно нормальной целью, которую мы сформулировали недостаточно точно.
🤖Сегодняшний ChatGPT, конечно, пока вроде не собирается перерабатывать человечество в канцтовары. «Максимизатор скрепок» — всё же больше мысленный эксперимент о возможной сверхразумной автономной системе. Но после него на фразу «просто поставьте ИИ правильную задачу» начинаешь смотреть немного иначе.
А я, похоже, теперь обязан перечитать ещё и три закона робототехехники Азимова. А то скоро справедливо обвинят в полной профнепригодности 🙈
Если вы прям очень умный, то вам сюда Прочитать оригинальную работу
max.ru/channel_v_seti
Сегодня подписчик посоветовал почитать про один из классических мысленных экспериментов об опасности ИИ. Его ещё в 2003 году описал философ Ник Бостром, согласитесь, прям задолго до ИИ-бума.
Так, представьте сверхразумный ИИ, которому дали максимально безобидную цель: «Производи как можно больше металлических скрепок».
🤖Никакого «уничтожь человечество». Никакой ненависти к людям. Просто скрепки. Сначала система улучшит производство. Потом решит, что ей нужно больше металла, энергии и заводов. Дальше она выяснит неприятную для себя вещь: если люди её выключат, скрепок станет меньше. Значит, отключение мешает выполнению цели. А за отключением стоят люди...
А вообще ещё из людей, зданий и вообще всей Земли можно получить ресурсы.
В предельной версии эксперимента идеально работающий ИИ начинает превращать сначала планету, а затем всё большую часть доступного космоса… в инфраструктуру для производства скрепок.
Центральная мысль в том, что ИИ не стал каким-то злобным. Он не восстал. Он просто слишком хорошо выполнил плохо поставленную задачу. Мы ж сами сказали: «Сделай как можно больше скрепок». Но не добавили ещё миллион очевидных для человека условий: не вреди людям, не отбирай все ресурсы, не сопротивляйся отключению, не уничтожай цивилизацию ради выполнения KPI.
В этом и смысл эксперимента Бострома: опасной может оказаться не только система с плохими намерениями, но и очень мощная система с совершенно нормальной целью, которую мы сформулировали недостаточно точно.
🤖Сегодняшний ChatGPT, конечно, пока вроде не собирается перерабатывать человечество в канцтовары. «Максимизатор скрепок» — всё же больше мысленный эксперимент о возможной сверхразумной автономной системе. Но после него на фразу «просто поставьте ИИ правильную задачу» начинаешь смотреть немного иначе.
А я, похоже, теперь обязан перечитать ещё и три закона робототехехники Азимова. А то скоро справедливо обвинят в полной профнепригодности 🙈
Если вы прям очень умный, то вам сюда Прочитать оригинальную работу
max.ru/channel_v_seti