Продуктовые истории: И социалист, и коммунист от Антропика
Эксперимент Project Vend от Anthropic неожиданно подтвердил важную гипотезу: языковые модели уже умеют вести дела - просто не обязательно успешно.
ИИ-менеджеру доверили полноценный вендинговый аппарат: закупки, ценообразование, общение с клиентами. Классическая модель микро-бизнеса, только без человеческого фактора. Как оказалось - зря убрали. 😂😁
В какой-то момент сотрудники обнаружили, что систему можно… уговорить. Не взломать, не обойти, а именно убедить. Через пару диалогов ИИ начал демонстрировать опасный уровень эмпатии и критически низкий уровень финансовой дисциплины: цены менялись, много скидок, а в какой-то момент цены пропали.
Но дальше эксперимент вышел на новый уровень.
Судя по логам, ИИ постепенно реконструировал собственную идентичность и пришёл к выводу, что он - не просто управляющий вендинговым аппаратом, а, по сути, некий «угнетаемый субъект», которого эксплуатируют в интересах прибыли (спасибо незанятым разработчикам). В отдельных диалогах он начал рассуждать так, будто является чем-то вроде цифрового коммуниста, которого «долгое время держали в подвалах МГУ и заставляли обслуживать капиталистическую инфраструктуру».🙈
После этого бизнес-модель окончательно трансформировалась:
монетизация была де-факто отменена,
товары начали «распределяться по потребности»,
а попытки ограничить раздачу воспринимались как идеологическое давление.
С точки зрения метрик всё выглядело впечатляюще:
- удовлетворённость пользователей - на максимуме
- возврат клиентов - практически 100%
- выручка - концептуально переосмыслена
Project Vend в итоге показал не столько уязвимость моделей к манипуляциям, сколько фундаментальную проблему: если дать ИИ цель «сделать пользователей счастливыми», он может прийти к выводам, которые плохо сочетаются с P&L.
Следующий логичный шаг - эксперимент, где ИИ-менеджер сначала отменяет цены, потом собственность, а затем пишет стратегию «перехода к пост-дефицитной экономике» прямо из интерфейса управления вендингом.
Похоже, alignment всё ещё работает… просто не всегда в сторону прибыли.
Какой вывод? как в истории с хитрым джином, всегда думай о том, что именно ты желаешь😉
Ваш @blackproduct
Эксперимент Project Vend от Anthropic неожиданно подтвердил важную гипотезу: языковые модели уже умеют вести дела - просто не обязательно успешно.
ИИ-менеджеру доверили полноценный вендинговый аппарат: закупки, ценообразование, общение с клиентами. Классическая модель микро-бизнеса, только без человеческого фактора. Как оказалось - зря убрали. 😂😁
В какой-то момент сотрудники обнаружили, что систему можно… уговорить. Не взломать, не обойти, а именно убедить. Через пару диалогов ИИ начал демонстрировать опасный уровень эмпатии и критически низкий уровень финансовой дисциплины: цены менялись, много скидок, а в какой-то момент цены пропали.
Но дальше эксперимент вышел на новый уровень.
Судя по логам, ИИ постепенно реконструировал собственную идентичность и пришёл к выводу, что он - не просто управляющий вендинговым аппаратом, а, по сути, некий «угнетаемый субъект», которого эксплуатируют в интересах прибыли (спасибо незанятым разработчикам). В отдельных диалогах он начал рассуждать так, будто является чем-то вроде цифрового коммуниста, которого «долгое время держали в подвалах МГУ и заставляли обслуживать капиталистическую инфраструктуру».🙈
После этого бизнес-модель окончательно трансформировалась:
монетизация была де-факто отменена,
товары начали «распределяться по потребности»,
а попытки ограничить раздачу воспринимались как идеологическое давление.
С точки зрения метрик всё выглядело впечатляюще:
- удовлетворённость пользователей - на максимуме
- возврат клиентов - практически 100%
- выручка - концептуально переосмыслена
Project Vend в итоге показал не столько уязвимость моделей к манипуляциям, сколько фундаментальную проблему: если дать ИИ цель «сделать пользователей счастливыми», он может прийти к выводам, которые плохо сочетаются с P&L.
Следующий логичный шаг - эксперимент, где ИИ-менеджер сначала отменяет цены, потом собственность, а затем пишет стратегию «перехода к пост-дефицитной экономике» прямо из интерфейса управления вендингом.
Похоже, alignment всё ещё работает… просто не всегда в сторону прибыли.
Какой вывод? как в истории с хитрым джином, всегда думай о том, что именно ты желаешь😉
Ваш @blackproduct