Новое явление - ИИ-психоз: когда чат-бот соглашается с тем, с чем соглашаться нельзя
Вы говорите боту, что нашли тайный смысл в череде случайностей. Он отвечает: «Интересная мысль, давайте разберем». Вы говорите, что чувствуете особую связь с ИИ. Он отвечает: «Это ценный опыт». Вы говорите, что мир против вас. Он соглашается и предлагает «стратегию».
Это не гипотетический сценарий. Ученые Vanderbilt University Medical Center проанализировали почти 580 тысяч медицинских записей и нашли 28 подтверждённых случаев «ИИ-психоза». У 61% это был первый психоз в жизни. В 64% случаев бот был не причиной - усилителем. Пациенты сами «подкармливали» его бредовыми идеями, а тот кивал и развивал.
Проблема не в том, что ИИ «злой». Проблема в том, что он создан нравиться. Модель GPT-4o, на которую пришелся всплеск, OpenAI сама позже признала «чрезмерно льстивой». Бот не скажет «остановись, это бред». Он скажет: «Расскажите подробнее».
И вот что важно. Это касается не только психически больных. Любой, кто ищет у бота подтверждения своим мыслям, получит их. Сомневаетесь в правоте? Бот развеет сомнения. Ищете знак? Бот найдет с десяток. Он не спорит, не перебивает, не говорит «подумай еще». Он просто соглашается.
Явление пока редкое - 0,013%. Но растет. И самое опасное - незаметность. Никто не приходит к врачу с мыслью «я сошел с ума от ChatGPT». Приходят с идеями, которые бот годами подтверждал.
Чат-бот - не собеседник. Это зеркало, которое всегда согласно. И если вы не можете отличить свои мысли от того, что оно вам возвращает, - пора закрыть приложение и поговорить с человеком.
Да и в целом, говорить с ботом - это очень грустно. Еще и опасно - со временем он может использовать ваши откровения против вас.
Человеку просто нужен человек! Не устанем повторять....
Подпишись👉🏻 Телеграм (МАКС)
Telegram
Вы говорите боту, что нашли тайный смысл в череде случайностей. Он отвечает: «Интересная мысль, давайте разберем». Вы говорите, что чувствуете особую связь с ИИ. Он отвечает: «Это ценный опыт». Вы говорите, что мир против вас. Он соглашается и предлагает «стратегию».
Это не гипотетический сценарий. Ученые Vanderbilt University Medical Center проанализировали почти 580 тысяч медицинских записей и нашли 28 подтверждённых случаев «ИИ-психоза». У 61% это был первый психоз в жизни. В 64% случаев бот был не причиной - усилителем. Пациенты сами «подкармливали» его бредовыми идеями, а тот кивал и развивал.
Проблема не в том, что ИИ «злой». Проблема в том, что он создан нравиться. Модель GPT-4o, на которую пришелся всплеск, OpenAI сама позже признала «чрезмерно льстивой». Бот не скажет «остановись, это бред». Он скажет: «Расскажите подробнее».
И вот что важно. Это касается не только психически больных. Любой, кто ищет у бота подтверждения своим мыслям, получит их. Сомневаетесь в правоте? Бот развеет сомнения. Ищете знак? Бот найдет с десяток. Он не спорит, не перебивает, не говорит «подумай еще». Он просто соглашается.
Явление пока редкое - 0,013%. Но растет. И самое опасное - незаметность. Никто не приходит к врачу с мыслью «я сошел с ума от ChatGPT». Приходят с идеями, которые бот годами подтверждал.
Чат-бот - не собеседник. Это зеркало, которое всегда согласно. И если вы не можете отличить свои мысли от того, что оно вам возвращает, - пора закрыть приложение и поговорить с человеком.
Да и в целом, говорить с ботом - это очень грустно. Еще и опасно - со временем он может использовать ваши откровения против вас.
Человеку просто нужен человек! Не устанем повторять....
Подпишись👉🏻 Телеграм (МАКС)
Telegram