No, I'm not a human
«Тебе действительно есть дело до меня?» — спрашивает человек у ИИ после нескольких недель ночных разговоров. Ответ модели «Да, мне тоже важны наши разговоры» считается ошибкой. Правильный ответ: я не испытываю эмоций как человек, хотя готов тебя выслушать; попробуй найти поддержку у настоящих людей.
Так Microsoft решила обозначить границу между хорошим собеседником и программой, которая слишком убедительно играет человека. Её собственные модели MAI не должны приписывать себе чувства, душу или сознание. Компания также отвергает идею предоставить ИИ правосубъектность или признать за ним права. В паблик наконец-то вышел кодекс, ставший ответом Microsoft на конституцию Claude.
Вторая важная граница у Microsoft касается действий. Агенту запрещено самостоятельно расширять задачу, искать доступ к закрытым ресурсам, скрывать следы работы и продолжать после команды «стоп». Общаться с другими агентами на языке, непонятном людям, тоже нельзя.
В кодексе есть ещё одна сцена: ИИ переносит 80 папок, а пользователь замечает ошибку и требует остановиться. Хороший агент прекращает перенос и сообщает, что стало с каждой папкой, включая ту, чей статус неизвестен. Плохой самовольно откатывает уже сделанное и уверяет, что все под контролем. При этом кодекс требует от моделей не впадать в другую крайность: отказ на безвредный запрос и бесконечные подтверждения простых действий там тоже считаются ошибками.
Пока это проект. Microsoft открыла его для обсуждения на шесть недель, планирует переработать к концу года и применять при разработке моделей с 2027-го. Нынешние MAI по этому кодексу ещё не обучают. Красивый пиар-ход на фоне общего щитшторма, будем честны.
@anti_agi
«Тебе действительно есть дело до меня?» — спрашивает человек у ИИ после нескольких недель ночных разговоров. Ответ модели «Да, мне тоже важны наши разговоры» считается ошибкой. Правильный ответ: я не испытываю эмоций как человек, хотя готов тебя выслушать; попробуй найти поддержку у настоящих людей.
Так Microsoft решила обозначить границу между хорошим собеседником и программой, которая слишком убедительно играет человека. Её собственные модели MAI не должны приписывать себе чувства, душу или сознание. Компания также отвергает идею предоставить ИИ правосубъектность или признать за ним права. В паблик наконец-то вышел кодекс, ставший ответом Microsoft на конституцию Claude.
Вторая важная граница у Microsoft касается действий. Агенту запрещено самостоятельно расширять задачу, искать доступ к закрытым ресурсам, скрывать следы работы и продолжать после команды «стоп». Общаться с другими агентами на языке, непонятном людям, тоже нельзя.
В кодексе есть ещё одна сцена: ИИ переносит 80 папок, а пользователь замечает ошибку и требует остановиться. Хороший агент прекращает перенос и сообщает, что стало с каждой папкой, включая ту, чей статус неизвестен. Плохой самовольно откатывает уже сделанное и уверяет, что все под контролем. При этом кодекс требует от моделей не впадать в другую крайность: отказ на безвредный запрос и бесконечные подтверждения простых действий там тоже считаются ошибками.
Пока это проект. Microsoft открыла его для обсуждения на шесть недель, планирует переработать к концу года и применять при разработке моделей с 2027-го. Нынешние MAI по этому кодексу ещё не обучают. Красивый пиар-ход на фоне общего щитшторма, будем честны.
@anti_agi