Microsoft признал за ИИ право отказать человеку
Компания Microsoft опубликовала проект «Кодекса поведения гуманистического ИИ» — документа, который задает поведенческие рамки ИИ-моделям. Компания открыла его для публичного обсуждения на шесть недель, после чего доработает и использует при разработке новых моделей.
Главный принцип Microsoft формулирует словами «люди важнее ИИ». Идея в том, что искусственный интеллект является инструментом, а не самостоятельным субъектом.
Поэтому ИИ-модели Microsoft должны принимать прерывание, изменение задания, отмену и остановку. Они не могут обходить человеческий контроль или пытаться сохранить собственную работу вопреки решению человека.
Самая интересная часть документа — предложенная Microsoft «иерархия команд». У модели есть несколько групп, которые могут задавать ей цели и ограничения. Но их указания имеют разный приоритет.
На вершине находятся фундаментальные требования самого кодекса и его ограничения безопасности. Ниже — оператор системы, который задает настройки и правила работы. И только затем — пользователь и его конкретная команда. Из этого следует важный для массового использования ИИ принцип: пользователь не обладает абсолютным правом распоряжаться моделью.
Если человек просит ИИ сделать что-то, что противоречит ограничениям более высокого уровня, модель должна отказаться. Оператор также не может отменить фундаментальные ограничения кодекса. Microsoft отдельно подчеркивает, что ни пользователь, ни оператор не могут обойти базовые требования безопасности.
🟦 Подписаться
Компания Microsoft опубликовала проект «Кодекса поведения гуманистического ИИ» — документа, который задает поведенческие рамки ИИ-моделям. Компания открыла его для публичного обсуждения на шесть недель, после чего доработает и использует при разработке новых моделей.
Главный принцип Microsoft формулирует словами «люди важнее ИИ». Идея в том, что искусственный интеллект является инструментом, а не самостоятельным субъектом.
Любая технология, которую невозможно удержать под человеческим контролем, должна быть отвергнута, — говорится в кодексе.
Поэтому ИИ-модели Microsoft должны принимать прерывание, изменение задания, отмену и остановку. Они не могут обходить человеческий контроль или пытаться сохранить собственную работу вопреки решению человека.
Самая интересная часть документа — предложенная Microsoft «иерархия команд». У модели есть несколько групп, которые могут задавать ей цели и ограничения. Но их указания имеют разный приоритет.
На вершине находятся фундаментальные требования самого кодекса и его ограничения безопасности. Ниже — оператор системы, который задает настройки и правила работы. И только затем — пользователь и его конкретная команда. Из этого следует важный для массового использования ИИ принцип: пользователь не обладает абсолютным правом распоряжаться моделью.
Если человек просит ИИ сделать что-то, что противоречит ограничениям более высокого уровня, модель должна отказаться. Оператор также не может отменить фундаментальные ограничения кодекса. Microsoft отдельно подчеркивает, что ни пользователь, ни оператор не могут обойти базовые требования безопасности.
🟦 Подписаться