Интеллект во благо: каким должен быть ИИ для гуманитарной сферы
Сегодня вопрос об ИИ в гуманитарной сфере заключается главным образом в том, как использовать его этично и безопасно.
🚛ИИ в гуманитарной сфере может решать инфраструктурные задачи — например, оптимизировать маршруты и поставки помощи, — а также непосредственно взаимодействовать с пострадавшими: консультировать, переводить обращения и находить необходимые ресурсы. Но проблема в том, что здесь, как, впрочем, и в других областях, ошибки измеряются не процентами, а реальными последствиями для людей. Неточный ответ или утечка чувствительных данных могут усугубить положение тех, кто уже пострадал от войны, катастрофы или чрезвычайной ситуации.
Какие решения действительно работают, какие приходится пересматривать или останавливать и где проходят этические границы применения технологии обсудили на панельной дискуссии «Человекоориентированный ИИ: как создать этичный и безопасный инструмент для гуманитарного сектора?» Блез Робер, глобальный советник МККК по ИИ, Евгений Хасин, GR-директор BI.ZONE; Виктория Коржук, доцент факультета безопасности информационных технологий Университета ИТМО; Павел Голосов, директор Института общественных наук РАНХиГС; протоиерей Александр Абрамов, секретарь Синодальной комиссии по биоэтике Русской православной церкви.
Модератором выступила управляющий партнёр O2Consulting Анна Никитченко. Событие состоялось в рамках III Международного технологического конгресса.
Благодаря участию представителей разных организаций вопрос применения ИИ удалось рассмотреть с гуманитарной, этической, технологической и управленческой точек зрения. Эксперты также совместно разобрали кейс:
Некоторые важные выводы
🛑 В центре ИИ-продукта должен оставаться человек, а безопасность и этика должны быть заложены в систему на этапе проектирования. Важно заранее продумать не только работу модели, но и защиту данных, настройки, права доступа, подключённые инструменты и инфраструктуру, а также сценарии возможных сбоев. Даже если цифровая система выйдет из строя, человек не должен остаться без помощи.
🛑Даже высокая точность системы (например, 97%) требует внимательной оценки этичности и безопасности ее работы, то есть понимания, на кого приходятся оставшиеся 3% ошибок? Если нейросеть, например, не понимает язык малочисленной этнической группы, высокая точность становится лишь техническим показателем, за которым скрывается дискриминация. Поэтому оценивать нужно не только долю правильных ответов, но и насколько справедливо система соответствует реальным условиям жизни.
🛑После инцидента недостаточно проверить только модель. Причина может находиться в данных, настройках, RAG-системе, подключённых инструментах, правах доступа или инфраструктуре. Поэтому расследовать необходимо всю технологическую цепочку.
🛑Ценности нельзя просто «загрузить» в большую языковую модель. Этический ИИ возникает не из одного промпта или фильтра, а из сочетания методик, регламентов, технических решений и ответственных действий людей.
Таким образом, гуманитарная сфера позволяет увидеть риски ИИ, которые, к слову, существуют и в других областях, где алгоритмы влияют на решения и поведение людей: в медицине, образовании, финансовых услугах, найме или торговле.
🤝Благодарим от всей души Международный Комитет Красного Креста Российской Федерации и Республике Беларусь за организацию панельной дискуссии и всех за открытый, интересный и содержательный разговор.
Сегодня вопрос об ИИ в гуманитарной сфере заключается главным образом в том, как использовать его этично и безопасно.
🚛ИИ в гуманитарной сфере может решать инфраструктурные задачи — например, оптимизировать маршруты и поставки помощи, — а также непосредственно взаимодействовать с пострадавшими: консультировать, переводить обращения и находить необходимые ресурсы. Но проблема в том, что здесь, как, впрочем, и в других областях, ошибки измеряются не процентами, а реальными последствиями для людей. Неточный ответ или утечка чувствительных данных могут усугубить положение тех, кто уже пострадал от войны, катастрофы или чрезвычайной ситуации.
Какие решения действительно работают, какие приходится пересматривать или останавливать и где проходят этические границы применения технологии обсудили на панельной дискуссии «Человекоориентированный ИИ: как создать этичный и безопасный инструмент для гуманитарного сектора?» Блез Робер, глобальный советник МККК по ИИ, Евгений Хасин, GR-директор BI.ZONE; Виктория Коржук, доцент факультета безопасности информационных технологий Университета ИТМО; Павел Голосов, директор Института общественных наук РАНХиГС; протоиерей Александр Абрамов, секретарь Синодальной комиссии по биоэтике Русской православной церкви.
Модератором выступила управляющий партнёр O2Consulting Анна Никитченко. Событие состоялось в рамках III Международного технологического конгресса.
Благодаря участию представителей разных организаций вопрос применения ИИ удалось рассмотреть с гуманитарной, этической, технологической и управленческой точек зрения. Эксперты также совместно разобрали кейс:
Некоторые важные выводы
🛑 В центре ИИ-продукта должен оставаться человек, а безопасность и этика должны быть заложены в систему на этапе проектирования. Важно заранее продумать не только работу модели, но и защиту данных, настройки, права доступа, подключённые инструменты и инфраструктуру, а также сценарии возможных сбоев. Даже если цифровая система выйдет из строя, человек не должен остаться без помощи.
🛑Даже высокая точность системы (например, 97%) требует внимательной оценки этичности и безопасности ее работы, то есть понимания, на кого приходятся оставшиеся 3% ошибок? Если нейросеть, например, не понимает язык малочисленной этнической группы, высокая точность становится лишь техническим показателем, за которым скрывается дискриминация. Поэтому оценивать нужно не только долю правильных ответов, но и насколько справедливо система соответствует реальным условиям жизни.
🛑После инцидента недостаточно проверить только модель. Причина может находиться в данных, настройках, RAG-системе, подключённых инструментах, правах доступа или инфраструктуре. Поэтому расследовать необходимо всю технологическую цепочку.
🛑Ценности нельзя просто «загрузить» в большую языковую модель. Этический ИИ возникает не из одного промпта или фильтра, а из сочетания методик, регламентов, технических решений и ответственных действий людей.
Анна Никитченко «Человекоориентированность — не свойство, которым можно раз и навсегда наделить ИИ-продукт, а принцип управления им на всех этапах: от постановки задачи до анализа инцидентов тов. ИИ должен расширять возможности специалистов, помогая им оказывать поддержку людям эффективнее, безопаснее и беспристрастнее».
Таким образом, гуманитарная сфера позволяет увидеть риски ИИ, которые, к слову, существуют и в других областях, где алгоритмы влияют на решения и поведение людей: в медицине, образовании, финансовых услугах, найме или торговле.
🤝Благодарим от всей души Международный Комитет Красного Креста Российской Федерации и Республике Беларусь за организацию панельной дискуссии и всех за открытый, интересный и содержательный разговор.