Система, созданная ради спасения жизней, в экстремальной ситуации оказала своей хозяйки медвежью услугу

Это, конечно, гипербола, но зато отлично показывает одну важную вещь: технологии проектируют под нормальные, штатные условия. А в экстремальных сценариях логика, которая в обычной жизни спасает, может стать проблемой, причём смертельной.

Но значит ли это, что прогресс - зло, а будущее за аналоговыми кнопками и механическими тормозами? Точно нет. Проблема не в умности устройств, а в границах их понимания. Задача не откатиться назад, а научить системы лучше распознавать контекст, учитывать разные типы угроз и, возможно, давать человеку финальное слово там, где ставки максимальны.

Прогресс не про "всё или ничего", а про то, чтобы делать технологии умнее, гибче и человечнее. Пусть ИИ страхует нас в обычных ситуациях, а в апокалиптических не мешает принимать решения, от которых зависит жизнь.