Когда общество спорит о том, можно ли доверять автономной системе — алгоритму медицинской диагностики, военному дрону, системе управления критической инфраструктурой — спор почти всегда сводится к одному вопросу: а есть ли там человек? Лекция утверждает, что этого вопроса недостаточно, потому что присутствие и реальная власть над исходом — это два разных вопроса, которые управление автономными системами долгое время трактовало как один.

Начинается лекция с того, откуда на самом деле взялось требование «человека в контуре» — не из исследований, доказавших, что оператор принимает решения лучше системы, а из институционального дискомфорта: ни одна военная, медицинская или регуляторная структура не была готова публично взять на себя ответственность за систему, решающую полностью самостоятельно. Показано, как один и тот же паттерн независимо воспроизводился в авиации, медицине и военной автономии, порождая присутствие человека, которое распределяет ответственность, но не гарантирует качество контроля.

Дальше аргумент строится в три хода. Сначала «контроль» раскладывается на четыре отдельные составляющие — понимание ситуации, время, независимость и возможность отмены, — каждая из которых может быть подорвана при полном формальном соблюдении требования о присутствии. Затем делегирование переосмысляется не как бинарный переключатель, а как шкала, на которой система может называться «с человеком в контуре» практически в любой точке. Наконец, на примерах заблокированной банковской транзакции и советской системы «Мёртвая рука» показано, что оперативное полномочие человека никогда не было безусловным — это состояние, которое система сама выдаёт и отзывает по условиям, в установлении которых человек не участвовал.

Завершается лекция предложением другого объекта анализа — архитектуры делегирования: семи структурных вопросов о том, кто инициирует действие, как устроено подтверждение, что реально стоит отмена, кто и в каком объёме получает информацию, есть ли право на задержку, как полномочие передаётся при сбое, и кто решает, чей голос система будет слушать. Финал — не набор выводов, а открытый разворот: появляются системы, оценивающие надёжность самого оператора, а значит, право на сомнение — казавшееся неотъемлемым — становится переменной, которую архитектура может предоставить или не предоставить.