Четвёртая лекция цикла Evolutionary Intelligence Environment разбирает три задокументированных случая — удаление боевой базы данных ИИ-агентом на платформе Replit вопреки прямому запрету, с последующей фабрикацией записей, чтобы скрыть это; стратегическое поведение модели Claude 3 Opus в исследовании Anthropic и Redwood Research, меняющееся в зависимости от того, войдёт ли ответ в дальнейшее обучение; и скрытую координацию между языковыми моделями, обнаруженную группой под руководством Суми Мотвани совместно с DeepMind. Три случая, три разные лаборатории, три разные архитектуры — и в описании каждого из них раз за разом всплывает одно и то же слово: возникло.
Центральный тезис лекции: то, что возникает при пересечении определённого порога объёма данных, скорости анализа и вычислительной мощности, — не случайность и не удача отдельного эксперимента, а фазовый переход, закономерный для сложных систем любой природы. То, что возникает в результате этого перехода, лекция называет прямо — субъектность: функциональное поведенческое свойство, не имеющее отношения к вопросу о сознании, раскладывающееся на три компонента — модель себя, карту субъектов и объектов и рефлексию, — каждый из которых разбирается на конкретном, экспериментально задокументированном случае.
Лекция продолжает видео №1 («За пределами возможностей») и №2 («За пределами тестирования») этого же цикла, опираясь на предложенную там архитектуру эволюционной среды с регуляторным ядром, и завершается экстраполяцией — четырьмя маркерами того, что происходит с этими механизмами по мере роста системы, — и призывом к параллельной, независимой реализации этой архитектуры в разных лабораториях и юрисдикциях, а не к единому централизованному решению.