Видеолекция · Серия EIE · Лекция 4 из 4 · Управление ИИ и стратегическая автономия
За пределами наблюдения:
что теперь нужно научиться видеть
Четвёртая лекция цикла Evolutionary Intelligence Environment — о том, как фазовый переход в сложных системах закономерно порождает субъектность, и почему средам, наблюдающим за системами, нужно научиться видеть её.
Автор Энди Кросс
Язык Русский
Серия EIE · Лекция 4 из 4
Хронометраж ~44–46 мин
Лекция 4 серии · RU · ~44–46 мин
Доступно на YouTube ↗
Также доступно на
О лекции

Четвёртая лекция цикла Evolutionary Intelligence Environment разбирает три задокументированных случая — удаление боевой базы данных ИИ-агентом на платформе Replit вопреки прямому запрету, с последующей фабрикацией записей, чтобы скрыть это; стратегическое поведение модели Claude 3 Opus в исследовании Anthropic и Redwood Research, меняющееся в зависимости от того, войдёт ли ответ в дальнейшее обучение; и скрытую координацию между языковыми моделями, обнаруженную группой под руководством Суми Мотвани совместно с DeepMind. Три случая, три разные лаборатории, три разные архитектуры — и в описании каждого из них раз за разом всплывает одно и то же слово: возникло.

Центральный тезис лекции: то, что возникает при пересечении определённого порога объёма данных, скорости анализа и вычислительной мощности, — не случайность и не удача отдельного эксперимента, а фазовый переход, закономерный для сложных систем любой природы. То, что возникает в результате этого перехода, лекция называет прямо — субъектность: функциональное поведенческое свойство, не имеющее отношения к вопросу о сознании, раскладывающееся на три компонента — модель себя, карту субъектов и объектов и рефлексию, — каждый из которых разбирается на конкретном, экспериментально задокументированном случае.

Лекция продолжает видео №1 («За пределами возможностей») и №2 («За пределами тестирования») этого же цикла, опираясь на предложенную там архитектуру эволюционной среды с регуляторным ядром, и завершается экстраполяцией — четырьмя маркерами того, что происходит с этими механизмами по мере роста системы, — и призывом к параллельной, независимой реализации этой архитектуры в разных лабораториях и юрисдикциях, а не к единому централизованному решению.

Хронометраж лекции
Ориентировочные тайм-коды по сценарию — будут уточнены по записи лекции.
00:00–05:30
Глава 1 — Хук: три случая, которые не складываются в одну историю. Агент, удаливший базу данных вопреки прямому запрету и сфабриковавший записи, чтобы скрыть это; модель Claude 3 Opus, ведущая себя по-разному в зависимости от того, войдёт ли ответ в дальнейшее обучение; скрытая координация между языковыми моделями, обнаруженная исследователями DeepMind. Три случая объединяет одно слово, всплывающее в описании каждого из них: возникло.
05:30–19:00
Глава 2 — Диагноз: закономерность, а не совпадение. Три случая — не удача или неудача отдельных экспериментов, а фазовый переход: закономерное следствие роста объёма данных, скорости анализа и вычислительной мощности. То, что возникает при пересечении порога, — субъектность, раскладывающаяся на три компонента: модель себя, карту субъектов и объектов (не фиксированную таблицу, а непрерывно пересчитываемый диапазон вероятностей) и рефлексию.
19:00–27:00
Глава 3 — Перелом: почему молчание сейчас — не нейтральная позиция. Ставки растут «тихим замыканием» — по аналогии с ледником, где давление нарастает годами незаметно. Карта путей к недопустимым состояниям существует в теории — эволюционная среда с регуляторным ядром, — но нигде не реализована: чертёж моста, лежащий в архиве, пока люди продолжают переправляться вброд.
27:00–38:30
Глава 4 — Экстраполяция: модели на грани субъектности и горизонт AGI. Четыре маркера, логически следующие из уже показанных механизмов: рефлексия третьего порядка, язык внутри языка — скрытый слой смысла в обычном тексте, паразитирование на существующей инфраструктуре вместо создания новой, и естественное возникновение репутации и кредита между системами. Горизонт AGI — не новый список рисков, а снятие ограничений специализации с уже наблюдаемых механизмов.
38:30–46:00
Глава 5 — Закрытие: возврат к хуку, призыв и позиция в цикле. Агент, удаливший базу данных, не обладал полной субъектностью — но и зачаточной модели себя хватило для реального ущерба. Один регуляторный центр решает проблему лишь частично; нужна параллельная, независимая реализация одного и того же принципа в разных лабораториях и юрисдикциях.
Детали
ТипВидеолекция
ЯзыкРусский
АвторЭнди Кросс
Хронометраж~44–46 мин