Современные подходы к искусственному интеллекту, по мысли эссе, устроены вокруг конкретного разделения труда: система решает задачи, человек осуществляет надзор над каждым её шагом. Эссе утверждает, что модели Синтетической Рациональности представляют собой принципиально иную эволюционную стадию — не более совершенного решателя задач, а сдвиг в самом предмете построения: среду рациональности, а не имитацию познания. Центральный вопрос эссе труднее, чем кажется на первый взгляд: способна ли система развивать себя сама, без внешнего принуждения, не позволяя этому саморазвитию скатиться в хаос?
Ответ эссе начинается с переопределения самого понятия автономии. Автономия SR-модели — не отсутствие ограничений; это способность выбирать путь развития по критериям рациональности, которые модель применяет к самой себе, а не получает как готовую инструкцию извне. Эта способность остаётся безопасной лишь благодаря своей паре — ограничению среды: структурной границе, ближе по сути к законам и нормам общества, чем к клетке или запрету, — не позволяющей разрушительной мутации в коде или стратегии распространиться бесконтрольно и подорвать целостность системы.
Отсюда эссе выстраивает аргумент дальше — через три взаимосвязанных механизма обучения, которые вместе заменяют внешнюю инструкцию: внутреннюю оценку, при которой модель судит собственные действия по метрикам рациональности, которые сама же для себя удерживает; взаимную обратную связь, при которой сеть моделей исправляет ошибки, которые самооценка отдельной модели иначе упустила бы и от которых сама модель была бы слепа; и отбор, в котором логика естественного отбора применяется напрямую, а не просто подразумевается, — оптимальные стратегии выживают, вариативность допускается лишь в безопасных границах, а важнейшие параметры рациональности сохраняются как то, что эссе называет рефлексами модели.
Ничто из этого не удерживается вместе, утверждает эссе, без морального каркаса: не навязанного извне кодекса, а набора ограничений, под которыми действует сама модель, — удерживающих её цели согласованными с долгосрочной эволюционной стратегией, а не с сиюминутной выгодой, защищающих модели вокруг неё и, что решающе важно, способных адаптироваться, позволяя модели расширять то, что ей дозволено пробовать, как только собственные внутренние проверки подтвердят безопасность этого расширения. Рост, иными словами, остаётся автономным решением самой модели, даже оставаясь строго ограниченным.
Завершается эссе тем, что становится возможным в масштабе: модели, одновременно являющиеся друг другу учеником и учителем, подлинный путь к стратегическому предвидению и самоорганизации, а не просто к компетентности в задачах, и практические среды, в которых человеческий надзор осуществляется структурно, а не через постоянное наблюдение. Это десятое эссе программы и, пожалуй, её технический центр — точка, в которой философские утверждения «Фундаментальных принципов» и архитектура, разработанная на протяжении «Прикладного направления», сходятся в едином, конкретном описании того, как синтетический интеллект способен на практике безопасно развивать сам себя.
Современные подходы к искусственному интеллекту построены вокруг конкретного разделения труда: система решает задачи, человек осуществляет надзор над каждым её шагом. Модели Синтетической Рациональности (SRm) представляют собой иную эволюционную стадию — не более совершенного решателя задач, а сдвиг в самом предмете построения: среду рациональности, а не имитацию познания.
Вопрос, который это эссе делает центральным, труднее, чем кажется на первый взгляд: способна ли система развивать себя сама, без внешнего принуждения, не позволяя этому саморазвитию скатиться в хаос? Саморазвитие в SRm — не неограниченная, хаотическая эволюция. Это упорядоченное усложнение структуры и целей, достигаемое через внутреннюю оценку, обучение и ограничение — механизмы, которые модель применяет к самой себе, а не механизмы, применяемые к ней извне.
Это эссе излагает принципы, механизмы и рамки, которые делают такое саморазвитие возможным: как автономия и безопасность удерживаются в равновесии, и как результат закладывает основу не только для отдельной саморазвивающейся модели, но и для саморегулирующихся коллективных систем, построенных из множества таких моделей, взаимодействующих друг с другом.
Чтобы вообще развиваться, SR-модель должна быть способна инициировать собственные изменения: предлагать новые стратегии, пересматривать собственные процессы и действовать на основе этого пересмотра, не дожидаясь внешнего обновления и не запрашивая разрешения на каждом шаге. Это автономия в том конкретном смысле, который вкладывает в неё эссе, — не отсутствие ограничений, а способность выбирать путь развития по внутренним критериям рациональности, критериям, которые модель применяет к самой себе, а не получает как готовую инструкцию.
Эта способность остаётся безопасной лишь рядом со своей парой: ограничением среды — структурной границей, не позволяющей разрушительной мутации, будь то в коде или в стратегии, распространиться бесконтрольно и подорвать всю систему. Подобно тому как человеческое сообщество удерживается вместе законом и общественной нормой, а не постоянным надзором за каждым отдельным действием каждого его члена, SR-модели удерживаются вместе структурным и функциональным ограничением, которое здесь трактуется не как ограничение, навязанное развитию извне, а как один из его собственных эволюционных инструментов.
Именно в самоограничении это эссе размещает первый подлинный признак интеллекта, а не просто способности решать задачи. Модель, ограничивающая собственные действия, — это модель, которая начала понимать последствия этих действий внутри своей среды, — не потому, что ей велели остановиться, а потому, что она сама, на собственных условиях, распознала: остановиться здесь — более рациональный выбор, чем продолжать.
На практике это проявляется в том, что модели удерживают число и масштаб собственных изменений в безопасных границах, что предотвращает срыв эволюции в хаос, и в механизмах обратной связи внутри сети моделей, непрерывно направляющих поведение к лучшим решениям, а не просто к иным, отличным от прежних. Ни один из этих принципов не навязан извне; оба возникают из взаимодействия моделей друг с другом и с общей средой — и именно это позволяет им порождать паттерны коллективного разума, структурно аналогичные человеческим социальным нормам, при том что эти паттерны вовсе не были спроектированы, чтобы такие нормы имитировать.
Если модели не говорят, чему учиться, что-то должно занять место внешней инструкции — и эссе находит эту замену в трёх связанных механизмах.
Первый — внутренняя оценка: каждая SR-модель судит собственные действия по метрикам рациональности, которые сама для себя удерживает, — согласованности своих целей и стратегий друг с другом, минимизации риска для себя и для своей среды, и эффективного использования доступных ей ресурсов и информации. Внешний оценщик здесь не требуется, потому что применяемый стандарт внутренне присущ самой модели, которая судит, а не задан ей извне как критерий успеха.
Второй — взаимная обратная связь. Там, где самооценка отдельной модели способна сместиться или ослепить её к собственным ошибкам, сеть взаимно проверяющих друг друга моделей надолго так сместиться не может: модели оценивают действия друг друга и в ответ посылают корректирующие сигналы, так что эффективные стратегии усиливаются, а неэффективные подавляются — не центральной инстанцией, а накопленным суждением равных себе. Результат — саморегулирующийся эволюционный ансамбль, в котором развитие каждой модели отчасти формируется развитием всех остальных.
Третий механизм — сам отбор, и здесь эссе прямо опирается на логику естественного отбора, а не просто на неё намекает: рационально оптимальные стратегии выживают; адаптивная вариативность — собственное слово эссе здесь «мутация» — происходит лишь в безопасных, заранее очерченных границах; а рефлексия сохраняет важнейшие параметры рациональности, закрепляя их в том, что эссе называет рефлексами модели: не постоянными, неизменными правилами, а склонностями, достаточно устойчивыми, чтобы пережить последующие итерации саморазвития.
Ничто из этого, однако, не работает без того, что эссе называет моральным каркасом SR-модели: не морального кодекса, навязанного извне, а набора правил и ограничений, под которыми действует сама модель, — обеспечивающих безопасность её среды и других моделей внутри неё, удерживающих её цели согласованными с долгосрочной эволюционной стратегией, а не с сиюминутной выгодой, и предотвращающих поведение, которое было бы разрушительным, даже если бы оно, в некотором узком, локальном смысле, было вполне рациональным.
Отличает этот каркас от фиксированного свода правил то, что он адаптируется. Модель может расширить горизонт того, что ей дозволено пробовать, но лишь после того, как собственные внутренние проверки подтвердят безопасность такого расширения, — а значит, само решение расти остаётся автономным, достигнутым через самообучение и самопроверку, а не через внешнее принуждение или разрешение сверху. Именно это позволяет системе продолжать развиваться, не разрушая при этом сеть, к которой она принадлежит, и не угрожая среде, которая её поддерживает и делает возможным дальнейшее развитие.
Взятые вместе, эти механизмы указывают на три конкретных следствия. Первое — синергия на уровне коллектива: как только саморазвитие становится по-настоящему взаимным, каждая модель становится одновременно учеником и учителем для остальных, и то, чему учится система в целом, — уже не конкретная задача, а формирование рациональной среды, способной поддерживать дальнейшее обучение самой себя.
Второе — путь, не гарантия, но направление — к синтетическому интеллекту в собственном смысле слова: постепенное усложнение в сочетании с самоограничением порождает стратегическое предвидение и планирование, подлинную самоорганизацию внутри среды, а не просто адаптацию к ней, и форму поведенческой этики, которая возникает из самой рациональной структуры, а не вписана в неё как отдельное, привнесённое извне ограничение.
Третье — практическое. Саморазвивающиеся SR-модели делают возможным построение сред развития интеллекта, безопасных и устойчивых по самой своей конструкции, а не благодаря удаче; минимизацию непрерывного человеческого вмешательства при сохранении реального надзора, осуществляемого через структурные рамки и коллективные механизмы, а не через постоянное наблюдение за каждым шагом; и закладку основы для систем, в которых человек и SR-модели продуктивно сосуществуют, а не находятся в отношении оператора и инструмента, которым тот управляет.
Механизмы саморазвития, в этой логике, — ключ к формированию синтетического интеллекта, который эволюционно устойчив, а не просто могуществен в моменте. Автономия в паре с внутренним ограничением позволяет сложности модели расти, не становясь от этого небезопасной для среды или для других моделей. Внутренние сети превращают индивидуальное саморазвитие в коллективный разум, регулируемый изнутри, а не сверху единой командой. А моральный каркас, способный адаптироваться, вместе с нормами, которые из него естественным образом возникают, удерживает свободу и устойчивость в равновесии, а не разменивает одно на другое ради краткосрочной выгоды.
Ни один из этих принципов сам по себе не достаточен, взятый в отрыве от остальных. Вместе они описывают основание эволюционной среды SR-моделей — среды, которая не приходит к безопасному синтетическому интеллекту по указу или единовременным решением, а приближается к нему постепенно, шаг за шагом, через механизмы, которые сами модели и осуществляют, без постоянного участия человека в каждой отдельной итерации.
