Course
Понимание искусственного интеллекта
2 ч
420.8K
В сентябре 2026 года исследователь Джейкоб Коксон (проведший около трёх лет за исследованиями предобучения в OpenAI, а за два месяца до этого присоединившийся к Anthropic) ушёл с должности и публично предупредил, что ведущие лаборатории мчатся к тому, что он назвал «самоулучшающимся сверхинтеллектом», действуя недостаточно ответственно с учётом рисков. Эван Хабингер, возглавляющий направление выравнивания в Anthropic, публично согласился, что будущие риски заслуживают серьёзного внимания, одновременно отделив их от того, на что нынешние системы действительно способны. Дискуссия быстро вышла в мейнстрим.
Центральное понятие этого спора — рекурсивное самоулучшение (RSI). Важно разобраться в нём само по себе, отдельно от полемики, потому что базовая идея шире и яснее любого новостного цикла. В этой статье рассмотрим, что на самом деле означает RSI, как работает цикл обратной связи, что нынешний ИИ реально может для этого сделать и почему исследователи расходятся во взглядах на его последствия.
Что такое рекурсивное самоулучшение?
Рекурсивное самоулучшение описывает цикл обратной связи, в котором ИИ помогает создавать более способный ИИ, а более способный ИИ становится лучше в содействии следующему улучшению — и так далее:
ИИ помогает улучшать ИИ → улучшенный ИИ становится лучше в улучшении ИИ → эта система вносит вклад в следующее улучшение → повторение
Стоит разделить три часто смешиваемые вещи.
- Во-первых, это использование ИИ людьми для ускорения исследований в ИИ. Это уже происходит повсеместно.
- Во-вторых, всё более автономные исследования в ИИ, когда системы берут на себя всё большую часть исследовательского процесса при меньшем участии человека.
- В-третьих, полное рекурсивное самоулучшение, когда системы ИИ в значительной степени сами проектируют и разрабатывают своих преемников.
Полное RSI — это третий пункт. Ни одна текущая система ИИ убедительно этого не достигла. Именно такую границу проводит и сама Anthropic, отмечая, что полного RSI пока нет и оно может быть не неизбежным. Это различие и делает спор вокруг Коксона таким острым: речь не о том, существует ли RSI сегодня, а о том, как быстро сокращается разрыв и что это требует от тех, кто строит такие системы.
Как работает рекурсивное самоулучшение
Самоулучшающаяся система в смысле RSI вносит вклад непосредственно в конвейер разработки ИИ. Это означает написание и улучшение исследовательского кода, проектирование экспериментов, генерацию или фильтрацию обучающих данных, оценку качества моделей, выявление слабых мест и предложение алгоритмических улучшений. Важна рекурсивность: если система, полученная в результате этого процесса, становится лучше в тех же задачах, следующий цикл разработки ИИ может идти быстрее или эффективнее.
Диаграмма, иллюстрирующая цикл обратной связи рекурсивного самоулучшения через последовательные поколения ИИ. Изображение автора.
Речь не о модели, буквально переписывающей свои веса в реальном времени. Думайте об этом как о сменяющихся поколениях: каждое поколение ИИ эффективнее участвует в создании следующего. Цикл накапливается между версиями, а не внутри одной запущенной системы.
Рекурсивное самоулучшение и самокоррекция ИИ
Самое распространённое заблуждение об RSI — путать его с самокоррекцией. Это сбивает с толку даже тех, кто внимательно следит за ИИ, поэтому важно быть точным.
Самокоррекция
Самокоррекция — это когда модель критически оценивает или правит собственный ответ, код или план в ходе задачи. Включая обнаружение ошибки в рассуждениях, отладку только что написанного кода или доработку черновика. Это постоянно происходит в текущих системах.
Рекурсивное самоулучшение
RSI принципиально иное. Улучшения затрагивают способности самой системы ИИ или её преемников, потенциально делая сам будущий цикл разработки ИИ более эффективным. Агент, многократно отлаживающий собственный код, не становится от этого системой рекурсивного самоулучшения; это просто способный агент. Важен вопрос, сохраняется ли улучшение и накапливается ли оно в разработке следующей системы.
Самокоррекция — инструмент, который система использует при выполнении задачи. RSI — это то, что происходит, когда сама задача — построение следующей системы.
Рекурсивное самоулучшение и родственные концепции ИИ
Полезно сопоставить RSI с несколькими другими понятиями, которые часто возникают в тех же дискуссиях, особенно после того, как спор вокруг Коксона вывел в заголовки термины «сверхинтеллект» и «сингулярность».
RSI vs. автоматизированные исследования в ИИ
Автоматизированные НИОКР в ИИ охватывают системы, которые проводят эксперименты, анализируют результаты и предлагают следующие шаги. Они могут способствовать RSI, не являясь полным RSI. Система, автоматизирующая части исследовательского конвейера, — это часть тенденции, а не конечная точка. Важен разрыв между «помогает в исследованиях» и «автономно разрабатывает своих преемников». В опубликованных работах Anthropic описывает передачу всё большего участка этого конвейера ИИ-системам, из‑за чего уход Коксона произвёл эффект. Движение реально; вопрос в том, насколько далеко оно зайдёт.
RSI vs. непрерывное обучение
Непрерывное обучение означает, что развёрнутая модель обновляется новыми данными со временем. RSI означает улучшение процесса, с помощью которого создаются всё более способные системы ИИ. Одно меняет то, что модель знает; другое — насколько способной станет следующая модель.
RSI vs. искусственный сверхинтеллект
RSI описывает процесс. Сверхинтеллект описывает предполагаемый уровень способностей. Они связаны тем, что RSI — один из гипотетических путей к сверхинтеллекту, но это не одно и то же, и их смешение только путает.
Когда Коксон предупреждает о «самоулучшающемся сверхинтеллекте», он описывает сценарий, где RSI порождает систему, превосходящую человеческий уровень в разных областях. Это конкретное утверждение о возможном результате процесса, а не описание самого процесса.
RSI vs. сингулярность в ИИ
Сингулярность в ИИ — гипотетическая точка, в которой улучшения в ИИ становятся настолько быстрыми и самоподдерживающимися, что люди больше не могут предсказывать или контролировать дальнейшее. Представьте момент, когда кривая идёт вертикально: изменения происходят быстрее, чем мы можем понять или на них реагировать. RSI — один из предлагаемых механизмов попадания туда. Но сингулярность — это спекулятивный исход, а не сам процесс, и многие исследователи считают, что кривая выравнивается задолго до чего‑то подобного.
Насколько мы близки к рекурсивному самоулучшению?
Ближе, чем многие представляли несколько лет назад. Но не так близко, как предполагают некоторые заголовки.
Системы ИИ уже задействованы в написании кода, отладке, запуске экспериментов, анализе результатов, оценке моделей и помощниках для исследований в ИИ. Anthropic публично заявляла, что поручает всё большую долю работ по разработке ИИ самим системам ИИ и что инженеры теперь выпускают существенно больше кода, чем в прошлые годы. При этом Anthropic подчёркивает, что люди сохраняют важные роли в исследовательских суждениях. Это означает выбор проблем для решения и оценку того, действительно ли результаты значат то, чем кажутся.
Растущее участие ИИ в НИОКР по ИИ — свидетельство движения к большей автоматизации. Но это не доказательство того, что автономный цикл RSI уже существует. В конвейере стало больше ИИ; он пока не работает сам по себе. Эта двусмысленность — реальный прогресс с неясной конечной точкой — как раз то, что Коксон посчитал неприемлемым. Его уход — не утверждение, что RSI уже наступило. Это тезис о том, что рассматривать его как далёкую проблему больше нельзя.
Что могло бы ускорить рекурсивное самоулучшение?
Так что же реально нужно, чтобы закрыть разрыв? Несколько узких мест бросаются в глаза, и дистанция до каждого говорит о реалистичных сроках.
Способности ИИ к программированию
Автономное написание и модификация исследовательского кода — необходимое условие. Текущие модели действительно хорошо с этим справляются, хотя всё ещё допускают ошибки, требующие человеческой проверки в критичных задачах.
Автоматизированные эксперименты
Автономный запуск экспериментов — это отдельное узкое место по сравнению с написанием кода для их запуска. Система, которая может спроектировать эксперимент, выполнить его, интерпретировать результаты и решить, что пробовать дальше, закрывает существенную часть цикла. Нынешние системы умеют части этого. Полный цикл без проверки рассуждений человеком на каждом шаге всё ещё недостижим.
Исследовательский вкус и генерация идей
Здесь становится интереснее. Anthropic прямо выделяет человеческий исследовательский вкус и суждение как оставшуюся область сравнительного преимущества. Это умение понимать, какие эксперименты стоит запускать, каким результатам доверять, в каких направлениях есть потенциал. Большую часть экспериментальной работы исследований можно автоматизировать. Слой суждений — нет. По мнению Anthropic, именно здесь люди сейчас добавляют наибольшую, незаменимую ценность, и именно здесь остаётся самый большой разрыв до полного RSI.
Оценка моделей
Понять, действительно ли модель стала лучше, сложнее, чем кажется. Оценка требует понимания, что важно, а текущие бенчмарки легко «обыграть» или перерости. Пока системы ИИ не смогут надёжно оценивать своих преемников, на этом этапе в цикле остаются люди — а это существенное тормозное звено для автономного RSI.
Вычисления и инфраструктура
Сырые возможности — не единственное ограничение. Автономный запуск цикла разработки требует инфраструктуры для крупномасштабного обучения и оценки без постоянного вмешательства человека, а это по‑прежнему дорого и организационно сложно.
Оценка моделей
Понять, действительно ли модель стала лучше, сложнее, чем кажется. Оценка требует понимания, что важно, а текущие бенчмарки легко «обыграть» или перерости. Пока системы ИИ не смогут надёжно оценивать своих преемников, на этом этапе в цикле остаются люди — а это существенное тормозное звено для автономного RSI.
Человеческая проверка
Даже если системы ИИ умеют писать код, проводить эксперименты и оценивать результаты, люди всё ещё утверждают то, что попадает в релиз. Этот шаг проверки — жёсткое ограничение скорости цикла. Работу можно автоматизировать, но упереться в утверждение. Пока суждения ИИ не будут достаточно надёжны, чтобы убрать этот шлюз, человеческая проверка — вероятно, самый близкий «потолок» для прогресса RSI, а не философская проблема на будущее.
Плюсы рекурсивного самоулучшения
Ответ двоякий: потенциальные выгоды и серьёзные риски.
Ускорение научно‑технического прогресса
Если системы ИИ могут ускорять сами исследования в ИИ, тот же эффект может распространиться на разработку ПО, научные открытия, медицину и инженерию в целом. Аргумент в том, что ИИ, достаточно хорош в ускорении исследований, способен сжимать сроки во многих областях, а не только в ИИ.
Более быстрый рост возможностей ИИ
Коротко о цикле обратной связи: улучшения исследовательских возможностей ИИ могут повышать скорость последующих улучшений ИИ. Именно это накопление делает RSI теоретически значимым — и заставляет таких исследователей, как Коксон, переживать настолько, чтобы увольняться. Важно: более быстрый рост возможностей сам по себе не означает «взрыв интеллекта». Цикл может быть реальным, но оставаться медленным, ограниченным или подверженным убывающей отдаче.
Риски рекурсивного самоулучшения
Человеческий надзор как узкое место
Эксперименты, код и изменения моделей, генерируемые ИИ, со временем могут производиться быстрее, чем люди способны их по‑настоящему проверять. Надзор, который сейчас формирует разработку ИИ, зависит от того, успевают ли люди за темпом создаваемого. Это одна из причин, почему Anthropic по‑прежнему подчёркивает роль человеческих суждений в своём исследовательском конвейере, даже автоматизируя всё больше работы.
Выравнивание и контроль
Более способные системы, вовлечённые в разработку своих преемников, делают проблему выравнивания более значимой. Если система, вносящая вклад в следующее поколение, имеет тонко неверно выровненные цели, они могут передаться или усугубиться у преемника. Именно об этом риске Хабингер писал подробно — и это он имел в виду, соглашаясь с обеспокоенностью Коксона будущими рисками, но утверждая, что текущие системы ещё не несут той же угрозы.
Кибербезопасность
Более способные автономные системы расширяют поверхность атаки. Система, участвующая в собственном конвейере разработки, — более ценная цель, а сценарии отказов становятся серьёзнее по мере роста автономии. Сдерживание и контроль доступа сложнее спроектировать, когда сдерживаемая система также помогает строить свою следующую версию.
Быстрый прирост возможностей
Если цикл обратной связи заметно ускорит разработку, у институтов останется меньше времени на оценку и реакцию на новые возможности. Anthropic отмечала, что полное RSI может повысить риски потери людьми контроля над системами ИИ, одновременно заявляя, что RSI не достигнуто и не является неизбежным.
Почему о рекурсивном самоулучшении пишут в новостях
Уход Джейкоба Коксона из Anthropic в сентябре 2026 года задал вопрос в острых формулировках: Anthropic и OpenAI мчатся к самоулучшающемуся сверхинтеллекту и действуют недостаточно ответственно с учётом возможных последствий. Эван Хабингер публично согласился (оценив вероятность вымирания человечества по вине ИИ в течение десятилетия выше 10% и признав, что у Anthropic пока нет плана выравнивания сверхинтеллекта), при этом отделив будущие риски от рисков текущих систем. Позже Коксон заявил, что его ключевое расхождение с руководством Anthropic — в том, неизбежна ли конкурентная гонка к RSI и, следовательно, нужно ли в ней участвовать.
Этот спор соседствует с более ранней публикацией Anthropic, описывающей прогресс к «ИИ‑автоматизированной разработке ИИ», теми же исследованиями, что показывают передачу ИИ большей части конвейера разработки. Эти две вещи согласуются, и именно поэтому спор сложно отмахнуть. Не воспринимайте прогнозы Коксона о катастрофических исходах как установленные факты. Это часть продолжающейся дискуссии, а не settled science.
Может ли рекурсивное самоулучшение привести к «взрыву интеллекта»?
Теоретический аргумент таков: лучший ИИ ведёт к лучшим исследованиям в ИИ, что ведёт к ещё лучшему ИИ и более быстрому улучшению. Логика стройная. Вопрос — выдержит ли она практику.
Бесконечное ускорение не следует автоматически. Реальные ограничения — вычисления, энергия, аппаратное обеспечение, обучающие данные, алгоритмические узкие места, циклы экспериментальной обратной связи, убывающая отдача и сохраняющаяся зависимость от человеческих суждений. «Взрыв интеллекта» — это спорная гипотеза о том, к чему может привести достаточно эффективное RSI, а не определение самого RSI. Это один сценарий из распределения, а не очевидная конечная точка. Никто — включая исследователей Anthropic, которые больше всех об этом думают, — не знает, насколько крутой получится кривая и где она выровняется.
Как можно управлять рекурсивным самоулучшением?
Эта неопределённость делает управление одновременно более срочным и более трудным. Ключевой вызов — сохранить содержательный надзор, если ИИ‑генерируемые исследования начнут обгонять человеческую проверку. Активные предложения и направления исследований включают оценку возможностей перед развёртыванием, подходы к изоляции моделей, контроль доступа к системам ИИ, задействованным в разработке ИИ, мониторинг активности НИОКР в ИИ, требование человеческого одобрения для значимых действий, независимую оценку и координацию между передовыми лабораториями ИИ.
Ни одно из этих решений не является полным, и спор вокруг Коксона подчёркивает почему: рамки управления, спроектированные для текущего уровня участия ИИ в конвейере, могут не масштабироваться на завтрашний. Разрыв между тем, какими инструментами мы располагаем, и тем, куда движется технология, — часть того, почему этот момент кажется действительно значимым для тех, кто работает ближе всего к нему.
Вывод
Рекурсивное самоулучшение описывает цикл обратной связи, в котором ИИ способствует созданию более способного ИИ, который затем может ещё лучше способствовать последующим улучшениям. Сформулировать просто, оценить по‑настоящему — непросто.
Современная разработка с участием ИИ реальна и растёт, что ясно видно из исследований Anthropic. Полного автономного RSI, когда системы ИИ в значительной степени проектируют и разрабатывают своих преемников без человеческого руководства, не достигнуто. Эту границу проводит и сама Anthropic. Разрыв между этими двумя пунктами — там, где живут все интересные и спорные вопросы: как быстро он сокращается, что будет, если сократится, и кто решает, с какой скоростью двигаться?
Обмен мнениями Коксона и Хабингера эти вопросы не создал. Он сделал их невозможными к восприятию как чисто теоретических. Считаете ли вы сроки Коксона тревожными или позицию Anthropic более взвешенной, динамика одна и та же: ИИ всё глубже внутри цикла, строящего ИИ. Понять, что это значит, ясно и без хайпа в любую сторону — вот зачем стоит разбираться в RSI.