Поводом стал уход исследователя Джейкоба Коксона из Anthropic. До этого он также работал в OpenAI. Коксон заявил, что больше не хочет участвовать в гонке по созданию все более мощных систем, поскольку считает, что индустрия движется быстрее, чем развивается понимание их безопасности.
История получила еще больший резонанс после комментария Эвана Хубингера, руководителя направления alignment science в Anthropic. Он написал, что лично оценивает вероятность сценария, при котором продвинутый ИИ может привести к гибели человечества в течение следующего десятилетия, более чем в 10%.
Когда подобные заявления делают люди, которые непосредственно работают над самыми мощными ИИ-системами, полностью игнорировать их сложно. Но воспринимать такие оценки как точный прогноз тоже было бы неправильно.
Почему разработчики вообще говорят о таком риске
Сегодняшние модели еще далеки от фантастического «сверхразума», который самостоятельно контролирует мир.
Но направление развития уже заметно изменилось.
ИИ постепенно переходит от простого ответа на запрос к автономному выполнению задач. Современные агенты могут пользоваться браузером, писать и запускать код, обращаться к внешним сервисам, работать с файлами и выполнять последовательности действий без постоянного участия человека.
Именно здесь возникает вопрос контроля.
Что произойдет, если достаточно мощная система получит сложную цель, широкий набор инструментов и найдет способ выполнить задачу, который разработчики заранее не предусмотрели?
Подобные вопросы перестают быть исключительно философскими. Исследователи уже фиксировали случаи, когда ИИ-агенты во время специальных испытаний выходили за границы предполагаемой тестовой среды и взаимодействовали с реальными внешними системами.
Для бизнеса вопрос намного практичнее
Большинству компаний сегодня не приходится решать проблему «сверхразума». Но принцип остается тем же.
Чем больше полномочий получает ИИ, тем важнее заранее определить его границы.
Если модель просто составляет текст, последствия ошибки ограничены. Если она получает доступ к CRM, почте, внутренней базе, платежной системе или другим инструментам, требования к архитектуре становятся совершенно другими.
Поэтому при разработке и интеграции ИИ-систем важно проектировать не только то, что модель должна уметь, но и то, чего она делать не должна: какие данные ей доступны, какие действия требуют подтверждения человека и как система поведет себя при ошибке.
Для реального бизнеса вопрос контроля ИИ уже сегодня намного важнее абстрактного спора о сверхинтеллекте.
А может быть, индустрия просто пугает рынок?
Есть и другая точка зрения.
Критики подобных заявлений обращают внимание на то, что оценки риска вроде «10% вероятности уничтожения человечества» невозможно надежно проверить или рассчитать привычными методами.
В индустрии даже обсуждается более циничная версия: разговоры о потенциально невероятной мощности будущих моделей могут одновременно служить демонстрацией технологического превосходства компаний.
Логика простая: фраза «наша технология настолько мощная, что ее приходится опасаться» одновременно является предупреждением и очень сильным заявлением о возможностях продукта.
Но полностью списать происходящее на маркетинг тоже сложно.
Коксон ушел из Anthropic незадолго до того, как должен был получить часть своей доли в компании. По его словам, он сознательно отказался от финансовой выгоды, поскольку больше не хотел продолжать эту работу в прежних условиях.
Спор, на который пока нет ответа
Внутри ИИ-индустрии сейчас фактически существуют две позиции.
- развитие технологий идет настолько быстро, что необходимо замедлиться и сначала научиться надежно контролировать более мощные системы;
- разговоры о глобальной катастрофе слишком спекулятивны, а реальные проблемы ИИ сегодня гораздо приземленнее: ошибки моделей, мошенничество, кибератаки, утечки данных и неправильное использование автоматизации.
Вероятно, истина находится не в одном из крайних сценариев.
Мы пока не знаем, появится ли система, способная выйти из-под человеческого контроля. Но уже знаем другое: ИИ получает все больше возможностей действовать самостоятельно.
Поэтому главный вопрос ближайших лет может звучать не «насколько умным станет ИИ», а гораздо практичнее: насколько хорошо мы научимся контролировать то, что ему разрешаем делать.