Представьте рекламную кампанию нового продукта.
Компания говорит:
«Наш продукт настолько мощный, что способен изменить мир».
Звучит привычно.
А теперь другая формулировка:
«Наш продукт настолько мощный, что существует вероятность, что он уничтожит человечество».
Это уже совсем другой уровень позиционирования.
Последние заявления сотрудников крупнейших AI-компаний заставляют задуматься не только о безопасности искусственного интеллекта, но и о неожиданном побочном эффекте этих предупреждений. Возможно, страх перед ИИ одновременно становится одним из самых сильных инструментов его продвижения.
Когда предупреждение звучит как демонстрация силы
Бывший исследователь Anthropic Джейкоб Коксон заявил после увольнения, что ведущие AI-компании фактически «играют нашими жизнями», создавая все более мощные системы. Следом руководитель направления alignment science Anthropic Эван Хубингер написал, что лично оценивает вероятность уничтожения человечества искусственным интеллектом в ближайшее десятилетие выше 10%.
Заявления разлетелись по крупнейшим мировым СМИ. И здесь возникает интересный парадокс. Для человека, далекого от машинного обучения, сообщение считывается примерно так:
Если сами создатели боятся собственного ИИ, значит технология действительно невероятно мощная.
То есть предупреждение о риске одновременно становится доказательством возможностей продукта.
Страх прекрасно продает технологическое превосходство
Большинство пользователей не знает, как устроена современная языковая модель. Они не видят веса модели, архитектуру трансформера, обучение с подкреплением или инфраструктуру дата-центров. Они видят результат и историю вокруг него. И история «мы сделали очень хороший программный инструмент» значительно слабее истории:
«Мы приближаемся к системе, которую человечество может оказаться неспособно контролировать».
Вторая формулировка создает практически мифологический образ технологии. ИИ перестает восприниматься как программное обеспечение. Он превращается в нечто, способное думать, планировать, принимать решения и потенциально превосходить человека.
А вместе с этим растет и воспринимаемая ценность продукта. Если технология настолько мощная, возникает естественная мысль:
«Наверное, мне тоже нужно начать ею пользоваться, иначе я останусь позади».
Это заговор AI-компаний?
Скорее всего, нет. Нет оснований утверждать, что OpenAI, Anthropic или другие лаборатории специально организуют апокалиптические заявления своих сотрудников в качестве рекламной кампании.
Более того, Джейкоб Коксон утверждает прямо противоположное: по его словам, это не маркетинговый трюк, а реальное опасение людей, работающих внутри индустрии.
Но для маркетингового эффекта намерение вообще не обязательно. Можно искренне предупреждать об опасности технологии и одновременно повышать ее статус в глазах общества. В индустрии уже обсуждается похожий вопрос: не становится ли разговор о потенциальной катастрофе своеобразной демонстрацией того, насколько далеко якобы продвинулись ведущие AI-компании.
Особенно интересно это выглядит на фоне разговоров о возможных выходах крупнейших AI-компаний на публичный рынок.
Чем страшнее ИИ, тем ценнее компания? Представим две технологические компании.
Первая говорит:
«Мы разработали удобную языковую модель для автоматизации работы».
Вторая:
«Мы создаем интеллект, который потенциально способен превзойти человека, самостоятельно совершенствоваться и изменить устройство мировой экономики».
Какая компания выглядит более фундаментальной? Какая технология кажется более ценной? И какая история потенциально сильнее действует на инвесторов, клиентов и рынок?
В этом заключается странность современной AI-индустрии. Разговор о рисках одновременно способен работать как реклама масштаба технологии.
«Будьте осторожны с нашей технологией» очень легко превращается в «посмотрите, насколько наша технология могущественна».
Реальность пока значительно прозаичнее
Современные языковые модели действительно впечатляют. Но сами по себе они не являются цифровыми существами, которые просыпаются ночью и принимают решение захватить интернет.
Модель получает входные данные, обрабатывает их и формирует результат на основе огромного объема информации, полученной во время обучения. Реальная автономность появляется тогда, когда разработчики подключают модель к инструментам:
- браузеру;
- коду;
- CRM;
- файлам;
- API;
- платежным системам;
- корпоративной инфраструктуре.
Именно поэтому при разработке и интеграции ИИ-систем намного важнее не фантазировать о цифровом монстре, а правильно определить реальные полномочия модели: какие данные она видит, какие действия может выполнять и где требуется подтверждение человека.
Без таких инструментов языковая модель может сколько угодно рассуждать о захвате мира. Физически сделать что-либо она не сможет.
Но полностью игнорировать риски тоже нельзя
Здесь легко уйти в другую крайность и решить, что вся дискуссия является исключительно маркетингом. Это тоже было бы ошибкой. AI-агенты уже умеют писать код, пользоваться браузером, выполнять длинные последовательности действий и работать с внешними системами. Чем больше инструментов им предоставляют, тем серьезнее становятся последствия ошибок или неожиданного поведения. Поэтому вопросы безопасности реальны.
Спор идет скорее о другом: насколько реалистичен скачок от сегодняшних проблем с автономными агентами до сценария уничтожения человечества. И вот здесь никаких достоверных «10%» наука пока предоставить не может. Это оценка человека, а не измеренная вероятность.
Самый успешный маркетинг может вообще не быть маркетингом
Возможно, сотрудники Anthropic совершенно искренне боятся того, что создают. Возможно, их опасения окажутся оправданными. А возможно, через двадцать лет сегодняшние заявления будут восприниматься примерно так же, как многие прошлые прогнозы о технологиях, которые должны были полностью изменить человечество за несколько лет.
Но одно уже произошло. Миллионы людей услышали:
Создатели самых передовых AI-систем сами считают свою технологию потенциально опасной для человечества.
И для индустрии, которая продает идею появления нового интеллекта, трудно придумать более сильное подтверждение собственной значимости.
Получается странный парадокс:
Чем громче AI-индустрия говорит «возможно, мы создали слишком мощную технологию», тем сильнее весь мир убеждается, что эта технология действительно невероятно мощная.
И, возможно, именно страх становится одним из главных двигателей нынешней AI-гонки.