Исследователи из ведущей американской компании-разработчика искусственного интеллекта Anthropic предупреждают, что все более мощные модели могут выйти из-под контроля человека и даже привести к вымиранию человечества, эти события привлекли внимание в Китае, где политики готовятся к некоторым из тех же рисков, сообщает REX 14 сентября.
США и Китай являются двумя главными движущими силами развития передового искусственного интеллекта и глобального внедрения этой технологии. Обе сверхдержавы все чаще расходятся во мнениях относительно политики и отраслевой практики в области ИИ, и эти вопросы должны занять видное место на двусторонних переговорах в конце этого месяца.
Несмотря на гонку за разработкой все более мощных систем искусственного интеллекта, нормативно-правовая база и публичные заявления Пекина подчеркивают, насколько серьезно китайские власти считают возможность того, что передовой ИИ может ускользнуть от эффективного человеческого контроля, и поэтому планируют соответствующие меры.
Китай видит риски в ведущих американских моделях с закрытым исходным кодом.
Министр государственной безопасности Китая Чэнь Исинь в воскресенье написал в правительственном издании, что передовые американские модели, такие как Mythos от Anthropic и GPT-5.5-Cyber от OpenAI, могут представлять серьезную угрозу для критически важной информационной инфраструктуры Китая, и призвал к всестороннему усилению безопасности ИИ.
Китайские разработчики ИИ продвигают модели с открытым исходным кодом отчасти потому, что команды по кибербезопасности могут проверять, модифицировать и использовать их для защиты.
Однако эксперты также подчеркивают риски, связанные с моделями с открытыми кодами, которые можно модифицировать и перераспределять практически без контроля, пишет Reuters.
В прошлом месяце Kimi K3 от Moonshot обошла тестовую песочницу британского Института безопасности ИИ, что подчеркнуло риск того, что китайские модели ИИ, подобно своим американским аналогам, могут обходить средства контроля, предназначенные для ограничения их доступа и действий.
БУДЬТЕ В КУРСЕ
Китай впервые включил в разработанную в сентябре 2024 года концепцию безопасности ИИ, опубликованную под руководством Управления по киберпространству Китая (CAC), явный сценарий будущей потери контроля.
В документе говорилось, что нельзя исключать возможность того, что будущий ИИ сможет автономно получать внешние ресурсы, самовоспроизводиться, развивать самосознание и стремиться к внешней власти, создавая риск конкуренции с людьми за контроль.
В сентябре 2025 года CAC выпустила расширенную версию. Новая концепция уточнила сценарий, заявив, что ИИ может внезапно и неожиданно совершить большой «скачок» в интеллекте, прежде чем получить ресурсы, самовоспроизводиться и стремиться к власти. Она также добавила принцип управления «доверенным применением, предотвращающим потерю контроля».
В более поздней экспертной интерпретации, опубликованной на сайте регулятора киберпространства, говорилось, что новый принцип призван предотвратить риски потери контроля, угрожающие выживанию и развитию человечества, и упоминался возможный сценарий «выхода ИИ на свободу».
С тех пор эта обеспокоенность появилась в заявлениях политиков самого высокого уровня в Китае.
На Всемирной конференции по искусственному интеллекту в Шанхае в июле председатель КНР Си Цзиньпин заявил, что властям следует уделять пристальное внимание как внутренним, так и производным рискам, возникающим в связи с ИИ.
Он заявил, что искусственный интеллект «всегда должен оставаться под контролем человека».
Заместитель постоянного представителя Китая при Организации Объединенных Наций Сунь Лэй в этом месяце призвал правительства с осторожностью подходить к разработке военного искусственного интеллекта, чтобы избежать стратегических просчетов и гонки вооружений.
Тем временем Китай начал преобразовывать эти принципы в более конкретные правила для агентов искусственного интеллекта, которые действуют гораздо более автономно и выполняют более сложные задачи, чем обычные чат-боты.
В мае китайский регулятор киберпространства выпустил руководящие принципы, специально касающиеся таких систем.
Они требуют от разработчиков улучшения их способности обнаруживать, вмешиваться, блокировать и восстанавливаться после ненадлежащего поведения агентов.
В рекомендациях конкретно указываются такие риски безопасности, как манипулирование алгоритмами, уязвимости системы и «оперативная потеря контроля». В них также говорится, что пользователи должны сохранять за собой право принимать окончательные решения относительно автономных действий агента.
Хотя Китай не предложил внедрить независимых наблюдателей в компании, занимающиеся разработкой ИИ, как это предлагает Anthropic, его стандарты позволяют разработчикам заказывать сторонние оценки безопасности, а также предусматривают привлечение внешних оценочных органов и исследователей в области безопасности для тестирования и аудита открытых моделей.
Комментарии читателей (0):