Внутри Китая искусственный интеллект — змея, пожирающая собственный хвост. Пекинская цензурная машина отравляет системы ИИ, на которые опираются его лидеры для управления.
Величайшие технологические амбиции Китая и его величайшая политическая одержимость тихо разрушают друг друга.
Та же аппаратура цензуры, которую Партия создала для контроля над населением, теперь коррумпирует системы искусственного интеллекта, на которые опираются её руководители. США, делая ставку на открытый рынок информации и идей, получат преимущество, выбрав иной путь.
ИИ всё чаще обучает новые, более быстрые модели ИИ. Обычно это включает сбор материалов из интернета и загрузку их в наборы данных для новых программ. Проблема в том, что онлайн‑контент, используемый для обучения, всё чаще генерируется ИИ. В результате каждое поколение технологий всё дальше уходит от реальности.
Исследователи ИИ называют это «коллапсом моделей» — феноменом, когда модели, обученные на собственных синтетических результатах, деградируют из поколения в поколение. Единственная защита — постоянный приток свежей, честной информации, созданной людьми. Без неё система сворачивается в саму себя.
Великий файрвол Китая прерывает этот приток, ускоряя эффект коллапса моделей внутри своих границ. Первое поколение больших языковых моделей по всему миру было обучено на огромных наборах данных общедоступных текстов, созданных людьми. Эти сведения, полученные от людей, создали алгоритмическую аппроксимацию того, как люди думают, спорят, объясняют и общаются.
Теперь интернет заполняется контентом, сгенерированным ИИ, в темпах, немыслимых пять лет назад. Маркетинговые тексты, описания товаров, подписи в социальных сетях и новостные сводки всё чаще производятся системами ИИ и публикуются в сети. Они все стали однообразными и оторванными от человеческих сигналов.
С каждым циклом нового ИИ модели всё дальше ускользают от своих человеческих истоков. Новые системы усиливают шаблоны, которые предпочитают системы ИИ, теряют нюансы и усиливают существующие предубеждения. Каждое последующее поколение ИИ отдаляется от людей, которым эти программы изначально были предназначены служить.
В Китае Великий файрвол ускоряет эту проблему. Министерство общественной безопасности Китая создало Великий файрвол в конце 1990‑х годов для цензуры населения. Это теперь самая сложная инфраструктура контроля информации в истории человечества. Великий файрвол не просто ограничивает то, что могут видеть китайские пользователи. Он формирует данные, используемые для обучения китайских систем ИИ. По замыслу, он отбрасывает политически чувствительные события, инакомыслящие точки зрения и независимую журналистику. В остатке оказывается отредактированная запись реальности, согласованная с партийным нарративом. Эта отфильтрованная запись информации становится сырьём для больших языковых моделей.
Данные для обучения китайских больших языковых моделей не содержат никакой критики правительства, объективной журналистики по спорным темам или точной информации о китайской истории. События, такие как лагеря для уйгуров, существуют внутри файрвола только в том виде, в каком государство решило их описать.
Добавьте к этому явление коллапса моделей. Китайские ИТ‑компании, такие как Байду, Алибаба, БайтДэнс и десятки других, агрессивно развёртывают контент, сгенерированный ИИ, на своих платформах. Эти материалы становятся данными для обучения следующего поколения китайских моделей ИИ. При заблокированной независимой журналистике коллапс моделей ускоряется внутри Великого файрвола и не имеет вентиляционного клапана. Практические последствия этого расходжения уже видны и будут ускоряться.
Китайские большие языковые модели испытывают трудности с задачами, требующими новых наблюдений, оригинального синтеза или человеческой сложности, которую исходные данные специально старались подавить. Если их спрашивают о репрессиях в китайской истории или о спорных текущих событиях, таких как содержание уйгуров в лагерях, эти модели либо не дают ответа, либо выдают ответ, неотличимый от официального партийного заявления. Китайский торговый чиновник, полагающийся на отечественные системы ИИ для моделирования экономического воздействия западных санкций, работает с системой, неспособной дать честный отчёт о том, как эти санкции действовали или не действовали в сопоставимых исторических случаях.
У Запада есть более мягкая версия этой проблемы.
Западные модели ИИ обучаются на всё более синтетическом контенте, но журналисты регулярно вносят в экосистему новую информацию. Свободные и открытые общества имеют структурные преимущества, сохраняющие способность рассуждать о том, что действительно происходит в мире, а не о том, как описывали предыдущие системы ИИ. Когда спрашивают о Тяньаньмэнь, западные учёные и источники обычно фокусируются на протестах 1989 года и жестком подавлении. В то же время китайские модели либо отказываются отвечать, либо возвращают язык, согласованный с позицией государства. Этот информационный разрыв становится частью данных для обучения следующего поколения.
Чтобы сохранить конкурентное преимущество в области ИИ по сравнению с Китаем, Вашингтону следует рассматривать данные, созданные людьми, как стратегический ресурс и инвестировать в журналистику, открытые архивы сети и маркировку синтетического контента. Сохранение целостности американских данных для обучения — это вопрос обороны, а не только технологическая задача.
Китайские руководители, использующие продукты ИИ для принятия решений в экономике, геополитике и здравоохранении, будут принимать эти решения на основе систем, обученных тому, во что аппарат контроля информации Китая хочет, чтобы люди верили. Это не система разведки. Это зеркало. И трагедия коллапса моделей в том, что зеркало, которое достаточно долго смотрело на самого себя, больше ничего не отражает.
Джо Буччино — отставной полковник армии США и автор книги «Когда каждое слово на счету: как заслужить доверие, привлечь внимание и ясно общаться в любой ситуации».
