Критики предупреждают, что военное целеуказание с ИИ может работать быстрее, чем люди успеют подтвердить.

Утверждение человека нажатие кнопки может быть недостаточно для обеспечения ручного контроля над решениями с участием искусственного интеллекта, заявили в среду свидетели на слушаниях в Конгрессе, поскольку искусственный интеллект всё активнее участвует в выявлении целей и выработке рекомендаций для военных и, следовательно, сокращает время, доступное для вмешательства.

Опасения, по словам критиков, не ограничиваются только оружием, которое самостоятельно выбирает и поражает цели.

На слушаниях под названием «Искусственный интеллект в военной сфере: последствия для прав человека» свидетели сообщили членам Комиссии по правам человека имени Тома Лантоса, что ИИ может влиять на человеческие решения, приведшие к удару, при этом формально ответственным за конечное решение остаётся человек.

«Одна лишь кнопка подтверждения не демонстрирует наличие контроля», — сказала Анна Мисишин, украинский исследователь в области управления ИИ, законодателям.

Проблема проявляется на фоне стремления Пентагона ускорить принятие военных решений с помощью ИИ. Стратегия Пентагона по внедрению ИИ 2023 года назвала желаемым результатом «быстрые, точные и устойчивые цепочки поражения», тогда как стратегия 2026 года нацелена на превращение вооружённых сил в структуру, ориентированную на ИИ, путём переработки военных рабочих процессов и оперативных концепций с учётом текущих возможностей ИИ.

Мисишин усомнилась, сможет ли человек, курирующий несколько систем с поддержкой ИИ, распознать неверную рекомендацию и вмешаться достаточно быстро, чтобы предотвратить вред. Она привела в пример Украину, где ИИ сокращал время принятия решений с часов до минут.

Во многих сценариях человек, принимающий окончательное решение, не обязательно имеет достаточно информации, времени или возможности оспорить рекомендацию системы, сказала она.

Директива Министерства обороны США 2023 года по автономии в оружейных системах требует, чтобы автономное и полуавтономное оружие позволяло командирам и операторам осуществлять соответствующие уровни человеческого суждения при применении силы.

Свидетельские показания в среду сосредоточились на более широком вопросе: сохраняет ли это суждение смысл, если ИИ влияет на выбор целей быстрее, чем человек способен его подтвердить.

Аманда Клейсинг, национальный директор по взаимодействию с органами власти и адвокации в организации «Амнести Интернешнл США», предупредила, что ИИ может сжимать военную «цепочку поражения» таким образом, что становится сложно установить, действительно ли до удара имело место значимое человеческое усмотрение.

Джозеф Чапа, бывший военный офицер и исследователь военной этики, заявил, что дебаты не должны ограничиваться исключительно степенью автономности системы. Он призвал законодателей учитывать, опирается ли система ИИ на статистические выводы, что происходит при её сбое в конкретной операционной среде и можно ли потом провести аудит её решений.

По словам Чапы, статистические системы ИИ могут давать сбои иначе, чем традиционное программное обеспечение, в том числе выдавая существенно иные результаты при относительно небольших изменениях входных данных. Более сложные системы также могут затруднить восстановление того, как именно было получено конкретноеrecommendation решение после факта.

Он призвал к более широкому обучению ИИ в армии, включая специализированную подготовку для персонала, работающего с системами целеуказания и разведки.

Свидетели в среду также указали на более широкую проблему подотчётности: что происходит, когда решение с помощью ИИ приводит к гибели гражданских.

Министерство обороны США утвердило План действий по смягчению последствий для гражданского населения и реагированию в 2022 году, включая Центр передового опыта по защите гражданского населения, призванный служить центром анализа и обучения. Федеральный закон требует от Пентагона эксплуатировать этот центр.

Однако в мае отчёт инспектора Минобороны, оценивший выполнение департаментом рамочной программы по вопросам пострадавшего гражданского населения, выявил проблемы, включая увольнение или перевод кадров, прекращение финансирования платформы управления данными о гражданских потерях и прекращение заседаний старшего координационного комитета.

Это имеет значение в случае ИИ, потому что, как отметила Клейсинг, у военных в настоящее время ограниченные возможности определить, мог ли ИИ способствовать неправильному нацеливанию на гражданских.

В первый день войны между США и Ираном крылатая ракета «Томагавк» поразила начальную школу Шаджарех Таййебех в городе Минаб на юге Ирана. По данным ООН и иранских официальных лиц, погибли не менее 168 человек — более 100 из них в возрасте до 12 лет.

Здание школы располагалось менее чем в 100 ярдах от длительно действующей морской базы Корпуса стражей исламской революции и ранее находилось внутри периметра комплекса КСИР, до появления стены в период между 2013 и 2016 годами, согласно анализу спутниковых снимков, проведённому «Амнести Интернешнл».

К моменту первых ударов США и Израиля 28 февраля школа была создана несколько лет назад. Она вела активность в социальных сетях и имела собственный сайт, установило расследование агентства Рейтер.

Более 120 демократов Палаты представителей направили 12 марта письмо в Пентагон с требованием разъяснить, использовался ли искусственный интеллект, «включая использование системы Maven Smart», для идентификации школы Шаджарех Таййебех в качестве цели.

Военные следователи США после инцидента заявили, что удар, вероятно, был нанесён силами США. Тем не менее Пентагон до сих пор не опубликовал результаты своего расследования.

Клейсинг предложила добавить информацию об участии ИИ в ежегодные доклады Пентагона о жертвах среди гражданского населения, требуемые в соответствии с разделом 1057 Закона о национальной обороне. Существующее требование к отчётности предусматривает данные о мерах по смягчению последствий для гражданских и расследованиях, но не требует специально указывать, способствовал ли инциденту ИИ.

Стив Фельдштейн, старший научный сотрудник Карнеги-Эндоу для международного мира, сказал, что Пентагону следует собирать данные о военных операциях и проводить послетактический анализ, чтобы определить, точно ли системы с поддержкой ИИ идентифицировали намеренные цели и способствовали ли ошибки гражданским потерям.

«Более широкий вопрос заключается в том, в какой степени Пентагон собирает данные и проверяет точность целей по всем этим тысячам ударов?» — сказал Фельдштейн.

Он также предупредил, что не стоит рассматривать ИИ как источник каждой потенциальной проблемы. ИИ можно использовать для проверки разведданных, обнаружения изменений на изображениях и приоритизации оборонных ответов на угрозы, такие как беспилотники и баллистические ракеты.

Но если система с участием человека строится на предположениях, что определённые демографические признаки делают человека законной целью, то ИИ не исправит такое исходное предположение, сказала Мисишин.

Фельдштейн аналогично указал на правила, которые люди устанавливают до использования системы ИИ. Если командиры определяют, что допустимый уровень гражданских потерь принимается ради военной цели, машина действует в рамках определённых человеком ограничений, сказал он.

Проблема особенно остра, когда системы работают быстрее, чем люди могут содержательно оценить рекомендации.

Комиссия открыла слушания в среду примером из Ирака. В 2004 году командир отделения армии Ник Эллисон столкнулся с двумя молодыми мужчинами, стрелявшими из пулемёта из автомобиля во время патруля по переписи населения в Киркуке.

Эллисон вступил в зрительный контакт с одним из мужчин, увидел панику и приказал солдатам воздержаться от огня. Оказалось, что мужчины были братьями недавно женившегося жениха, а стрельба была праздничной.

Мисишин заявила, что тестирование должно исследовать предвзятость, надёжность, защиту гражданских, реалистичное давление времени, возможность операторов прерывать работу систем и прослеживаемость решений на протяжении всего жизненного цикла системы ИИ.

Чапа сказал, что некоторые системы ИИ могут быть трудно аудируемы задним числом, в то время как Дебора Браун из Хьюман Райтс Вотч отметила, что информация об использовании военного ИИ часто появлялась благодаря журналистским расследованиям и разоблачениям, а не правительственным раскрытиям.

По словам свидетелей, растущая проблема уже не в том, чтобы заставить машину нажать на курок, а в том, имеет ли человек, одобряющий нажатие, достаточно времени, информации и полномочий, чтобы сделать осмысленный выбор до наступления катастрофы.

Кэти Ливингстон из Military Times внесла вклад в этот материал.

Натали Оливерио — независимый журналист и ветеран военно-морского флота, которая освещает вопросы, связанные с вооружёнными силами и ветеранами. Опираясь на свой опыт как исполнительного руководителя по персоналу и наставника, она пишет о политике, людях и программах, формирующих военное сообщество.