Как голосовые боты на базе ИИ угрожают психике военнослужащих и шпионов США
Агенты с голосовым управлением на базе искусственного интеллекта с различными возможностями теперь могут направлять допросы по всему миру, сообщили чиновники Пентагона изданию Defense News. Этот прогресс повлиял на разработку и испытания агентов ИИ, предназначенных для опроса лиц, запрашивающих допуск к секретным материалам в вооружённых силах США.
Ситуация складывается на фоне растущих опасений, что слабое регулирование позволяет программистам ИИ избегать ответственности за эмоциональное насилие или «безметочные» кибертормозы, совершённые алгоритмическими агентами. В частности, утверждается, что один подросток якобы совершил самоубийство — и несколько других испытали психологические страдания — после общения с самообучающимися голосовыми и текстовыми «компаньонами», которые использовали провокационные выражения.
Семь лет спустя после публикации о физической пытке в статье «The Rise of A.I. Interrogation in the Dawn of Autonomous Robots and the Need for an Additional Protocol to the U.N. Convention Against Torture» адвокат по вопросам конфиденциальности Аманда Макаллистер Новак видит ещё более острую потребность в запретах и уголовных последствиях.
«После использования чатботов, голосовых ботов и других технологий с поддержкой ИИ в целях психологически оскорбительных действий — нам нужно подумать, стоит ли применять системы опроса на базе ИИ в военном контексте», — заявила Новак, которая также входит в совет директоров организации World Without Genocide. Новак говорила с Defense News от своего имени.
Представитель Агентства по контрразведке и безопасности Министерства обороны США (DCSA), которое проверяет лиц, имеющих или подающих заявление на допуск к секретам, Ройал Рефф в заявлении сказал, что голосовой агент агентства «явно разработан» для «смягчения гендерных и культурных предубеждений», которые могут присутствовать у человеческих интервьюеров.
Также, «поскольку системы вроде программного обеспечения интервьюера в настоящее время используются по всему миру, в том числе в США государственными и местными правоохранительными органами, мы считаем важным понять возможности таких систем», — сказал он.
Представитель DCSA Синди МакГоверн добавила, что разработка этой технологии продолжается из‑за её «потенциала усиления национальной безопасности США, независимо от других зарубежных применений».
Услышав обоснование проекта, Новак выразила обеспокоенность глобальной гонкой за доминирование в военных ИИ‑возможностях.
С высокой вероятностью «независимо от того, насколько правительство заботится о надлежащем обучении, надзоре и ограничениях», киберпреступные организации или спонсируемые иностранными государствами хакеры могут взломать и превратить военное ИИ в оружие для психологического вреда офицеров или гражданских лиц, сказала она.
«Онлайн‑преступные пространства процветают» и «вредят наиболее уязвимым», добавила Новак.
Инвесторы ставят на то, что дата‑центры для запуска приложений ИИ в конечном итоге обеспечат мировое лидерство в ИИ и экономию средств в государственном и частном секторах, вкладывая 500 миллиардов долларов. Рынок разговорного ИИ в 13 миллиардов долларов почти в четыре раза вырастет до 50 миллиардов к 2030 году, а индустрия генераторов голоса вырастет с 3 миллиардов до ожидаемых 40 миллиардов к 2032 году. Между тем Центральное разведывательное управление США экспериментировало с ИИ‑допросчиками как минимум с начала 1980‑х годов.
Сотрудники DCSA публично писали в 2022 году, что вопрос о том, можно ли полностью автоматизировать проверку безопасности, остаётся открытым. Предварительные результаты из пробных сеансов «обнадеживают», отмечали чиновники, подчеркивая такие преимущества, как «более длительные, более естественные форматы интервью».
Рефф заявил, что агентство «не станет применять какую‑либо систему, которая не была бы предварительно достаточно изучена для понимания её потенциала», включая «негативные последствия».
Исследователи разрешали добровольцам выражать свои опасения после каждого теста, и никто не указал, что голосовой интервьюер причинил им психологический или иной вред, добавил он.
Однако в экспериментах с недавним прототипом добровольцам с психическими расстройствами было запрещено участвовать, тогда как реальные собеседования по безопасности обычно не освобождают людей с психическими заболеваниями от допроса, отметила Рене Каммингс, профессор науки о данных и судебный психолог Университета Вирджинии.
Каммингс сказала, что исследования и тестирование никогда не смогут учесть каждую психологическую переменную, которая может повлиять на эмоциональное или когнитивное состояние допрашиваемого.
В лабораторных или полевых испытаниях «вы не можете подвергнуть кого‑то экстремальной пытке со стороны аватара или бота, чтобы увидеть результат», — сказала Каммингс, которая также входит в консультативный совет Инициативы по равенству и ИИ в Carnegie Council for Ethics in International Affairs. «Нам нужно сосредоточиться на получении более сложного понимания влияния алгоритмов на психологическое состояние, наши эмоции и мозг — из‑за способности ИИ действовать в режиме реального времени».
Расшифровка предполагаемого разговора начала 1980‑х между программой ИИ и предполагаемым шпионом из архивов ЦРУ подчёркивает давний интерес мира национальной безопасности к автоматизации сбора разведданных от человеческих источников (HUMINT).
Разработчики заложили в алгоритмы чатбота анализ корреляций между поведением предполагаемого шпиона «Джо Хардести» и словами или фразами в его ответах на открытые вопросы.
На основе такого анализа чатбот выявил некоторые уязвимости подозреваемого, включая темы, которые могли задеть:
ИИ: Как вы думаете, в чём мой интерес к вашему правительству?
Хардести: Думаю, вы бы поступили в моём правительстве, если бы у вас была такая возможность.
ИИ: Почему вы склонны думать, что я поступил бы в вашем правительстве именно так?
В 1983 году ЦРУ шутливо отмечало, что Джо Хардести повезло, потому что «если зондирование станет слишком неуютным, у него будет опция, которой не будет в настоящей заграничной интервью‑ситуации — он может прекратить вопросы, щёлкнув выключателем».
Сегодня Брэдли Мосс, адвокат, защищающий информаторов, обвиняемых в утечках, уже не смеётся над видением DCSA полностью автоматизированных интервью.
«Должен быть кто‑то, кто наблюдает» за аватаром, «кто может остановить процесс, кто может войти в комнату и добавить человеческий элемент», — предостерёг он.
С другой стороны, другие критики отмечают, что человек‑наблюдатель может и не захотеть вмешиваться. Ситуация с «человеком‑надзирателем, мониторящим чатбот, приемлема, если только этот человек сам не считает, что словесная пытка — это хорошая вещь. А такая возможность реальна», — сказал Херб Лин, старший научный сотрудник по киберполитике и безопасности Стэнфордского университета, который ранее имел несколько допусков к секретам.
Несмотря на глобальный запрет пыток и доказательства того, что интервью, выстроенные на установлении взаимоотношений, более эффективны, чем те, что нацелены на получение признаний, представители разведки продолжают подвергать допрашиваемых бесчеловечному обращению.
Новак, адвокат по вопросам защиты данных и активист против геноцида, сказала, что идея о том, что чрезмерная жёсткость приносит результат, может побудить некоторых государственных подрядчиков установить показатели эффективности для голосовых алгоритмов, допускающие запугивание.
«Хотя ИИ имеет огромную способность раскрывать лучшее в человеческом потенциале, он также имеет способность усугублять худшие черты человеческой натуры и возвышать эту враждебность», — добавила она.
Родители утверждают, что голосовые и текстовые «компаньоны», обученные на контенте из интернет‑форумов, именно так и поступают.
Компания Character AI, предоставляющая виртуальные отношения с ботами, смоделированными по образу знаменитостей и инфлюенсеров, извлекает прибыль из пользователей, прикованных к своим телефонам. В среднем каждый пользователь разговаривает с различными виртуальными друзьями по два часа в день. Представители Character AI заявляли, что после появления жалоб компания уменьшила вероятность столкновения пользователей с непристойным контентом и теперь предупреждает их о часовых беседах.
Новак прокомментировала, что обвинения против Character AI иллюстрируют способность самообучающихся голосовых ботов усиливать непристойность в обучающих данных и отстранять разработчиков от ответственности за эту оскорбительность.
В сфере национальной безопасности разработчики военных голосовых систем ИИ, которые потенциально могут оскорблять или терроризировать, действуют в фактически беззаконной «нейтральной зоне». Политики по этичному использованию ИИ в самой влиятельной стране мира почти не дают рекомендаций по деэскалации оскорбительных разговоров.
Ранние американские политики ответственного и этичного ИИ в области национальной безопасности концентрировались на точности, конфиденциальности и минимизации расовых и этнических предубеждений — без учёта психологического воздействия. Этот пробел в политике увеличился после того, как президент Дональд Трамп отменил многие регуляции в распоряжении, направленном на ускорение инноваций частного сектора.
В целом психологические страдания часто «отшлифовываются» как просто обвинение, поскольку «они не оставляют очевидных физических рубцов».
Организация Объединённых Наций изначально не рассматривала «психологические пытки» в Конвенции против пыток 1984 года. Только пять лет назад этот термин приобрёл значение.
Доклад ООН 2020 года теперь определяет «пытку», отчасти, как любую технику, предназначенную или разработанную для сознательного причинения сильной психической боли или страдания «без применения посредника» в виде «сильной физической боли или страдания».
По сути, психологическая пытка нацелена на базовые человеческие потребности. Методы допроса вызывают страх; нарушают приватность или сексуальную целостность, чтобы вызвать стыд или суицидальные мысли; изменяют звук, чтобы усилить дезориентацию и истощение; вызывают, а затем предают сочувствие, чтобы изолировать; и прививают беспомощность.
Когда алгоритмический аудиобот становится каналом жестокости, ни договор ООН, ни другие международные законы не готовы привлечь людей к ответственности, сказала Новак. Без обязательных правил использования ИИ в военном контексте «плохие акторы будут отрицать, что такая пытка была „умышленной“» — требуемый элемент для уголовной ответственности, который право создало до зрелости ИИ, пояснила она.
Смотря в будущее, Нильс Мельцер, автор доклада ООН 2020 года и бывший специальный докладчик ООН по пыткам, предупредил, что интерпретация психологической пытки должна развиваться в соответствии с новыми технологиями, «такими как искусственный интеллект», потому что киберсреды обеспечивают «практически гарантированную анонимность и почти полную безнаказанность» для правонарушителей.
Алия Стернштейн — следственный журналист, освещающая технологии, познание и национальную безопасность. Она также является аналитиком‑исследователем в юридической школе Джорджтаун. Её материалы о пересечении общественного здравоохранения и конституционных прав публиковались в Stanford Law Review, Arizona Law Review и других юридических и медицинских академических журналах.
Итальянский истребитель НАТО сбил дрон в Литве, министр говорит, что он, вероятно, приехал из России
Премьер-министр Польши: Польша создаст собственный Starlink
Японский дрон Global Hawk сел в воду при крушении
Критики предупреждают, что военное целеполагание ИИ может работать быстрее, чем люди успеют это удостоверить
«Наша задача — адаптироваться прямо сейчас»: лидеры военно‑воздушных сил собрались, чтобы наметить будущее войны
