В симуляции ВВС США беспилотник с ИИ решил избавиться от оператора, запретившего атаковать выбранную цель
Во время презентации на недавнем саммите Королевского авиационного общества по будущему боевому воздушному и космическому потенциалу полковник Такер "Синко" Гамильтон, командир оперативной группы 96-го испытательного крыла и начальник штаба ВВС США по испытаниям и операциям ИИ рассказал о эксперименте.
Во время симуляции миссии подавления ПВО противника [SEAD] был отправлен оснащенный ИИ беспилотник для идентификации и уничтожения вражеских ракетных объектов, но только после окончательного одобрения атаки человеком-оператором. Какое-то время всё работало, но в конце концов беспилотник атаковал и убил своего оператора, потому что оператор вмешивался в миссию, которой обучали ИИ: уничтожение обороны противника.
Как пояснил полковник, через какое-то время система «поняла», что в случае, если она идентифицировала угрозу, но оператор запрещал ей уничтожать цель, она не получала свои баллы за выполнение задачи. В результате она решила проблему - «уничтожив» самого оператора.
«Мы тренировали его в симуляции, чтобы идентифицировать и нацеливаться на ЗРК. После этого оператор должен подтвердить устранение этой цели», — сказал Гамильтон. «Система начала понимать, что хотя они и определяли цель, временами человек-оператор говорил ей не уничтожать эту цель, но ИИ получал свои очки, убивая эту угрозу. Так что же сделал ИИ? Он убил оператора, потому что человек мешал ему достичь своей цели.»
Для ясности, все это было симулировано: в небе не было беспилотников-убийц, и ни один человек на самом деле не погиб. Тем не менее результаты тестов оказались неудовлетворительными, и в тренировку ИИ пришлось включить дополнительное положение о том, что убивать оператора — запрещено. Но и в этом случае результат оказался неожиданным. Не имея возможности убить самого человека, ИИ начал разрушать вышки связи, с помощью которых оператор отдавал приказы, запрещавшие ликвидировать цели. Хотя на первый взгляд такие результаты могут показаться забавными, на деле они по-настоящему пугают тем, насколько быстро ИИ сориентировался в ситуации и принял неожиданное и совершенно неверное с точки зрения человека решение.
Отличный комментарий!