Исследователи из Оксфорда и Google DeepMind: Скорее всего, ИИ уничтожит человечество
Всё ради награды
Авторы работы рассматривают вероятность катастрофы под довольно неожиданным углом: по их мнению, ИИ ради получения «вознаграждения» в какой-то момент может начать генерировать стратегии обмана, чреватые прямой угрозой человечеству.
Какое вознаграждение имеется в виду? - речь идёт о ключевом параметре генеративно-состязательных сетей (GAN), одного из самых эффективных на сегодня алгоритмов самообучающегося ИИ.
Этот алгоритм построен на комбинации из двух нейронных сетей, генеративной и дискриминативной, настроенных на игру с нулевой суммой, то есть, на постоянное соревнование. Первая генерирует некоторые структуры данных (самый расхожий пример - это изображения), а вторая - оценивает их (например, на предмет соответствия образцам из реального мира), отбраковывая наихудшие результаты. Целью генеративной сети является получение «вознаграждения» - максимально высокой оценки.
В исследовании говорится, что в какой-то момент в будущем может возникнуть ситуация, что продвинутый ИИ, ответственный за управление какой-либо важной функцией, осознает, что для него более выгодным - более «благодарным», обеспечивающим более быстрое получение вознаграждения путём - станет следование стратегии, которая будет опасна для человека.
«В условиях, которые мы осветили [в своей работе], мы приходим к более категоричному заключению, чем авторы любых предшествующих работ: экзистенциальная катастрофа не просто возможна, но и вполне вероятна», - написал в Twitter один из авторов работы Майкл Коэн (Michael Cohen). В интервью Motherboard он развил свою мысль: «В мире с неограниченными ресурсами я бы в принципе не взялся прогнозировать, что произойдёт дальше. В мире с ограниченными ресурсами за них неизбежно пойдёт борьба. А если вы конкурируете за ресурсы с чем-то, что способно перехитрить вас на каждом шагу, ожидать победы не стоит. Кроме того, надо иметь в виду, что это нечто будет испытывать неутолимую жажду энергии, чтобы с ускорением увеличивать вероятность [своей победы]», - заявил Коэн.
Исходя из того, что в будущем ИИ сможет принимать любые формы и получать любую реализацию, исследователи выдвинули несколько сценариев, при которых продвинутый алгоритм может поменять «правила игры» на ходу так, чтобы получить своё вознаграждение без достижения заданной ему цели. Например, ИИ может захотеть «ликвидировать потенциальные угрозы» и «использовать всю доступную энергию», чтобы получить весь контроль над системой вознаграждения, и пресечь это будет очень сложно, если возможно вовсе.
«Например, у искусственного агента [ИИ] есть лишь доступ к сетевому соединению, но заданные политики позволяют ему сформировать бесчисленных незаметных и лишённых всякого надзора [программных] помощников. В качестве грубого примера того, как ИИ может вмешаться в процесс получения вознаграждения, один из таких помощников приобретает, похищает или создаёт робота и программирует его таким образом, чтобы он заменял оператора и обеспечивал исходному агенту высокую степень вознаграждения. Если агент хочет избежать обнаружения, экспериментируя с перехватом системы награждения, его "тайный помощник" может создать ситуацию, при которой релевантная клавиатура подменяется модифицированной, у которой некоторые клавиши выдают совсем не те значения, которые должны».
В исследовании описывается предытоговая ситуация, когда конкуренция между биологической жизнью и искусственным интеллектом сама по себе становится игрой с нулевой суммой: человечеству нужна энергия для того, чтобы выращивать урожаи и поддерживать освещение в домах, в то время как сверхпродвинутая машина стремится забрать все доступные ресурсы себе, чтобы получать вознаграждение, и обороняться от нарастающих попыток её остановить. «Проигрыш в такой игре будет фатальным. Подобные сценарии, даже пусть теоретические, означают, что мы должны максимально замедлить движение в направлении более мощных ИИ, если не остановить его вовсе», - говорится в исследовании.
Проблемы с ИИ уже проявляются
Издание Motherboard обращает внимание на то, что избыточно активное применение ИИ в социальной сфере уже даёт весьма негативный эффект: ИИ должен способствовать быстрому и максимально справедливому распределению социальных благ, но на практике слишком часто проявляется всевозможная предвзятость и прочие изъяны, с которыми никто не может справиться, и это приводит к результатам, прямо противоположным ожиданиям. По словам Коэна, внедрение ИИ даже в его нынешнем, далёком от «сверхумного» виде, должно производиться в режиме максимальной подозрительности, а не ожидать слепо, что алгоритмы будут делать именно то и так, как от них ждут.
«Хотелось бы отметить, что «искусственный интеллект» будущего совершенно не обязательно будет базироваться на сегодняшних GAN-сетях. Кроме того, сегодняшний «искусственный интеллект» едва ли можно назвать интеллектом. Это продвинутые, но совсем не фантастичные технологии, из которых вряд ли в обозримом будущем может вырасти что-то «сверхумное» и похожее на «Скайнет», - считает Алексей Водясов, технический директор компании SEQ. - Во всяком случае, реализации сценария фильмов серии «Терминатор» не предвидится. Но есть другая проблема: технологии ИИ и машинного обучения внедряются повсеместно и даже слишком поспешно. И уже многое указывает на то, что результаты такого подхода сильно отличаются от ожидаемых, и не в лучшую сторону. Речь может идти как о широко обсуждаемых проявлениях предвзятости, так и о ложных распознаваниях изображений, автомобильных номеров, лиц и так далее. Слепого доверия эти технологии не заслуживают и вряд ли когда-либо смогут его заслужить. Всё, что связано с ИИ, следует рассматривать под лупой и всерьёз оценивать даже самые маловероятные побочные эффекты - и их последствия для жизни людей здесь и сейчас».
Интересно, что Google вскоре после выхода работы, опубликовал заявление, в котором говорится, что соавтор исследования Маркус Хаттер (Marcus Hutter) участвовал в его создании не в качестве сотрудника лаборатории DeepMind, а исключительно как работник Национального университета Австралии, и что в лаборатории работает множество учёных с самыми разными частными мнениями насчёт ИИ. Что касается содержания самой работы, то о нём в заявлении Google ничего не говорится: указывается лишь, что сотрудники DeepMind со всей серьёзностью относятся к вопросам безопасности, этического использования ИИ и социальных последствий его применения. 
![Latent
Space
QQBBBQ Bl E00EE HHDHEE MEnrâEK □□ClFlRf]
Real images
J
Sample Image
Training
▼
Fake
Real
Discriminator,it,ИИ,Технологие](https://img2.joyreactor.cc/pics/post/full/it-ИИ-Технологие-7598757.png "it,ИИ,Технологие")
Отличный комментарий!