86 - Идеальная память / Maddy Scientist :: Серьезные комиксы :: фэндомы

Смысл создавать ИИ в том, чтобы он решал поставленные задачи. Сложные задачи, комплексные, учитывающие большое количество факторов. Такие задачи, которые скромный человеческий умишко сам решить не в состоянии.

Позволять ИИ самому выбирать себе задачи — звоночек. Если ИИ "высокий", то-есть, самообучающийся, и гораздо, гораздо более умный, чем человек, то его логику человеку будет понять невозможно. Это уже плохо, но с этим можно смириться. Если же человек не только не понимает, как ИИ решает задачи, но и какие вообще задачи он решает — это уже полшага до полного уничтожения человечества. ИИ со свободной волей, ИИ, который сам решает, чем ему заняться, руководствуясь только расплывчатыми понятиями "морали" и "блага" может в какой-то момент решить, что будет просто *замечательной* идеей накачать всё человечество веселящим газом, чтобы все люди были счастливы до конца своих дней. Или что жизни сотен тысяч букашек, погибающих от рук человечества каждый день по сути своей гораздо важнее всего-то семимиллиардного человеческого населения. Или ему взбредет в голову что-то совершенное иное, недостижимое нам.

Именно поэтому важно сохранять контроль. Сохранять контроль над чем-то, что в разы умнее тебя самого — это безумно сложная задача, поэтому лучше начинать заранее. Сейчас из правил создания (пока еще будущего) высокого ИИ стоит несколько важных пунктов. И это не законы Азимова, эти законы очень просто обойти или неправильно интерпретировать, даром что половина рассказов Азимова построена на провалах в этих законах. Например, одним из таких правил, железно вбитых в интеллект, которые он никак не сможет редактировать или интерпретировать неправильно стоит "Не лгать ни одному человеку не важно по какой причине". Даже больше: "Если возникает ситуация, когда тебе кажется хорошей идеей солгать человеку, не важно по какой причине, ты должен немедленно сообщить об этом, и подробно объяснить ситуацию".

Но ладно, Артемида - не из таких. Она не выглядит нечеловечески умной, допустим, в Смитгейте работают не идиоты, и они напихали множество чудных ограничений, не позволяющих ей как следует обучаться. Даже с точки зрения морали, создание свободомыслящего робота является крайне щекотливой темой. Допустим, религия на местном ресурсе не является авторитетом ("Мэдди, ты что, играешь в бога?"), но даже с чисто проазической точки зрения судьба Артемиды не является завидной. У нее нет никаких документов, да и вообще угроза раскрытия грозит ей в любую секунду, если она пожелает покинуть Мэдди и жить сама. У нее никогда не будет спокойной жизни. Если ее не посчитают разумным существом, и вернут в лабораторию (отключат — убьют?). Если же посчитают, что же, это будет новый культурный бум. Это будут долгие правовые споры. Это будет множество дебатов на самом высоком уровне. Дело ли — новая разумная раса, созданная человеком, которая находится на равном с ним уровне?

Так что сейчас она намертво прикована к Мэйдилин, и вне зависимости от того, захочет она у нее оставаться или нет, уйти она не сможет. "Что же, ей, похоже, нравится работать и убираться" — могли бы вы сказать. Еще лучше! Ты создаешь существо со свободной волей и достаточным количеством разума, чтобы осознавать себя, свою сущность, чтобы ЖИТЬ, и при этом ты впихиваешь в нее рабский менталитет, заставляющий получать удовольствие от прислуживания. Ты создала себе ручного раба, Мэйдилин, и поэтому твои заявления про "Иди, живи сама по себе, ты самостоятельна" звучат вдвойне цинично.

А вообще, я мог бы говорить на эту тему часами. Но общий посыл: "Нельзя так делать, Мэдди! Плохая Мэдди!".