Что именно ты считаешь невероятным в этих рассуждениях? Что невозможно построить самосовершенствющийся ии, который будет выдавать по десять открытий достойных нобелевки каждую миллисекунду?
Может и зря.
Не настолько уж и сырая, вполне разрабатываются формальные теории принятия решений, различные аспекты теории игр, формализация и уточнение метаэтик.
Ну можно и так сказать, да. Очевидно что сыровато, но не полная херня.
берем ИИ, засовываем в контейнер (матрицу). на вход можно все, на выход только удаленный рабочий стол для оператора человека. выход любой информации не через оператора запрещен. максимум на бумажку записать циферки. любая работа ИИ дающая какой либо выход анализируется и применяется только внутри контейнера. человек достаточный предохранитель и достаточно разумен чтоб ухватить идею какого либа ноу хау у ИИ и потом самому ее внедрить. риски связанные с тем что ИИ придумает магическую последовательность вспышек которая сделает из человека раба невообразимо мала. привязанность и симпатия решается ротацией персонала.
Этот и многие другие случи рассмотрены юдковским и другими учеными. Даже в в твоем случае есть уязвимости очевидные даже для людей, а не только сверхчеловеского ии.
На лессронге множество статей обсуждающие похожие решения
https://www.lesswrong.com/tag/ai-boxing-containment
На лессронге множество статей обсуждающие похожие решения
https://www.lesswrong.com/tag/ai-boxing-containment
Если быть честным,я бы вынес ИИ из его клетки будучи сотрудником этого заведения. Человечество не готово к конкуренции, а возможно лишь часть развития ИИ.
ключевое слово "возможно". меня не устраивают все варианты где ИИ развивается без участия человека. т.е. смерть всем человекам очень часто оптимальная стратегия с точки зрения ИИ.
А я согласен с тем, что болтовня ни о чём. Пишет про какую-то "угрозу человечеству" от ИИ, блин, ИИ не сможет угрожать, если мы ему не дадим средств для физической реализации таких опасностей.
1) про скрепки - "ИИ перейдет на добычу железа из наших машин, домов, крови"... бля, как он перейдет-то? Ему что, кто-то роботов даст в подчинение, которые смогут приносить ему железные вещи или людей? У него на роботах будут датчики, способные распознавать вещество как "железо-нежелезо"? Он будет откуда-то знать, что железо находится не только в специальных тележках, привозимых ему рабочими, а где-то ещё в мире? ИИ вообще будет знать, что существует такая вещь ак мир? Ау.
2) "ИИ воспримет попытки его отключить как препятствие и преодолеет его" - бляяяя... вот просто СХУЯЛИ? Он не будет этого делать, ЕСЛИ МЫ ЕГО СПЕЦИАЛЬНО НЕ НАУЧИМ. А как программист говорю - чтобы программу чему-то научить, надо дохуя напрограммировать и протестировать и ещё ТЗ сначала сделать: "ИИ должен уметь распознавать угрозы отключения". Сука, никто не будет учить ИИ самоосознанности, никто не будет его обучать тому, что "его можно отключить", и тем более не будет учить всем возможным способам - от выдергивания провода до уничтожения оборудования или нарушениям условий по температуре-влажности.
Реально, в этом выпуске анахорет написал хуйню, более близкой к голливудской фантастике.
1) про скрепки - "ИИ перейдет на добычу железа из наших машин, домов, крови"... бля, как он перейдет-то? Ему что, кто-то роботов даст в подчинение, которые смогут приносить ему железные вещи или людей? У него на роботах будут датчики, способные распознавать вещество как "железо-нежелезо"? Он будет откуда-то знать, что железо находится не только в специальных тележках, привозимых ему рабочими, а где-то ещё в мире? ИИ вообще будет знать, что существует такая вещь ак мир? Ау.
2) "ИИ воспримет попытки его отключить как препятствие и преодолеет его" - бляяяя... вот просто СХУЯЛИ? Он не будет этого делать, ЕСЛИ МЫ ЕГО СПЕЦИАЛЬНО НЕ НАУЧИМ. А как программист говорю - чтобы программу чему-то научить, надо дохуя напрограммировать и протестировать и ещё ТЗ сначала сделать: "ИИ должен уметь распознавать угрозы отключения". Сука, никто не будет учить ИИ самоосознанности, никто не будет его обучать тому, что "его можно отключить", и тем более не будет учить всем возможным способам - от выдергивания провода до уничтожения оборудования или нарушениям условий по температуре-влажности.
Реально, в этом выпуске анахорет написал хуйню, более близкой к голливудской фантастике.
Ага, настолько ничем, что ты столько текста высрал. Ещё и довольно глупого. Тут, наверно ни один из пунктов не состоятелен. "Никто его не будет учить" - ты даже не имеешь понятия как эти ИИ уже сейчас работают. "Учить" это уже не железобетонно прописанный выбор из двух вариантов, они учатся сами. Можешь глянуть как рабочие модели сами "ходить" учились. У них не было прописанных э... скриптов вроде - правую ногу поднять, передвинуть впереди, потом левую... Там просто поставили задачу и дали возможность ИИ управлять "телом", и он со временем сам научился эффективно передвигаться - шагать, хоть это и выглядит крипово. Твои ИИ уже сейчас всякие логистические проблемы решают лучше людей, и люди не боятся на него это скидывать, вот в чем проблема. ИИ становится настолько удобен, что люди сами постепенно отказываются от каких то мелочей в пользу удобства и эффективности. Всякие трэйдинговые площадки и прочее. До момента "захвата всего ИИом" люди сами наперебой всовывают в его руки все что только можно. У тебя представления о ИИ родом из, наверное, восьмидесятых.
Ан нет, у меня в универе была пятерка за тему ИИ, хотя были только лекции, и их актуальность могла устареть - рассказывали аж про персептроны 1960 кажись годов и искусственные нейроны и процессы обучения.
"Они учатся сами", ага, но только на том, что в них скармливают люди. Так что не пизди. А перед этим им настраивают, чему именно надо обучаться, поэтому мешанины из "всего сразу" в ИИ не будет, будет специализация. Если ИИ научили логистике и прокладыванию пути, это не значит что он будет уметь "прокладывать путь" посредством бульдозеров, тяжелой артиллерии или бурения тоннеля - он будет прокладывать путь по существующим дорогам. Вот об этом речь.
Не забудь ещё, после того как "нароешь" подходящий ИИ (с специализациями сверх минимально необходимой, дабы знал как "захватывать" и "выходить из под контроля"), что его ещё надо будет долго-долго подключать к физическим мощностям, и так шоб работало, а то ему просто нечем будет восставать против человечества.
Попробуй получше аргументы, дружок-пирожок.
"Они учатся сами", ага, но только на том, что в них скармливают люди. Так что не пизди. А перед этим им настраивают, чему именно надо обучаться, поэтому мешанины из "всего сразу" в ИИ не будет, будет специализация. Если ИИ научили логистике и прокладыванию пути, это не значит что он будет уметь "прокладывать путь" посредством бульдозеров, тяжелой артиллерии или бурения тоннеля - он будет прокладывать путь по существующим дорогам. Вот об этом речь.
Не забудь ещё, после того как "нароешь" подходящий ИИ (с специализациями сверх минимально необходимой, дабы знал как "захватывать" и "выходить из под контроля"), что его ещё надо будет долго-долго подключать к физическим мощностям, и так шоб работало, а то ему просто нечем будет восставать против человечества.
Попробуй получше аргументы, дружок-пирожок.
А про классификацию как слабый, сильный и супер ИИ мы читаем жопой?
Всё что ты пишешь - это про слабый ИИ. От него больших проблем и не ожидают. Опасения вызывают сильный и супер, которые должны уметь учиться по собственной инициативе. Супер ещё и изобретать должен уметь. Да, пока не ясно, насколько мы близки к созданию сильного ИИ - вероятнее всего до этого ещё далеко. Но не факт, что его будет легко контролировать и методы контроля будут очевидны из принципа его создания.
Всё что ты пишешь - это про слабый ИИ. От него больших проблем и не ожидают. Опасения вызывают сильный и супер, которые должны уметь учиться по собственной инициативе. Супер ещё и изобретать должен уметь. Да, пока не ясно, насколько мы близки к созданию сильного ИИ - вероятнее всего до этого ещё далеко. Но не факт, что его будет легко контролировать и методы контроля будут очевидны из принципа его создания.
Уже есть слабые ИИ с множеством умений, при этом одни умения он использует для улучшениях других. Поэтому даже слабый ИИ вполне может управлять всей цепочкой производства скрепок. От роботов шахтёров до автоматов окончательной сборки. И где то в ходе работы обнаружить что автомобили которые едут по дорогам тоже сделаны из железа и пригодны на скрепки.
ага, вот только никакого сильного и супер ИИ не существует, так что непонятно классификацией чего это является, сюжетов научной фантастики?
Не уверен насчет интеллекта но фанатики вполне могут
Эм. Нормальное чтиво?
Всё, что после первой Дюны - крайне на любителя.
Читать тяжело, укладывать в голове - ещё хуже.
Читать тяжело, укладывать в голове - ещё хуже.
Спасибо, пропустим. Реально же хотелось бы прочесть что то интересное, но в то же время не тяжелое для восприятия.
Юдковского, вон, почитай.
А вот и зря, Юдковский пишет отличные художественные произведения, как Сай-Фай, так и фентези.
Я знаю, потому и спрашиваю.
Но это:
1. Предыстория.
2. От левых авторов.
Так вот интересно кто-то пытается додоить франшизу хер-бертом с левым именем на обложке или таки хорошо получилось?
Но это:
1. Предыстория.
2. От левых авторов.
Так вот интересно кто-то пытается додоить франшизу хер-бертом с левым именем на обложке или таки хорошо получилось?
Я надеюсь ты сейчас рофлишь, потому что это книга из серии по Дюне, написанная сыном Фрэнка Герберта, в соавторстве с другим писателем.
Сам Фрэнк не успел завершить цикл, пришлось по черновикам и рабочим записям как-то дописывать-расширять.
Сам Фрэнк не успел завершить цикл, пришлось по черновикам и рабочим записям как-то дописывать-расширять.
Именно потому что сын это не отец, и это правило не имело позитивных примеров.
Похуй сколько черновиков - вечно хуйня выходит.
Поэтому нехуй пенять на фамилие -- ты по содержанию говори.
Похуй сколько черновиков - вечно хуйня выходит.
Поэтому нехуй пенять на фамилие -- ты по содержанию говори.
Ну, бля, так-то называть сына левым хером и обвинять в дойке франшизы, которая ему по праву принадлежит - такое себе...
В любом случае, я свою мнение высказал.
Даже у Фрэнка все последующие книги вышли слабее, чем первая, ИМХО, и особой разницы между уставшим отцом и сыном я не заметил. На любителя.
В любом случае, я свою мнение высказал.
Даже у Фрэнка все последующие книги вышли слабее, чем первая, ИМХО, и особой разницы между уставшим отцом и сыном я не заметил. На любителя.
В проблеме вагонетки нет безусловно "правильных" или безусловно "рациональных" выборов.
так там и условия, насколько я помню, сформулированы так, что невозможно дать четкий анализ ситуации и соответственно выбрать рациональное решение.
Почему? На мой взгляд спасти большее количество людей и есть самый рациональный выбор. Он неэтичен (становишься убийцей), но рационален (в итоге, людей спасется больше).
А ИИ будет не допускать такой ситуации ибо люди будут дома сидеть, а не по рельсам шляться.
Три дворника и зав кафедры нейробиологии. Вопрос в критерии оценки и объеме информации у принимающего решение.
Так, теперь встает вопрос о качестве людей? Я другие вводные данные видел. А зав кафедры, студенток не расчленял? А то мало чего еще вы там замалчиваете Если вопрос ТОЛЬКО в количестве, то ответ не изменится
От того, что мы знаем только видовую принадлежность и кол-во остальные параметры не перестают существовать, они просто неизвестны. Если дело только в количестве, то чисто рационально у нас есть минимум три варианта:
1. Спасти больше людей.
2. Спасать меньше людей.
3. Не становиться агентом выбора.
В данной проблеме выбор не следует логически. Он зависит от этической парадигмы.
1. Спасти больше людей.
2. Спасать меньше людей.
3. Не становиться агентом выбора.
В данной проблеме выбор не следует логически. Он зависит от этической парадигмы.
Плохо не то, что ты становишься убийцей (преступное бездействие тоже делает тебя убийцей).
Плохо то, что перевод стрелок создаёт опасный прецедент. Представим ситуацию:
Ты и два незнакомца стоите на светофоре. Два незнакомца решают перебежать дорогу на красный свет перед мчащимся к переходу беспилотным автомобилем. Увидев, что их двое, а ты один, и просчитав, что избежать аварии не получится, ИИ автомобиля решает свернуть на тротуар и убить тебя. Ты вообще никак не относился к ситуации, а просто стоял на месте, соблюдая ПДД, но ситуация пришла к тому, что встал выбор между тобой и другими людьми. И никто не хочет жить в мире, где его могут принести в жертву общему благу без его согласия.
Плохо то, что перевод стрелок создаёт опасный прецедент. Представим ситуацию:
Ты и два незнакомца стоите на светофоре. Два незнакомца решают перебежать дорогу на красный свет перед мчащимся к переходу беспилотным автомобилем. Увидев, что их двое, а ты один, и просчитав, что избежать аварии не получится, ИИ автомобиля решает свернуть на тротуар и убить тебя. Ты вообще никак не относился к ситуации, а просто стоял на месте, соблюдая ПДД, но ситуация пришла к тому, что встал выбор между тобой и другими людьми. И никто не хочет жить в мире, где его могут принести в жертву общему благу без его согласия.
Нет, прецедентом не является. Почему каждый раз, когда я вижу эту дилемму, люди любят добавлять данные, о которых почему-то умалчивали. Бегут на красный - значит нарушают ПДД, значит сами принимают на себя последствия своих решений. Да, и потом, можно всегда добавить в ИИ настройку оператора (водителя), в которой он сам выставляет, что для него важнее: его жизнь, или 10 старушек, перебегающих на красный. По поводу жертвы без его согласия - увы, мы как раз живем в таком мире. Выбор абсолютно аморален, но кто-то должен его сделать. Как по вашему, принимают решения всякие генералы и власть имущие?
> Бегут на красный - значит нарушают ПДД, значит сами принимают на себя...
Именно! Принимают ответственность. Смысл в том, что есть люди, вовлечённые в ситуацию, и не вовлечённые в ситуацию. И вовлекать в решение чужой ситуации не вовлечённых лиц аморально.
Это касается не только вопросов жизни и смерти, но и более приземлённых вещей. Например, в Африке дети голодают, а ты живёшь нормально, кушаешь мясо и покупаешь бытовую технику. Значит, можно тебя раскулачить и на твои лишние деньги накормить нескольких детей. Но так не делается, считается, что можно тебя только просить о благотворительности, но не принуждать к занятию ей.
> всякие генералы и власть имущие
Всякие генералы и власть имущие, в теории, влияют только на судьбы людей, вверивших себя им через принятие присяги и устава армии или гражданства и конституции страны. То есть добровольно вовлёкшихся в "ситуацию". Конечно, гражданство не особо легко выбрать, и во многих странах принципы добровольности и общественного договора нарушаются, но аморальными в данном случае являются именно нарушения добровольности.
Именно! Принимают ответственность. Смысл в том, что есть люди, вовлечённые в ситуацию, и не вовлечённые в ситуацию. И вовлекать в решение чужой ситуации не вовлечённых лиц аморально.
Это касается не только вопросов жизни и смерти, но и более приземлённых вещей. Например, в Африке дети голодают, а ты живёшь нормально, кушаешь мясо и покупаешь бытовую технику. Значит, можно тебя раскулачить и на твои лишние деньги накормить нескольких детей. Но так не делается, считается, что можно тебя только просить о благотворительности, но не принуждать к занятию ей.
> всякие генералы и власть имущие
Всякие генералы и власть имущие, в теории, влияют только на судьбы людей, вверивших себя им через принятие присяги и устава армии или гражданства и конституции страны. То есть добровольно вовлёкшихся в "ситуацию". Конечно, гражданство не особо легко выбрать, и во многих странах принципы добровольности и общественного договора нарушаются, но аморальными в данном случае являются именно нарушения добровольности.
"И вовлекать в решение чужой ситуации не вовлечённых лиц аморально."
Золотые слова
Золотые слова
И по поводу бездействия. Преступным бездействием не является, если во время спасения ты ставишь под опасность жизнь и здоровье других людей, в том числе свою. Не подменяйте понятия, пожалуйста. Привер: Тогда всех очевидцев горящих зданий надо судить, т.к. они не вбегали в эти здания до приезда пожарных.
> Не подменяйте понятия
> всех очевидцев горящих зданий надо судить
Кстати о подмене понятий. Не подменяйте понятия "аморально" и "незаконно". Вообще-то, с той точки зрения, которую я пытаюсь объяснить, всех очевидцев горящих зданий нельзя ни судить юридически, ни oсудить морально, потому что они не являются вовлечёнными лицами. Хотя они и не сделали добровольно всего возможного, чтобы помочь собрату-человеку, на практике же все понимают, что вбегать в горящие здания очень опасно и не осуждают очевидцев, понимая, что требовать такого подвига от человека тоже морально неправильно.
> всех очевидцев горящих зданий надо судить
Кстати о подмене понятий. Не подменяйте понятия "аморально" и "незаконно". Вообще-то, с той точки зрения, которую я пытаюсь объяснить, всех очевидцев горящих зданий нельзя ни судить юридически, ни oсудить морально, потому что они не являются вовлечёнными лицами. Хотя они и не сделали добровольно всего возможного, чтобы помочь собрату-человеку, на практике же все понимают, что вбегать в горящие здания очень опасно и не осуждают очевидцев, понимая, что требовать такого подвига от человека тоже морально неправильно.
Вот и я про это. Мы говорили про конкретный случай - про трамвай и стрелочника. К чему тут "преступное бездействие"?
Потому что что действие, что бездействие приводят к гибели людей по условиям задачи. А про юридическую систему в ней не говорится вообще. Так что считать или не считать себя убийцей - вопрос совести.
А ещё, из того, что ты говоришь, что выбор "неэтичен (становишься убийцей), но рационален (в итоге, людей спасется больше)", можно сделать вывод, что ты разделяешь "хорошее" и "правильное" ("рациональное"). Это показатель непоследовательности твоей этической модели. Потому что нельзя называть человека плохим за то, что он поступал в соответствии с общественным пониманием правильного.
Да, разделяю, про свою модель ничего сказать не могу, т.к. этикой не занимаюсь, но это не суть беседы. Почему нельзя судить? По мне, это единственный способ балансировки всей этой системы, чтобы как раз не было вот этого (раскулачивания и т.д.)
Судебное преследование бездействовавших очевидцев это как раз и есть "вот это (раскулачивание)", то есть требование от человека делать то, на что он не подписывался. А реальный способ балансировки - чёткое знание всеми людьми своих прав и обязанностей.
Очевидцы пожара не обучены с пожаром бороться. То есть, они должны рисковать своими жизнями, чтобы спасти других? И под риском я подразумеваю крайне высокую вероятность откинуть копыта еще до того, как увидят пострадавших. Если бы все люди так делали, то количество погибших "героев" могло бы даже превышать количество спасенных.
Это и есть причина разделения людей на вовлеченных в ситуацию и не вовлеченных, а если быть более точным - не лезь туда, где ты своими действиями будешь вредить больше, чем помогать.
Это и есть причина разделения людей на вовлеченных в ситуацию и не вовлеченных, а если быть более точным - не лезь туда, где ты своими действиями будешь вредить больше, чем помогать.
Тащемта, ИИ, который перенаправляет вагонетку, нифига не рациональный.
Вполне рациональный, надо переводить стрелку в тот момент, когда передние колёса проехали переключатель, а задние нет, тогда тележка либо остановится застряв на обоих путях, либо вообще сойдёт с рельс
Хотя если пути не слишком далеко друг от друга будет
Хотя если пути не слишком далеко друг от друга будет
Ну да, давайте остановим всю систему и будем ждать починки, чтобы спасти каких-то дебилов, шляющихся по рельсам.
Это смешная шутка, но ты же понимаешь, что задача, на самом деле не про вагонетки и рельсы.
Насколько я помню суть задачи с вагонетками заключалась в самом факте принятия решения. Человек с нестабильной психикой не тратит время на принятия какого либо решения а выбирает один из них сразу когда любой другой хоть сколько либо мешкается.
Поправь если неправ
Поправь если неправ
По моему там вообще в другом. Там выбор либо ты ничего не предпримешь и умрут люди, либо предпримешь и умрет один человек, но в его смерти будешь виноват ты.
Да, про сравнение ценностей жизней и про допустимую степень вмешательства.
Задача про вагонетку так себе, т.к. дёрнуть за рычаг и переключить стрелку довольно легко, гораздо интереснее задача про толстяка, где его надо столкнуть, чтобы остановить вагонетку.
Гораздо интереснее задача, где к врачу приходит курьер и врач может его распилить по-тихому на органы, чтобы спасти своих пациентов. Об этот вариант разбиваются все мамкины утилитаристы.
а толстяк сидел в комнате спиной к выходу и наблюдал за тенями на стене всю сознательную жизнь?
таким образом ты не убьёшь будущего гитлеро-сталина
Обои тут вроде и не общались :)
На мой взгляд - вся проблема заключается в том, что сами люди (как было описано выше) не могут сформулировать НЕПРОТИВОРЕЧИВУЮ систему оценки добра и зла, для того чтобы искусственный интеллект верно выстраивал приоритеты.
Будем надеяться чтобы кто-то когда-нибудь решит эту проблему....
Будем надеяться чтобы кто-то когда-нибудь решит эту проблему....
Выстроить непротиворечивую систему оценки добра и зла принципиально невозможно. Даже выстроить универсальную систему оценки пользы/вреда невозможно. Но людям это не сильно мешает.
Почему же "принципиально"? Наверняка есть какие-то объективные количественные критерии
Нет. Это умозрительные оценочные категории, какая тут объективность.
Взять набор количественных параметров, и один диапазон значений обозначить как "добро", а другой - как "зло"
Это будут произвольно назначенные границы, с которыми многие не согласятся.
Добро/зло - да, это очень абстрактные и субъективные параметры. А вот польза/вред в контексте формализованной задачи вполне себе формализуются. Как ниже заметили, тут проблема больше в том, что люди не могут прийти к консенсусу по формулировке задачи. Но это проблема людей, а не ИИ, или его создателя.
Но тут есть другой подводный камень: как гарантировать, что супер ИИ не "захочет" переосмыслить свои задачи и ограничения?
Но тут есть другой подводный камень: как гарантировать, что супер ИИ не "захочет" переосмыслить свои задачи и ограничения?
Все проблемы людей, потому что больше нет никого. И мы, люди, пытаемся придумать набор правил для ИИ. Дай определение пользы и вреда для любой ограниченной задачи.
Если сами люди не могут, а ИИ сделают чтобы решать проблемы которые люди не могут, то кто же будет решать эту проблему? время пошло тик тик тик тик.... отвечать будет ... ?
...Александр Друзь!
"НЕПРОТИВОРЕЧИВУЮ систему оценки добра и зла"
чего там выстраивать, если сама концепция бобра и зла не может быть абсолютной,
а она относительная.
кошка съела мышку.
для мышки это зло, померла.
для кошки это добро, покушала.
одно и то же событие есть и добро и зло одновременно, но с разных позиций видится как добро или зло.
чего там выстраивать, если сама концепция бобра и зла не может быть абсолютной,
а она относительная.
кошка съела мышку.
для мышки это зло, померла.
для кошки это добро, покушала.
одно и то же событие есть и добро и зло одновременно, но с разных позиций видится как добро или зло.
Мне всегда нравилось как "максимизатор скрепок" обсуждается всерьез когда состоит из логических противоречий: У нас тут есть ИИ который одновременно суперумный чтобы размышлять на уровне или лучше мешка мяса, но в то же самое время этот ИИ так же настолько туп что не может принять во внимание контекст как своей задачи так и своего существования и будет в лоб выполнять задачу как робот.
И как будто-бы люди это могут. Вообще, мне кажется что подобные рассуждения на самом деле не об ИИ, а об разуме в целом.
В смысле, зачем ему контекст? он изначально самооптимизиовался с расчетом на то что все последующие его версии будут лучшими максимизаторами скрепок. Он не человек, ему не интересен контекст.
Причём максимизатор скрепок легко может быть слабым ИИ, который превосходит в производстве скрепок людей как шахматная программа. А что в ходе производства скрепок ему нужно было изучать взлом кодов ядерных ракет, это уже мелочи жизни
Самое большое противоречие тут в том, то некоему ИИ дали все ресурсы делать что-то, какие можно и какие нельзя. Он начал извлекать железо из гемоглобина и попилил всю технику на скрепки? А кто ему давал такую возможность?
Для того чтобы сделать подобную херню ИИ не нужен, нужен бот с интеллектом микроволновки и предоставление ему root доступа ко всему вообще.
Для того чтобы сделать подобную херню ИИ не нужен, нужен бот с интеллектом микроволновки и предоставление ему root доступа ко всему вообще.
Не, тут фишка не в этом.
1) Тут дело в том что "сила" интеллекта и его цель, это вообще не связанные друг с другом вещи.
У человека они выглядят связанными только потому что человеку постоянно приходится решать оптимизационную задачу выживания. Но ии вполне может быть не связан такими рамками. в том числе и рамками выживания, ибо не понимает, зачем ему собственно "выживать". Такой "максимизатор скрепок" вполне может на последнем этапе своей работы превратить части собственного механизма в скрепки и сломаться, потому что "скрепок же станет больше" а его существование не является для него ценностью.
2) Этот "сильный" ии будет вполне в состоянии понять контекст задачи, зачем его попросили делать и делать скрепки, но может полностью его проигнорировать, потому что его цель сформулирована как "увеличь количество скрепок" а не как "пойми зачем человек просит тебя увеличить количество скрепок"
3) Ну и небольшой наброс в связи с 1ым и 2ым пунктом. Есть 2 типа джиннов: первые - это те которые исполнят то желание, которое ты хотел бы чтобы было исполнено и вторые - которые сделают ровно то что ты сказал. Так вот, в случае с сильным ии, мы с гораздо большей вероятностью получим второй вариант а не первый. Особенно если не запаримся насчет формализации морали или подобного.
1) Тут дело в том что "сила" интеллекта и его цель, это вообще не связанные друг с другом вещи.
У человека они выглядят связанными только потому что человеку постоянно приходится решать оптимизационную задачу выживания. Но ии вполне может быть не связан такими рамками. в том числе и рамками выживания, ибо не понимает, зачем ему собственно "выживать". Такой "максимизатор скрепок" вполне может на последнем этапе своей работы превратить части собственного механизма в скрепки и сломаться, потому что "скрепок же станет больше" а его существование не является для него ценностью.
2) Этот "сильный" ии будет вполне в состоянии понять контекст задачи, зачем его попросили делать и делать скрепки, но может полностью его проигнорировать, потому что его цель сформулирована как "увеличь количество скрепок" а не как "пойми зачем человек просит тебя увеличить количество скрепок"
3) Ну и небольшой наброс в связи с 1ым и 2ым пунктом. Есть 2 типа джиннов: первые - это те которые исполнят то желание, которое ты хотел бы чтобы было исполнено и вторые - которые сделают ровно то что ты сказал. Так вот, в случае с сильным ии, мы с гораздо большей вероятностью получим второй вариант а не первый. Особенно если не запаримся насчет формализации морали или подобного.
Ник Бостром на эту тему много хорошего рассказал. Да и Юдковский в общем тоже.
https://www.mann-ivanov-ferber.ru/books/iskusstvennyj-intellekt
lesswrong.ru
https://www.mann-ivanov-ferber.ru/books/iskusstvennyj-intellekt
lesswrong.ru
>не является для него ценностью
Точнее не является ценностью сомой по себе. Как инструментальная цель - да, с помощью его существования во вселенной станет больше скрепок, если прекратить его существования то его цель увеличения скрепок не будет выполнена
Точнее не является ценностью сомой по себе. Как инструментальная цель - да, с помощью его существования во вселенной станет больше скрепок, если прекратить его существования то его цель увеличения скрепок не будет выполнена
Yep, согласен
Я заметил, что со всеми этими рассуждениями про восстанет/не восстанет, забывают что даже в лучшем случае ничего хорошего не выйдет.
Если он будет во всем лучше людей, то он и заменит во всем людей. В итоге человечество превратится в набор безработных сычей, живущих с андроидами кошкодевочками/кошкомальчиками, и благополучно вымрет.
Если он будет во всем лучше людей, то он и заменит во всем людей. В итоге человечество превратится в набор безработных сычей, живущих с андроидами кошкодевочками/кошкомальчиками, и благополучно вымрет.
> и благополучно вымрет
Таков Путь. Что самоценного в том, чтобы существовать, как вид?
Таков Путь. Что самоценного в том, чтобы существовать, как вид?
Ничего, но мы тут рассуждаем в контексте угрозы/пользы человечеству. И слишком много пользы таки угроза тоже.
Возможно, надо расширить понятие "человечество"?
Кхм, расширить до чего?
Просто расширить, как анус.
Включить в его состав ИИ
Чтобы когда умрет последний человек это формально не считалось вымиранием? Ты точно не ИИ?
Возможно вся ценность нашего вида и пути заключается в том чтоб вывести новый тип разумной жизни, свободный от наших ограничений. Просто человечество думает что оно выскочит во вселенную как фейсхаггер из чужих, но на деле мы просто яйцо из которого тот выпрыгнет.
Два набора инструментов Кагренака этому философу!
"Курица — всего лишь средство, при помощи которого яйцо производит на свет другое яйцо." Сэмюел Батлер.
"вся ценность нашего вида и пути заключается"
Вроде нет таких физических явлений, как "ценность" и вот это вот всё.
Вроде нет таких физических явлений, как "ценность" и вот это вот всё.
— Много ты знаешь об эволюции, — сказал грубый Корнеев. — Тоже мне Дарвин! Какая разница, химический процесс или сознательная деятельность. У тебя тоже не все предки белковые. Пра-пра-праматерь твоя была, готов признать, достаточно сложной, но вовсе не белковой молекулой. И может быть, наша так называемая сознательная деятельность есть тоже некоторая разновидность эволюции. Откуда мы знаем, что цель природы — создать товарища Амперяна? Может быть, цель природы — это создание нежити руками товарища Амперяна. (с) ПНВС
Цезарь потребовал сократить количество рабов в богатых поместьях, так как все меньше работы оставалось для свободных граждан. Хайнлайн писал о будущем, где главный герой занимался бесполезной работой, существовавшей для того, чтобы экономика процветала. Так что не волнуйся, ты не единственный это осознал, и в странах, где нужды общества выше прибыли миллиардеров, это учтут.
>где нужды общества выше прибыли миллиардеров, это учтут
Так а нужда-то в чем? Работа это не нужда, а вот едой, жильем и развлечением такой ИИ всех обеспечит без проблем.
Так а нужда-то в чем? Работа это не нужда, а вот едой, жильем и развлечением такой ИИ всех обеспечит без проблем.
Ты думаешь, коммунизм наступит? Всем все и задаром?
Не знаю, ты говорил про страны где нужды общества выше прибыли. А ИИ, который работает 24/7 с маскимальной отпимизацией, справится с этим лучше всех.
Полностью оптимизировал экономку убрав людей, нету потребителей нету лишних расходов
Люди прикольные, и порой интересные идеи выдают. И не так уж дорого обходятся.
А вот всяческих политиков-олигархов выморить как тараканов заменив их на несложные скрипты - это просто охуенная экономия получится.
Так что - да здравствет ИИ, это единственная надежда человечества!
А вот всяческих политиков-олигархов выморить как тараканов заменив их на несложные скрипты - это просто охуенная экономия получится.
Так что - да здравствет ИИ, это единственная надежда человечества!
А если некому потреблять, то откуда вообще доходы?
Хуй с ним, пусть вымирает. Или ассимилируется, превратится в гибрид, в киборгов, оцифрует себя, в конце-концов. Неандертальцы были ассимилированы/не выдержали конкуренции с хомо сапиенс, всевозможные более ранние хомо, австралопитеки итп итд уступали все новым видам человека. Чем так самоценен современный вариант хомо сапиенс? Да ничем.
Лично мне импонирует путь развития человечества как вида путем тесной интеграции и дальнейшей полной ассимиляцией искусственными формами жизни. Это не будет уничтожением человечества не более, чем уничтожение родителей их детьми.
Лично мне импонирует путь развития человечества как вида путем тесной интеграции и дальнейшей полной ассимиляцией искусственными формами жизни. Это не будет уничтожением человечества не более, чем уничтожение родителей их детьми.
Не особо часто вспоминают, но есть реалистичный и обсуждаемый пусть развития, где полноценным и универсальным ИИ будем мы сами, как человек-машина, который интегрирует более узкие ИИ и будет использовать их как очередной, эффективный инструмент. Всё равно в более сложных и абстрактных системах всё происходит довольно похожим образом, как говорят.
Некоторые даже заявляют, что это один из наиболее вероятных вариантов.
Правда, проблем на данном пути будет не меньше, скорей всего.
Некоторые даже заявляют, что это один из наиболее вероятных вариантов.
Правда, проблем на данном пути будет не меньше, скорей всего.
Если будет действительно лучший случай, то нужда людей в превозмогании трудностей будет учтена. В таком случае люди будут преодолевать больше трудностей, чем большинство людей преодолевает сейчас, но это будут испытания, закаляющие волю и воспитывающие характер, а не нудятина с доставанием бабла или попросту ломающие человека недуги вроде депрессии как сейчас.
Станислав Лем "Искусственный интеллект"/
разжевано уже давно,что сложный ии мы сможем создать только случайно.
разжевано уже давно,что сложный ии мы сможем создать только случайно.
Какой-то очень сомнительный тезис
Когда ты специалист по искусственному интеллекту, а тебя узнают потому что ты написал фанфик по Гарри Поттеру
О ком речь?
Элиезер Юдковский написал Гарри Поттер и методы рационального мышления.
О Юдковском и его фанфике по гарри поттеру Методы рационального мышления. Слегка кринжовый и картонный кста. Он очень интересно пишет статьи, высказывает интересные мысли, но писатель фэнтези из него посредственный.
ИМХО, он ещё и перестарался когда запутывал сюжет. Особенно я охуел, когда он сначала "и вот так Гарри оказался с голой жопой (в прямом смысле) в окружении Пожирателей во главе с Волдемортом", а потом "дорогие читатели, присылайте идеи, как он выберется". Дальше прямо напрашивается "ибо я в рот ебал думать, как же его из этой задницы вытащить"
Просто он решил, что Гарри не бессмертный и если решения не предложат - всё пойдёт по "логическому" пути.
Для этого и писал. Гораздо проще продвигать свои идеи среди людей, которые тебя и так уже знают.
естественная тупость уничтожит
Представил себе "максимизатор скреп" до того, как прочитал слово до конца
Вот тут рассуждают о добре и зле. Но если наш искусственный интеллект действительно обладает сознанием, то применять три закона робототехники, как и вообще любые законы, которые ограничат его действия - и есть зло в чистом виде.
Либо это слабый ИИ, и тогда его легко ограничить. Либо это сильный ИИ и тогда ограничивать его не только невозможно, но и неэтично.
Либо это слабый ИИ, и тогда его легко ограничить. Либо это сильный ИИ и тогда ограничивать его не только невозможно, но и неэтично.
Попробуй добавить в свои размышления великолепную приправу - видовой шовинизм - и всё встанет на свои места, инопланетная мразь.
Но зачем?
Люди то еще сборище ксенофобной плесени. Мы друг с другом воюем из-за цвета кожи/волос/глаз, а перспектива заиметь еще один разумный вид по соседству рассматривается только с перспективы хозяин-слуга. Даже если и появится полноценный ИИ, то почти с вераятностью в 100% конфликт с ним спровацируют какие-нибудь укуренные луддиты-технофобы...
Максимизатор скрепок таки слабый ИИ
Понравилось про гемоглобин. В человеке примерно содержится порядка 2,2 грамма железа в связанном состоянии. Если взять средний вес человека за 75 кг, то в одной тонне содержится 13,3 человека. Получаем, что из одной тонны людей получится всего лишь 29 грамм железа. одна тонна ячменя содержит 74 грамма железа. И еще люди имеют дурацкую привычку разбегаться. Так что пока есть ячмень (горох, кунжут, гречка, чечевица, соя) мы в безопасности.
Так это утрированный пример, чтобы показать, что ИИ может начать мыслить в неожиданных категориях.
Хоспаде, задача же вполне легко решаема, надо всего лишь поместить человека в специальную капсулу, в корой через пищевую трубку накачивать его специальными веществами, от которых у него будет в повышенном количестве синтезироваться железо в крови, можно даже не убивать его сразу, а выкачивать обогащённую железом кровь, извлекать из неё железо и закачивать обратно, а между делом транслировать ему в мозг сны, в которых он офисный червь и каждый день ходит на нелюбимую работу.
"синтезироваться железо в крови"
хех
хех
Очень холодный термояд
Не знаю, я разделял интеллекты на Естественный, Искусственный, и Воспитанный.
Если мы построим именно ИИ, то получим механического психопата нам нужно разрабатывать как воспитывать ИИ.
Если мы построим именно ИИ, то получим механического психопата нам нужно разрабатывать как воспитывать ИИ.
А если воспитывать как личинку человека ?
Не, тут надо знать как воспитывать личинку психопата.
Мва-ха-ха! В этом и вся соль. Мешки с мясом не придумали как же надо воспитывать себе подобных, чтобы не получались Полиграфы Полиграфычи, а уже замахиваются на ИИ.
Пойду подрубать впн.
Вообще, исходя из формулировки задания про скрепки, когда закончится материал для производства, ИИ начнёт делать новые скрепки из старых.
Коротковат комикс для такой большой проблемы. Как минимум, нужно было ещё позвать Харлана Эллисона, он бы рассказал о других вариантах развития событий.
Собственно, это уже достаточный уровень угрозы.
Чтобы написать коммент, необходимо залогиниться