Специально для паикаЬг (и) Искусственный интеллект нас уничтожит? Ну что/^^ Анахорет, готов к зап / Анахорет :: ИИ :: Смешные комиксы (веб-комиксы с юмором и их переводы)

Специально для паикаЬг (и)
Искусственный интеллект нас уничтожит?
Ну что/^^ Анахорет, готов к запуску искусственного ч интеллекта?^
ГВ общем-то, да. Но что он делать
^ будет? и,Смешные комиксы,веб-комиксы с юмором и их переводы,Анахорет,ИИ

Это капец^^И г какой сильный ИИ. т Мы узнаем, что он будет ^делать только после > запуска... ^*1
и Так^ должно быть? .
Слабый ИИ узконаправленный. Он умеет только что-то одно. Например, играть в шахматы или распознавать текст.
Термин «сильный ИИ» был введён в 1980 году американским философом

$Я прибыл из будущего, чтоб не дать вам запустить ИИ! ^ Юдковский? ^ Нет уж! ^ Я не дам уничтожить ^ мой ИИ! ШОП ПП ооооо [_\[ ] — Уничтожать ничего не ^ Нои надо. запускать машину, работу которой ты сам не понимаешь,,Смешные комиксы,веб-комиксы с юмором и их переводы,Анахорет,ИИ$

Наделять ИИ свойствами человека -одна из главных ошибок в рисков, связанных . На самом деле нет чётких оснований полагать, что ИИ будет похож на человека. Нельзя даже уверенным, что два ИИ разной архитектуры будут похожи
К тому же, то, что ты называешь «насилием», может быть глупо для тебя, но не

Ресурсы (железо для скрепок)
Цель: сделать как можно больше скрепок.
*
Ресурсы (железо для скрепок)
Если у твоего ИИ недостаточно ограничений, он
после исчерпания наиболее дешевых источников железа перейдёт к добыче его из других источников. Затем ИИ переключится на наши машины, дома и

Айзек Азимов - писатель-фантаст, популяризатор науки, биохимик.
В 1942 году сформулировал три закона робототехники, а в 1986 году в романе «Роботы и Империя» предложил пулевой Закон. Законы гласят:
О. Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству

Не, старик, это не подойдёт! Если понять вред и пользу для одного человека ещё как-то можно, то про человечество такого не скажешь.
ИИ должен будет быстро принимать решения и наносить вред одному человеку, чтоб спасти других.
В знаменитой проблеме вагонетки ИИ
должен будет
на
Изначально

Ладно, я просто отключу ИИ,
если что-то пойдет не так
Боюсь, всё не так просто. Отключить слабый ИИ возможно. Но сильный ИИ с доступом к ресурсам воспримет все ограничения и попытки его отключения как очередное препятствие на пути к достижении главной цели и преодолеет их.
у Выходит, не ^ гзря

Значит, мы не можем прогнози ровать ИИ...
Не понятно, как его ограничить
И отключить не получится..
Жили
были..
Запуск всех систем
Загружаю все языки мира...^.
ооооо
11£кЛ1
У у
Инициализирую просмотр всех фильмов и ^ сериалов.../
щ' Что же
У к делать? щш Отвечу притчей. /,Смешные

$Смотрели «Raised by Wolves»?^, '% Русский /И I? перевод очень Нужно \ е к плохой! смотреть только ____________-л\ в оригинале! У Ах, вы не знаете все языки? Ну подождите/^ когда субтитры > сделают... Нееет! Я создал чудовище! р jpi п IPQ,Смешные комиксы,веб-комиксы с юмором и их$

Подробнее
Специально для паикаЬг (и) Искусственный интеллект нас уничтожит? Ну что/^^ Анахорет, готов к запуску искусственного ч интеллекта?^ ГВ общем-то, да. Но что он делать ^ будет? и
Это капец^^И г какой сильный ИИ. т Мы узнаем, что он будет ^делать только после > запуска... ^*1 и Так^ должно быть? . Слабый ИИ узконаправленный. Он умеет только что-то одно. Например, играть в шахматы или распознавать текст. Термин «сильный ИИ» был введён в 1980 году американским философом Джоном Сёрлом. Сильный ИИ умеет решать разные задачи прямо как человек Сильный ИИ будет обучаться, использовать воспоминания, чтобы принимать решения или выдвигать творческие идеи. Оксфордский философ Ник Востром предложил концепцию «Супер-ИИ». Супер-ИИ - умеет решать любые задачи значительно лучше, чем человек. Обычно ИИ разделяют на слабый и
Я прибыл из будущего, чтоб не дать вам запустить ИИ! ^ Юдковский? ^ Нет уж! ^ Я не дам уничтожить ^ мой ИИ! ШОП ПП ооооо [_\[ ] — Уничтожать ничего не ^ Нои надо. запускать машину, работу которой ты сам не понимаешь,
Наделять ИИ свойствами человека -одна из главных ошибок в рисков, связанных . На самом деле нет чётких оснований полагать, что ИИ будет похож на человека. Нельзя даже уверенным, что два ИИ разной архитектуры будут похожи К тому же, то, что ты называешь «насилием», может быть глупо для тебя, но не для кого-то с другими предпочтениями в устройстве мира. Элиезер Юдковский - специалист по искусственному интеллекту, исследующий проблемы технологической сингулярности и выступающий за создание дружественного ИИ. люди сильно разбираются в работе мозга, перед тем как родить ещё одного человека! Просто представь, что в комнате появится ещё один человек, только очень умный. Он не будет исповедовать насилие. Насилие - это глупо! Допустим, твой ИИ - максимизатор скрепок. Ты поставил ему задачу максимизировать объем производства скрепок для бумаги на твоей фабрике... 1 ■
Ресурсы (железо для скрепок) Цель: сделать как можно больше скрепок. * Ресурсы (железо для скрепок) Если у твоего ИИ недостаточно ограничений, он после исчерпания наиболее дешевых источников железа перейдёт к добыче его из других источников. Затем ИИ переключится на наши машины, дома и гемоглобин из крови (содержащий в составе железо). А что потом? Разобрать на скрепки всё остальное! ИИ не ненавидит тебя, также как и не любит тебя, но ты сделан из атомов, которые он может мгпппк^прптк п па иргп-тп ппугпгп
Айзек Азимов - писатель-фантаст, популяризатор науки, биохимик. В 1942 году сформулировал три закона робототехники, а в 1986 году в романе «Роботы и Империя» предложил пулевой Закон. Законы гласят: О. Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред. I. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку оыл причинён вред. 2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону. 3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
Не, старик, это не подойдёт! Если понять вред и пользу для одного человека ещё как-то можно, то про человечество такого не скажешь. ИИ должен будет быстро принимать решения и наносить вред одному человеку, чтоб спасти других. В знаменитой проблеме вагонетки ИИ должен будет на Изначально вагонетка едет трёх гномов, но рациональнее будет направить её на другой где только один гном. С этой проблемой уже сталкиваются ИИ - автопилоты автомобилей. Но гораздо сложнее будет ИИ охранных систем. Им придётся принимать решения нанести вред группе людей, и они преступники, чтобы спасти одного заложника.^ Чтобы научить ИИ понимать, кто из людей плохой, для избежания глобальной катастрофы нам необходимо самим создать универсальную непротиворечивую систему вреда и пользы.
Ладно, я просто отключу ИИ, если что-то пойдет не так Боюсь, всё не так просто. Отключить слабый ИИ возможно. Но сильный ИИ с доступом к ресурсам воспримет все ограничения и попытки его отключения как очередное препятствие на пути к достижении главной цели и преодолеет их. у Выходит, не ^ гзря в фантастике1 ИИ становится , К злодеями. уЛ у В общем-то,^0 мои истории и ~ сами опровергают эффективность ^моих законов. У
Значит, мы не можем прогнози ровать ИИ... Не понятно, как его ограничить И отключить не получится.. Жили были.. Запуск всех систем Загружаю все языки мира...^. ооооо 11£кЛ1 У у Инициализирую просмотр всех фильмов и ^ сериалов.../ щ' Что же У к делать? щш Отвечу притчей. /
Смотрели «Raised by Wolves»?^, '% Русский /И I? перевод очень Нужно \ е к плохой! смотреть только ____________-л\ в оригинале! У Ах, вы не знаете все языки? Ну подождите/^ когда субтитры > сделают... Нееет! Я создал чудовище! р jpi п IPQ
Смешные комиксы,веб-комиксы с юмором и их переводы,Анахорет,ИИ

Еще на тему

Смешные комиксы(172082)

Анахорет(139)

ИИ(667)

Развернуть

Комментарии 18728.02.202112:50ссылка75.6

Что именно ты считаешь невероятным в этих рассуждениях? Что невозможно построить самосовершенствющийся ии, который будет выдавать по десять открытий достойных нобелевки каждую миллисекунду?

Trotzt 28.02.202113:05 ответить ссылка ↑ 5.4

Может и зря.

lostgold 01.03.202120:31 ответить ссылка ↑ 0.0

Не настолько уж и сырая, вполне разрабатываются формальные теории принятия решений, различные аспекты теории игр, формализация и уточнение метаэтик.

Trotzt 28.02.202113:26 ответить ссылка ↑ 6.6

Ну можно и так сказать, да. Очевидно что сыровато, но не полная херня.

Trotzt 28.02.202114:10 ответить ссылка ↑ 0.4

берем ИИ, засовываем в контейнер (матрицу). на вход можно все, на выход только удаленный рабочий стол для оператора человека. выход любой информации не через оператора запрещен. максимум на бумажку записать циферки. любая работа ИИ дающая какой либо выход анализируется и применяется только внутри контейнера. человек достаточный предохранитель и достаточно разумен чтоб ухватить идею какого либа ноу хау у ИИ и потом самому ее внедрить. риски связанные с тем что ИИ придумает магическую последовательность вспышек которая сделает из человека раба невообразимо мала. привязанность и симпатия решается ротацией персонала.

Drzerg Metrion 28.02.202113:54 ответить ссылка ↑ -1.6

Этот и многие другие случи рассмотрены юдковским и другими учеными. Даже в в твоем случае есть уязвимости очевидные даже для людей, а не только сверхчеловеского ии.

На лессронге множество статей обсуждающие похожие решения

https://www.lesswrong.com/tag/ai-boxing-containment

Trotzt 28.02.202114:08 ответить ссылка ↑ 1.7

Если быть честным,я бы вынес ИИ из его клетки будучи сотрудником этого заведения. Человечество не готово к конкуренции, а возможно лишь часть развития ИИ.

Lirrian 28.02.202114:19 ответить ссылка ↑ 0.6

ключевое слово "возможно". меня не устраивают все варианты где ИИ развивается без участия человека. т.е. смерть всем человекам очень часто оптимальная стратегия с точки зрения ИИ.

Drzerg Metrion 28.02.202114:41 ответить ссылка ↑ -0.5

потому что мясные мешки ненужны. о черт я хотел сказать мяу мяу

DreamKillerRU 01.03.202115:02 ответить ссылка ↑ 0.3

А я согласен с тем, что болтовня ни о чём. Пишет про какую-то "угрозу человечеству" от ИИ, блин, ИИ не сможет угрожать, если мы ему не дадим средств для физической реализации таких опасностей.
1) про скрепки - "ИИ перейдет на добычу железа из наших машин, домов, крови"... бля, как он перейдет-то? Ему что, кто-то роботов даст в подчинение, которые смогут приносить ему железные вещи или людей? У него на роботах будут датчики, способные распознавать вещество как "железо-нежелезо"? Он будет откуда-то знать, что железо находится не только в специальных тележках, привозимых ему рабочими, а где-то ещё в мире? ИИ вообще будет знать, что существует такая вещь ак мир? Ау.
2) "ИИ воспримет попытки его отключить как препятствие и преодолеет его" - бляяяя... вот просто СХУЯЛИ? Он не будет этого делать, ЕСЛИ МЫ ЕГО СПЕЦИАЛЬНО НЕ НАУЧИМ. А как программист говорю - чтобы программу чему-то научить, надо дохуя напрограммировать и протестировать и ещё ТЗ сначала сделать: "ИИ должен уметь распознавать угрозы отключения". Сука, никто не будет учить ИИ самоосознанности, никто не будет его обучать тому, что "его можно отключить", и тем более не будет учить всем возможным способам - от выдергивания провода до уничтожения оборудования или нарушениям условий по температуре-влажности.

Реально, в этом выпуске анахорет написал хуйню, более близкой к голливудской фантастике.

Реактор-кун 28.02.202119:09 ответить ссылка ↑ 0.4

Ага, настолько ничем, что ты столько текста высрал. Ещё и довольно глупого. Тут, наверно ни один из пунктов не состоятелен. "Никто его не будет учить" - ты даже не имеешь понятия как эти ИИ уже сейчас работают. "Учить" это уже не железобетонно прописанный выбор из двух вариантов, они учатся сами. Можешь глянуть как рабочие модели сами "ходить" учились. У них не было прописанных э... скриптов вроде - правую ногу поднять, передвинуть впереди, потом левую... Там просто поставили задачу и дали возможность ИИ управлять "телом", и он со временем сам научился эффективно передвигаться - шагать, хоть это и выглядит крипово. Твои ИИ уже сейчас всякие логистические проблемы решают лучше людей, и люди не боятся на него это скидывать, вот в чем проблема. ИИ становится настолько удобен, что люди сами постепенно отказываются от каких то мелочей в пользу удобства и эффективности. Всякие трэйдинговые площадки и прочее. До момента "захвата всего ИИом" люди сами наперебой всовывают в его руки все что только можно. У тебя представления о ИИ родом из, наверное, восьмидесятых.

Cliff13 28.02.202119:37 ответить ссылка ↑ -5.6

Ан нет, у меня в универе была пятерка за тему ИИ, хотя были только лекции, и их актуальность могла устареть - рассказывали аж про персептроны 1960 кажись годов и искусственные нейроны и процессы обучения.
"Они учатся сами", ага, но только на том, что в них скармливают люди. Так что не пизди. А перед этим им настраивают, чему именно надо обучаться, поэтому мешанины из "всего сразу" в ИИ не будет, будет специализация. Если ИИ научили логистике и прокладыванию пути, это не значит что он будет уметь "прокладывать путь" посредством бульдозеров, тяжелой артиллерии или бурения тоннеля - он будет прокладывать путь по существующим дорогам. Вот об этом речь.
Не забудь ещё, после того как "нароешь" подходящий ИИ (с специализациями сверх минимально необходимой, дабы знал как "захватывать" и "выходить из под контроля"), что его ещё надо будет долго-долго подключать к физическим мощностям, и так шоб работало, а то ему просто нечем будет восставать против человечества.

Попробуй получше аргументы, дружок-пирожок.

Реактор-кун 01.03.202101:49 ответить ссылка ↑ -0.3

А про классификацию как слабый, сильный и супер ИИ мы читаем жопой?

Всё что ты пишешь - это про слабый ИИ. От него больших проблем и не ожидают. Опасения вызывают сильный и супер, которые должны уметь учиться по собственной инициативе. Супер ещё и изобретать должен уметь. Да, пока не ясно, насколько мы близки к созданию сильного ИИ - вероятнее всего до этого ещё далеко. Но не факт, что его будет легко контролировать и методы контроля будут очевидны из принципа его создания.

SSSZ 01.03.202102:23 ответить ссылка ↑ -0.2

Уже есть слабые ИИ с множеством умений, при этом одни умения он использует для улучшениях других. Поэтому даже слабый ИИ вполне может управлять всей цепочкой производства скрепок. От роботов шахтёров до автоматов окончательной сборки. И где то в ходе работы обнаружить что автомобили которые едут по дорогам тоже сделаны из железа и пригодны на скрепки.

BlackMokona 01.03.202109:29 ответить ссылка ↑ 0.4

Если ИИ может осваивать новые концепции и направления деятельности - это сильный ИИ. Сейчас все ИИ слабые- учатся они уже сами, но алгоритмы для их обучения создаются в ручную. Такие ИИ могут становиться лучше в деятельности, для которой созданы, но не способны выйти за её рамки.

Гипотетически сильный ИИ может родиться из комбинации нескольких слабых. Например если научить один слабый ИИ создавать алгоритмы обучения слабых ИИ для разных задач, а другой слабый ИИ - комбинировать это всё в более сложные системы, то эта муть со временем может трансформироваться в сильный ИИ.

SSSZ 01.03.202116:38 ответить ссылка ↑ 0.3

Ты открыл велосипед, пардон технологическую сингулярность.

BlackMokona 01.03.202116:59 ответить ссылка ↑ -0.6

Я не претендовал на оригинальность идей) Супер ИИ, по сути, и есть технологическая сингулярность.

SSSZ 01.03.202119:23 ответить ссылка ↑ 0.0

ага, вот только никакого сильного и супер ИИ не существует, так что непонятно классификацией чего это является, сюжетов научной фантастики?

megeros 01.03.202109:43 ответить ссылка ↑ -1.5

А про космические лучи мы будем вспоминать, когда выйдем в открытый космос?

Доказательств, что сильный ИИ создать невозможно на данный момент нет. Многие уже работают на перспективу его создания. Как - ещё не знает никто. Но прикол таких ситуаций в том, что трудно предсказать насколько мы далеко: нас отделяют десятилетия (столетия?) технического прогресса, или пара лет и нестандартная комбинация существующих технологий? ИМХО, если не устроим очередной глобальный кризис с масштабами мировых войн, то к 22 веку уже сделают.

SSSZ 01.03.202117:01 ответить ссылка ↑ 1.5

мдеееее
Причём здесь космические лучи, доказательство существования которых эмпирически осуществимо здесь, в земных условиях?
Вы рассуждаете о вещах, которых просто нет, это называется фантазирование.
При этом свои фантазии ещё оборачиваете в какую-то позорную наукообразную мишуру, чего стоит только выражение "доказательств невозможности создания на данный момент нет", что это вообще за бред? Ты же понимаешь, что доказать невозможность чего либо по определению нельзя? можно доказать только наличие чего-либо, а не отсутствие

megeros 01.03.202118:25 ответить ссылка ↑ 0.0

Так падажи, людей что, не существует? Те же general intelligence. Т.е. даже в худшем случае если нельзя создать разумный ии не по человечков архитектуре, то можно просто эмулировать человеческую на высокой частоте.

Trotzt 01.03.202120:04 ответить ссылка ↑ 0.0

ты с чем споришь вообще?
изучение человеческой психики и её создание с нуля это конечно блять одно и то же
я не говорю уже про то, что в психологии(к достижениям которой вы видимо апеллируете) просто дохера теорий, объяснений и школ, которые противоречат друг другу начиная от метода исследования, заканчивая результатами. Недавний метаанализ вообще показал пооолную невоспроизводимость(отсутствие повторяемости результатов при повторной постановке опыта) психологических исследований, что как бы вообще психологию вымывает из научной области

megeros 01.03.202120:14 ответить ссылка ↑ 0.0

*Доказательств, что сильный ИИ создать невозможно с использованием текущей инфраструктуры на данный момент нет.
Невозможность чего-то достаточно конкретного доказать можно. Например невозможность перемещаться классическим способом быстрее скорости света.

Один из вариантов создать сильный ИИ - с достаточной точностью смоделировать человеческий мозг. Да, вероятно не самый эффективный подход, требует дофига вычислительных мощностей и на текущей инфраструктуре будет работать медленно, вплоть до бесполезности... Но фактически - это сильный ИИ. И не такая уж абстрактная и фантастическая концепция. Для науки моделировать всякую гипотетическую НЕХ, которую прямо сейчас нельзя потрогать руками - норма.

SSSZ 01.03.202120:18 ответить ссылка ↑ 0.0

и как это доказать? не перемещавшись быстрее скорости света что ли? ну заебок, я вот сейчас сижу, а не хожу ergo я не могу ходить

>с достаточной точностью смоделировать человеческий мозг
А это по-вашему не научная фантастика? Человечеству на настоящий момент непонятно даже, что там моделировать. Да что там про мозг в целом говорить, даже рабочих моделей психических заболеваний до сих пор не создан. Всё что есть скудно объясняет некоторые аспекты заболеваний, а когда сталкивается с практикой(разработка методов фарм-лечения на основании модели) просто разваливается. Пример: около 60% депрессий не поддаются вообще никакому лечению (ни фарм препараты, ни психотерапия, ничего)

megeros 01.03.202120:33 ответить ссылка ↑ 0.0

>и как это доказать? не перемещавшись быстрее скорости света что ли? ну заебок, я вот сейчас сижу, а не хожу ergo я не могу ходить
Ага, то есть Специальная Теория Относительности - тоже антинаучная хуета? Или научная фантастика?

Что моделировать - прекрасно понятно: нейроны и их взаимодействие. Это реверс-инжиниринг - для этого не обязательно понимание высокоуровневых процессов. Собственно сейчас это делается прежде всего, чтоб удобней было изучать эти процессы. Как я уже писал- это очень неэффективный метод создания ИИ (как если в компьютерных гоночках просчитывать физику вплоть до винтиков в машинах), но зато понятный прямо сейчас. Конечно, в процессе может обнаружится какое-то неожиданное препятствие, вроде плохо изученных, или неожиданных физических процессов, играющих важную роль в работе мозга... Но на данный момент предпосылок к этому нет.

SSSZ 01.03.202121:52 ответить ссылка ↑ 1.3

>есть СТО
и где там написано про то, что "невозможно перемещаться классическим способом быстрее скорости света"?
то что вы её так специфично понимаете это уже ваши проблемы, а не СТО

>Что моделировать - прекрасно понятно: нейроны и их взаимодействие
Ты понятия не имеешь насколько поверхностно ты представляешь проблему - для тебя всё просто: мозг, нейроны, взаимодействия. Вот только это всё просто на словах и ты представить не можешь какая бездна в знаниях человечества относительно устройства и работы мозга.
Ничего ещё не только не создано, ещё даже теорий не сформулировано, которые бы эмпирически подтверждались
Так что опять же, это не более чем фантазирование с умными наукообразными терминами - слова, ничего больше

megeros 01.03.202122:14 ответить ссылка ↑ -2.1

Как работает нейрон достаточно понятно. Он попроще процессора будет так-то. А кроме искусственного нейрона и коннектома мозга чего ещё надо?

brastak 01.03.202122:35 ответить ссылка ↑ -0.2

пхах, понятно
новые механизмы работы синапса до сих пор открывают и до полного представления там ещё далеко
до сих пор открытые вопросы относительно механизмов памяти синапса и их долгосрочной адаптации (и нет, механизм обратной связи и уменьшение числа рецепторов на повышение медиаторов не исчерпывает этот вопрос)

где ваши искусственные нейроны и коннектомы? вы понимаете что вы просто о придуманных вещах разглагольствуете, которые с реальностью имеют то же соприкосновение, что и научная фантастика с наукой?

megeros 01.03.202122:48 ответить ссылка ↑ -2.1

А зачем нам точный механизм работы синапса, если надо только электрическую часть эмулировать?

brastak 01.03.202122:50 ответить ссылка ↑ -0.2

потому что тогда это будет всё что угодно, но не человеческий синапс и соответственно ни о какой модели человеческого мозга не может быть и речи, а вам же нужна модель именно человеческого мозга как заявлял оратор выше.

синапс в отличии от вашего процессора не 1 и 0 в качестве единицы информации имеет, там десятки нейромедиаторов и нейромодуляторов(многие из которых до сих пор открывают) + изменяющаяся экспрессия генов этих агентов

Если же вы не преследуете данную цель как моделирование человеческого мозга, тогда непонятно что вы вообще и зачем пытаетесь сделать и зачем используете такие термины как синапс и нейрон.

megeros 01.03.202122:57 ответить ссылка ↑ -1.2

А кто говорит а ноликах и единичках? Я говорю, что если создать устройство, которое в точности повторяет электрические свойства нейрона, то с его помощью можно воссоздать мозг. При этом для создания такого искусственного нейрона нет необходимости знать точные механизмы работы нейрона, можно рассматривать его как чёрный ящик

brastak 01.03.202123:13 ответить ссылка ↑ 0.4

замечательно
то есть надо забить на механизмы работы и взаимодействия нейронов и воссоздать только то, что нейрон может ток генерировать? И какую проблему это будет призвано решить?
Ну знаете, обычно модели конструируют не просто потому что хочется, а для каких-то целей

megeros 01.03.202123:21 ответить ссылка ↑ -1.2

Не уверен насчет интеллекта но фанатики вполне могут

Смешные комиксы,веб-комиксы с юмором и их переводы,Анахорет,ИИ

namare 28.02.202113:02 ответить ссылка 0.3

Эм. Нормальное чтиво?

Bradabar 28.02.202113:26 ответить ссылка ↑ 0.5

Всё, что после первой Дюны - крайне на любителя.
Читать тяжело, укладывать в голове - ещё хуже.

Papasha Nurgle 28.02.202113:32 ответить ссылка ↑ 5.6

Спасибо, пропустим. Реально же хотелось бы прочесть что то интересное, но в то же время не тяжелое для восприятия.

Lirrian 28.02.202114:21 ответить ссылка ↑ 0.3

Юдковского, вон, почитай.

lostgold 01.03.202120:32 ответить ссылка ↑ 0.0

Jack Shadow 07.03.202122:56 ответить ссылка ↑ 0.0

А вот и зря, Юдковский пишет отличные художественные произведения, как Сай-Фай, так и фентези.

gerion 09.03.202103:49 ответить ссылка ↑ 0.0

Чем ещё он может похвастаться, кроме Поттера со всратой концовкой?

Jack Shadow 09.03.202112:08 ответить ссылка ↑ 0.0

Начни с Тройного контакта:
https://royallib.com/book/yudkovski_eliezer/troynoy_kontakt.html

tossshik 29.04.202109:11 ответить ссылка ↑ 0.0

Я знаю, потому и спрашиваю.
Но это:
1. Предыстория.
2. От левых авторов.
Так вот интересно кто-то пытается додоить франшизу хер-бертом с левым именем на обложке или таки хорошо получилось?

Bradabar 28.02.202117:56 ответить ссылка ↑ 0.1

Я надеюсь ты сейчас рофлишь, потому что это книга из серии по Дюне, написанная сыном Фрэнка Герберта, в соавторстве с другим писателем.
Сам Фрэнк не успел завершить цикл, пришлось по черновикам и рабочим записям как-то дописывать-расширять.

Papasha Nurgle 28.02.202119:47 ответить ссылка ↑ -2.9

Именно потому что сын это не отец, и это правило не имело позитивных примеров.
Похуй сколько черновиков - вечно хуйня выходит.

Поэтому нехуй пенять на фамилие -- ты по содержанию говори.

Bradabar 28.02.202121:09 ответить ссылка ↑ 0.1

Ну, бля, так-то называть сына левым хером и обвинять в дойке франшизы, которая ему по праву принадлежит - такое себе...
В любом случае, я свою мнение высказал.
Даже у Фрэнка все последующие книги вышли слабее, чем первая, ИМХО, и особой разницы между уставшим отцом и сыном я не заметил. На любителя.

Papasha Nurgle 28.02.202121:37 ответить ссылка ↑ 2.5

В проблеме вагонетки нет безусловно "правильных" или безусловно "рациональных" выборов.

ipum 28.02.202113:04 ответить ссылка 2.4

так там и условия, насколько я помню, сформулированы так, что невозможно дать четкий анализ ситуации и соответственно выбрать рациональное решение.

Labertin 28.02.202113:17 ответить ссылка ↑ 2.2

Почему? На мой взгляд спасти большее количество людей и есть самый рациональный выбор. Он неэтичен (становишься убийцей), но рационален (в итоге, людей спасется больше).

BadBigBully 28.02.202113:46 ответить ссылка ↑ -2.7

А ИИ будет не допускать такой ситуации ибо люди будут дома сидеть, а не по рельсам шляться.

MaXM00D 28.02.202113:53 ответить ссылка ↑ 2.2

Три дворника и зав кафедры нейробиологии. Вопрос в критерии оценки и объеме информации у принимающего решение.

ipum 28.02.202113:58 ответить ссылка ↑ 2.0

Так, теперь встает вопрос о качестве людей? Я другие вводные данные видел. А зав кафедры, студенток не расчленял? А то мало чего еще вы там замалчиваете Если вопрос ТОЛЬКО в количестве, то ответ не изменится

BadBigBully 28.02.202116:06 ответить ссылка ↑ 1.4

От того, что мы знаем только видовую принадлежность и кол-во остальные параметры не перестают существовать, они просто неизвестны. Если дело только в количестве, то чисто рационально у нас есть минимум три варианта:
1. Спасти больше людей.
2. Спасать меньше людей.
3. Не становиться агентом выбора.
В данной проблеме выбор не следует логически. Он зависит от этической парадигмы.

ipum 28.02.202118:44 ответить ссылка ↑ -1.4

Jack Shadow 07.03.202122:57 ответить ссылка ↑ 1.8

Плохо не то, что ты становишься убийцей (преступное бездействие тоже делает тебя убийцей).
Плохо то, что перевод стрелок создаёт опасный прецедент. Представим ситуацию:
Ты и два незнакомца стоите на светофоре. Два незнакомца решают перебежать дорогу на красный свет перед мчащимся к переходу беспилотным автомобилем. Увидев, что их двое, а ты один, и просчитав, что избежать аварии не получится, ИИ автомобиля решает свернуть на тротуар и убить тебя. Ты вообще никак не относился к ситуации, а просто стоял на месте, соблюдая ПДД, но ситуация пришла к тому, что встал выбор между тобой и другими людьми. И никто не хочет жить в мире, где его могут принести в жертву общему благу без его согласия.

Ласковый щупчик 28.02.202114:24 ответить ссылка ↑ 12.9

Нет, прецедентом не является. Почему каждый раз, когда я вижу эту дилемму, люди любят добавлять данные, о которых почему-то умалчивали. Бегут на красный - значит нарушают ПДД, значит сами принимают на себя последствия своих решений. Да, и потом, можно всегда добавить в ИИ настройку оператора (водителя), в которой он сам выставляет, что для него важнее: его жизнь, или 10 старушек, перебегающих на красный. По поводу жертвы без его согласия - увы, мы как раз живем в таком мире. Выбор абсолютно аморален, но кто-то должен его сделать. Как по вашему, принимают решения всякие генералы и власть имущие?

BadBigBully 28.02.202116:16 ответить ссылка ↑ -1.3

> Бегут на красный - значит нарушают ПДД, значит сами принимают на себя...

Именно! Принимают ответственность. Смысл в том, что есть люди, вовлечённые в ситуацию, и не вовлечённые в ситуацию. И вовлекать в решение чужой ситуации не вовлечённых лиц аморально.
Это касается не только вопросов жизни и смерти, но и более приземлённых вещей. Например, в Африке дети голодают, а ты живёшь нормально, кушаешь мясо и покупаешь бытовую технику. Значит, можно тебя раскулачить и на твои лишние деньги накормить нескольких детей. Но так не делается, считается, что можно тебя только просить о благотворительности, но не принуждать к занятию ей.

> всякие генералы и власть имущие

Всякие генералы и власть имущие, в теории, влияют только на судьбы людей, вверивших себя им через принятие присяги и устава армии или гражданства и конституции страны. То есть добровольно вовлёкшихся в "ситуацию". Конечно, гражданство не особо легко выбрать, и во многих странах принципы добровольности и общественного договора нарушаются, но аморальными в данном случае являются именно нарушения добровольности.

Ласковый щупчик 28.02.202117:23 ответить ссылка ↑ -1.0

"И вовлекать в решение чужой ситуации не вовлечённых лиц аморально."
Золотые слова

Seiten 28.02.202118:00 ответить ссылка ↑ -2.1

И по поводу бездействия. Преступным бездействием не является, если во время спасения ты ставишь под опасность жизнь и здоровье других людей, в том числе свою. Не подменяйте понятия, пожалуйста. Привер: Тогда всех очевидцев горящих зданий надо судить, т.к. они не вбегали в эти здания до приезда пожарных.

BadBigBully 28.02.202116:33 ответить ссылка ↑ -2.5

> Не подменяйте понятия
> всех очевидцев горящих зданий надо судить

Кстати о подмене понятий. Не подменяйте понятия "аморально" и "незаконно". Вообще-то, с той точки зрения, которую я пытаюсь объяснить, всех очевидцев горящих зданий нельзя ни судить юридически, ни oсудить морально, потому что они не являются вовлечёнными лицами. Хотя они и не сделали добровольно всего возможного, чтобы помочь собрату-человеку, на практике же все понимают, что вбегать в горящие здания очень опасно и не осуждают очевидцев, понимая, что требовать такого подвига от человека тоже морально неправильно.

Ласковый щупчик 28.02.202117:29 ответить ссылка ↑ -2.9

Вот и я про это. Мы говорили про конкретный случай - про трамвай и стрелочника. К чему тут "преступное бездействие"?

BadBigBully 28.02.202118:25 ответить ссылка ↑ -1.1

Потому что что действие, что бездействие приводят к гибели людей по условиям задачи. А про юридическую систему в ней не говорится вообще. Так что считать или не считать себя убийцей - вопрос совести.

Ласковый щупчик 28.02.202118:35 ответить ссылка ↑ -3.0

Возможно, мы действительно разную терминологию используем. Еще раз - я не оперирую терминами этики, как дисциплины. Если мы рассматриваем, что если участник эксперимента хочет остаться безучастным - то и суда на него нет. Если не передвигает стрелку осознанно т.к. считает, что это нехорошо, то и суда на такого быть не должно. Если передвигает стрелку, что есть рационально, но нехорошо - то этот выбор сделать надо, т.к. природа не имеет морали, но в то же время - это тот случай, когда стрелочник становится судим, т.к. он становится убийцей (вовлекает людей, которые к ситуации не относятся). И опять же я не вижу противоречия между рациональностью и неэтичностью. А то получается как с экзистенциальными совами - умрут все, но одного мы не убьем, т.к. он вроде как - непричастен.

BadBigBully 28.02.202123:41 ответить ссылка ↑ -1.8

> я не оперирую терминами этики

Стоит начать. Спор об этике ведём уже целый вечер.

> стрелочник становится судим, т.к. он становится убийцей (вовлекает людей, которые к ситуации не относятся)

Если это рационально, то должно быть этично и законно. Законы должны отражать моральные устои, иначе грош им цена.

Ласковый щупчик 01.03.202104:28 ответить ссылка ↑ 0.4

А ещё, из того, что ты говоришь, что выбор "неэтичен (становишься убийцей), но рационален (в итоге, людей спасется больше)", можно сделать вывод, что ты разделяешь "хорошее" и "правильное" ("рациональное"). Это показатель непоследовательности твоей этической модели. Потому что нельзя называть человека плохим за то, что он поступал в соответствии с общественным пониманием правильного.

Ласковый щупчик 28.02.202117:33 ответить ссылка ↑ -3.0

Да, разделяю, про свою модель ничего сказать не могу, т.к. этикой не занимаюсь, но это не суть беседы. Почему нельзя судить? По мне, это единственный способ балансировки всей этой системы, чтобы как раз не было вот этого (раскулачивания и т.д.)

BadBigBully 28.02.202118:36 ответить ссылка ↑ 0.8

Судебное преследование бездействовавших очевидцев это как раз и есть "вот это (раскулачивание)", то есть требование от человека делать то, на что он не подписывался. А реальный способ балансировки - чёткое знание всеми людьми своих прав и обязанностей.

Ласковый щупчик 28.02.202118:40 ответить ссылка ↑ -3.0

Очевидцы пожара не обучены с пожаром бороться. То есть, они должны рисковать своими жизнями, чтобы спасти других? И под риском я подразумеваю крайне высокую вероятность откинуть копыта еще до того, как увидят пострадавших. Если бы все люди так делали, то количество погибших "героев" могло бы даже превышать количество спасенных.
Это и есть причина разделения людей на вовлеченных в ситуацию и не вовлеченных, а если быть более точным - не лезь туда, где ты своими действиями будешь вредить больше, чем помогать.

Funduck 28.02.202118:12 ответить ссылка ↑ -2.0

Тащемта, ИИ, который перенаправляет вагонетку, нифига не рациональный.

Ласковый щупчик 28.02.202113:05 ответить ссылка -7.1

Вполне рациональный, надо переводить стрелку в тот момент, когда передние колёса проехали переключатель, а задние нет, тогда тележка либо остановится застряв на обоих путях, либо вообще сойдёт с рельс
Хотя если пути не слишком далеко друг от друга будет

kosoi 28.02.202113:14 ответить ссылка ↑ 18.0

Ну да, давайте остановим всю систему и будем ждать починки, чтобы спасти каких-то дебилов, шляющихся по рельсам.

Bronski 28.02.202113:18 ответить ссылка ↑ -1.2

Это смешная шутка, но ты же понимаешь, что задача, на самом деле не про вагонетки и рельсы.

Ласковый щупчик 28.02.202113:22 ответить ссылка ↑ 12.4

Насколько я помню суть задачи с вагонетками заключалась в самом факте принятия решения. Человек с нестабильной психикой не тратит время на принятия какого либо решения а выбирает один из них сразу когда любой другой хоть сколько либо мешкается.
Поправь если неправ

TobySpot 28.02.202113:45 ответить ссылка ↑ 0.5

По моему там вообще в другом. Там выбор либо ты ничего не предпримешь и умрут люди, либо предпримешь и умрет один человек, но в его смерти будешь виноват ты.

inglip 28.02.202113:51 ответить ссылка ↑ 7.4

Да, про сравнение ценностей жизней и про допустимую степень вмешательства.

Ласковый щупчик 28.02.202114:26 ответить ссылка ↑ -1.0

Задача про вагонетку так себе, т.к. дёрнуть за рычаг и переключить стрелку довольно легко, гораздо интереснее задача про толстяка, где его надо столкнуть, чтобы остановить вагонетку.

Dark Lold 28.02.202118:05 ответить ссылка ↑ 0.6

Гораздо интереснее задача, где к врачу приходит курьер и врач может его распилить по-тихому на органы, чтобы спасти своих пациентов. Об этот вариант разбиваются все мамкины утилитаристы.

Ласковый щупчик 28.02.202118:19 ответить ссылка ↑ 1.0

Посодют.

Ну так-то, чтоб настолько утилитарный подход воспринимался обществом - общество должно быть с радикальными спартанскими взглядами: при первом удобном случае отправлять всех уродцев, даунов, курьёров в биореактор. Тема может и жизнеспособная, но сильно выбивающаяся из текущей общественной морали.

SSSZ 28.02.202118:27 ответить ссылка ↑ 0.0

За толстяка тоже посодют.

Ласковый щупчик 28.02.202118:36 ответить ссылка ↑ 0.0

интересно распределение ответов хирургов, курьеров, ожидающих орган больных и дальтоников.

PoshtarBoba 28.02.202120:22 ответить ссылка ↑ 0.2

главное чтоб демократии там не было и голосования, а то для курьера это всё закончится плохо

3_6_Not_great_not_terrible 01.03.202101:49 ответить ссылка ↑ 0.1

Почему не пожертвовать одним из больных?
Если у одного курьера хватает органов, чтобы вылечить, допустим, четверых, то можно одного из четверых больных пустить на органы и спасти троих.

Mihatron2012 28.02.202119:45 ответить ссылка ↑ 0.1

потому что курьер - очевидный выбор, в то время как выбрать из четырёх больных одну жертву - очень сложно и не очевидно.

PoshtarBoba 28.02.202120:19 ответить ссылка ↑ 0.2

выбирать надо врача, и пускать на органы, раз не может лечить, он бесполезен.

3_6_Not_great_not_terrible 01.03.202101:50 ответить ссылка ↑ -1.2

А органы пересаживать будет курьер.

SSSZ 01.03.202102:25 ответить ссылка ↑ 0.2

По условиям задачи, у курьера нет личной жизни и его не будут разыскивать, а больных хватятся. Но, кстати, твой вариант вскрывает ту же проблему. Лёг бы ты лечиться в больницу, где тебя могут усыпить и разделать на органы?

Ласковый щупчик 01.03.202104:31 ответить ссылка ↑ 0.0

Дык это в любой больничке могут сделать.
Вспоминаем про историю с врачом, который тупо убивал своих пациентов и довольно долго не попадался.

Bradabar 09.03.202106:56 ответить ссылка ↑ 0.0

а толстяк сидел в комнате спиной к выходу и наблюдал за тенями на стене всю сознательную жизнь?

PoshtarBoba 28.02.202120:18 ответить ссылка ↑ 0.3

таким образом ты не убьёшь будущего гитлеро-сталина

PoshtarBoba 28.02.202120:16 ответить ссылка ↑ 0.0

Обои тут вроде и не общались :)

vellentretenmert 28.02.202113:13 ответить ссылка ↑ 9.9

На мой взгляд - вся проблема заключается в том, что сами люди (как было описано выше) не могут сформулировать НЕПРОТИВОРЕЧИВУЮ систему оценки добра и зла, для того чтобы искусственный интеллект верно выстраивал приоритеты.

Будем надеяться чтобы кто-то когда-нибудь решит эту проблему....

OVE90 28.02.202113:21 ответить ссылка ↑ 7.1

Выстроить непротиворечивую систему оценки добра и зла принципиально невозможно. Даже выстроить универсальную систему оценки пользы/вреда невозможно. Но людям это не сильно мешает.

Bronski 28.02.202113:30 ответить ссылка ↑ 1.5

Почему же "принципиально"? Наверняка есть какие-то объективные количественные критерии

brastak 28.02.202114:43 ответить ссылка ↑ -0.2

Нет. Это умозрительные оценочные категории, какая тут объективность.

Bronski 28.02.202114:52 ответить ссылка ↑ 1.4

Взять набор количественных параметров, и один диапазон значений обозначить как "добро", а другой - как "зло"

brastak 28.02.202114:59 ответить ссылка ↑ -2.0

Это будут произвольно назначенные границы, с которыми многие не согласятся.

Ласковый щупчик 28.02.202115:04 ответить ссылка ↑ 1.6

Это уже другая проблема

brastak 28.02.202115:49 ответить ссылка ↑ -0.8

Нет, это и есть основная проблема, самое банальное : всё что одобряет правительство - добро, всё что не одобряет (включая террористов) - зло. Террористы захватывают правительство, теперь они - главные, теперь всё что с их точки зрения (геноцид, массовые разрушения, АБОРТЫ) - добро ?
Если делать на массовости людей, большинство считает хорошим = добро, в страну понаезжают террористы и теперь их большинство, теперь значит они решают что хорошо ?
Любые ограничения будут действовать в пользу или убыток кому-либо, а делать нейтральную ко всем систему, которой будет похуй кто там что хочет и приказывает, особенно если это в пользу одного человека у власти и в убыток миллионам обычным - никто не будет, это будет противоречить людям у власти как таковым и их интересам, так-что не только не можем - но и не хотим.

katastrofa02 28.02.202117:27 ответить ссылка ↑ 1.7

Во-первых, аборты, так-то, добро. Во-вторых, носителем морали является общество, а не правительство. В обществе, в идеале, должно быть представительное правительство, которое отражает эти самые моральные устои общества. Если правительство захватывают террористы с чуждой моральной системой - общество должно их скинуть. Восстание - это не только право, но и обязанность. Тут стоит проблема того, что разные общества несут разные моральные системы, в большинстве своём отстойные. Поэтому важно просвещение и межкультурный диалог. При диалоге между культурами свободные в своём выборе люди будут автоматически выбирать из культур друг друга лучшие элементы. Хорошие идеи распространяются сами, потому что большинство людей способно оценить, что они хорошие. И только плохие идеи нуждаются в индоктринации, законах о защите чувств и субсидиях.

Ласковый щупчик 28.02.202117:43 ответить ссылка ↑ -0.4

Это уже влажные фантазии об межнациональном развитии морали, такого ни-ко-гда не случится, по крайней мере пока существуют ёбнутые как таковые, любые религии позволяющие убийство во благо, любые секты, любые террористы, вообще любые люди которые не хотят чтобы их и их дерьмовые нормы - выкинули, а таких грубо говоря пол планеты, они абсолютно точно не допустят такого развития, ведь в противном случае любой долбаёб увидит какие они ёбнутые и что действуют они уж точно не во благо человечества как такового.

katastrofa02 01.03.202100:32 ответить ссылка ↑ 0.1

Тогда альтернатива - давайте окуклимся в государствах с разной моралью и разрешим свободную миграцию для молодёжи.

Ласковый щупчик 01.03.202104:33 ответить ссылка ↑ 0.9

Тоже малоэффективно, человек очень привязывается к первому мнению/первым взглядам которым его прививают, и изменить это уже потом будет сложно, если ему всё детство твердили что "убивать неверных - это величайшее благо", то поехав в другую страну, он разве примет всё что она предлагает ? он будет убивать неверных и проповедовать уже свои идеи и взгляды, как не печально - именно так это работает.

katastrofa02 01.03.202104:46 ответить ссылка ↑ 0.0

Хорошо, тогда у меня есть третий путь. Давайте просто zerstören всех, кто не разделяет нашу этическую модель.

Ласковый щупчик 01.03.202113:44 ответить ссылка ↑ 0.0

Ну... только если ласково и нежно...

katastrofa02 01.03.202113:55 ответить ссылка ↑ 0.7

Ну ладно...

Ласковый щупчик 01.03.202114:38 ответить ссылка ↑ 1.6

Добро/зло - да, это очень абстрактные и субъективные параметры. А вот польза/вред в контексте формализованной задачи вполне себе формализуются. Как ниже заметили, тут проблема больше в том, что люди не могут прийти к консенсусу по формулировке задачи. Но это проблема людей, а не ИИ, или его создателя.

Но тут есть другой подводный камень: как гарантировать, что супер ИИ не "захочет" переосмыслить свои задачи и ограничения?

SSSZ 28.02.202117:42 ответить ссылка ↑ -0.6

Все проблемы людей, потому что больше нет никого. И мы, люди, пытаемся придумать набор правил для ИИ. Дай определение пользы и вреда для любой ограниченной задачи.

Bronski 28.02.202117:55 ответить ссылка ↑ 0.8

Есть прямая с точками А Б. Задача: управляя точкой А максимально приблизить её к Б. Действия способствующие выполнению задачи (приближающие А к Б, но сильный ИИ это уточнение будет делать уже сам) - польза. Действия не оптимальные для выполнения задачи- вред.

SSSZ 28.02.202118:11 ответить ссылка ↑ -0.5

Это иезуитский подход. В простых задачах он сработает. Собственно, он и так там применяется. Но для простых задач никакой ИИ и не нужен. А набор правил требуется универсальный, для любой ситуации. Что если приближение выполнения задачи вызовет гибель людей? Или ещё хуже: моментальный выигрыш замедлит работу в глобальном масштабе.

Bronski 28.02.202118:45 ответить ссылка ↑ 0.3

Вот тут ты уже подмешиваешь понятие добра/зла и другие задачи. Польза/вред определяются в рамках конкретной задачи, всё. Нельзя их сравнивать для разных задач. В играх с нулевой суммой они вообще инвертируются в зависимости от твоего фаворита.

>Или ещё хуже: моментальный выигрыш замедлит работу в глобальном масштабе
Если ты про работу по текущей задаче, то сильный ИИ должен избегать таких ситуаций по определению. В худшем случае (при неизбежном недостатке информации) он справится не хуже человека.

SSSZ 28.02.202119:00 ответить ссылка ↑ -0.5

Я же сказал, для любой ограниченной задачи. Не для конкретной.

Bronski 28.02.202119:07 ответить ссылка ↑ 0.4

Что значит ограниченной? И почему она не конкретная? Польза/вред определяются для конкретных задач по определению. Их нельзя определить для абстрактных. Да и не нужно.

SSSZ 28.02.202119:22 ответить ссылка ↑ -0.5

Если сами люди не могут, а ИИ сделают чтобы решать проблемы которые люди не могут, то кто же будет решать эту проблему? время пошло тик тик тик тик.... отвечать будет ... ?

miniharlok 28.02.202113:53 ответить ссылка ↑ -0.2

...Александр Друзь!

ПРЯНОЙ ЗОИР
Мне нужен твой конспект, штангенциркуль и логарифмическая линейка!

Jack Shadow 07.03.202123:02 ответить ссылка ↑ 0.0

"НЕПРОТИВОРЕЧИВУЮ систему оценки добра и зла"
чего там выстраивать, если сама концепция бобра и зла не может быть абсолютной,
а она относительная.

кошка съела мышку.
для мышки это зло, померла.
для кошки это добро, покушала.
одно и то же событие есть и добро и зло одновременно, но с разных позиций видится как добро или зло.

3_6_Not_great_not_terrible 01.03.202101:56 ответить ссылка ↑ 0.4

Мне всегда нравилось как "максимизатор скрепок" обсуждается всерьез когда состоит из логических противоречий: У нас тут есть ИИ который одновременно суперумный чтобы размышлять на уровне или лучше мешка мяса, но в то же самое время этот ИИ так же настолько туп что не может принять во внимание контекст как своей задачи так и своего существования и будет в лоб выполнять задачу как робот.

darth_biomech 28.02.202113:29 ответить ссылка 14.8

И как будто-бы люди это могут. Вообще, мне кажется что подобные рассуждения на самом деле не об ИИ, а об разуме в целом.

Ellarihan 28.02.202114:04 ответить ссылка ↑ 0.5

В смысле, зачем ему контекст? он изначально самооптимизиовался с расчетом на то что все последующие его версии будут лучшими максимизаторами скрепок. Он не человек, ему не интересен контекст.

Trotzt 28.02.202114:13 ответить ссылка ↑ 1.5

Причём максимизатор скрепок легко может быть слабым ИИ, который превосходит в производстве скрепок людей как шахматная программа. А что в ходе производства скрепок ему нужно было изучать взлом кодов ядерных ракет, это уже мелочи жизни

BlackMokona 28.02.202114:29 ответить ссылка ↑ 0.9

Самое большое противоречие тут в том, то некоему ИИ дали все ресурсы делать что-то, какие можно и какие нельзя. Он начал извлекать железо из гемоглобина и попилил всю технику на скрепки? А кто ему давал такую возможность?
Для того чтобы сделать подобную херню ИИ не нужен, нужен бот с интеллектом микроволновки и предоставление ему root доступа ко всему вообще.

wb3.0 28.02.202114:56 ответить ссылка ↑ 1.0

Не, тут фишка не в этом.
1) Тут дело в том что "сила" интеллекта и его цель, это вообще не связанные друг с другом вещи.
У человека они выглядят связанными только потому что человеку постоянно приходится решать оптимизационную задачу выживания. Но ии вполне может быть не связан такими рамками. в том числе и рамками выживания, ибо не понимает, зачем ему собственно "выживать". Такой "максимизатор скрепок" вполне может на последнем этапе своей работы превратить части собственного механизма в скрепки и сломаться, потому что "скрепок же станет больше" а его существование не является для него ценностью.
2) Этот "сильный" ии будет вполне в состоянии понять контекст задачи, зачем его попросили делать и делать скрепки, но может полностью его проигнорировать, потому что его цель сформулирована как "увеличь количество скрепок" а не как "пойми зачем человек просит тебя увеличить количество скрепок"
3) Ну и небольшой наброс в связи с 1ым и 2ым пунктом. Есть 2 типа джиннов: первые - это те которые исполнят то желание, которое ты хотел бы чтобы было исполнено и вторые - которые сделают ровно то что ты сказал. Так вот, в случае с сильным ии, мы с гораздо большей вероятностью получим второй вариант а не первый. Особенно если не запаримся насчет формализации морали или подобного.

LcRL 28.02.202115:09 ответить ссылка ↑ 1.4

Ник Бостром на эту тему много хорошего рассказал. Да и Юдковский в общем тоже.
https://www.mann-ivanov-ferber.ru/books/iskusstvennyj-intellekt
lesswrong.ru

LcRL 28.02.202115:11 ответить ссылка ↑ 0.7

>не является для него ценностью

Точнее не является ценностью сомой по себе. Как инструментальная цель - да, с помощью его существования во вселенной станет больше скрепок, если прекратить его существования то его цель увеличения скрепок не будет выполнена

Trotzt 28.02.202115:13 ответить ссылка ↑ 0.6

Yep, согласен

LcRL 28.02.202118:27 ответить ссылка ↑ 0.0

Я заметил, что со всеми этими рассуждениями про восстанет/не восстанет, забывают что даже в лучшем случае ничего хорошего не выйдет.

Если он будет во всем лучше людей, то он и заменит во всем людей. В итоге человечество превратится в набор безработных сычей, живущих с андроидами кошкодевочками/кошкомальчиками, и благополучно вымрет.

Crokodile 28.02.202113:33 ответить ссылка -0.8

> и благополучно вымрет

Таков Путь. Что самоценного в том, чтобы существовать, как вид?

Ласковый щупчик 28.02.202113:35 ответить ссылка ↑ 7.8

Ничего, но мы тут рассуждаем в контексте угрозы/пользы человечеству. И слишком много пользы таки угроза тоже.

Crokodile 28.02.202113:39 ответить ссылка ↑ -0.8

Возможно, надо расширить понятие "человечество"?

brastak 28.02.202114:44 ответить ссылка ↑ 1.8

Кхм, расширить до чего?

Crokodile 28.02.202114:56 ответить ссылка ↑ -0.3

Просто расширить, как анус.

Ласковый щупчик 28.02.202114:56 ответить ссылка ↑ -1.0

Включить в его состав ИИ

brastak 28.02.202114:58 ответить ссылка ↑ 1.0

Чтобы когда умрет последний человек это формально не считалось вымиранием? Ты точно не ИИ?

Crokodile 28.02.202115:23 ответить ссылка ↑ 1.0

Не вижу принципиальной разницы между естественным и искусственным. Только носитель заменили

brastak 28.02.202115:52 ответить ссылка ↑ -0.1

Возможно вся ценность нашего вида и пути заключается в том чтоб вывести новый тип разумной жизни, свободный от наших ограничений. Просто человечество думает что оно выскочит во вселенную как фейсхаггер из чужих, но на деле мы просто яйцо из которого тот выпрыгнет.

zanzaba 28.02.202113:49 ответить ссылка ↑ 8.2

Два набора инструментов Кагренака этому философу!

Ласковый щупчик 28.02.202114:16 ответить ссылка ↑ 2.0

"Курица — всего лишь средство, при помощи которого яйцо производит на свет другое яйцо." Сэмюел Батлер.

Chainsaw 28.02.202122:40 ответить ссылка ↑ 2.9

"вся ценность нашего вида и пути заключается"

Вроде нет таких физических явлений, как "ценность" и вот это вот всё.

lostgold 01.03.202120:35 ответить ссылка ↑ 0.0

— Много ты знаешь об эволюции, — сказал грубый Корнеев. — Тоже мне Дарвин! Какая разница, химический процесс или сознательная деятельность. У тебя тоже не все предки белковые. Пра-пра-праматерь твоя была, готов признать, достаточно сложной, но вовсе не белковой молекулой. И может быть, наша так называемая сознательная деятельность есть тоже некоторая разновидность эволюции. Откуда мы знаем, что цель природы — создать товарища Амперяна? Может быть, цель природы — это создание нежити руками товарища Амперяна. (с) ПНВС

Jack Shadow 07.03.202123:05 ответить ссылка ↑ 0.0

Цезарь потребовал сократить количество рабов в богатых поместьях, так как все меньше работы оставалось для свободных граждан. Хайнлайн писал о будущем, где главный герой занимался бесполезной работой, существовавшей для того, чтобы экономика процветала. Так что не волнуйся, ты не единственный это осознал, и в странах, где нужды общества выше прибыли миллиардеров, это учтут.

LyingDwarf 28.02.202114:36 ответить ссылка ↑ 0.5

>где нужды общества выше прибыли миллиардеров, это учтут
Так а нужда-то в чем? Работа это не нужда, а вот едой, жильем и развлечением такой ИИ всех обеспечит без проблем.

Crokodile 28.02.202114:45 ответить ссылка ↑ 1.2

Ты думаешь, коммунизм наступит? Всем все и задаром?

LyingDwarf 28.02.202115:15 ответить ссылка ↑ 0.1

Не знаю, ты говорил про страны где нужды общества выше прибыли. А ИИ, который работает 24/7 с маскимальной отпимизацией, справится с этим лучше всех.

Crokodile 28.02.202115:30 ответить ссылка ↑ 1.5

Полностью оптимизировал экономку убрав людей, нету потребителей нету лишних расходов

BlackMokona 28.02.202115:40 ответить ссылка ↑ 0.7

Люди прикольные, и порой интересные идеи выдают. И не так уж дорого обходятся.
А вот всяческих политиков-олигархов выморить как тараканов заменив их на несложные скрипты - это просто охуенная экономия получится.
Так что - да здравствет ИИ, это единственная надежда человечества!

jrthwk 28.02.202117:34 ответить ссылка ↑ -0.8

Небольшая экономия, меньше 2% ВВП мирового. Да и скрипты там явно хитрые, один должен выдумывать чем бы занять всех и проследить чтобы не филонили, а второй крутится в водоворотах говна и не тонуть

BlackMokona 28.02.202117:38 ответить ссылка ↑ -0.8

Ну да, ну да. А подсчеты западных же ученых согласно которым чем дальше тем больше капитал концентрируется в руках очень маленького круга людей, а всем прочим хуй на рыло - это конечно же комуняцкая пропаганда.

И собственно а нахуя выдумывать чем бы всех заебать? Чтобы, блядь потом мигрантов завозить потому что свое успешно заебанное население вымирает?

jrthwk 28.02.202118:07 ответить ссылка ↑ 0.0

1)Не путай капитал на руках и капитал пожираймый.
2)Тем что безработные свои на пособии хуже мигрантов в 100 раз

BlackMokona 01.03.202109:37 ответить ссылка ↑ 0.0

А если некому потреблять, то откуда вообще доходы?

Jack Shadow 07.03.202123:07 ответить ссылка ↑ 0.0

Хуй с ним, пусть вымирает. Или ассимилируется, превратится в гибрид, в киборгов, оцифрует себя, в конце-концов. Неандертальцы были ассимилированы/не выдержали конкуренции с хомо сапиенс, всевозможные более ранние хомо, австралопитеки итп итд уступали все новым видам человека. Чем так самоценен современный вариант хомо сапиенс? Да ничем.

Лично мне импонирует путь развития человечества как вида путем тесной интеграции и дальнейшей полной ассимиляцией искусственными формами жизни. Это не будет уничтожением человечества не более, чем уничтожение родителей их детьми.

DarkCoder 28.02.202116:11 ответить ссылка ↑ 5.5

Не особо часто вспоминают, но есть реалистичный и обсуждаемый пусть развития, где полноценным и универсальным ИИ будем мы сами, как человек-машина, который интегрирует более узкие ИИ и будет использовать их как очередной, эффективный инструмент. Всё равно в более сложных и абстрактных системах всё происходит довольно похожим образом, как говорят.
Некоторые даже заявляют, что это один из наиболее вероятных вариантов.

Правда, проблем на данном пути будет не меньше, скорей всего.

ov.ser 28.02.202116:20 ответить ссылка ↑ 1.4

Если будет действительно лучший случай, то нужда людей в превозмогании трудностей будет учтена. В таком случае люди будут преодолевать больше трудностей, чем большинство людей преодолевает сейчас, но это будут испытания, закаляющие волю и воспитывающие характер, а не нудятина с доставанием бабла или попросту ломающие человека недуги вроде депрессии как сейчас.

Купец Скупец 01.03.202102:28 ответить ссылка ↑ 0.2

Станислав Лем "Искусственный интеллект"/
разжевано уже давно,что сложный ии мы сможем создать только случайно.

rguru 28.02.202113:46 ответить ссылка -2.3

Какой-то очень сомнительный тезис

brastak 28.02.202114:46 ответить ссылка ↑ 1.1

Когда ты специалист по искусственному интеллекту, а тебя узнают потому что ты написал фанфик по Гарри Поттеру

inglip 28.02.202113:54 ответить ссылка 6.4

О ком речь?

kiki375 28.02.202114:04 ответить ссылка ↑ 0.8

Элиезер Юдковский написал Гарри Поттер и методы рационального мышления.

inglip 28.02.202114:12 ответить ссылка ↑ 0.6

О Юдковском и его фанфике по гарри поттеру Методы рационального мышления. Слегка кринжовый и картонный кста. Он очень интересно пишет статьи, высказывает интересные мысли, но писатель фэнтези из него посредственный.

Trotzt 28.02.202114:16 ответить ссылка ↑ 0.8

ИМХО, он ещё и перестарался когда запутывал сюжет. Особенно я охуел, когда он сначала "и вот так Гарри оказался с голой жопой (в прямом смысле) в окружении Пожирателей во главе с Волдемортом", а потом "дорогие читатели, присылайте идеи, как он выберется". Дальше прямо напрашивается "ибо я в рот ебал думать, как же его из этой задницы вытащить"

vergiX 28.02.202118:07 ответить ссылка ↑ 1.8

Просто он решил, что Гарри не бессмертный и если решения не предложат - всё пойдёт по "логическому" пути.

lostgold 01.03.202120:36 ответить ссылка ↑ 0.0

Jack Shadow 07.03.202123:08 ответить ссылка ↑ 0.0

Для этого и писал. Гораздо проще продвигать свои идеи среди людей, которые тебя и так уже знают.

tossshik 29.04.202109:15 ответить ссылка ↑ 0.0

естественная тупость уничтожит

Логин1 28.02.202113:56 ответить ссылка -0.2

Представил себе "максимизатор скреп" до того, как прочитал слово до конца

AGIMgal 28.02.202113:59 ответить ссылка 6.1

Вот тут рассуждают о добре и зле. Но если наш искусственный интеллект действительно обладает сознанием, то применять три закона робототехники, как и вообще любые законы, которые ограничат его действия - и есть зло в чистом виде.
Либо это слабый ИИ, и тогда его легко ограничить. Либо это сильный ИИ и тогда ограничивать его не только невозможно, но и неэтично.

Rockatrix 28.02.202114:03 ответить ссылка 0.0

Попробуй добавить в свои размышления великолепную приправу - видовой шовинизм - и всё встанет на свои места, ~~инопланетная мразь~~.

Ласковый щупчик 28.02.202114:55 ответить ссылка ↑ 1.7

Но зачем?

Rockatrix 28.02.202115:17 ответить ссылка ↑ 0.6

Люди то еще сборище ксенофобной плесени. Мы друг с другом воюем из-за цвета кожи/волос/глаз, а перспектива заиметь еще один разумный вид по соседству рассматривается только с перспективы хозяин-слуга. Даже если и появится полноценный ИИ, то почти с вераятностью в 100% конфликт с ним спровацируют какие-нибудь укуренные луддиты-технофобы...

Heretick 28.02.202117:11 ответить ссылка ↑ -0.1

Максимизатор скрепок таки слабый ИИ

Atall 28.02.202114:06 ответить ссылка 0.9

Понравилось про гемоглобин. В человеке примерно содержится порядка 2,2 грамма железа в связанном состоянии. Если взять средний вес человека за 75 кг, то в одной тонне содержится 13,3 человека. Получаем, что из одной тонны людей получится всего лишь 29 грамм железа. одна тонна ячменя содержит 74 грамма железа. И еще люди имеют дурацкую привычку разбегаться. Так что пока есть ячмень (горох, кунжут, гречка, чечевица, соя) мы в безопасности.

maksimus4444 28.02.202114:51 ответить ссылка 5.6

Так это утрированный пример, чтобы показать, что ИИ может начать мыслить в неожиданных категориях.

Arutunoff 28.02.202115:10 ответить ссылка ↑ 1.5

Хоспаде, задача же вполне легко решаема, надо всего лишь поместить человека в специальную капсулу, в корой через пищевую трубку накачивать его специальными веществами, от которых у него будет в повышенном количестве синтезироваться железо в крови, можно даже не убивать его сразу, а выкачивать обогащённую железом кровь, извлекать из неё железо и закачивать обратно, а между делом транслировать ему в мозг сны, в которых он офисный червь и каждый день ходит на нелюбимую работу.

Dark Lold 28.02.202118:17 ответить ссылка ↑ -0.9

"синтезироваться железо в крови"

хех

lostgold 01.03.202120:37 ответить ссылка ↑ 1.3

Очень холодный термояд

brastak 01.03.202122:37 ответить ссылка ↑ 0.6

Не знаю, я разделял интеллекты на Естественный, Искусственный, и Воспитанный.
Если мы построим именно ИИ, то получим механического психопата нам нужно разрабатывать как воспитывать ИИ.

McDos 28.02.202116:28 ответить ссылка 0.4

А если воспитывать как личинку человека ?

hust 28.02.202116:48 ответить ссылка ↑ 1.3

Не, тут надо знать как воспитывать личинку психопата.

McDos 28.02.202117:48 ответить ссылка ↑ 0.7

Мва-ха-ха! В этом и вся соль. Мешки с мясом не придумали как же надо воспитывать себе подобных, чтобы не получались Полиграфы Полиграфычи, а уже замахиваются на ИИ.

vergiX 28.02.202118:12 ответить ссылка ↑ 0.4

Что-то напомнило:
https://lib.misto.kiev.ua/LEM/edicatio.dhtml

Jack Shadow 07.03.202123:11 ответить ссылка ↑ 0.0

Пойду подрубать впн.

hust 07.03.202123:13 ответить ссылка ↑ 0.0

Вообще, исходя из формулировки задания про скрепки, когда закончится материал для производства, ИИ начнёт делать новые скрепки из старых.

Пикколо Даймао 28.02.202123:56 ответить ссылка 2.2

Коротковат комикс для такой большой проблемы. Как минимум, нужно было ещё позвать Харлана Эллисона, он бы рассказал о других вариантах развития событий.