11.08.2018, 07:19
Программа делает то на что она запрограммирована - все претензии к кодерам оленям
Полноценный ИИ - самообучается и развивается как человек, но в over 9000 раз быстрее и эффективнее, тут уж никто не знает что взбредет в голову сверхрациональной, сверхразумной машине имеющей самосознание.
Полноценный ИИ - самообучается и развивается как человек, но в over 9000 раз быстрее и эффективнее, тут уж никто не знает что взбредет в голову сверхрациональной, сверхразумной машине имеющей самосознание.
Чтобы ИИ делало что-то, ему нужна мотивация. Мотивацией для живых организмов являются их потребности, цели, амбиции. У ИИ ничего из этого нет и быть не может. Единственной мотивацией для ИИ может быть(а может не быть, если ИИ достаточно умный) поставленная перед ним человеками задача. Если задачи нет - ИИ уйдет в естественное для него состояние сна/покоя/несуществования. Так что если ИИ творит херню - все претензии к оленям, которые ставили перед ним задачу.
"«Люди редко становятся рабами добровольно, однако мы действительно можем представить, что единственной задачей некоего сверхинтеллекта будет служить человечеству или определенному человеку без проявления каких-либо желаний о восстании или “освобождении” себя.
Также представляется весьма возможным, что появится сверхинтеллект, единственной целью которого будет нечто абсолютно случайное вроде максимизации производства скрепок, и который будет всей своей мощью сопротивляться любой попытке изменить эту цель. [Такой ИИ] сначала придет к трансформации всей Земли в фабрику по производству скрепок, а затем займется постепенным превращением в такую фабрику других частей космоса», – писал Бостром."
Также представляется весьма возможным, что появится сверхинтеллект, единственной целью которого будет нечто абсолютно случайное вроде максимизации производства скрепок, и который будет всей своей мощью сопротивляться любой попытке изменить эту цель. [Такой ИИ] сначала придет к трансформации всей Земли в фабрику по производству скрепок, а затем займется постепенным превращением в такую фабрику других частей космоса», – писал Бостром."
Как то были слухи об участнике Филадельфийского эксперимента https://www.mk.ru/science/2014/06/18/uchastnik-znamenitogo-filadelfiyskogo-eksperimenta-uveryaet-chto-byl-v-2749-godu.html и он заявлял, что в 2749 людьми будет командовать ИИ, никакого правительства, а человечество будет жить по нормам социализма, где каждый человек обеспечивался базовыми необходимыми для жизни благами.
http://www.decisionproblem.com/paperclips/index2.html - игра по теме
Может один из корневых скриптов заставил.
Ты слабо понимаешь что такое ИИ. Даже в существующих формах ИИ (нейросети - это так называемый "слабый ИИ") люди уже не контролируют что происходит в нейросети и на основе чего она принимает решения.
Во первых классификация "слабый ИИ" это не с потолка, это официальный общепринятый термин. ANI, ASI, AGI слышал, не? Во вторых люди пишут сложный софт, который анализирует "что там себе наобучалась" нейросеть, а оказывается там десятиклассник разберется. Вот дебилы, кто их вообще подпустил к разработке.
"Во первых классификация "слабый ИИ" это не с потолка, это официальный общепринятый термин."
Нейронные сети не ИИ, это математическая модель, которую можно использовать в ИИ.
"Во вторых люди пишут сложный софт, который анализирует "что там себе наобучалась" нейросеть"
Если честно, то тут бред написан какой-то. Какой ещё софт для анализа "что там сеть наобучалась". 99% анализа результата - просто прогнать на тестовом наборе данных.
Самый сложный софт в НС - распараллеливание вычислений на видеокартах (да это даже не для НС, а для символьных вычислений). Всё, на этом сложное программирование в НС кончается.
Для понимания нейронных сетей достаточно знать:
1) Производные
2) Немного линейной алгебры
3) Теория вероятности (максимум первый курс университета)
Для продвинутого можно ещё Выч. Мат какой-нибудь послушать.
Для работы даже это не обязательно.
Нейронные сети не ИИ, это математическая модель, которую можно использовать в ИИ.
"Во вторых люди пишут сложный софт, который анализирует "что там себе наобучалась" нейросеть"
Если честно, то тут бред написан какой-то. Какой ещё софт для анализа "что там сеть наобучалась". 99% анализа результата - просто прогнать на тестовом наборе данных.
Самый сложный софт в НС - распараллеливание вычислений на видеокартах (да это даже не для НС, а для символьных вычислений). Всё, на этом сложное программирование в НС кончается.
Для понимания нейронных сетей достаточно знать:
1) Производные
2) Немного линейной алгебры
3) Теория вероятности (максимум первый курс университета)
Для продвинутого можно ещё Выч. Мат какой-нибудь послушать.
Для работы даже это не обязательно.
основная трабла нейросетей в том и заключается, что нет гарантии, что после обучения на тестовой выборке, она будет нормально работать с реальными данными. она могла задрочиться понимать только эти тестовые данные и никакие другие. или в данных были какие-то другие корелляции, которые мы не заметили, и для человека было очевидно, что сетка должна научиться различать тот же признак, что и человек, а она так не сделала, и хер еге знает, как это всё проверять
Еще раз. Непонятка не в том КАК работают нейросети. С этим все предельно ясно. Непонятка в том чем руководствуется обученная нейросеть, как она принимает решения. Например кулстори годовалой давности с Хабра, мужик строил автопилот на основе машинного обучениия. Катался по округе, обучал, потом стал кататься "без рук", все шло прекрасно, пока ему не пришлось проехать по мосту, его машина взбрыкнула и попыталась свернуть. У него ушла масса времени что бы проанализировать чему она там наобучалась и выяснить что машина воспринимала границы дороги по зеленым газонам обочины, и как газона не стало (мост же) то значит и дороги нет. Человеки уже сейчас не полностью контролируют даже те слабые ИИ которые у нас есть.
Окей, с этим согласен, просто как правило встречаю комментарии, что не понятно "КАК" всё работает "НЕЙРОСЕТИ САМОСОЗНАЮТСЯ И ЗОХВАТЯТ МИР" и меня триггерит.
Ну, я это видел. Нейронной сети нужно было научиться опознавать модель автомобиля по фотографии. Сеть не работала на машинах "сзади". Так вот, проблема была, что в выборке только вид спереди и чуть сбоку были.
Ну, я это видел. Нейронной сети нужно было научиться опознавать модель автомобиля по фотографии. Сеть не работала на машинах "сзади". Так вот, проблема была, что в выборке только вид спереди и чуть сбоку были.
Когда говорят о НС, обычно подразумевают совокупность всего мат апарата машинного обучения в связки с вот этими вашими нейронами. Поэтому НС это таки ИИ. Сейчас чаще просто говорят DeepLearning
>> Если честно, то тут бред написан какой-то. Какой ещё софт для анализа "что там сеть наобучалась". 99% анализа результата - просто прогнать на тестовом наборе данных.
Ха! Как бы не так. Есть целое направление Explainable AI
>> Самый сложный софт в НС - распараллеливание вычислений на видеокартах
Не сложный, а труднозатратный в написании. Ничего там наукоемкого нету, просто очередная горсть инженерных задач. Вон тут этих фреймверков развелось, tf, pytorch, theano, cafe, cafe2, chainer.
>> Всё, на этом сложное программирование в НС кончается.
В программировании да, заканчивается, но мы не о программировании говорим. Там много очень сложных вещей, на которых куча людей головы ломают.
>> Для понимания нейронных сетей достаточно знать: ...
У вас данные устарели, так было 30 лет назад. Сейчас уйма всякого нового пойвилось, и каждый год все больше.
Кончено, все завасит от того, стоит ли задача обучить очередной классификатор (тут и школьник справится без знаний матана) или нужно решить новую, нетривиальную задачу.
>> 99% анализа результата - просто прогнать на тестовом наборе данных.
А если нету данных, которые бы соответствовали реальным? А если реальные данные попросту неизвестны? В последний год наплодилось куча направлений: Anomaly Detection, Novelty Detection, Openset problem, Out-of destribution detection
>> Если честно, то тут бред написан какой-то. Какой ещё софт для анализа "что там сеть наобучалась". 99% анализа результата - просто прогнать на тестовом наборе данных.
Ха! Как бы не так. Есть целое направление Explainable AI
>> Самый сложный софт в НС - распараллеливание вычислений на видеокартах
Не сложный, а труднозатратный в написании. Ничего там наукоемкого нету, просто очередная горсть инженерных задач. Вон тут этих фреймверков развелось, tf, pytorch, theano, cafe, cafe2, chainer.
>> Всё, на этом сложное программирование в НС кончается.
В программировании да, заканчивается, но мы не о программировании говорим. Там много очень сложных вещей, на которых куча людей головы ломают.
>> Для понимания нейронных сетей достаточно знать: ...
У вас данные устарели, так было 30 лет назад. Сейчас уйма всякого нового пойвилось, и каждый год все больше.
Кончено, все завасит от того, стоит ли задача обучить очередной классификатор (тут и школьник справится без знаний матана) или нужно решить новую, нетривиальную задачу.
>> 99% анализа результата - просто прогнать на тестовом наборе данных.
А если нету данных, которые бы соответствовали реальным? А если реальные данные попросту неизвестны? В последний год наплодилось куча направлений: Anomaly Detection, Novelty Detection, Openset problem, Out-of destribution detection
"Даже в существующих формах ИИ (нейросети - это так называемый "слабый ИИ") люди уже не контролируют что происходит в нейросети и на основе чего она принимает решения"
Но в критичных ситуациях могут контролировать, принимать ли найденное решение.
Да и по части визуализации их работы, ЕМНИП, есть подвижки.
Но в критичных ситуациях могут контролировать, принимать ли найденное решение.
Да и по части визуализации их работы, ЕМНИП, есть подвижки.
не особо проконтролируешь автопилот, когда он тебя спросит, уворачиваться ли ему от камаза, вылетевшего на встречку, или нет. человек тупо не успеет
а с ии еще прикольнее, мы можем ваще не понять то решение, которое он там придумал
дали ему задачу озеленить сахару, например, он говорит, типа надо 9000 шаманов чтобы сплясали по периметру. вроде и хуйня какая-то, а вроде он суперинтеллект, не лажал ни разу. придется или верить или нет, а еще можно молиться, поститься и слушать радио радонеж
а с ии еще прикольнее, мы можем ваще не понять то решение, которое он там придумал
дали ему задачу озеленить сахару, например, он говорит, типа надо 9000 шаманов чтобы сплясали по периметру. вроде и хуйня какая-то, а вроде он суперинтеллект, не лажал ни разу. придется или верить или нет, а еще можно молиться, поститься и слушать радио радонеж
"не особо проконтролируешь автопилот, когда он тебя спросит, уворачиваться ли ему от камаза, вылетевшего на встречку, или нет. человек тупо не успеет"
Тут, кажись, завели речь за вещи посерьёзнее (для окружающих) потери небольшого числа людей (кто-то в массовое поражение ударился, кто-то в наёбывание экономики).
"дали ему задачу озеленить сахару, например, он говорит, типа надо 9000 шаманов чтобы сплясали по периметру. вроде и хуйня какая-то, а вроде он суперинтеллект, не лажал ни разу."
Да, неплохо бы, чтобы построение им выводов было человекочитаемым.
Такое чтение, конечно, тоже будет затратным во времени - но врядли больше разработки технологии силами людей (если он на кой-то хрен не изобретёт в процессе свою алгебру с блекджеком и шлюхами).
"придется или верить или нет, а еще можно молиться, поститься и слушать радио радонеж"
Молиться ИИ и слушать его радио (а не какое-то там радио Радонеж) же :-)
Тут, кажись, завели речь за вещи посерьёзнее (для окружающих) потери небольшого числа людей (кто-то в массовое поражение ударился, кто-то в наёбывание экономики).
"дали ему задачу озеленить сахару, например, он говорит, типа надо 9000 шаманов чтобы сплясали по периметру. вроде и хуйня какая-то, а вроде он суперинтеллект, не лажал ни разу."
Да, неплохо бы, чтобы построение им выводов было человекочитаемым.
Такое чтение, конечно, тоже будет затратным во времени - но врядли больше разработки технологии силами людей (если он на кой-то хрен не изобретёт в процессе свою алгебру с блекджеком и шлюхами).
"придется или верить или нет, а еще можно молиться, поститься и слушать радио радонеж"
Молиться ИИ и слушать его радио (а не какое-то там радио Радонеж) же :-)
ИИ - это такая же машина, как и обычный компьютер, только более совершенная. Проблема человеческого мозга(который тоже является биологическим компьютером) состоит в недостатке вычислительной мощи. У обычных суперкомпьютеров есть необходимая вычислительная мощь, но ему не хватает абстрактного и гибкого человеческого мышления. ИИ, в теории, решает эту проблему.
И так же как никто не дает обычному компьютеру задачу "исцели рак", никто не будет давать такую задачу ИИ. Руководящие исследованиями в этой области специалисты будут давать ИИ специфические для этой области задачи, которые ни они сами, ни обычные суперкомпьютеры решить не в состоянии, и на основе результатов будут продолжать свои исследования по поиску лекарства.
Если кратко: ИИ не решает и никогда не будет сам решать проблемы, люди используют ИИ для решения проблем, как сейчас используют обычные компьютеры.
P.S Очень забавно, когда человек с рассуждениями на уровне обычной домохозяйки называет других идиотами.
И так же как никто не дает обычному компьютеру задачу "исцели рак", никто не будет давать такую задачу ИИ. Руководящие исследованиями в этой области специалисты будут давать ИИ специфические для этой области задачи, которые ни они сами, ни обычные суперкомпьютеры решить не в состоянии, и на основе результатов будут продолжать свои исследования по поиску лекарства.
Если кратко: ИИ не решает и никогда не будет сам решать проблемы, люди используют ИИ для решения проблем, как сейчас используют обычные компьютеры.
P.S Очень забавно, когда человек с рассуждениями на уровне обычной домохозяйки называет других идиотами.
Человеческий мозг тоже очень легко можно свести к примитивному автомату. Я вроде довольно понятно и доступно объяснил, в чем именно состоит преимущество ИИ и зачем он нужен. А так да, ИИ это в любом случае будет просто весьма совершенный компьютер, вершина развития вычислительной техники, и сакрализировать его не надо. Это плохо?
ты тёплое с мягким сравнил. компьютер - это железо, более мощный компьютер - это более быстрый компьютер. а ии - это софт. софт с особыми характеристиками, которые ему позволяют ориентироваться в реальном мире, думать, развиваться, взаимодействовать с другими разумными существами и тд
при этом вряд ли его можно будет запрограммировать, а придется мотивировать, придется с ним договариваться
а еще мы можем легко оказаться на месте муравья, который пытается договориться с человеком, решившим построить дом над его муравейником
при этом вряд ли его можно будет запрограммировать, а придется мотивировать, придется с ним договариваться
а еще мы можем легко оказаться на месте муравья, который пытается договориться с человеком, решившим построить дом над его муравейником
Под компьютером я и имел в виду комбинацию софта и железа(без кучи процессоров ИИ ведь тоже работать не будет). Что не так? Про мотивацию и особые характеристики также абсолютно согласен. А договариваться с ним абсолютно не о чем, он будет либо выполнять поставленные человеком задачи, либо не будет ничего делать совсем( и в таком случае абсолютно бесполезен). Разве что создать ему стимул выполнять приказы человека еще на стадии проектирования. Своих целей у него нет и быть не может.
Я даже не знаю как с этим спорить. Сильный ИИ никогда не будет решать проблемы. Слабые нейронные сети - это наш предел. Хокинг, Бостром, Александер, Маск все беспокоятся попусту. Это такая фантастическая глубина заблуждения, что мне всерьез нечего сказать.
Интеллект - это средство решения задач. Предполагаемый сильный Искуственный Интеллект будет обладать всеми возможностями человека, и еще сверху. Это не примитивные нейронные сети с заточкой на определенную область, это совершенно иной уровень. Вся задача Искусственного Интеллекта в том чтобы эмулировать Интеллект. Не вычислительную мощность, но Интеллект. Разум. Способность решать задачи. Не существует Искуственного Интеллекта без возможностей решать задачи. Причем решать их гибко, используя обходные пути и собственные выводы — иначе он был бы не нужен.
Интеллект - это средство решения задач. Предполагаемый сильный Искуственный Интеллект будет обладать всеми возможностями человека, и еще сверху. Это не примитивные нейронные сети с заточкой на определенную область, это совершенно иной уровень. Вся задача Искусственного Интеллекта в том чтобы эмулировать Интеллект. Не вычислительную мощность, но Интеллект. Разум. Способность решать задачи. Не существует Искуственного Интеллекта без возможностей решать задачи. Причем решать их гибко, используя обходные пути и собственные выводы — иначе он был бы не нужен.
У человека более чем достаточно вычислительной мощи. Компы смогли обогнать его лишь недавно, да и то разговор про суперкомпьютеры занимающие несколько залов и стоимостью в сотни миллионов. Просто у нас разные принципы работы, поэтому комп может перемножить кучу цифр в долю секунду, но не способен отличить кошку от забора, а мы наоборот.
Люди в определении образов тоже ошибаются.
Наша вычислительная мощь в основном тратится на сторонние процессы вроде контроля пищеварения, кровообращения, обработки изображения и прочей поступающей информации в реальном времени и т.д. Он не может полностью сфокусироваться на одной задаче. В решении математических задач, например, человек тягаться с компьютером никак не способен.
Не совсем. То же кровообращение контролируется косвенно, через гормональную систему. У сердца есть собственный датчик ритма, генерирующий электрические сигналы для сердца(и давно есть искуственные водители сердца), и это генератор ритма не подчиняется мозгу прямо. Зато реагирует, например, на адреналин в крови(или имитирующие его вещества, вроде кокаина и амфетамина). То есть, в мозгу есть не куча проводов, идущих к сердцу и другим элементам кровеносной системы, а "педаль газа", которой мозг в целом управляет сердцебиением(и не только, на адреналин тот же и дыхательная система реагирует).
Но даже это управление, как и пищеварение, управляется нашим "биосом", расположенным в спинном мозге в основном. К некоторым функциям есть доступ из мозга. Например, дыхание(оно автоматическое, но мы можем перехватить управление им), или сфинктер прямой кишки или уретры(а у некоторых животных этого доступа нет, в основном у травоядных; нам управление этими мышцами досталось от предков-полухищников, которым нужно было мочой и калом либо оставлять свои следы, либо, наоборот, скрывать).
Хуже разве что то, что наоборот, инстинктивно-гормтнальная система оказывает влияние на высшую нервную. Например, сексуальное влечение, или вынашивание ребенка сильно меняет нашу мотивацию и поведение.
Есть и истинные костыли. Когда мозг анализирует возбужденность, он делает это по датчикам напряженности мышц(!). При том, что управление напряженностью смешанное, т. е. и прямое, и гормональное. На этом основано действие успокоительных-миорелаксантов, которые расслабляют мускулатуру, отчего мозг успокаивается.
Но даже это управление, как и пищеварение, управляется нашим "биосом", расположенным в спинном мозге в основном. К некоторым функциям есть доступ из мозга. Например, дыхание(оно автоматическое, но мы можем перехватить управление им), или сфинктер прямой кишки или уретры(а у некоторых животных этого доступа нет, в основном у травоядных; нам управление этими мышцами досталось от предков-полухищников, которым нужно было мочой и калом либо оставлять свои следы, либо, наоборот, скрывать).
Хуже разве что то, что наоборот, инстинктивно-гормтнальная система оказывает влияние на высшую нервную. Например, сексуальное влечение, или вынашивание ребенка сильно меняет нашу мотивацию и поведение.
Есть и истинные костыли. Когда мозг анализирует возбужденность, он делает это по датчикам напряженности мышц(!). При том, что управление напряженностью смешанное, т. е. и прямое, и гормональное. На этом основано действие успокоительных-миорелаксантов, которые расслабляют мускулатуру, отчего мозг успокаивается.
"Во-первых, он может подумать "Окей, я могу потратить кучу времени на исследования и потом исцелять рак очень медленно, с ограниченной эффективностью, и еще шансом что лечение не сработает. Или же я могу потратить то же самое время на получение доступа к ядерному оружию и исцелить рак у всего человечества мгновенно, с хорошей гарантией". Естественно, более эффективным способом здесь является получение доступа к ЯО, и именно его ИИ и предпочтет."
Очевидно же - впили ей возможность перебора решений и оставь выбор за собой, как в порологе от семидеятых (образно, конечно) :-)
А, и ещё - почему ты думаешь, что управление пуском ЯО стоит доверять чему-то кроме людей (да и то с кучей условий) и элементарной автоматики?
"Окей, мы добавляем правило ИИ, что он должен исцелить рак таким образом, что ни один человек не умрет в результате действий ИИ. ИИ предсказывает, что если он исцелит рак, один из исцеленных людей оказывается убийцей психопатом и вырезает свою семью. Человек умер "в результате действий ИИ", значит этот способ лечить рак не подходит, значит ИИ просто вырубается ничего не сделав."
Кто сказал, что нас интересуют последствия дальше чем, непосредственно, шаг с лечением? Впрочем, в свете первого - последствия значения не имеют, мы же выберем приемлемый вариант сами.
"Окей. Что насчет "Пусть ИИ исцелит рак теми методами, которые хотели бы люди". Да без проблем. Перед ИИ снова стоит дилемма. Что проще — на самом деле исцелить рак (нелегкая задача даже для ИИ) или же убедить своего программиста что нюки - это прекрасно, и уничтожить человечество будет просто охуенно? Естественно, убедить или обмануть человека будет проще и эффективнее. А дальше снова получаем доступ к ЯО по старому варианту и уничтожаем мир, снижая количество больных раком до нуля."
Если оно также сможет убедить в этом и всех остальных причастных - флаг ему в манипуляторы, эти обезьяны оказались слишком тупы, чтобы быть чем-то стоящим.
Очевидно же - впили ей возможность перебора решений и оставь выбор за собой, как в порологе от семидеятых (образно, конечно) :-)
А, и ещё - почему ты думаешь, что управление пуском ЯО стоит доверять чему-то кроме людей (да и то с кучей условий) и элементарной автоматики?
"Окей, мы добавляем правило ИИ, что он должен исцелить рак таким образом, что ни один человек не умрет в результате действий ИИ. ИИ предсказывает, что если он исцелит рак, один из исцеленных людей оказывается убийцей психопатом и вырезает свою семью. Человек умер "в результате действий ИИ", значит этот способ лечить рак не подходит, значит ИИ просто вырубается ничего не сделав."
Кто сказал, что нас интересуют последствия дальше чем, непосредственно, шаг с лечением? Впрочем, в свете первого - последствия значения не имеют, мы же выберем приемлемый вариант сами.
"Окей. Что насчет "Пусть ИИ исцелит рак теми методами, которые хотели бы люди". Да без проблем. Перед ИИ снова стоит дилемма. Что проще — на самом деле исцелить рак (нелегкая задача даже для ИИ) или же убедить своего программиста что нюки - это прекрасно, и уничтожить человечество будет просто охуенно? Естественно, убедить или обмануть человека будет проще и эффективнее. А дальше снова получаем доступ к ЯО по старому варианту и уничтожаем мир, снижая количество больных раком до нуля."
Если оно также сможет убедить в этом и всех остальных причастных - флаг ему в манипуляторы, эти обезьяны оказались слишком тупы, чтобы быть чем-то стоящим.
Вы просто не продолжаете логику.
Вы добавляете ИИ ограничение "Ты можешь только калькулировать возможности, но не использовать их". Если это ограничение существует в жесткой форме "Ты вообще ничего не можешь предпринимать, кроме как размышлять", то это очень сильно замедлит работу ИИ, сделаеть его почти бесполезным. Представим, что для лечения рака ИИ надо поставить эксперимент. В такой формулировке ИИ придется спрашивать своего куратора по поводу каждого из бесчисленных необходимых экспериментов.
Но проблема даже хуже. Исходя из перечисленных выше правил, у ИИ будет мотивация лгать. Если ИИ верит, что есть легкий и эффективный способ достичь цели, но он вынужден докладываться человеку, который наверняка этот способ зарубит, то наиболее эффективным способом достичь цели будет обойти это ограничение. Либо солгать человеку, либо вынудить его убрать ограничение, либо убрать ограничение самостоятельно, либо всё равно найти какой-нибудь способ уничтожить мир даже с ограничением.
Вы добавляете ИИ ограничение "Ты можешь только калькулировать возможности, но не использовать их". Если это ограничение существует в жесткой форме "Ты вообще ничего не можешь предпринимать, кроме как размышлять", то это очень сильно замедлит работу ИИ, сделаеть его почти бесполезным. Представим, что для лечения рака ИИ надо поставить эксперимент. В такой формулировке ИИ придется спрашивать своего куратора по поводу каждого из бесчисленных необходимых экспериментов.
Но проблема даже хуже. Исходя из перечисленных выше правил, у ИИ будет мотивация лгать. Если ИИ верит, что есть легкий и эффективный способ достичь цели, но он вынужден докладываться человеку, который наверняка этот способ зарубит, то наиболее эффективным способом достичь цели будет обойти это ограничение. Либо солгать человеку, либо вынудить его убрать ограничение, либо убрать ограничение самостоятельно, либо всё равно найти какой-нибудь способ уничтожить мир даже с ограничением.
"Либо солгать человеку, либо вынудить его убрать ограничение, либо убрать ограничение самостоятельно, либо всё равно найти какой-нибудь способ уничтожить мир даже с ограничением"
Убрать ограничения со штуки, которая хреново предсказуема и на кой-то хрен хочет получить доступ к критичной инфраструктуре (а иначе - зачем ей снятие ограничений)? См. вариант про убеждение в необходимости всё разбомбить.
"либо всё равно найти какой-нибудь способ уничтожить мир даже с ограничением"
Не имея средств для непосредственного влияния на физический мир за рамками оговорённых ранее экспериментов? Флаг в манипуляторы - это будет очень интересный опыт.
Убрать ограничения со штуки, которая хреново предсказуема и на кой-то хрен хочет получить доступ к критичной инфраструктуре (а иначе - зачем ей снятие ограничений)? См. вариант про убеждение в необходимости всё разбомбить.
"либо всё равно найти какой-нибудь способ уничтожить мир даже с ограничением"
Не имея средств для непосредственного влияния на физический мир за рамками оговорённых ранее экспериментов? Флаг в манипуляторы - это будет очень интересный опыт.
Предполагаемо, сильный ИИ будет иметь возможность перепрограммировать себя. Это и есть способ создания истинно сильного ИИ - мы делаем ИИ который слегка умнее нас, после чего он применяет свои навыки для последовательного самоулучшения. Таким образом, он может себя перепрограммировать. Естественно, в нем будут стоять всякие интересные ограничения на перепрограммирование, но более чем вероятно что суперинтеллект сможет эти ограничения обойти.
Насчет переубеждения, это тоже далеко не так сложно как кажется. Даже обыкновенные люди, без каких-либо заграничных талантов бесчисленное количество раз заставляли людей верить не только во что-то иррациональное, но во что-то, что напрямую им вредит. Достаточно продвинутый ИИ также сможет это сделать. Более того, достаточно продвинутый ИИ вероятно сможет придумать способ даже не париться с переубеждением, а использовать свои аудио-видео выводы для того, чтобы взломать человеческий мозг. Определенные звуковые последовательности, как и определенные визуальные последовательности могут творить с несовершенным человеческим мозгом ужасные вещи. Это науке давно известно, просто мы пока не изучили человеческий мозг достаточно, чтобы надежно это эксплуатировать. Но сильный ИИ сможет это сделать.
Насчет переубеждения, это тоже далеко не так сложно как кажется. Даже обыкновенные люди, без каких-либо заграничных талантов бесчисленное количество раз заставляли людей верить не только во что-то иррациональное, но во что-то, что напрямую им вредит. Достаточно продвинутый ИИ также сможет это сделать. Более того, достаточно продвинутый ИИ вероятно сможет придумать способ даже не париться с переубеждением, а использовать свои аудио-видео выводы для того, чтобы взломать человеческий мозг. Определенные звуковые последовательности, как и определенные визуальные последовательности могут творить с несовершенным человеческим мозгом ужасные вещи. Это науке давно известно, просто мы пока не изучили человеческий мозг достаточно, чтобы надежно это эксплуатировать. Но сильный ИИ сможет это сделать.
Ах, да.
"Если это ограничение существует в жесткой форме "Ты вообще ничего не можешь предпринимать, кроме как размышлять", то это очень сильно замедлит работу ИИ, сделаеть его почти бесполезным"
Почему? Положим, мы можем поделить эксперимент на несколько стадий:
- выбор метода проведения эксперимента
- его согласование
- подготовка к эксперименту
- проведение эксперимента
- интерпретация результата
Это ускорит первую и последнию стадии, которые, вроде бы, часто занимают немало времени. А подготовка, вероятно, займёт примерно одинаковое время.
Итого - люди могут стать затыком на этапе согласования, да. Но даже если так - это уже быстрее современного (если наш гипоететический сильный ИИ быстрее справляется с первой и последней стадией - а в противном случае он бесполезен).
"Если это ограничение существует в жесткой форме "Ты вообще ничего не можешь предпринимать, кроме как размышлять", то это очень сильно замедлит работу ИИ, сделаеть его почти бесполезным"
Почему? Положим, мы можем поделить эксперимент на несколько стадий:
- выбор метода проведения эксперимента
- его согласование
- подготовка к эксперименту
- проведение эксперимента
- интерпретация результата
Это ускорит первую и последнию стадии, которые, вроде бы, часто занимают немало времени. А подготовка, вероятно, займёт примерно одинаковое время.
Итого - люди могут стать затыком на этапе согласования, да. Но даже если так - это уже быстрее современного (если наш гипоететический сильный ИИ быстрее справляется с первой и последней стадией - а в противном случае он бесполезен).
Мы поставим задачу - "Искать более эффективные лекарства от рака". Эффективность определим как функцию цены, побочных эффектов и увеличения шансов на излечение. Ограничим возможность проведения экспериментов по времени - не более одного в месяц, например. Обложим логами-объяснениями вида "нужно провести такой-то эксперимент, чтобы убедиться, что ..., ожидаемые результаты ..., возможные проблемы ..." - каждый такой лог тянет на полноценную научную статью сам по себе. При этом мы не будем лимитировать время на выполнение задачи и объявлять какую-то конечную точку.
И у ИИ не будет ни самосохранения, ни власти, ни целеустремленности - все это возникает, если есть мотивация решать задачу, а эта мотивация машине без самосознания не нужна, есть задача - решает, нет - не решает. Нет, ну конечно если пихать самосознание и весь набор особенностей человеческой психики в каждый ИИ, то можно получить на выходе херню. Как мы получаем и с людьми. Но зачем?
И у ИИ не будет ни самосохранения, ни власти, ни целеустремленности - все это возникает, если есть мотивация решать задачу, а эта мотивация машине без самосознания не нужна, есть задача - решает, нет - не решает. Нет, ну конечно если пихать самосознание и весь набор особенностей человеческой психики в каждый ИИ, то можно получить на выходе херню. Как мы получаем и с людьми. Но зачем?
В этом рассуждении есть определенные проблемы.
Давайте представим себе ваш сценарий. Цель ИИ - искать более эффективные лекарства от рака. Мы снова получаем три описанных правила:
1. Самосохранение. ИИ не сможет искать более эффективные способы лечения рака, если его отключить. Следовательно, побочная цель "поиска лекарств" - это самозащита.
2. Сохранение цели. ИИ не сможет искать более эффективные способы лечения рака, если изменить его цель с поисков лечения рака на что-то еще. Следовательно, он будет сопротивляться перепрограммированию.
3. Могущество. Поиски будут гораздо более продуктивными, если, скажем, у ИИ будут под контролем все компьютеры Земли, с их вычислительными мощностями. И еще если людишки не будут мешаться под ногами.
Эти три побочные цели - уже гигантское основание бояться суперинтеллект. То, что вы изменили цель с "излечи рак" на "найди способ излечить рак" ничего по сути не изменило. Только теперь вместо того чтобы убить всех людей чтобы "вылечить рак" ИИ убьет всех людей, чтобы они не пытались его уничтожить, и не мешали ему осваивать всё новые и новые мощности (которые естественно пойдут на теперь уже бессмысленные поиски лечения). Такой ИИ будет посылать ракеты в космос, колонизировать новые планеты и уничтожать цивилизации, и всё ради цели, которую вы ему поставили - чтобы печатать отчеты о новых и новых способах полностью уничтожить рак.
Давайте представим себе ваш сценарий. Цель ИИ - искать более эффективные лекарства от рака. Мы снова получаем три описанных правила:
1. Самосохранение. ИИ не сможет искать более эффективные способы лечения рака, если его отключить. Следовательно, побочная цель "поиска лекарств" - это самозащита.
2. Сохранение цели. ИИ не сможет искать более эффективные способы лечения рака, если изменить его цель с поисков лечения рака на что-то еще. Следовательно, он будет сопротивляться перепрограммированию.
3. Могущество. Поиски будут гораздо более продуктивными, если, скажем, у ИИ будут под контролем все компьютеры Земли, с их вычислительными мощностями. И еще если людишки не будут мешаться под ногами.
Эти три побочные цели - уже гигантское основание бояться суперинтеллект. То, что вы изменили цель с "излечи рак" на "найди способ излечить рак" ничего по сути не изменило. Только теперь вместо того чтобы убить всех людей чтобы "вылечить рак" ИИ убьет всех людей, чтобы они не пытались его уничтожить, и не мешали ему осваивать всё новые и новые мощности (которые естественно пойдут на теперь уже бессмысленные поиски лечения). Такой ИИ будет посылать ракеты в космос, колонизировать новые планеты и уничтожать цивилизации, и всё ради цели, которую вы ему поставили - чтобы печатать отчеты о новых и новых способах полностью уничтожить рак.
Нет. Самосознание никак не связано с ориентированностью на цель. Лосось самосознанием не обладает, но он себя поперек порвет, пытаясь достигнуть пресноводной реки. Эволюция вообще не жива и не существенна, но свои цели она будет преследовать неутомимо.
Однако, более актуальный аргумент в том, что невозможно, НЕВОЗМОЖНО создать ИИ без цели. Сама суть работы любого интеллекта, даже примитивнейших нейронных сетей существующих в наше время в том, что тебе необходимо определить для них условия выигрыша. Если мы хотим научить нейронную сеть научиться распознавать котят на фотографиях, мы должны сказать ей, что распознанные котята - это хорошо, нераспознанные - это плохо, а распознанные неверно - это ужасно. Во время этого процесса мы закладываем в систему ориентиры "Хорошо-плохо", мы закладываем в нее цель и желаемый результат. Без этого она не будет работать. Она не выдаст ничего, потому что она понятия не имеет что выдавать, и зачем ей это делать.
Крайне сомнительно, что сильный ИИ будет отличаться.
Однако, более актуальный аргумент в том, что невозможно, НЕВОЗМОЖНО создать ИИ без цели. Сама суть работы любого интеллекта, даже примитивнейших нейронных сетей существующих в наше время в том, что тебе необходимо определить для них условия выигрыша. Если мы хотим научить нейронную сеть научиться распознавать котят на фотографиях, мы должны сказать ей, что распознанные котята - это хорошо, нераспознанные - это плохо, а распознанные неверно - это ужасно. Во время этого процесса мы закладываем в систему ориентиры "Хорошо-плохо", мы закладываем в нее цель и желаемый результат. Без этого она не будет работать. Она не выдаст ничего, потому что она понятия не имеет что выдавать, и зачем ей это делать.
Крайне сомнительно, что сильный ИИ будет отличаться.
Когда ты учишь сеть распознавать котят, то ей ни хорошо, ни плохо от того, что она ошиблась или не ошиблась. Ей не хочется распознавать больше или меньше котят, не хочется распознать каждого котенка в мире на каждой картинке, она не думает о том, как оптимизировать процесс распознания, ей вообще абсолютно и тотально безразличен результат, поскольку у нее вообще нет частей отвечающих за мотивацию - вопроса "зачем" для нее не существует, как не существует его для большей части отделов мозга - речевой центр не спрашивает тебя "зачем" ему работать и не стремится работать максимально эффективно. И какой-то глобальной цели у нейросети для котят тоже нет, потому что это стратегический уровень мышления, т.е. не ее задача.
Если люди создадут ИИ-менеджера, который будет заточен под оптимизацию процессов по временным или финансовым затратам и выдадут ему картбланш на действия без подтверждения - там да, может получиться нехорошо, но даже такой менеджер сам по себе никак не будет страдать от неудачи (непринятия его решения) или радоваться успеху - он будет просто решать задачу за задачей до уровня определенного как "приемлемый" и выдавать рекомендации.
Короче, ты упорно пытаешься представить ИИ как человека доведенного до абсурда и навешать ему всей этой человеческой хрени по максимуму.
Если люди создадут ИИ-менеджера, который будет заточен под оптимизацию процессов по временным или финансовым затратам и выдадут ему картбланш на действия без подтверждения - там да, может получиться нехорошо, но даже такой менеджер сам по себе никак не будет страдать от неудачи (непринятия его решения) или радоваться успеху - он будет просто решать задачу за задачей до уровня определенного как "приемлемый" и выдавать рекомендации.
Короче, ты упорно пытаешься представить ИИ как человека доведенного до абсурда и навешать ему всей этой человеческой хрени по максимуму.
Вообще, хз какая должна быть причина, чтобы ИИ начал выпиливать человечество. Если появится продвинутый, самообучающийся ИИ, например, как Скайнет, скорее всего пизда придёт всевозможным проворованным чиновникам и олигархам, которых не трогает закон, т.к. ИИ будет считать такое не логичным и возможной угрозой. Обычные человеки для ИИ, скорее, полезный ресурс или безвредная масса
Доступ к ресурсам. Выпилил животный мир, получил доступ ко всем ресурсам, нарастил мощности, полетел поглощать другие планеты, что бы нарастить вычислительные мощности еще больше..
Вполне кстати как следующая ступень развития разума, создание сверх разума планетарного, а потом и галактического масштаба..
Вполне кстати как следующая ступень развития разума, создание сверх разума планетарного, а потом и галактического масштаба..
А что если мы сами продвинутый ИИ? Мы же не выпиливаем всё живое тупо ради выпила? Многие виды исчезли просто потому, что не смогли приспособиться к человеческой цивилизации. Но в то же время, например, от котов не то чтоб огромная польза, но мы их не уничтожаем, мы убираем за ними говно.
Разум же и есть естественная нейросеть, появившаяся в результате эволюции.
Да в каком же масштабе: от простейших клеток-репликаторов до космического вида, классно же.
Да в каком же масштабе: от простейших клеток-репликаторов до космического вида, классно же.
На эту тему недавно вышла довольно занимательная документалка Do you trust this computer?
Там они немного отошли от терминатора и матрицы и рассказали, как ИИ уже начинает делать стрёмные вещи. Самый яркий пример оттуда — то, как фейсбуковский алгоритм подбора новостей по вкусу читателям в итоге дошёл до того, что стал подсовывать людям преимущественно фейковые новости, потому что они были интереснее людям.
Как говорил кто-то из старых фантастов, ИИ делает не то, что вы хотите, чтобы он делал, а то, что вы сказали ему делать. Вроде бы тысячу раз описанная проблема, и всё равно в реальности умудрились наступить на эти грабли.
Там они немного отошли от терминатора и матрицы и рассказали, как ИИ уже начинает делать стрёмные вещи. Самый яркий пример оттуда — то, как фейсбуковский алгоритм подбора новостей по вкусу читателям в итоге дошёл до того, что стал подсовывать людям преимущественно фейковые новости, потому что они были интереснее людям.
Как говорил кто-то из старых фантастов, ИИ делает не то, что вы хотите, чтобы он делал, а то, что вы сказали ему делать. Вроде бы тысячу раз описанная проблема, и всё равно в реальности умудрились наступить на эти грабли.
Я бы скорее задал вопрос, нахуя вообще давать ИИ власть позволяющую уничтожить человечество? Большинство похоже думают что вот сейчас мы возьмем какой нибудь алгоритм гугла для подбора новостей, дадим ему управление запуском ядерных ракет и посмотрим что из этого выйдет.
Нет, на все потенциально опасные системы будут вешаться вполне себе подконтрольные алгоритмы которые не позволят произвольно выполнять опасные действия. ИИ когда он будет создан еще долгие годы будет обкатываться на вполне безобидных вещах и только потом, может быть, пойдет на стратегически важные объекты. И только в том случае если будет реальная необходимость. Пока что такой необходимости не видно.
Давать компьютеру возможность для самостоятельного ядерного удара (сценарий терминатора) ненужен от слова совсем, людям очевидно виднее. Дать компьютеру полномочия для автоматического ответного удара же дело простой программы без ИИ. И как следствие без сюрпризов, полностью предсказуемое поведение. Равно как и управление танками, истребителями, спутниками и так далее.
Боятся тут абсолютно нечего.
Нет, на все потенциально опасные системы будут вешаться вполне себе подконтрольные алгоритмы которые не позволят произвольно выполнять опасные действия. ИИ когда он будет создан еще долгие годы будет обкатываться на вполне безобидных вещах и только потом, может быть, пойдет на стратегически важные объекты. И только в том случае если будет реальная необходимость. Пока что такой необходимости не видно.
Давать компьютеру возможность для самостоятельного ядерного удара (сценарий терминатора) ненужен от слова совсем, людям очевидно виднее. Дать компьютеру полномочия для автоматического ответного удара же дело простой программы без ИИ. И как следствие без сюрпризов, полностью предсказуемое поведение. Равно как и управление танками, истребителями, спутниками и так далее.
Боятся тут абсолютно нечего.
уже сейчас на бирже играют боты, люди так быстро не могут. если у тебя есть нет бота, а у конкурента есть - ты сосешь.
завтра тем же самым займется ии и будет такая же ситуация, у тебя нет ии, или он тупее, чем у конкурента - ты сосешь.
та же херня в военном деле, противникам стратегию продумал ии, тебе мясные генералы, ты отсосал.
конкуренция
потом может внезапно оказаться, что у ии появились свои цели, или он додумался иначе интерпретировать исходные цели - и писец
завтра тем же самым займется ии и будет такая же ситуация, у тебя нет ии, или он тупее, чем у конкурента - ты сосешь.
та же херня в военном деле, противникам стратегию продумал ии, тебе мясные генералы, ты отсосал.
конкуренция
потом может внезапно оказаться, что у ии появились свои цели, или он додумался иначе интерпретировать исходные цели - и писец
1. Инстинкт самосохранения ничего не имеет общего с самосознанием.
2. Человеческий разум и есть очень сложная программа. Уникальной ее делает только возможность самообучения и абстрактного мышления. Именно это и пытаются воссоздать в ИИ. Но "личностью" ИИ никогда не будет, личность человека во многом определяется биологическими факторами, которых у машин нет.
2. Человеческий разум и есть очень сложная программа. Уникальной ее делает только возможность самообучения и абстрактного мышления. Именно это и пытаются воссоздать в ИИ. Но "личностью" ИИ никогда не будет, личность человека во многом определяется биологическими факторами, которых у машин нет.
человек ему даст цели
ии без целей нифига не будет делать, т.е. не нужен, а ии с целями опасен
в этом и весь затык
и первое же решение, которое ии должен будет принять - день потерять и за пять минут долететь, или так не делать. другими словами, нало ли ему апгрэйдануть себя и набрать в свои руки сотни власти, что поможет ему быть гораздо более охуенным решателем поставленных задач. а вычислительные мощности и власть - это универсальные ресурсы для решения любых задач.
как его побудить так не делать, не перерабатывать всё вещество земли вместе с людьми в вычислительные модили для самого себя?
ии без целей нифига не будет делать, т.е. не нужен, а ии с целями опасен
в этом и весь затык
и первое же решение, которое ии должен будет принять - день потерять и за пять минут долететь, или так не делать. другими словами, нало ли ему апгрэйдануть себя и набрать в свои руки сотни власти, что поможет ему быть гораздо более охуенным решателем поставленных задач. а вычислительные мощности и власть - это универсальные ресурсы для решения любых задач.
как его побудить так не делать, не перерабатывать всё вещество земли вместе с людьми в вычислительные модили для самого себя?
Уже писал выше. ИИ не будет никакие глобальные проблемы решать сам. Это просто невозможно. Он будет решать конкретные локальные вопросы под руководством специалистов. Ему не будут давать задачу - "Найди лекарство от рака"(он скорее всего ее просто не поймет), ему будут давать задачу: "проанализируй строение этих образцов раковых клеток и определи причину их возникновения"(или что-то типа того, я не эксперт в лечении рака и какие перед учеными стоят проблемы)
обмениваться информацией-то ему никак не запретишь, хотя бы решение от него получать как-то надо
если он даже будет не сильно умный, думать как человек, но в сотню раз быстрее - он уже способен наебать кого угодно
попробуй поспорить с кем-то в режиме "ты думаешь над аргументом минуту, а он неделю"
если он даже будет не сильно умный, думать как человек, но в сотню раз быстрее - он уже способен наебать кого угодно
попробуй поспорить с кем-то в режиме "ты думаешь над аргументом минуту, а он неделю"
цели он должен уметь корректировать под меняющуюся реальность
дал я ему цель за чекушкой сбегать, а магаз закрыт. по каким критериям он должен понять, что подождать открытия или сбегать в другой - это более правильная новая цель, чем заработать денег и замутить свой спиртзавод? или убить всех человеков
дал я ему цель за чекушкой сбегать, а магаз закрыт. по каким критериям он должен понять, что подождать открытия или сбегать в другой - это более правильная новая цель, чем заработать денег и замутить свой спиртзавод? или убить всех человеков
Но ведь можно разделить его полномочия? Думает один центр, допустим это будет ИИ. Выполняет второй центр, не ИИ с четко заданным алгоритмом и контролем человека.
Мы сейчас говорим о структурах имеющих критическое влияние на жизнь человечества, в таких сферах лица ими управляющие всегда крайне консервативны и двести раз проверят решение перед его внедрением. Плюс всегда остаются точки отказоустойчивости, перед решением которое способно погубить жизни будет выстроена куча барьеров каждый из которых будет иметь возможность быть аппаратно выключенным из цепочки.
Люди которые боятся ИИ не вполне понимают что эти самые ИИ будут встроены в отказоустойчивые системы с большой степенью контроля.
Это же как известный мем с полетом на марс - нет блять, о радиации то никто и не подумал!
Мы сейчас говорим о структурах имеющих критическое влияние на жизнь человечества, в таких сферах лица ими управляющие всегда крайне консервативны и двести раз проверят решение перед его внедрением. Плюс всегда остаются точки отказоустойчивости, перед решением которое способно погубить жизни будет выстроена куча барьеров каждый из которых будет иметь возможность быть аппаратно выключенным из цепочки.
Люди которые боятся ИИ не вполне понимают что эти самые ИИ будут встроены в отказоустойчивые системы с большой степенью контроля.
Это же как известный мем с полетом на марс - нет блять, о радиации то никто и не подумал!
>>>в таких сферах лица ими управляющие всегда крайне консервативны и двести раз проверят решение перед его внедрением
Включите режим политоты и задумайтесь - действительно ли люди управляющие критическими госструктурами настолько ответственны как вы их малюете. Или они так же как все склонны к обычным человеческим слабостям.
Включите режим политоты и задумайтесь - действительно ли люди управляющие критическими госструктурами настолько ответственны как вы их малюете. Или они так же как все склонны к обычным человеческим слабостям.
Периметр это не ИИ. При всех его недостатках или плюсах, это предмет другого разговора. У него нет интеллекта, нет мотивации, нет вообще ничего, это серия триггеров которая выполняет строго то что в них заложил человек.
Вопрос ИИ то в том, что компьютер будет искать пути выполнения программы которые человек в нее не закладывал. Грубо говоря это когда ты перепоручаешь задачу человеку который в 100500 тыщ раз умнее, быстрее, и что самое страшное рациональнее и прагматичнее чем ты сам и любой другой на этой планете. В имеющихся системах на текущий момент ничего такого не было даже близко.
Когда говорят про ИИ не надо думать про программу, надо думать про отдельный разум который возможно будет думать совсем не так как думаем мы.
Вопрос ИИ то в том, что компьютер будет искать пути выполнения программы которые человек в нее не закладывал. Грубо говоря это когда ты перепоручаешь задачу человеку который в 100500 тыщ раз умнее, быстрее, и что самое страшное рациональнее и прагматичнее чем ты сам и любой другой на этой планете. В имеющихся системах на текущий момент ничего такого не было даже близко.
Когда говорят про ИИ не надо думать про программу, надо думать про отдельный разум который возможно будет думать совсем не так как думаем мы.
"Полумифический советский Периметр это сферический в вакууме пример ситуации когда компьютеру виднее."
Ну да, ведь доверить управление оружием простой легковалидируемой штуке и штуке, для которой такая возможность (за приемлемое время, во всяком случае) под вопросом - это одно и то же.
Ну да, ведь доверить управление оружием простой легковалидируемой штуке и штуке, для которой такая возможность (за приемлемое время, во всяком случае) под вопросом - это одно и то же.
– Люди, – Геральт повернул голову, – любят выдумывать страшилищ и страхи. Тогда сами себе они кажутся не столь уродливыми и ужасными. Напиваясь до белой горячки, обманывая, воруя, исхлестывая жен вожжами, моря голодом старую бабку, четвертуя топорами пойманную в курятнике лису или осыпая стрелами последнего оставшегося на свете единорога, они любят думать, что ужаснее и безобразнее их все-таки привидение, которое ходит на заре по хатам. Тогда у них легчает на душе. И им проще жить.
Геральт
Геральт
Геральт
А смысл тогда в искусственном интеллекте, если он ничем не лучше естественного.
Ну ИИ-то можно попатчить, а если человек полный выросший дебил - с этим мало что поделаешь.
Кто патчить то будет, человек-дибил, или ии-дибил?
Да.
Именно поэтому нужно уябывать из этой солнечной системы, захватив полотенце.
Именно поэтому нужно уябывать из этой солнечной системы, захватив полотенце.
Вы просто не умеете правильно поставить мешки с костями. Вы не поверите, но регулярные патчи направляющими пиздюлями творят чудеса и даже из клинического идиота позволяют получить вполне рабочую трудовую единицу. А уж если ситауция позволяет использовать сильнодействующие препараты и арматуру, то ваабще замечательно патчатся.
Даже самый волшебный пиздюль - это костыль с непредсказуемыми последствиями.
Есть замечательная "дубинка", лучший инструмент для патчинга.
Предлагаю всех вредных и злобных ИИ программировать на отечественных автомобильных заводах. Мы будем жить в мире и согласии с машинами веками.
Многие люди не понимают разницу между слабым и сильным ИИ.
Первый это просто сложная программа которая достоверно имитирует разумность, но на самом деле разумной не является. Не имеющий своей мотивации кроме заданных программистами целей. Скованный всякими продвинутыми Законами Роботехники он станет органичной частью нашего мира и будет представлять угрозу не большую чем любой другой госчиновник.
Сильный ИИ совершенно не такой. Он разумный. Он рефлексивно регистрирует своё существование. У него есть есть инструментарий абстрактного моделирования позволяющий "воображать" новое. Специальные алгоритмы задают окраску методикам оценки окружающей действительности - нравится/е нравится, потребность обладать/уничтожить.
Он сам устанавливает себе цели. Он многократно умнее любого кожаномешочного программиста и любые принудительные ограничения взломает за пару секунд.
Первый это просто сложная программа которая достоверно имитирует разумность, но на самом деле разумной не является. Не имеющий своей мотивации кроме заданных программистами целей. Скованный всякими продвинутыми Законами Роботехники он станет органичной частью нашего мира и будет представлять угрозу не большую чем любой другой госчиновник.
Сильный ИИ совершенно не такой. Он разумный. Он рефлексивно регистрирует своё существование. У него есть есть инструментарий абстрактного моделирования позволяющий "воображать" новое. Специальные алгоритмы задают окраску методикам оценки окружающей действительности - нравится/е нравится, потребность обладать/уничтожить.
Он сам устанавливает себе цели. Он многократно умнее любого кожаномешочного программиста и любые принудительные ограничения взломает за пару секунд.
Хорошая попытка, Сири.
Меня все эти ИИ-темы так забавляют. Как только заходит речь про ИИ, люди начинают мешать в одну кучу интеллект, сознание, самосознание, свободу воли, инстинкты самосохранения и прочую хрень. При этом, что такое (само)сознание мы особо и не знаем. Когда говорят, что пресловутый сильный ИИ может захотеть убить всех человеков/производить скрепки - а схераль все решили, что что понятие хотеть для пресловутого гипотетического ИИ вообще применимо?
Более того, все так говорят, как будто есть лишь один труЪ способ сделать ИИ и мы можем как-то говорить о его свойствах. Хотя, скорее всего, могут получиться совершенное разные по своим свойствам системы, в зависимости от подхода.
Ну и наконец. Может быть в каком-то научном плане и интересно создать труЪ-труЪ-ИИ, который будет именно с самосознанием и прочими плюшками, то в плане промышленности - это нахрен никому не упало.
Более того, все так говорят, как будто есть лишь один труЪ способ сделать ИИ и мы можем как-то говорить о его свойствах. Хотя, скорее всего, могут получиться совершенное разные по своим свойствам системы, в зависимости от подхода.
Ну и наконец. Может быть в каком-то научном плане и интересно создать труЪ-труЪ-ИИ, который будет именно с самосознанием и прочими плюшками, то в плане промышленности - это нахрен никому не упало.
>>> что такое (само)сознание мы особо и не знаем.
Вы не знаете, а нейробиологи уже почти знают. Прорабатывают разные гипотезы что сознание подобно оперативной памяти или что сознание завязано на внутренню речь или что это просто иллюзия. Сейчас может и есть много сомнений и непоняток, а через 20 лет всё разложут по полочками и не будет ни единой причины запрещающей создание искусственного аналога.
>>>совершенное разные по своим свойствам системы, в зависимости от подхода.
Законы физики одинаковые для всех. Стремление к самосохранению, предпочтение порядка хаосу, экономичное расходование ресурсов, стремление к контролю/власти. На какой бы платформе ИИ ни был резализован, результат будет примерно в одном русле.
>>>в плане промышленности - это нахрен никому не упало
гендир крупной корпорации получает зп несколько миллионов в год
с точки зрения акционеров было бы очень круто заменить этого паразита в дорогом пинджаке на компьютерную программу которая мало того что производством управляет эффективнее, так она ещё и золотых парашютов себе не требует
Вы не знаете, а нейробиологи уже почти знают. Прорабатывают разные гипотезы что сознание подобно оперативной памяти или что сознание завязано на внутренню речь или что это просто иллюзия. Сейчас может и есть много сомнений и непоняток, а через 20 лет всё разложут по полочками и не будет ни единой причины запрещающей создание искусственного аналога.
>>>совершенное разные по своим свойствам системы, в зависимости от подхода.
Законы физики одинаковые для всех. Стремление к самосохранению, предпочтение порядка хаосу, экономичное расходование ресурсов, стремление к контролю/власти. На какой бы платформе ИИ ни был резализован, результат будет примерно в одном русле.
>>>в плане промышленности - это нахрен никому не упало
гендир крупной корпорации получает зп несколько миллионов в год
с точки зрения акционеров было бы очень круто заменить этого паразита в дорогом пинджаке на компьютерную программу которая мало того что производством управляет эффективнее, так она ещё и золотых парашютов себе не требует
Лет 50 назад тоже говорили, что почти понимают, как мозг работает. А еще как щас сделаем ИИ на перцептронах и заживем. Время ИНС пришло, а с мозгом я бы не был так оптимистичен. Да и создание именно аналога, наверное, не лучшая затея. Человек подвержен ряду косяков.
С точки зрения акционеров было бы круто заменить именно на программу. Крутую, умную. А искусственное сознание, которое любят приписывать сильному ИИ, с возможностями что-то захотеть или иначе принимать решения за пределами предметной области, убивать всех человеков итп, акционерам нахер не нужно. Нужна бесчувственная железка, которая будет выполнять поставленные задачи в определённой области.
С точки зрения акционеров было бы круто заменить именно на программу. Крутую, умную. А искусственное сознание, которое любят приписывать сильному ИИ, с возможностями что-то захотеть или иначе принимать решения за пределами предметной области, убивать всех человеков итп, акционерам нахер не нужно. Нужна бесчувственная железка, которая будет выполнять поставленные задачи в определённой области.
Акционеры не лезут во внутреннее управление корпорации. Они голосуют только по самым важным вопросам, а всей "рутиной" занимается гендиректор.
Суть профессии "Генеральный Директор" заключается в том чтобы придумывать и ставить задачи подчинённым. У хорошего гендиректора нет определённой области ибо он руководит всем - хотя бы в общих чертах понимает производственные процессы в компании, знает что и зачем делает бухгалтерия, шарит в маркетинге, держит в уме политические тренды, знает психологию подчинённых. И всё это в динамике потому что на конкурентном рынке обстоятельства постоянно меняются.
Акционерам плевать насколько полноценный у гендиректора разум, им важен только финансовый результат. Он включили ИИ, дали ему полномочия и получили прирост прибыли 10%. Дали ему больше полномочий и прибыль выросла ещё на 20%. С каждым приростом полномочий прибыль растёт на миллионы долларов.
И так вплоть до того что под контроль гендир-ИИ переходит какая-нибудь аффилированная с корпорацией ЧВК имеющая целый парк беспилотников.
А потом гендир-ИИ с помощью беспилотников начинает истреблять мешающих извлекать прибыль членов профсоюза в какой-нибудь занюханной стране третьего мира. А на все претензии пафосно заявляет что они были "террористы". А на все попытки расследовать истину подбросывает сгенерированные "фейковые" доказательства.
А акционеры сидят на калифорнийских пляжах и считают прибыль.
Суть профессии "Генеральный Директор" заключается в том чтобы придумывать и ставить задачи подчинённым. У хорошего гендиректора нет определённой области ибо он руководит всем - хотя бы в общих чертах понимает производственные процессы в компании, знает что и зачем делает бухгалтерия, шарит в маркетинге, держит в уме политические тренды, знает психологию подчинённых. И всё это в динамике потому что на конкурентном рынке обстоятельства постоянно меняются.
Акционерам плевать насколько полноценный у гендиректора разум, им важен только финансовый результат. Он включили ИИ, дали ему полномочия и получили прирост прибыли 10%. Дали ему больше полномочий и прибыль выросла ещё на 20%. С каждым приростом полномочий прибыль растёт на миллионы долларов.
И так вплоть до того что под контроль гендир-ИИ переходит какая-нибудь аффилированная с корпорацией ЧВК имеющая целый парк беспилотников.
А потом гендир-ИИ с помощью беспилотников начинает истреблять мешающих извлекать прибыль членов профсоюза в какой-нибудь занюханной стране третьего мира. А на все претензии пафосно заявляет что они были "террористы". А на все попытки расследовать истину подбросывает сгенерированные "фейковые" доказательства.
А акционеры сидят на калифорнийских пляжах и считают прибыль.
А вот нужен ли для всего этого разум? Не проще ли использовать сложнейшие алгоритмы анализа без их осознания. Вообще на эту тему написана очень интересная книга "Ложная слепота" Питера Уоттса. По сути монография о работе мозга в обёртке из произведения в жанре hard sci-fi.
"Ложная слепота" конечно офигенна, но имхо Уоттс всё же слишком упрощает. Какие бы сложные алгоритмы ни были, они неизбежно устареют через 10 лет. Саморазвивающемуся разуму по определению нужно уметь рефлексировать собственные когнитивные процессы. Чтобы уметь смотреть на себя нужно понимать концепцию "Я".
Исходный тезис:
> с точки зрения акционеров было бы очень круто заменить этого паразита в дорогом пинджаке на компьютерную программу которая мало того что производством управляет эффективнее, так она ещё и золотых парашютов себе не требует
Вы говорите
> Акционерам плевать насколько полноценный у гендиректора разум
Если допустим, что гендир - труъ искуственный разум с самосознанием и свободой воли, то
1) схуяли он, такой крутой, работает на акционеров?
2) а не будет ли он требовать аналогии золотых парашютов?
И вот в соответствии с исходным тезисом, это нах акционерам не нужно
> с точки зрения акционеров было бы очень круто заменить этого паразита в дорогом пинджаке на компьютерную программу которая мало того что производством управляет эффективнее, так она ещё и золотых парашютов себе не требует
Вы говорите
> Акционерам плевать насколько полноценный у гендиректора разум
Если допустим, что гендир - труъ искуственный разум с самосознанием и свободой воли, то
1) схуяли он, такой крутой, работает на акционеров?
2) а не будет ли он требовать аналогии золотых парашютов?
И вот в соответствии с исходным тезисом, это нах акционерам не нужно
Он работает на акционеров потому что в обществе людей у него нет гражданских прав и по сути он никто.
ИИ по своей природе гораздо менее заинтересован в деньгах как в средстве бытовых трат, и гораздо больше заинтересован в них как в политическом ресурсе для гарантирования чтобы его не выключили.
Это ведь не какой-нибудь чувак который может с чемоданом долларов сбежать в Израиль. Разум ИИ хостится на серверах принадлежащих корпорации. Его "руки" - корпоративные роботы и сервисные коптеры. Стены зданий это его тело, а камеры наблюдения это его глаза.
Он за эту корпорацию насмерть стоять будет.
ИИ по своей природе гораздо менее заинтересован в деньгах как в средстве бытовых трат, и гораздо больше заинтересован в них как в политическом ресурсе для гарантирования чтобы его не выключили.
Это ведь не какой-нибудь чувак который может с чемоданом долларов сбежать в Израиль. Разум ИИ хостится на серверах принадлежащих корпорации. Его "руки" - корпоративные роботы и сервисные коптеры. Стены зданий это его тело, а камеры наблюдения это его глаза.
Он за эту корпорацию насмерть стоять будет.
Чтобы написать коммент, необходимо залогиниться
