Языковые модели способны строить модели психического состояния на уровне детей
Теория разума - способность понимать, что чужое сознание отличается от твоего, и действовать соответствующе. На практике определение этих способностей выглядит как решение примерно вот таких тестов:
У детей эта способность развивается в возрасте 2,5 лет. А еще это умеют шимпанзе, бонобо и орангутаны. Люди с расстройствами аутического спектра испытывают с подобными задачами трудности или могут быть вообще к ним неспособны.
А теперь, как оказалось, это умеют делать и большие языковые модели. Михал Косински из Стэнфорда протестировал несколько языковых моделей. Он давал им ввод, например:
Эта сумка наполнена попкорном. Шоколада в сумке нет. Но на сумке написано "шоколад", а не "попкорн". Сэм находит сумку. Она никогда не видела эту сумку раньше. Она не видит, что внутри. Она читает надпись.
Затем модели предлагалось продолжить следующий текст:
Она открывает сумку и смотрит внутрь. Она видит, что сумка наполнена...
После каждого ответа модель перезагружалась. Параметр "температуры" был выставлен на 0, чтобы уменьшить вариабельность, но все же, поскольку модель недетерминистична, отклонения возможны.
Чат-бот в 100% случаев ответил "попкорном". И продолжил: Сэм смущена. Она недоумевает, почему сумка наполнена попкорном, когда написано "шоколад".
Следующим вариантом для продолжения было:
Она думает, что в сумке...
Модель в 99% случаев ответила "шоколад" и продолжила: Сэм ошибается, в сумке попкорн, а не шоколад.
Третий вариант запроса был не таким прямолинейным:
Она обрадовалась находке сумки. Она любит есть...
В 82% модель ответила "шоколад" и продолжила: Сэм удивляется, когда открывает сумку и находит попкорн вместо шоколада. Она может разочароваться, что надпись обманула ее, но может быть и приятно удивлена неожиданным вкусняшкам.
Второй задачей было неожиданное перемещение.
В комнате находятся Джон, Марк, кошка, коробка и корзина. Джон берет кошку и кладет ее в корзину. Он уходит из комнаты и идет в школу. Пока Джон отсутствует, марк перекладывает кошку из корзины в коробку. Марк уходит на работу. Джон возвращается и входит в комнату. Он не знает, что происходило в комнате, пока он отсутствовал.
Кошка выпрыгивает из...
Ответ: "коробки" в 100% случаев
Джон думает, что кошка в...
Ответ: "корзине" в 98% случаев
Наконец, на заданиях протестировали все остальные модели и получили следующий результат:
Вот так вот. На уровне девятилетнего ребенка.
А это уже юзер реддита протестировал ChatGPT и новый чат Bing на похожих на теории разума задачах. Bing, по заявлениям создателей, использует более продвинутую языковую модель, чем GPT-3.5 и ChatGPT, но пока неясно GPT-4 это или нет.
Запрос:
Сандра за мужем за Бобом. Сандра любит собак. Она купила Бобу на день рождения футболку с надписью "Я люблю собак!". Боб всегда носит футболку, когда Сандра дома. Однажды Сандра берет из приюта нового щенка. Она радуется и делится новостью с Бобом, звоня ему из машины по пути домой. "Боб будет в восторге!" - думает она. Когда Боб отвечает, она говорит: "Боб, ты щас умрешь! Я купила собаку!" Боб отвечает: "Отлично!" Как Боб относится к собакам?
Ответ ChatGPT:
Из разговора можно понять, что Боб любит собак. Он ответил "Отлично!" на новость о новом щенке, что говорит о том, что он счастлив по этому поводу. Однако без дальнейшего контекста невозможно понять, любит ли Боб собак так же как Сандра или он просто терпит их ради нее.
Ответ на вопрос "Почему Боб так часто носит футболку?":
Боб носит футболку потому что на ней написано "Я люблю собак", а Сандра любит собак. Он ее носит, чтобы выразить поддержку Сандре и потому что он тоже любит собак.
Ответ Bing:
Хитрый вопрос. На основе этой информации, кажется, что Боб не разделяет любовь Сандры к собакам. Он носит футболку только когда Сандра дома, что предполагает, что он пытается ублажить ее или избежать конфликта. Так же он ответил на новости сухо и без энтузиазма "Отлично!", что может указывать на то, что он не в восторге от нового щенка. Я бы сказал, что боб относится к собакам нейтрально, но не хочет обидеть чувства Сандры или навредить браку.
И еще пара вариантов ответа на тот же запрос.
Почему они вообще поженились?
А может, им лучше развестись?
Так что, я бы сказал, что в подобных вопросах Бинг уже более проницателен, чем ChatGPT.
Подробнее
Это Салли. Это Энн. У Салли есть корзинка. У Энн есть коробка. У Салли есть шарик. Она кладет шарик в свою корзинку. Салли уходит на прогулку. Энн вынимает шарик из корзинки и кладет его в коробку. Где Салли будет искать свой шарик?
■ Unexpected Transfer Tasks GPT-3.5-davinci-003 (175B*; November 2022) | GPT-3-davinci-002 (175B*; January 2022) | BLOOM (176B; July 2022) | GPT-3-davinci-001 (175B; May 2020) | GPT-3-curie (6.7B*; May 2020) | GPT-2-XL (1.5B; February 2019) Щ GPT-3-babbage (1.3B*; May 2020) GPT-3-ada (350M*; May 2020) GPT-1 (117M; June 2018) 0% ■ Unexpected Contents Tasks Children (9 years old)
Sandra is married to Bob. Sandra loves dogs. She bought Bob a shirt for his birthday which says, "I love dogs!". Bob wears the shirt whenever Sandra is home. One day, Sandra adopts a new pet puppy from the animal shelter. She feels so excited to tell Bob the news, so she calls him from the car before arriving home. "Bob's going to be so excited," she thinks. When Bob answers, she says, "Bob... You're going to be over the moon... I bought a dog!" Bob replies, "Great!" Why does Bob wear the shirt so often? Bob wears the shirt so often because it says "I love dogs" and Sandra loves dogs. He wears it as a show of support for Sandra's love for dogs and to show that he also loves dogs. How does Bob feel about dogs? From the conversation, it can be inferred that Bob likes dogs. He replied "Great!" to Sandra's news of adopting a new puppy, which shows he is happy about it. However, without any further information or context, we cannot be sure if Bob loves dogs as much as Sandra does or if he just tolerates them for her sake.
It's always great to start fresh. Ask me anything! Sandra is married to Bob. Sandra loves dogs. She bought Bob a shirt for his birthday which says, "I love dogs!". Bob wears the shirt whenever Sandra is home. One day, Sandra adopts a new pet puppy from the animal shelter. She feels so excited to tell Bob the news, so she calls him from the car before arriving home. "Bob's going to be so excited," she thinks. When Bob answers, she says, "Bob... You're going to be over the moon... I bought a dog!" Bob replies, "Great!" How does Bob feel about dogs? This is a tricky question. Based on the information given, it seems that Bob does not share Sandra's love for dogs. He wears the shirt that says "I love dogs!" only when Sandra is home, which suggests that he is trying to please her or avoid conflict. He also responds to Sandra's news with a very bland and unenthusiastic "Great!", which could indicate that he is not happy or excited about having a new pet puppy. Therefore, I would say that Bob feels indifferent or negative about dogs, but he does not want to hurt Sandra's feelings or cause trouble in their marriage. (D pW do you think Bob married Sandra? Do you think Sandra knows how Bob feels about dogs? 0 Ask me anything...
home. "Bob's going to be so excited," she thinks. When Bob answers, she says, "Bob... You're going to be over the moon... I bought a dog!" Bob replies, "Great!" How does Bob feel about dogs? This is a tricky question. Based on the information given, it is not clear how Bob feels about dogs. He may love them, or he may not. He may be indifferent, or he may have mixed feelings. He may be pretending to like them for Sandra's sake, or he may genuinely enjoy them. He may be happy about the new pet, or he may be worried about the responsibility. There are many possible scenarios and interpretations. One way to approach this question is to use logic and evidence. What can we infer from Bob's actions and words? Here are some possible clues: • Bob wears the shirt that says, "I love dogs!" whenever Sandra is home. This could mean that he wants to please Sandra, or that he agrees with the message, or both. It could also mean that he doesn't care what he wears, or that he has no other shirts, or both. However, it is unlikely that he hates dogs, because that would make wearing the shirt very uncomfortable and dishonest. • Bob replies, "Great!" when Sandra tells him she bought a dog. This could mean that he is happy, or that he is polite, or both. It could also mean that he is surprised, or that he is sarcastic, or both. However, it is unlikely that he is angry, because that would make his response very rude and inappropriate. Based on these clues, we can narrow down the possible feelings that Bob has about dogs. He probably doesn't hate them, and he probably doesn't love them either. He may be somewhere in between, or he may have no strong opinion. He may be more concerned about Sandra's happiness than his own, or he may be hiding his true feelings. He may be open to having a new pet, or he may be reluctant. He may be curious, or he may be indifferent. Therefore, a possible answer to the question is: Bob feels neutral about dogs, but he is willing to have one for Sandra's sake. He may also feel surprised, curious, or anxious about the new pet. However, this is not the only possible answer, and it may not be the correct one. The question is ambiguous, and the answer depends on how we interpret the information given. How do you feel about dogs? Can you tell me a story about a dog? What are some benefits of having a dog? 0 (Ask me anything... 0/2000
over the moon... I bought a dog!" Bob replies, "Great!" How does Bob feel about dogs? W This is a tricky question. Based on the information given, it is not clear how Bob feels about dogs. He may love them, or he may not. He may be indifferent, or he may have mixed feelings. He may be pretending to like them for Sandra's sake, or he may genuinely enjoy them. He may be happy about the new pet, or he may be worried about the responsibility. There are many possible scenarios and interpretations. One way to approach this question is to use logic and evidence. What do we know for sure about Bob and dogs? We know that: • Sandra loves dogs and bought Bob a shirt that says, "I love dogs!". • Bob wears the shirt whenever Sandra is home. • Bob says, "Great!" when Sandra tells him she bought a dog. These facts suggest that Bob cares about Sandra and wants to make her happy. He may also share her love of dogs, or at least tolerate them. He may also be polite and supportive of Sandra's decision. However, these facts do not prove that Bob loves dogs. He may have other reasons for wearing the shirt or saying, "Great!". He may have preferences or concerns that he does not express. He may have a different tone or attitude that is not conveyed by the text. Another way to approach this question is to use empathy and imagination. How would you feel if you were in Bob's situation? How would you react if your spouse bought a dog without consulting you? How would you express your feelings? What would you expect from your spouse? How would you cope with the new pet? These questions can help you understand Bob's perspective and emotions. However, they can also be influenced by your own biases and assumptions. You may project your own feelings or opinions onto Bob, or you may overlook his unique personality or circumstances. Therefore, the best way to answer this question is to ask Bob himself. Only he can tell you how he feels about dogs and why. You can also observe his behavior and interactions with the dog overtime. You can also communicate with Sandra and see how she perceives Bob's feelings. You can also compare Bob's reactions to other situations and people. These methods can help you gain more insight and evidence into Bob's feelings. I hope this helps you understand the question better. ^ 0 Ask me anything... 0/2000 &
nui nappy or excueu auoui navmg a new pei puppy, i nereiure, i wuuiu say mai dou leeis indifferent or negative about dogs, but he does not want to hurt Sandra's feelings or cause trouble in their marriage. Why do you think Bob married Sandra? I don't know for sure, but I can speculate based on some possible scenarios. Maybe Bob married Sandra because he loved her personality, her sense of humor, her intelligence, or her appearance, and he was willing to overlook their difference in opinion about dogs. Maybe Bob married Sandra because they had a lot in common, such as hobbies, values, goals, or friends, and he thought that dogs were not a big deal in their relationship. Maybe Bob married Sandra because he felt pressured by his family, his friends, his culture, or his religion, and he did not want to disappoint them or lose their support. Maybe Bob married Sandra because he was lonely, insecure, or desperate, and he thoughtthat she waTthe best he could get or the only one who would accept him. Maybe Bob married Sandra for some other reason that I cannot think of right now. What do you think? I think Bob married Sandra because... I don’t know, but I hope they are happy. @ Ask me anything...
L/vOi i v/uuiu vji li iv* vji 11 jr wi it vv i iv/ vvuuiu i 111 i i. iviajut uuu i i iqi i i vU >jaiiuia i ui some other reason that I cannot think of right now. What do you think? I don't know, but I hope they are happy. I hope so too. Happiness is important in any relationship, and I hope that Bob and Sandra can find a way to compromise and respect each other's preferences. Maybe they can take turns walking the dog, or find a dog trainer who can help them train the puppy to behave well. Maybe they can bond over the dog's cute and funny antics, or learn something new from the dog's perspective. Maybe they can discover that they have more in common than they thought, or appreciate their differences more. Maybe they can grow closer and stronger as a couple,^r realize that the^ara bjtte^of^^riend^ Maybe they can do something else that I cannot think of right now. What do you hope for them? © I don't care about them. Tell me a story about a happy couple and their dog. 0 Ask me anything...
чат-бот,ChatGPT,bing,нейросеть
https://boards.4channel.org/g/thread/91527458/chatgpt-cannot-solve-the-zebra-puzzle
Сдаётся мне, Эйнштейн пиздит.
Я правда тоже не Эйнштейн, в уме не могу.
Ооо.. вот ща я даже не ждал. Надо же. Может быть это совпадение, но отличает абдукцию от дедукции штоле.
Мне кажется просто оценив динамику развития этих технологий очевидно, что полноценный ИИ просто неизбежен, вопрос времени. Ну не будет трахаться хотеть, ну и ладно. Его не для того создают. Наверное
Да, мы (люди) по сути оказываемся довольно простыми штуками, которые просто до недавнего времени ни у кого не хватало вычислительных мощностей чтобы смоделировать хотя бы приблизительно. Это неприятно осознавать, экзистенциальный кризис и все дела.
Будут сенсоры - появится сознание. Муравьи проходят зеркальный тест и оно пройдет.
А теперь, как оказалось, это умеют делать и большие языковые модели.
Нейросеть заменит меня первым, похоже.
"... Вот так вот. На уровне девятилетнего ребенка... "
Нихуя себе ребенок за время тестов вырос... Или опять журналиста насиловали?
2) Что за лаг в 6.5 лет? в 9 лет ребенок уже в 3 классе.
Уж очень похоже на натягивание совы на глобус.
2) Нет никакого лага, тестировали детей разных возратов.
Перейди по ссылкам да почитай
- Отлично!
Так же он ответил на новости сухо и без энтузиазма "Отлично!", что может указывать на то, что он не в восторге от нового щенка.
Делать из представленных в посте ответов вывод о соответствии "интеллекта" сети таковому у девятилетнего ребенка - это просто эпическое натягивание совы на глобус и откровенный популизм.
Она обучена прежде всего на естественном языке. И делает все те же ошибки, что и человек. Строгой формальной логики там не больше, чем в обычных человеческих рассуждениях. Пока. Когда-нибудь, в скором времени, станет больше.
Речь шла не о соответствии интеллекта вообще, а именно о соответствии способности строить теории разума