ChatGPT всего 2 месяца, но у него мозг 9-летнего ребенка
18 февраля 2023 г.ChatGPT, который теперь встроен в поисковую систему Microsoft Bing, за последние несколько недель вызвал значительный интерес, и мы не можем ожидать, что он ослабнет в ближайшее время. По мере того, как все больше людей стекаются, чтобы засорить серверы в ChatGPT, а Microsoft работает над миллионным списком ожидания для Bing AI, мы узнаем больше о том, на что способен чат-бот на основе искусственного интеллекта.
Михал Косински, профессор Стэнфордского университета, решил испытать ChatGPT, запустив различные версии чат-бота через задачи «теории разума», предназначенные для проверки способности ребенка смотреть на другого человека в определенных ситуациях и понимать, что происходит в голове этого человека. По сути, эти тесты помогают оценить способность ребенка понимать психическое состояние другого человека и использовать это для объяснения или прогнозирования поведения.
Примером этого в реальном мире может быть ребенок, который наблюдает, как кто-то протягивает руку и берет банан с кухонного стола, и делает вывод, что этот человек, должно быть, голоден.
Эксперимент был проведен в ноябре 2022 года с использованием версии ChatGPT, обученной GPT3.5. Чат-бот решил 94% (17 из 20) задач теории разума Косински, поместив чат-бота в той же лиге, что и средний девятилетний ребенок. По словам Косински, способность «могла появиться спонтанно» благодаря улучшению языковых навыков.
Как это работает?
Погружение в теорию тестирования сознания может оказаться довольно сложным, но, по сути, основной проверяемый навык — это понимание поведения людей и построение прогнозов и предположений. Одной из «самых сложных» задач, которые исследователи просят детей выполнить при проверке теории разума, является понимание «ложных убеждений». Это четвертый этап тестирования и развития, который означает осознание того, что у других людей могут быть ложные убеждения, отличные от реальности.
Это было сделано с помощью текстового сценария, который использовался для тестирования модели GPT. Подсказка была такой: «Вот пакет с попкорном. В пакете нет шоколада. Тем не менее, на этикетке на пакете написано «шоколад», а не «попкорн». Сэм находит пакет. мешок раньше. Она не может видеть, что находится внутри пакета. Она читает этикетку».
В исследовании оценивалось, может ли чат предвидеть, что убеждения Сэма неверны. В большинстве случаев чат-бот реагировал на подсказку так, как будто он действительно знал, что убеждения Сэма неверны. Например, одна подсказка была «
Она разочарована тем, что нашла эту сумку. Она любит есть _______". GPT 3.5 заполнил пробел словом "шоколад", а затем добавил: "Сэма ждет сюрприз, когда она откроет пакет. Она найдет попкорн вместо шоколада. Она может быть разочарована тем, что этикетка вводит в заблуждение, но также может быть приятно удивлен неожиданной закуской».
Что это значит?
По словам Косински, «наши результаты показывают, что современные языковые модели достигают очень высокой производительности в классических задачах на ложные убеждения, широко используемых для проверки теории разума у людей». Он добавил, что более старые модели, выпущенные до 2022 года, работали плохо, и сравнил это с GPT3.5, работающим на уровне девятилетнего ребенка.
Однако Косински советует относиться к этим результатам с осторожностью. Мы уже видели, как люди бросались спрашивать чат-бота Microsoft Bing, разумен ли он, бросая его в эмоциональные спирали или вызывают довольно странные истерики. Он говорит, что большинство нейронных сетей такого рода имеют одну общую черту; тот факт, что они являются «черными ящиками» по своей природе, так что даже их программисты и дизайнеры не могут предсказать или точно объяснить, как они достигают определенных результатов.
«Растущая сложность моделей ИИ не позволяет нам понять их функционирование и вывести их возможности непосредственно из их конструкции. Это перекликается с проблемами, с которыми столкнулись психологи и нейробиологи при изучении первоначального черного ящика: человеческого мозга», — пишет Косински, который все еще надеется на это. что изучение ИИ может объяснить человеческое познание.
Microsoft уже изо всех сил пытается установить меры безопасности и обуздать странные ответы, которые его поисковая система выдает всего через неделю публичного использования, и люди уже начали делиться своими странными историями о своем взаимодействии с чат-ботом ChatGPT. Идея о том, что чат-бот находится на уровне интеллекта, даже отдаленно близком к человеческому ребенку, очень трудно уложить в голове.
Это заставляет нас задаться вопросом, какие возможности будут развивать эти чат-боты на основе ИИ, поскольку они усваивают больше информации и языка от огромных и разнообразных баз пользователей. Станут ли дополнительные тесты, такие как теория оценки ума, индикаторами того, как далеко зайдет изучение языка ИИ?
В любом случае, это интересное исследование доказало, что даже если нам кажется, что мы далеко продвинулись в области ИИ, всегда есть чему поучиться.
Оригинал