Том Бернс о сетях Хопфилда и природе общего ИИ
19 ноября 2022 г.От нейронных сетей к общему ИИ
Нейронные сети – это основа глубокого обучения — ветви машинного обучения. Искусственный интеллект (ИИ) считается подмножеством общего ИИ. Общий искусственный интеллект — это способность компьютерной программы выполнять задачи, которые в противном случае потребовали бы человеческого интеллекта или опыта. Нейронные сети фильтруют информацию и пытаются найти закономерности в этой информации.
Одна такая нейронная сеть называется сетью Хопфилда; его типичный вариант использования включает задачи распознавания образов. Он работает путем распространения информации через ряд узлов, через связи между ними (которые могут быть положительными или отрицательными). Как только это будет сделано, отдельный узел сможет «запомнить», какие соединения были установлены, и использовать их в качестве руководства для установления соединений с другими узлами в будущих итерациях. Таким образом, сеть в целом может хранить и извлекать данные с течением времени, что может быть похоже на память у людей.
https://youtu.be/pIJwqTdmuuI?embedable=true
Стенограмма: Том Бернс о сетях Хопфилда и природе общего ИИ
Стелиос: Всем привет. Добро пожаловать в подкаст Data Scientist. Я очень рад, что сегодня здесь с нами Том Бернс, доктор философии. исследователь из Окинавы, Япония, работает в области нейронных сетей вычислительной нейронауки. Привет, Том.
Том Бёрнс: Привет.
Стелиос: не могли бы вы представиться и рассказать нам немного о своей работе? Вероятно, у вас это получится лучше, чем у меня.
Том: Конечно, да. Итак, я родом из Австралии и в настоящее время являюсь доктором философии. студент на Окинаве, Япония, как вы только что сказали, и мне интересно, как мозг в основном настолько умен. В частности, меня интересует, как нейронные сети могут делать все то, что они делают как в биологических нейронных сетях, так и в искусственных нейронных сетях, и меня очень интересуют память и навигация, а также то, как мы можем использовать геометрию и топологию в идеях. для математики, чтобы улучшить эти задачи или понять задачи в ваших сетях.
Стелиос: Это увлекательно. Итак, те из вас, кто регулярно слушает наши подкасты или постоянные зрители, те из вас, кто следит за нами на YouTube, знают, что большинство наших выпусков посвящены таким вещам, как стратегия данных и так далее. Но [неразборчиво] только что понял, что этот эпизод будет немного более теоретическим. Вычислительная нейробиология, в общем, такие области — моя страсть. Поэтому я очень рад возможности поговорить сегодня об этих темах с Томом, который является исследователем в этой области.
При этом я хотел бы спросить вас, Том, кое-что о вашей работе. Я знаю, что вы, надеюсь, работаете над сетями и аттракторами, это очень интересно, потому что это область исследований, которая ведется уже несколько десятилетий. Я знаю, что это было несколько десятилетий назад, до того, как глубокое обучение действительно стало популярным или, может быть, даже раньше было открыто глубокое обучение, некоторые исследователи пытались использовать этот тип сети для различных приложений, но ничего не вышло. Что, по вашему мнению, сейчас отличается от того, что было 20, 30, 40 лет назад, когда эти типы нейронных сетей были обнаружены как в ИИ, так и в приложениях, но, возможно, также и в когнитивной науке, и как мы подходим к этим типам сетей и моделей?
Том: Да. Что ж, это очень большой вопрос, и, как вы знаете, еще в 80-х годах Джон Хопфилд создал эту модель, которую мы сейчас называем моделью Хопфилда, и это была сеть ассоциативной памяти, в которой каждый из нейронов принимал двоичные значения плюс-минус 1. или вы можете использовать единицу и ноль, и у вас есть некоторое количество этих нейронов. Допустим, у вас есть 100, а затем вы сохраняете воспоминания в этой сети как своего рода бинарные активации нейронов 1 или 0 (ноль) плюс минус 1. Если вы делаете это случайным образом, оказывается, что теоретически , вы можете хранить около 14 патентов, если у вас есть 100 нейронов, до тех пор, пока вы не добавите, скажем, 15-й или 16-й шаблон, тогда вы не сможете совместить шаблон с шаблонами. Это означает, что вы не можете вспомнить шаблоны.
Если вы отдадите часть шаблона в этой сети, то сможете получить всю сеть. Долгое время они рассматривали теоретическую концепцию хранения и обработки воспоминаний не только в нейронных системах в целом, таких как биологические нейронные сети, но и в некоторых приложениях. Эти приложения очень ограничены, как вы сказали. Во-первых, он ограничен в структуре данных, верно? Вы можете использовать только эти двоичные значения, но, во-вторых, они довольно ограничены с точки зрения того, что вы можете хранить в количестве элементов памяти, которые вы можете хранить, и как вы их извлекаете и как эти вещи используются.
Долгое время так и было, и люди делают разные расширения, разные виды технических работ. Люди-теоретики, особенно физики, проделали большую работу по выявлению этих теоретических способностей, потому что оказалось, что они соответствуют различным физическим системам, связанным с магнитами, атомами и тому подобными вещами.
В частности, если ваши зрители заинтересованы, они могут поискать системы с вращающимся стеклом. Но то, что произошло совсем недавно, в последнее десятилетие и особенно в последние пять лет, это то, что мы начали понимать, что на самом деле вы можете иметь — это тоже было обнаружено давным-давно, еще в начале 90-х, я думаю, — что вы можете. по-прежнему имеет двоичное значение. Вы можете расширить это до непрерывных значений между, скажем, 0 и 1, но тогда у этого были некоторые технические проблемы. Но потом за последние 5 лет мы поняли, что можем это преодолеть. Мы можем хранить еще больше шаблонов, и мы можем хранить эти шаблоны непрерывных значений. Возможно, не вдаваясь во все технические детали, потому что это длинная техническая история, но оказывается, что преобразователи и механизмы внимания, используемые в преобразователях в современных нейронных сетях, на самом деле делают что-то в основном эквивалентное правилу обновления сети Хопфилда, как это делает Хопфилд. сеть начинает извлекать память и постоянно извлекает в памяти.
Итак, это задание на ассоциативное воспоминание. Что особенно интересно в трансформерах, так это то, что оно пришло из совершенно другого направления исследований, и оказалось, что оно просто по счастливой случайности опирается на ту же самую интуицию и когнитивные способности. или вычислительная структура, как описал ее Хопфилд в 1982 году.
Стелиос: Это увлекательно, и, если мне не изменяет память, сеть Хопфилда — это наша текущая нейронная сеть. правильно?
Том: Да. Вот так. Да.
Стелиос: Принимая во внимание, что преобразователь основан на свертках, которые действительно больше похожи на модель с прямой связью. Я помню, рекуррентные нейронные сети вызвали большой интерес, потому что, я думаю, некоторые могли бы сказать, что они обладают в некотором роде, скажем так, бесконечной пропускной способностью из-за того, как они работают, но как вы находите рекуррентные нейронные сети в исследованиях и приложениях? дней? Потому что я чувствую, что, хотя они довольно мощные, я думаю, что они были омрачены извилинами. Например, вы только что привели этот пример, я думаю, потому что с точки зрения вычислений с ними проще работать, и я не знаю, что вы говорите в этой области.
Том: Да, я думаю, это правильно. Мне до сих пор так кажется. Предположим, что мы те, кто делает компьютеры, верно? Архитектуры, которые делают одну из этих структур более эффективной, чем другая. Я думаю, что да, это открытый вопрос, какой из них лучше. Без сомнения, наш мозг представляет собой рекуррентную нейронную сеть. Однако это не означает, что мы должны моделировать все на основе мозга. Классический пример самолета и птицы, и вы знаете, что инженерный троп, который связан с этим.
Но на самом деле я считаю, что нам не обязательно использовать рекуррентную нейронную сеть, чтобы использовать идеи, разработанные в течение многих десятилетий в сетях Хопфилда, потому что теоретически идея преобразователей заключается в применении своего рода одного шага рекуррентное обновление и просто обрабатывать длину вектора или новые нейроны в одном слое вместо выполнения свертки, ну, сделать что-то вроде свертки и просто иметь вектор той же длины в качестве следующего шага. Вы могли бы теоретически думать об этих нейронах как об идентифицированных с точки зрения теоретического анализа их с точки зрения рекуррентной нейронной сети, которая не является интуитивной или физической.
Я рассматриваю это с точки зрения прямой связи или завершения. Но если вы хотя бы просто согласитесь с этим, то оттуда, я думаю, вы сможете сделать все. Теоретически вы можете делать все так же, как и раньше в рекуррентных сетях.
Стелиос: Итак, каковы преимущества изучения сетей и аттракторов Хоупфилда в наши дни в текущее состояние нейронных сетей и когнитивной науки?
Том: Ну, трансформеры сами по себе уже доказали свою огромную эффективность, и вопрос в том, почему я так думаю. Почему они так эффективны и как, в частности, они могут быть еще более эффективными? Даже то, что мы видим, что определенные модификации трансформаторов для разных модальностей или разных задач могут улучшить их работу. Но вопрос в том, почему и есть свои интуиции и своего рода эвристики, которые люди используют здесь и там, развивают теории, но я думаю, учитывая, что у нас есть сейчас, есть клад, этот секретный туннель обратно в удивительную пустыню, которая сейчас на полках сети Хопфилда много запыленных бумаг десятилетней давности.
Но учитывая, что у нас есть эта связь, я думаю, что мы должны попытаться использовать ее, и мы должны попытаться оглянуться назад и посмотреть, что делают эти старые газеты. Что делают эти старые идеи? Можем ли мы переделать или переинтерпретировать некоторые из этих старых идей в преобразователях, потому что они были очень общими, очень теоретическими, большинство из них, и в основном уже имеется огромное количество данных или ваших знаний, которые мы все еще можем использовать сегодня, но это требует немного математики? Так что я не обязательно буду вдаваться во все подробности, но могу привести пару примеров, если вам интересно.
Стелиос: Это интересно. Далее я хотел спросить вас об общем искусственном интеллекте. Итак, что вы думаете по этому поводу? Понятно, что у каждого свое мнение. Никто не всегда является правдой. Итак, вы предполагаете, что, возможно, часть работы, которую вы выполняете в области вычислительной нейронауки, в конечном итоге приведет к общему ИИ, такому как рекуррентные нейронные сети или, возможно, некоторые из старых сетей, которые будут переработаны с использованием большего количества вычислительных ресурсов, или вы думаете, что может быть, мы сделаем что-то вроде общего ИИ, просто используя существующие архитектуры глубокого обучения, просто делая их все больше и больше? Я знаю, какой глубокий ум они создают эту очень большую сеть, которая пытается выполнить несколько задач за один раз. Как маленькие картинки, я не знаю. Он генерирует материал, понимает язык и все такое. Итак, что вы думаете по этому поводу и что говорят исследователи в этой области?
n Стелиос: я думаю, что многие люди, по крайней мере в моей тишине, скажут: «Нет, этого пока недостаточно, чтобы сделать общий ИИ. Однако я не думаю, что у нас даже есть хорошее определение или соглашение по этим терминам и тому, что квалифицируется, а что нет. Так что это само по себе проблематично, и я думаю, некоторые люди будут утверждать, что у нас уже есть это или у нас уже есть разумный ИИ. или что-то. Мы вполне можем иметь это под некоторыми определениями. Итак, я думаю, что это, возможно, больше философский вопрос, и я думаю, что он пока не решен, но, по крайней мере, я хотел бы видеть больше видов когнитивной науки, вычислительной нейробиологии и даже других форм математики в ИИ. Я думаю, что они действительно будут очень полезны, если мы это сделаем.
Стелиос: Да, на самом деле, если мы посмотрим, скажем, на 50 лет назад, то увидим, что когнитивная наука была более интегрирована с ИИ в лингвистике. Теперь кажется, что вещи настолько сегментированы, что некоторые исследователи могут сказать: «Вау, я занимаюсь только глубоким обучением», а могут даже больше не говорить о машинном обучении». Считаете ли вы, что в поисках общего ИИ мы можем наблюдать реинтеграцию различных областей или когнитивной науки?
Том: я думаю, что мы на вершине, и я имею в виду, например, у молодого Лаокона был машинном обучении. Почему? Ну, я полагаю, потому что компьютерные структуры, которые мы создали и коммерциализировали, преобладают над теми, которые полагаются на эти линейные виды алгебраических структур. Это нормально, но есть и другие структуры. Есть и другие виды вещей, и, конечно же, я думаю, да, если мы достаточно долго размышляем о том, что такое компьютер, что такое интеллект, мы понимаем, что это никак не связано. Совершенно не очевидно, что мы должны полагаться на все различные структуры, которые есть в нашем нынешнем арсенале. На самом деле это довольно ограниченное подмножество или ограниченный набор определений того, что такое интеллект и что может делать машина или чем она может быть.
Стелиос: Это очень интересный момент, и есть риск, что он станет немного техническим. Если бы мы не использовали векторы, то что структуры данных, как вы думаете, мы могли бы использовать для представления знаний и вычислений?
Том: Я имею в виду очевидную область, которая уже исследуется в графах, и у нас есть вершины и ребра, или все эти сети, а также узлы и связи между узлами. Классический пример для тех, кто не знает, как выглядит такая структура, — это социальная сеть, где люди — это узлы или вершины, а ребра — это социальные связи между людьми, такие как Facebook или что-то в этом роде, или Twitter. Но у вас могут быть даже многомерные обобщения этого.
У вас могут быть комплексы, например, и они начинают уходить от геометрии, и вы спускаетесь к топологической структуре. После этого можно даже спуститься до просто алгебраической структуры. Я думаю, например, такие структуры, как — хорошо, что недавно была статья о парусах arXiv. Это идея присоединения различных объектов над вершинами и ребрами, которая недавно была реализована для нейронной сети, но до сих пор это просто присоединение векторных пространств над ними. Так что особого интереса не было. Да, я думаю, что в принципе есть много других интересных структур, которые можно было бы увидеть.
Стелиос: Да, это хорошая мысль. Я помню много лет назад, когда я изучал когнитивную науку. Был этот курс, посвященный представлению знаний, и, по сути, речь шла о различных математических моделях представления знаний в рамках когнитивной науки. Похоже, что везде преобладают векторные пространства, но есть и другие способы представления знаний.
Возвращаясь к вашему примеру с самолетом и птицей, для тех из вас, кто не знает об этом, есть аргумент, что только потому, что мы знаем, что птицы могут летать, не означает, что создание летательного аппарата означает, что Вы должны имитировать птиц на 100%, верно? Потому что мы этого не делаем. То же самое и с общим ИИ: то, что мы знаем, что мозг разумен, не означает, что мы должны имитировать его на 100 %, чтобы создать интеллект.
Вернемся к этому примеру. Думаю, мы не знаем, какие структуры данных лучше всего подходят для разведки. Некоторые вещи, такие как векторы, тензоры и все такое, были немного случайными, поскольку нейронные сети на самом деле очень эффективны. Затем кто-то понял: «Так что я могу использовать GPU для этого, потому что GPU по существу оптимизированы для линейной алгебры, и одно приводит к другому, что, я думаю, было немного непреднамеренно. In video никогда не собирался проникать в ИИ, и теперь мы представляли, может быть, 30 лет назад, что тензоры будут так популярны в этом типе вычислительных машин.
Том: Да, именно так. Я лично думаю, что такие вещи, как решетки, могут быть чрезвычайно полезными. Да, в принципе, существует так много различных типов структур, и люди, к сожалению, застревают в том, что работает, без сомнения, это работает, и, возможно, это причина придерживаться этого, но мне интересно, какой была бы история, если бы мы только что столкнулись с другим типом структуры данных, которая в видео< /a>, чтобы делать компьютерные игры и все остальное, для чего они оптимизировали, независимо от того, был ли другой набор математики нашей основой, которую мы сейчас используем.
Стелиос: Да, я полностью согласен. Так что, думаю, только время покажет. Итак, прежде чем мы начнем, если бы вы могли сделать прогноз на следующие, скажем, 5-10 лет, как вы думаете, что действительно выделится в мире ИИ, нейронных сетей и когнитивной науки, если бы вы могли сказать, для например, что-то одно?
Том: Я думаю, это тема того, что мы обсуждали. Я думаю, люди придут к пониманию, что между этими структурами существуют более глубокие связи, и это может быть полезно в обоих направлениях, чтобы понять мозг, понять и создать более совершенный ИИ. В этом процессе мы, вероятно, обнаружим некоторые новые структуры и методы, которые в настоящее время не являются общепринятыми, я думаю, ни в одной из областей.
Стелиос: Да, звучит неплохо. Да, я думаю, мое предсказание, вероятно, было бы чем-то в том же духе. Я бы не стал предсказывать, я не осмелюсь сказать: «о, у нас будет общий ИИ через пять лет» или что-то в этом роде. Я не думаю, что это произойдет. У нас определенно будет какой-то постепенный прогресс или, может быть, какая-то интеграция разных областей, что, безусловно, хорошо. Это определенно хорошо. Я, вероятно, приблизил бы нас к пониманию человеческого разума, а также к тому, что говорить на самом деле нельзя. Как мы можем создать более интеллектуальные машины, чем те, которые у нас есть сейчас? Так что да, думаю, наше время вышло, но спасибо, Том. Это была очень интересная дискуссия.
Том: Да, спасибо. Большое спасибо.
Стелиос: Спасибо всем, что остались с нами сегодня, мы надеемся увидеть вас снова в других наших подкастах.
Также опубликовано здесь n
Оригинал