ИИ теперь может играть в Minecraft так же хорошо, как и вы — вот почему это важно

Эксперты OpenAI обучили нейронную сеть играть в Minecraft на столь же высоком уровне, как и игроки-люди.

Нейронная сеть была обучена на 70 000 часов различных игровых материалов, дополненных небольшим база данных видео, в которых подрядчики выполняли определенные внутриигровые задачи, с клавиатура и mouse также записываются.

После тонкой настройки OpenAI обнаружил, что модель способна выполнять все виды сложных навыков, от плавания до охоты на животных и поедания их мяса. Он также усвоил «прыжок со столба», движение, при котором игрок помещает блок материала под собой в середине прыжка, чтобы набрать высоту.

Возможно, наиболее впечатляющим является то, что ИИ мог создавать алмазные инструменты ( требующий последовательного выполнения длинной последовательности действий), что OpenAI назвал «беспрецедентным» достижением для компьютерного агента.

Прорыв в области ИИ?

Значение проекта Minecraft заключается в том, что он демонстрирует эффективность нового метода, используемого OpenAI для обучения моделей ИИ, который называется предварительным обучением видео (VPT). По словам компании, он может ускорить разработку «общего агентов».

Исторически сложилось так, что сложность использования необработанного видео в качестве источника для обучения моделей ИИ заключалась в том, что то, что произошло, достаточно просто понять, но не обязательно как. По сути, модель ИИ будет поглощать желаемые результаты, но не имеет представления о входных комбинациях, необходимых для их достижения.

Однако с помощью VPT OpenAI объединяет большой набор видеоданных, взятых из общедоступных веб-источников, с тщательно подобранный набор видеоматериалов, помеченных соответствующими движениями клавиатуры и мыши, для создания базовой модели.

Чтобы настроить базовую модель, команда затем подключает меньшие наборы данных, предназначенные для обучения конкретным задачам. В этом контексте OpenAI использовал кадры, на которых игроки выполняли действия в начале игры, такие как вырубка деревьев и создание столов для крафта, что, как говорят, привело к «значительному улучшению» надежности, с которой модель могла выполнять эти задачи.

Другой метод включает в себя «вознаграждение» модели ИИ за выполнение каждого шага в последовательности задач. Эта практика известна как обучение с подкреплением. Именно этот процесс позволил нейронной сети собрать все ингредиенты для алмазной кирки с вероятностью успеха на уровне человека.

«VPT прокладывает путь к тому, чтобы позволить агентам учиться действовать, наблюдая за огромным количеством видео в интернете. По сравнению с генеративным видеомоделированием или контрастными методами, которые дают только репрезентативные априорные данные, VPT предлагает захватывающую возможность прямого изучения крупномасштабных поведенческих априорных значений в большем количестве областей, чем просто язык», — объяснил OpenAI в запись в блоге.

«Хотя мы только экспериментируем с Minecraft, игра очень открыта. и собственный человеческий интерфейс (мышь и клавиатура) очень общий, поэтому мы считаем, что наши результаты хорошо подходят для других подобных областей, например. использования компьютера».

Чтобы стимулировать дальнейшие эксперименты в этой области, OpenAI сотрудничает с Оригинал