Гиперреалистичный или мультяшный: ключи к реалистичным идентичностям в метавселенной
22 февраля 2023 г.Если вам интересно, как может выглядеть будущее симулированной реальности, посмотрите Бегущий по лезвию 2049. В этом фильме есть один недооцененный персонаж, истинное значение которого мы даже не до конца улавливаем за красивой картинкой — идеализированная и портативная голограмма Джой с индивидуальным аватаром и возможностью изменения ее внешности в реальном времени. На самом деле Джой — это приложение-компаньон с искусственным интеллектом, в которое можно играть в 3D с помощью дополнительных устройств, но благодаря фотореалистичной 3D-модели она кажется настоящей. Единственным недостатком является то, что Джой не может быть полностью материализован в реальном мире.
Однако ее гиперреальность означает, что она гораздо больше, чем просто симуляция — для главного героя фильма она реальный человек. Она его девушка. И, наблюдая ее в кино, мы тоже игнорируем ее искусственность. Джой может быть лучшим примером того, какими многие люди хотели бы быть в иммерсивных пространствах — совершенными, наделенными способностью творить и гиперреалистичными.
Но как мы туда попадем? Виртуальные пространства, имитирующие реальность, уже существуют, но до сих пор нет единого решения, как перенести в них свою личность и сохранить качественную репрезентацию. Это требует времени, стоит больших денег и, как следствие, недоступно обычному пользователю.
Тем не менее, достижение гиперреалистичного виртуального опыта — особенно гиперреалистичных аватаров — находится в пределах нашей досягаемости. Нам просто нужно лучше понять, как наши виртуальные и цифровые идентичности связаны с концепцией гиперреальности, как создавать гиперреалистичные версии самих себя для цифрового пространства и почему решение проблемы выходит за рамки качественной визуализации объектов и объектов. пробелы.
Что такое гиперреальность?
Мы рассматриваем гиперреальные вещи как цифровые объекты, визуально неотличимые от физической реальности. . Но из-за своей цифровой природы эти объекты также обладают свойствами и возможностями, которых может не быть в физическом мире. Это определение применимо к аватарам или другим изображениям людей (например, Джой из Бегущего по лезвию 2049), а также к любому фотореалистичному цифровому контенту — трюкам в фильмах, играм и спецэффектам. Гиперреальность — это больше, чем просто дополненная реальность, которая обманывает чувства, потому что мы не чувствуем — или предпочитаем не чувствовать — разницы.
Для лучшего объяснения давайте поместим гиперреальность в спектр между реальным и искусственным. Этот спектр также включает в себя дополненную и виртуальную реальность, каждая из которых обеспечивает различный опыт человеческого восприятия.
* Виртуальная реальность — это полное цифровое представление воображаемого мира, которое пользователь воспринимает как независимое знание, альтернативу реальному миру. * Дополненная реальность – это смешанная реальность с элементами цифрового или реального мира. Воспринимается пользователем как опыт взаимодействия с цифровым миром для большего погружения и создания эффекта присутствия. * Гиперреальность — это опыт цифрового (искусственного) происхождения, имитирующий реальность, но не воспринимаемый пользователем как игра. Наоборот – расширяет восприятие действительности.
Гиперреальность — это настоящая жизнь, но лучше
Я считаю, что гиперреальность станет ключевым аспектом определенного опыта в метавселенной и в будущем Интернета в целом. Я согласен с Томом Грэмом, генеральным директором и соучредителем компании Metaphysic, который отмечает, что люди предпочитают гиперреальность, потому что она позволяет получить более аутентичный и эмоциональный опыт. Этот переход необходим, чтобы открыть метавселенную, выходящую за рамки игр и развлечений, и включить более обычные повседневные дела, такие как посещение врачей или семейные встречи.
Пока существует Интернет, люди представляли себе, как будет выглядеть настоящая виртуальная реальность. Например, почти 25 лет назад психолог Шерри Теркл описала будущее человеческой идентичности в мире Интернета, используя термин MUD (многопользовательские подземелья), который сегодня мы называем метавселенной: «MUDding — это больше, чем просто компьютерная игра; это гиперреальность в полную силу».
А когда человек оказывается в виртуальном пространстве, как он воспринимает этот мир? Кто или что они? «Они так же реальны, как и моя реальная жизнь», — ответил один из испытуемых Теркла. «Теперь я могу иметь портфель жизней, в котором моя настоящая жизнь — лишь одна; RL [реальная жизнь] — это просто еще одно окно, и обычно оно не самое лучшее для меня».
Удивительно, но люди в конце 1990-х описывали свое ощущение виртуального пространства как похожее на то, что мы чувствуем сегодня. Согласно a Глобальное исследование Momentum Worldwide, проведенное в июле 2022 года, показало, что люди чувствуют себя более вовлеченными в метавселенную, чем в реальную жизнь. отчет также показал, что потребители обращают внимание на виртуальный опыт< /a> чтобы заполнить три основных аспекта жизни: вдохновение, индивидуальность и инклюзивность.
<цитата>Перенос цифровой копии себя в виртуальный мир и получение повседневного человеческого опыта — это следующий прорыв на пути к созданию метавселенной.
На самом деле, многие люди верят, что реальный мир со временем будет заменен виртуальным, и ожидают гиперреального будущего. В июне 2022 г. Verse Estate, агентство метавселенной, специализирующееся на создании гиперреалистичных индивидуальных моделей домов, позволяет клиентам добавлять цифровые активы, свою любимую мебель, или искусство, чтобы сделать их виртуальный дом уникальным местом.
Еще лучше, если ваши аватары, вещи и общая цифровая идентификация совместимы при переходе между мирами или средами. Некоторые технологии, позволяющие это сделать, уже существуют, в том числе Ready Player Me, который делает виртуальные удостоверения совместимыми с различными платформами.
Между статичностью и выразительностью лежит зловещая долина
Однако добиться истинной гиперреальности будет сложно, даже несмотря на то, что некоторые из основных возможностей в некоторой степени формируются. Решение всех ее требований и задач — как технологических, так и деловых — выходит за рамки возможностей какой-либо одной компании или отрасли. Стремление к совершенству человеческой графики функционирует как микрокосм большего поля.
When Meta announced the запуск своей платформы метавселенной Horizon Worlds, например , не всех устроило качество, детализация и реалистичность мультяшного аватара Марка Цукерберга. На самом деле, большинство, если не все, нынешние попытки визуализации в метавселенной далеки от гиперреалистичности и не могут сравниться с попытками, скажем, в многопользовательских ролевых онлайн-играх. Этому есть простая причина: мы еще не знаем, как передать множество человеческих эмоций и выражений, которые должны быть доступны в реалистичных виртуальных средах, где аватары реагируют на непредсказуемые стимулы в режиме реального времени.
Однако на рынке есть множество инструментов для создания цифровых аватаров — от мультяшных вроде CloneX до от вышеупомянутого Ready Player Me до самого гиперреалистичного, предоставленного такими студиями персонажей, как Reblika и Hyperreal. Эти студии демонстрируют высочайшее качество гиперреальных людей для метавселенной, во главе с последним выпуском MetaHuman от Unreal Engine, который может импортировать сканы лиц реальных людей и автоматически генерировать цифровое лицо. Хотя, чтобы полностью воспроизвести чью-то цифровую копию в 3D, нужно потратить много времени, играя с цветом кожи, волосами и другими деталями, даже если вы профессиональный дизайнер.
Я бы сравнил этих красивых реалистичных цифровых людей с очень дорогой машиной, лучшей в своем классе, но на которой можно ездить только в отпуске и по прямой ровной дороге. Мы не сможем использовать те же инструменты и подход для создания гиперреалистичных цифровых людей в быстро меняющейся динамичной среде, как в статическом реализме. Он по-прежнему слишком тяжелый и сложный, чтобы справиться со всеми проблемами рендеринга в реальном времени в масштабе метавселенной.
Однако совсем недавно лаборатория Meta's Reality Labs дразнил свои последние улучшения в проекте Codec Avatars 2.0 — прототипы VR-аватаров с использованием передовых методов машинного обучения. Новые аватары выглядят очень реалистично и даже способны выражать эмоции , но они не являются результатом работы только нейронных сетей. Например, такое качество по-прежнему требует сканирования с помощью 3D-камер, которые по ряду причин вряд ли получат широкое распространение в ближайшее время.
В целом, основным препятствием являются вычисления, потому что чем ближе вы приближаетесь к гиперреальности, тем больше мощности и времени вам требуется.
<цитата>Например, чтобы увеличить реалистичность на 1 %, вам нужно выполнить в пять раз больше вычислений.
Таким образом, реальная задача для компаний в метавселенной – найти выход из жуткой долины изображения лиц, в результате чего люди выглядят реальными, но в то же время неестественными и жуткими, потому что что-то просто не так.
Эффект сверхъестественной долины еще более заметен, когда мы наблюдаем метавселенную через иммерсивное устройство, такое как гарнитура виртуальной реальности. Мы можем простить некоторые ошибки в графике видеоигр на плоском экране, но поверьте мне, вы не хотите видеть, как чья-то нога отделена от тела (по крайней мере, непреднамеренно) при использовании гарнитуры XR или видеть движения лица, которые не поспевают за ними. с прямой речью. Поэтому технология — от сети до самого устройства — должна быть максимально оптимизирована, чтобы обеспечить возможность рендеринга на устройстве в режиме реального времени. Нам нужно найти разумный компромисс между привычками пользователей, возможностями устройства и сохранением гиперреалистичного эффекта погружения.
Нейронный рендеринг показывает многообещающие результаты
Говоря о менее качественных, но более быстрых технологических решениях для создания реалистичных 3D-персонажей, мы должны обратить внимание на метод полей нейронного излучения (NeRF). методология NeRF была впервые описана исследователями из Google Research и Калифорнийского университета в Беркли в 2020 году на ежегодной Европейской конференции по компьютерному зрению. В 2022 году новая волна разговоров об этой технологии возникла после того, как Nvidia официально представила Instant NeRF — модель нейронного рендеринга, которая позволяет преобразовывать несколько 2D-изображений в 3D-сцены без сканирования камеры. В отличие от классического полигонального моделирования нейронный рендеринг воспроизводит 3D-сцену исключительно на основе оптики и линейной алгебры. Согласно Nvidia, его можно использовать для «создания аватары или сцены для виртуальных миров, для захвата участников видеоконференций и их окружения в 3D или для реконструкции сцен для цифровых 3D-карт».
Основным преимуществом нейронного рендеринга является его масштабируемость. До сих пор модели требовалось много времени для изучения, и ее скорость рендеринга остается основным привратником для выхода на рынок, но ИИ гораздо более гибок с точки зрения оптимизации. Нейронным сетям просто нужно больше времени и данных, чтобы получать все более качественные результаты. Думаю, скоро мы увидим появление новых способов оптимизации и превращения нейронного рендеринга в товар, чтобы каждый мог сделать несколько селфи на смартфоне и получить свою виртуальную 3D-копию для участия в гиперреальном 3D-пространстве.
Это более сложно с технологической точки зрения, но я считаю, что в будущем появится большой спрос на гиперреалистичные виртуальные миры в дополнение к мультяшным или игровым. И хотя мы говорим о будущем, которое еще не наступило, машинное обучение снова доказывает себя в новой области. Это может сыграть значительную роль в создании гиперреальной магии метавселенной.
Если вы хотите изучить тему немного глубже, я составил список интересных статей о создании цифровой идентификации, эволюции графики, нейронном рендеринге и многом другом:
* Double Negative представляет Joi из «Бегущего по лезвию 2049»: Для фанатов компьютерной графики. Статья Дэна Сарто о том, как эксперт по визуальным эффектам Пол Ламберт создал голографическую Джой и другие элементы киберпанка и визуальные эффекты для «Бегущего по лезвию 2049».
* Искусственные лица создают новый Рынок — и это ужасно хорошо: надежное объяснение эволюции цифрового лица. Моя статья о том, как технологии меняют наши лица и зачем эти трансформации нужны сегодня. Для начала загадка, может ли ИИ создать образ, достойный доверия миллионов.
н * Социальное восприятие индивидом виртуальных аватаров, воплощенных с их привычными выражениями лица и внешним видом : углубленное исследование, проведенное в 2021 году, было направлено на улучшение реалистичных выражений лица виртуальных персонажей и каналов невербальной коммуникации для создания более индивидуального опыта.
* Чеканка лиц Блейна О'Нила в скрытых пространствах: эта статья рассказывает о том, как Уильям Вибе переосмысливает аватары, созданные для инфраструктуры метавселенной, раскрывая в процессе встроенные предпочтения.
* Почему достижения в нейронной 3D-рендеринге не достигают рынка< /a>: отличная статья моего коллеги и соучредителя Reface Олеся Петрива, в которой объясняются технические аспекты нейрорендеринга на пути к мгновенному созданию фотореалистичных 3D-объектов.
* Проектирование механизмов, ориентированных на человека, с демократичным ИИ: Это больше о решении ИИ и почти не по теме, но при структурировании моей статьи мне понравилось исследовать демонстрацию глубокого обучения с подкреплением DeepMind, решая одну из ключевых проблем. в исследованиях ИИ.
Оригинал