Мета хочет, чтобы виртуальный ландшафт звучал как реальная жизнь
25 июня 2022 г.Meta и группа исследователей из Техасского университета в Остине (UT Austin) работают над созданием реалистичного звука в метавселенной.
Чтобы добиться этого, Мета планирует использовать очки дополненной реальности. для записи аудио и видео из одного места, а затем с помощью набора из трех моделей искусственного интеллекта преобразуйте и очистите запись, чтобы казалось, что она происходит перед вами, когда вы воспроизводите ее дома. ИИ будут учитывать комнату, в которой вы находитесь, чтобы она соответствовала окружающей среде.
Глядя на проекты, кажется, что Meta фокусируется на очках дополненной реальности. План Meta в отношении гарнитур виртуальной реальности включает в себя воспроизведение изображений и звуков окружающей среды, например, концерта, чтобы создавалось ощущение, что вы находитесь там лично.
Мы спросили Meta, как люди могут слушать улучшенный звук. . Людям понадобится пара наушников, чтобы слушать, или они будут исходить от гарнитуры? Мы не получили ответа.
Мы также спросили у Meta, как разработчики могут получить доступ к этим моделям ИИ. Они были сделаны с открытым исходным кодом, чтобы сторонние разработчики могли работать над технологией, но Meta не предоставила никаких дополнительных подробностей.
Преобразовано с помощью ИИ
Вопрос в том, как Meta может записывать звук на пару очков дополненной реальности и отображать новые настройки.
Первое решение известно как AViTAR и представляет собой ”модель визуально-акустического сопоставления. .” Это искусственный интеллект, который преобразует звук в соответствии с новой средой. Мета приводит пример матери, записывающей танцевальное выступление своего ребенка в зрительном зале с помощью очков дополненной реальности.
Один из исследователей утверждает, что рассматриваемая мать может взять эту запись и воспроизвести ее дома, где ИИ преобразует звук. Он будет сканировать окружающую среду, учитывать любые препятствия в комнате и воспроизводить сольный концерт так, как будто он происходит прямо перед ней в тех же очках. Исследователь утверждает, что звук будет исходить от очков.
Чтобы помочь очистить звук, существует Визуально-информированная дереверберация. По сути, он убирает из клипа отвлекающую реверберацию. Приведенный пример — запись концерта скрипки на вокзале, запись домой, а ИИ очистит клип, чтобы вы не слышали ничего, кроме музыки.
Последняя модель ИИ — VisualVoice, который использует комбинацию визуальных и звуковых сигналов для отделения голосов от других шумов. . Представьте, что вы записываете видео, на котором два человека спорят. Этот ИИ изолирует один голос, чтобы вы могли его понять, заглушая все остальные. Мета объясняет, что визуальные подсказки важны, потому что ИИ нужно видеть, кто говорит, чтобы понимать определенные нюансы и знать, кто говорит.
Что касается визуальных эффектов, Мета заявляет, что они планируют использовать видео и другие подсказки. дальнейшее улучшение звука, управляемого искусственным интеллектом. Поскольку эта технология все еще находится на ранней стадии разработки, неизвестно, перенесет ли Meta эти ИИ в ближайшую к вам гарнитуру Quest и если да, то когда.
Обязательно прочитайте наш последний обзор Oculus Quest 2, если вы думаете о покупке одного. Спойлер: нам нравится.
Оригинал