Создание приложения дополненной реальности: Руководство по технологиям 2022 г.

1 ноября 2022 г.

За последние несколько лет наблюдается тенденция к использованию и развитию дополненной реальности. Это связано с инвестициями в мобильное оборудование, интересом к захватывающим виртуальным опытам с метавселенной и растущей конкуренцией в отрасли.

По данным Research and Markets, благодаря этим переменным рынок дополненной реальности достигнет 502 млрд долл. США к 2027 году, а среднегодовой темп роста составит 62,7 %.

Если вы планируете стать частью этих процентов со своим проектом дополненной реальности, вам следует знать обо всех нюансах разработки AR-приложений.

В этом руководстве мы обсудим детали разработки дополненной реальности в 2022 году, включая выбор технологий и процесс разработки.

Типы приложений дополненной реальности

Существует несколько различных типов приложений дополненной реальности, включая решения дополненной реальности на основе маркеров, без маркеров, на основе местоположения и с наложением.

МАРКЕРНАЯ AR

Эти приложения используют определенный «маркер», например QR-код или другое изображение. 3D-контент в приложении размещается в мире относительно маркера или поверх него.

Старым, но интересным примером дополненной реальности на основе маркеров является PlayStation 3 Wonderbook, игровая «периферия», которая позволяет игрокам просматривать книгу заклинаний на своем экране. Книга вращается и перемещается, когда они берут устройство и перемещают его.

Камера использует шаблоны на самой книге в качестве эталона для отображения содержимого дополненной реальности — технологии, которая сегодня часто используется в Snapchat и Instagram.

БЕЗМАРКИРОВКА AR

Вместо использования заданных шаблонов или кодов для запуска контента в дополненной реальности без маркеров используется камера для обнаружения шаблонов окружающей среды, а также датчики движения для обнаружения поверхностей и размещения 3D-объектов. Обычно это включает несколько различных технологий, работающих вместе, например: n

GPS и другие инструменты определения местоположения
Цифровой компас
Камера
Акселерометр и гироскоп
Датчики глубины n

Новейшие устройства оснащены оборудованием для определения глубины (LiDAR, ToF) для повышения точности. Таким образом, дополненная реальность без маркеров основана не только на датчиках глубины и других данных позиционирования, но и на алгоритмах машинного обучения< /a> поверх этих данных.

Это позволяет более точно отображать 3D-контент и создает иллюзию того, что цифровые объекты являются частью реального мира. Такие приложения, как Pokemon Go, используют дополненную реальность без маркеров.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ О МЕСТОПОЛОЖЕНИИ

Когда пользователи входят в определенное место, приложения дополненной реальности могут использовать эти данные для точного отображения виртуального контента. Вот как работает дополненная реальность на основе местоположения.

Вместо того, чтобы просто отображать объект в относительном пространстве, разработчики могут отображать объекты в географическом пространстве, чтобы пользователи могли наблюдать и взаимодействовать с ними.

С точки зрения технологии дополненная реальность на основе местоположения опирается на GPS, цифровой компас и акселерометр. Более того, существует несколько подходов для сужения позиции устройства: n

– маяки BLE (Bluetooth с низким энергопотреблением)

– VPS (система визуального позиционирования)

– Wi-Fi Direct с малым радиусом действия

– UWB (сверхширокополосный)

Наложение дополненной реальности

Этот тип дополненной реальности предполагает цифровую замену объекта или наложение виртуального объекта поверх другого. Например, приложение, которое может изменить цвет вашего дивана в цифровом виде, может считаться дополненной реальностью с наложением.

Этот метод полезен для демонстрации причинно-следственных связей. Например, пользователь может навести камеру на районы своего города, чтобы увидеть, как он выглядел десять лет назад, из архива Google Maps.

Технологии, используемые для разработки дополненной реальности

Технологии, используемые при разработке приложений дополненной реальности, могут зависеть от ряда факторов, таких как тип используемого оборудования, доступная мощность устройства и приложение, для которого используется дополненная реальность.

Мобильные платформы дополненной реальности

Смартфоны обладают уникальными преимуществами по сравнению с другими платформами дополненной реальности. Они широко распространены на рынке и чрезвычайно портативны. Это делает дополненную реальность более доступной для многих потребителей, поскольку громоздкие гарнитуры и элегантные умные очки еще не стали массовыми.

По этой причине мобильная дополненная реальность является главной целью для бизнес-приложений.

Хотя дополненная реальность для мобильных устройств может быть не самой мощной или иммерсивной, она, безусловно, может быть очень прибыльной и является одной из самых важных тенденции дополненной реальности для отслеживания. Более того, мобильная дополненная реальность может стать экономичным способом для владельцев бизнеса присоединиться к тренду метавселенной.

Решения для примерки, позволяющие тестировать косметику или одежду перед покупкой, AR-аватары и фильтры, доступные пользователям на смартфоне, могут помочь компаниям общаться с покупателями даже в виртуальной среде.

Существует три подхода к мобильной дополненной реальности, из которых компании должны выбирать: n

Нативные приложения дополненной реальности для Android с ARCore
Нативные приложения дополненной реальности iOS с ARKit
Кроссплатформенные приложения n

Разработка приложений с дополненной реальностью позволит разработчикам использовать все преимущества устройства. В свою очередь, кроссплатформенное приложение может не использовать мощные встроенные функции, но сократить время разработки.

Создание одного и того же приложения с нативным кодом на каждой платформе будет дороже, но если потребуется больше возможностей и возможностей, это может оказаться более эффективным. Если приложение довольно простое, кроссплатформенного кода может быть достаточно.

Несмотря на Android доминирует на мировом рынке ОС, разработчики на GitHub исторически предпочитали ARKit из-за количества репозиториев. последние несколько лет.

| Год | Результаты репозитория ARKit | Результаты репозитория ARCore | |----|----|----| | 2020 | 3 967 | 1 483 | | 2021 | 4 504 | 1874 | | 2022 | 4 962 | 2 204 |

Разработка дополненной реальности для устройств iOS: ARKit 5 и ARKit 6

Якоря местоположения

Привязки местоположения позволяют разработчикам закреплять виртуальные объекты в реальном мире с помощью географических координат. Например, привязки местоположения могут отображать трехмерный значок или текст в пространстве рядом со значком здания.

Поскольку привязки местоположения зависят от данных Apple Maps, это означает, что если город не поддерживается Apple Maps, функциональность привязок местоположения может быть ограничена.

Одним из самых новаторских элементов якорей местоположения является то, как приблизительно определяется местоположение. GPS просто недостаточно точен, чтобы отображать местоположение на экране пользователя.

Чтобы помочь разработчикам, разработчики могут осмотреться с помощью своей камеры, чтобы устройство могло сканировать объекты на зданиях вокруг них. Используя эти архитектурные функции в сочетании с данными Apple Maps Look Around, местоположение пользователя может быть лучше приблизительно определено для привязок местоположения.

API глубины

API глубины — еще одна ценная функция ARKit 4, которая продолжает играть важную роль в ARKit 5 и ARKit 6.

Он использует одну из самых мощных аппаратных функций дополненной реальности на мобильном устройстве — Сканер LiDAR на iPad Pro и смартфонах Phone 12 Pro, 12 Pro Max, 13 Pro, 13 Pro Max и 14 Pro.

Это позволяет гораздо лучше анализировать сцены и позволяет объектам реального мира перекрывать виртуальные объекты с гораздо большей точностью.

API рейкастинга

Apple Raycasting API обеспечивает улучшенное размещение объектов в сочетании с данными о глубине. Это позволяет гораздо точнее размещать виртуальные объекты на различных поверхностях с учетом их кривизны и угла наклона.

Например, это можно использовать для размещения объекта сбоку от стены или вдоль изгибов дивана, а не просто на полу. Датчик LiDAR позволяет сканировать поверхности намного быстрее, чем при использовании традиционных методов.

Обновления ARKit 6

В ARKit 6 скоро появится несколько новых функций для улучшения опыта дополненной реальности на устройствах iOS. Некоторые из функций, которые рекламирует Apple, включают улучшенный захват движения, улучшенный доступ к камере и дополнительные места для привязок местоположения.

Они также планируют включить Plane Anchors, функцию, которая позволит отслеживать плоские поверхности, такие как столы. Это упрощает перемещение этих поверхностей, не нарушая работу дополненной реальности. ARKit 6 будет выпущен вместе с iOS 16 этой осенью.

В рамках нашего исследования ARKit здесь, в MobiDev, мы протестировали использование ARKit для отслеживания взгляда. Это открывает ряд возможностей для iOS, таких как жесты глазами, аналитика тепловых карт веб-сайтов на основе зрения и предотвращение отвлечения внимания или сонливости за рулем.

https://youtu.be/ktbLmbP5ZoA?embedable=true

Разработка дополненной реальности для устройств Android: ARCore

Стремясь сохранить конкурентоспособность, Google продвинула ARCore далеко вперед, чтобы оставаться одной из самых универсальных платформ для разработки дополненной реальности в мире. Давайте рассмотрим некоторые функции, используемые разработчиками.

Облачные привязки

Этот инструмент позволяет пользователям размещать виртуальные объекты в физическом пространстве, которые другие пользователи могут просматривать на своих устройствах. Google позаботился о том, чтобы Cloud Anchors были видны пользователям устройств iOS.

На стороне Android ARCore представляет новые функции, соответствующие достижениям ARKit. В ARCore v1.33.0 представлены новые конечные точки Cloud Anchors и привязки Terrain. Оба они улучшают географическую привязку виртуальных объектов.

Ранее в этом году в ARCore версии 1.31.0 был представлен ARCore Geospatial API, который, как и ARKit Location Anchors, использует данные из картографических баз данных.

В этом случае данные изображений Google Планета Земля и Просмотр улиц используются для определения географического местоположения пользователя и точного отображения виртуальных объектов в этих местах.

Следующая демонстрация MobiDev демонстрирует, как работают функции обнаружения объектов ARCore для виртуального руководства пользователя .< /p>

https://youtu.be/6ceN7YgSEdU?embedable=true

Лица дополненной реальности

ARCore позволяет разработчикам работать с высококачественной визуализацией лица, создавая 3D-модель с 468 точками. Маски и фильтры можно применять после идентификации лица пользователя. Это один из самых популярных вариантов использования функций дополненной реальности.

AR-изображения

Виртуальные визитки и рекламные плакаты — это лишь некоторые из приложений, которые возможно с изображениями дополненной реальности. 2D-маркеры можно использовать для реализации этих функций, а также более продвинутых решений, таких как внутренняя навигация с дополненной реальностью< /а>.

Мы протестировали ARCore с решениями для внутренней навигации в MobiDev. За последние несколько лет такие приложения, как позиционирование в помещении, стали еще проще с момента наших первых экспериментов, что сделало эту технологию более пригодной для использования в реальном мире. Посмотрите это видео, чтобы узнать больше об этом.

https://youtu.be/eQXKEnrHMxw?embedable=true

Сравнение функций ARKit и ARCore

Эти две платформы для Android и iOS соответственно почти идентичны, если рассматривать их с точки зрения функций. Однако реальная разница между этими двумя устройствами заключается в согласованности аппаратного обеспечения.

Устройства Apple iPhone и iPad в значительной степени более последовательны, когда речь идет о поведении и возможностях их оборудования. При этом устройства Android производятся разными производителями с разными характеристиками.

Из-за этого становится все труднее обеспечить единообразие работы на разных устройствах Android.

Поскольку аппаратное обеспечение Android менее совместимо, важно помнить, насколько мощной будет ваша работа с дополненной реальностью и на каких устройствах она должна работать.

Должен ли он в первую очередь работать на новейших и лучших устройствах Samsung и Pixel с высокопроизводительными функциями дополненной реальности, или он должен быть менее интенсивным для работы на большем количестве устройств? Выбор за вами, но опытные разработчики AR всегда готовы помочь вам найти лучшее решение.

Кроссплатформенная разработка дополненной реальности для мобильных устройств в Unity

Если вам не нужно использовать все возможности нативных платформ дополненной реальности для Android и iOS и если ваша цель – ускорить выход на рынок, хорошим вариантом может стать кроссплатформенная разработка дополненной реальности в Unity.

Unity AR Foundation – полезная платформа для кроссплатформенных расширенных разработка приложения реальности. Несмотря на то, что Unity AR Foundation не может в полной мере использовать все преимущества каждого устройства, он по-прежнему достаточно мощен.

Он поддерживает обнаружение плоскости, привязки, оценку освещенности, отслеживание 2D-изображений, отслеживание 3D-объектов, отслеживание тела, окклюзию и многое другое. п

Однако некоторые функции могут отсутствовать в зависимости от платформы, на которой вы работаете.

Например, Unity AR Foundation на данный момент имеет ограничения для некоторых функций ARCore, таких как отслеживание 3D-объектов, построение сетки, 2D & Трехмерное отслеживание тела, совместные участники и сегментация человека.

Если вы хотите, чтобы ваше приложение было кроссплатформенным, вам следует помнить об этих недостающих функциях.

Сетевые технологии дополненной реальности

С одной стороны, веб-AR – чрезвычайно доступная технология, поскольку она может работать на множестве устройств без установки дополнительного программного обеспечения. С другой стороны, веб-AR очень ограничен в возможностях и возможностях. п

Некоторые компании уже используют веб-AR для таких технологий, как решения для виртуальных примерочных. Например, у компаний Maybelline, L’Oréal и других компаний есть возможность виртуально примерить косметические продукты с помощью фронтальной камеры и веб-приложения дополненной реальности.

Web AR лучше всего подходит для простых задач, таких как фильтры распознавания лиц, изменение внешнего вида или цвета объекта в сцене, например волос, замена фона для видеоконференций и многое другое. Важно помнить об этих ограничениях, когда решаете, на какой платформе должно работать ваше приложение.

Разработка дополненной реальности для носимых устройств с дополненной реальностью

Когда мы говорим об носимых технологиях для дополненной реальности, мы обычно имеем в виду такое оборудование, как Microsoft HoloLens и более портативные и удобные очки, такие как Google Glass.

С точки зрения разработки программного обеспечения разработка Microsoft Hololence основана на стеке технологий Microsoft и облаке Azure.

Посмотрите нашу демонстрацию, демонстрирующую возможности Microsoft HoloLens для презентации продукта и образовательных целей.

https://youtu.be/vnVZhIRvyp0?embedable=true

Что касается очков дополненной реальности, то большая часть аппаратного обеспечения основана на Android, и производители предоставляют инженерам SDK для создания приложений. Есть еще некоторые существенные аспекты, которые необходимо учитывать.

Во-первых, это пользовательский опыт и пользовательский интерфейс, поскольку схема использования такого программного обеспечения полностью отличается от того, к чему мы привыкли со смартфонами.

Кроме того, инженеры должны уметь создавать легкие и оптимизированные приложения, поскольку энергопотребление по-прежнему является основной проблемой для многих устройств.

Автор: Андрей Макаров, руководитель отдела мобильной разработки MobiDev. Полная версия статьи была первоначально опубликована здесь и основана на исследованиях технологии MobiDev.

Оригинал