Разработайте XR с Oracle, Ep 5 Healthcare, Vision AI, обучение/сотрудничество и обмен сообщениями

Это пятая статья из серии, посвященной разработке XR-приложений и опыта с использованием Oracle. Основное внимание уделяется XR-приложениям для здравоохранения, ИИ для машинного зрения, обучению и совместной работе, а также обмену сообщениями, включая другие темы, такие как многоплатформенная разработка и т. д.< /p>

Найдите ссылки на первые четыре статьи ниже:

Разработка XR с Oracle, эпизод 1: пространственный, искусственный интеллект/ Машинное обучение, Kubernetes и OpenTelemetry n Разработка XR с Oracle, часть 2: графики свойств и визуализация данных n Разработка XR с Oracle, эпизод 3: ИИ компьютерного зрения и машинное обучение n Разработка XR с Oracle, эпизод 4: цифровые близнецы и наблюдаемость

Как и в предыдущих сообщениях, я специально покажу приложения, разработанные с использованием базы данных Oracle и облачных технологий с использованием HoloLens 2, Oculus, iPhone и ПК, а также написанные с использованием платформы Unity и OpenXR (для многоплатформенной поддержки), Apple Swift и WebXR.

Во всем блоге я буду ссылаться на соответствующее демонстрационное видео ниже.

https://www.youtube.com/watch?v=QTe2trT2ZHM&embedable=true

Расширенная реальность (XR) и здравоохранение

Я отсылаю читателя к первой статье этой серии (опять же, ссылка выше) для обзора XR, и я не буду углубляться в широкий спектр технологий, используемых в секторе здравоохранения, но вместо этого сосредоточьтесь на XR-поддержке этих тем и использовании технологий Oracle с этой целью, особенно потому, что Oracle уделяет повышенное внимание этой области благодаря приобретению Cerner и другим усилиям. Хорошо известно, что телемедицина значительно выросла после пандемии, достигнув пика в 78 раз по сравнению с темпами всего за месяц до пандемии и даже сейчас стабилизировавшись в 38 раз по сравнению с этим показателем.

Эти и другие цифры и их влияние хорошо задокументированы в многочисленных публикациях, таких как эта post-covid-19-reality">отчет McKinsey и Форум медицинских ассоциаций VR/AR, который будет упоминаться в этой статье. Достаточно знать об XR для живых операций Джона Хопкинса еще в 2021 году, чтобы понять, в какой степени XR поможет в этой отрасли, и поэтому снова я не буду слишком глубоко вникать в попытки доказать это, а продолжу приводить несколько примеров и идеи, связанные с базой данных Oracle и облачными технологиями.

Искусственное зрение и контекстный интеллект: анализ и диагностика в реальном времени

В первом примере используется гарнитура смешанной реальности Hololens (хотя можно использовать и другие гарнитуры/устройства) и сервис Oracle Vision AI. Нетрудно представить, что медицинские работники носят XR-устройства, которые предоставляют им дополнительные функциональные возможности и информацию (и действительно, многие из них уже таковыми являются).

Сегодня врачи, стоматологи и т. д. постоянно сопоставляют экран компьютера с пациентом, чтобы проверить информацию и сориентировать то, что они видят (будь то рентген, МРТ и т. д.), и часто там, где установлены налобные фонари, монокулярные увеличительные стекла и т. д. Обсуждаемые здесь XR-решения — это всего лишь эволюция этого решения. Более подробную информацию об этом приложении можно найти в исследовательском блоге здесь, но основные сведения о том, как это работает, описаны здесь.

Приложение, работающее на Hololens, делает снимки с помощью встроенной камеры, используя поле зрения пользователя в качестве эталона, и делает это через равные промежутки времени. Это обеспечивает работу без помощи рук, что, по крайней мере, более удобно. Тем не менее, во многих ситуациях, например в операционной, руки пользователей должны взаимодействовать с реальным (или XR) миром, что делает его более оптимальным решением. Это также означает, что система может собирать контекстуальную информацию, о которой практикующий врач может не знать или не иметь к ней доступа, при этом быстро собирая и обрабатывая такую ​​информацию без явных указаний практикующего специалиста, что также экономит время. Это приводит к оптимизации, которую обеспечивает смешанная реальность, захватывающий побочный продукт погружения.

Затем Hololens отправляет эти изображения в хранилище объектов OCI< /strong> с помощью безопасных вызовов REST, где к ним можно получить удобный доступ напрямую через службу OCI Vision AI, а также хранятся и/или доступны в базе данных.

Существует несколько различных подходов и архитектур, которые можно использовать с этого момента для выполнения логики и вызовов API Oracle Vision AI для обработки изображений, отправленных устройством XR. Например, что касается используемого языка, первоначальные версии были написаны с использованием интерфейса командной строки OCI, Java и Python, а окончательная версия образа для Java GraalVM использовалась.

Кроме того, поскольку собственный образ Java GraalM запускается почти мгновенно, когда служба выполняет определенную кратковременную процедуру, он является хорошим кандидатом на роль бессерверной функции. Кроме того, служба уведомлений OCI может прослушивать изменения хранилища объектов и вызывать бессерверные функции.

Служба Java получает уведомление о загрузке изображения в хранилище объектов и выполняет ряд следующих действий:

1. Выполняет вызов API службы OCI Vision AI, поддерживаемый моделью обнаружения рентгеновских объектов, и предоставляет местоположение изображения, отправленного Hololens.
2. Получает ответ от модели обнаружения объектов с процентной вероятностью того, что рентгеновский снимок находится на изображении, и его граничными координатами.
3. Обрезка исходного изображения по граничным координатам.
4. Выполняет еще один вызов API службы OCI Vision AI, поддерживаемый моделью классификации рентгеновских лучей, и предоставляет ему обрезанное изображение рентгеновского снимка.
5. Получает ответ от модели классификации изображений с процентным изменением рентгеновского снимка, содержащего признаки аномалий/пневмонии.
6. Приложение Hololens получает этот ответ и уведомляет владельца звуковым сигналом. Это можно настроить, а также можно сделать визуальным. В случае этого приложения информация включает в себя снимок кадрированного рентгеновского снимка с его обнаруженными деталями, перечисленными и сохраненными в виртуальном меню, расположенном на запястье и доступном для просмотра только владельцу. Этот подход предотвращает прерывание пользователя, хотя также возможно наложение результатов на реальный рентгеновский снимок, из которого они были получены.

Vision AI и XR естественным образом подходят для решений в ряде областей, включая как медицинских работников, как показано здесь, так и людей с такими заболеваниями, как болезнь Паркинсона, аутизм, болезнь Альцгеймера, нарушение зрения и слуха и т. д. (например, приложения/ решения, которые можно использовать в этой области, описаны в этом блоге< /а>)

Исследование движений и настроений: аналитика отслеживания лица и тела в реальном времени

Сегодня 95 % медицинских учреждений обеспечивают дистанционное лечение и реабилитацию. Технологии XR можно использовать, чтобы помочь пациентам лучше понять свое состояние и варианты лечения. Это может помочь пациентам чувствовать себя более информированными и уверенными в своих медицинских решениях.

Следующий пример был реализован с использованием iPhone и Swift с использованием Apple RealityKit для отслеживания движений тела. Совместные координаты движения модели записываются и отправляются в базу данных Oracle через вызовы Rest в ORDS. Человек (будь то пациент, спортсмен и т. д.) с помощью приложения пытается выполнить одно и то же движение, а его суставные координаты сравниваются с координатами модели движения, хранящейся в базе данных. Если допустимое отклонение/дельта движений превышено, соответствующие суставы и кости отображаются красным, а не зеленым цветом.

Эта обратная связь предоставляется в режиме реального времени для измерения прогресса (например, после ротаторной манжеты плеча или другой операции) и/или для того, чтобы позволить пользователю изменить свое движение в соответствии с контрольной моделью, а также поработать над балансом и координацией. Эти движения, в свою очередь, можно анализировать (подробнее об XR и Oracle Analytics в следующем блоге), воспроизводить, манипулировать ими для моделирования и т. д. Эти варианты использования, конечно же, распространяются на спорт, развлечения и т. д. хорошо.

Цифровые двойники + двойники и обмен сообщениями между игроками и участниками: обучение и совместная работа

Недавнее исследование, опубликованное Unity, показывает, что примерно 94 % компаний, использующих 3D-технологии в реальном времени, считают их полезными для обучения персонала и используют их для создания интерактивных обучающих программ. Это относится ко всем отраслям, включая производство, транспорт, здравоохранение, розничную торговлю и многие другие, и обсуждаются некоторые тенденции в этой области (многие из которых совпадают с тем, что показано в этом блоге) здесь.

Технологии XR можно использовать для создания реалистичных симуляций медицинских сценариев, позволяя медицинским работникам практиковать процедуры и методы в безопасной и контролируемой среде. Например, студенты-медики и хирурги могут использовать XR-симуляции для отработки операций с тактильными ощущениями, дающими обратную связь о реальной операции, а медсестры могут использовать AR-симуляции для практики приема лекарств. Это может помочь медицинским работникам получить ценный опыт, не рискуя безопасностью пациентов.

В дополнение к обучению XR предоставляет уникальную возможность сотрудничества между людьми из разных мест и специальностей, создавая общее виртуальное пространство, в котором несколько пользователей могут взаимодействовать друг с другом и с виртуальными объектами. Существует несколько различных методов и вариантов программного обеспечения для создания многопользовательского обучения и совместной работы XR, в том числе программное обеспечение для конференций XR и метавселенные, Photon и ему подобные, Rest, WebSockets и различные типы обмена сообщениями.

Программное обеспечение и платформы для проведения конференций XR, такие как Alakazam, становятся все более популярными и позволяют нескольким пользователям участвовать в виртуальных встречах, мероприятиях, учебных занятиях и т. д.

Photon — это платформа, которая позволяет разработчикам создавать многопользовательские игры и приложения с использованием Unity, Unreal Engine и других игровых движков. Ее можно легко установить и использовать вычислительные ресурсы Oracle Cloud (включая Графический процессор NVIDIA). Это, пожалуй, самая известная из таких платформ, но есть и другие.

WebSockets — это протокол для связи в реальном времени между веб-клиентами и серверами, который может быть более быстрым и эффективным методом для таких случаев использования, чем Rest, хотя вызовы Rest во многих случаях также являются простым и жизнеспособным вариантом, и больше API доступно через Отдых в целом, чем любой другой метод.

Обмен сообщениями — это еще один метод, который можно использовать для обучения XR и совместной работы. В таких системах, как Kafka и JMS, есть как публикация/подписка (темы для нескольких потребителей), так и производитель/потребитель (темы для одного потребителя), и они очень гибки для различных потребностей в обучении и совместной работе.

В обучающем приложении, показанном в видео, я использовал ряд описанных выше методов, но сосредоточился на использовании механизма обмена сообщениями Oracle TxEventQ (ранее известного как AQ). Это очень мощное и уникальное предложение по ряду причин, одной из ключевых из которых является его способность выполнять работу с базой данных и обмен сообщениями в одной и той же локальной транзакции. Это уникально и идеально подходит для микросервисов, поскольку оно обеспечивает шаблон исходящих транзакций, а также однократную доставку сообщений, чтобы не было потери сообщений и разработчику не нужно было писать логику дедупликации.

Это может быть необязательным для обычных игр или потоковой передачи фильмов, но является обязательным для критически важных систем и обеспечивает некоторые чрезвычайно интересные и уникальные аспекты для XR, где возможность надежно хранить общий (3D) объект (особенно те, которые являются динамическими или созданными). с помощью генеративного ИИ, например) и взаимодействия/сообщения, которые были сделаны на нем различными участниками, являются очень мощным инструментом.

Именно это и делается в приложении, показанном на видео. Совместная сессия не только записывается в 3D для просмотра в виде видео, но и реальные объекты и их взаимодействие участников записываются в базу данных и доступны для воспроизведения, чтобы их можно было перехватить и манипулировать ими позже. Это позволяет проводить более глубокое обучение и запускать дополнительные модели (искусственный интеллект или другие), симуляции, сценарии и т. д., настраивая объекты и взаимодействуя, например с игровыми книгами.

С развитием передовых технологий и более мощных устройств в ближайшем будущем XR-обучение станет более распространенным, что сделает процесс обучения более захватывающим и интерактивным.

Еще одно небольшое замечание заключается в том, что приложение в видео показывает медицинских работников в полном 3D-объемном видеозахвате, сделанном профессионально в студии, а также в простом 2D-видео с альфа-каналом зеленого экрана, удаленным с помощью шейдера Unity, обеспечивающего аналогичную голографическую картинку. эффект с минимальными усилиями (качество могло бы быть лучше, если бы было больше усилий по повторному освещению и т. д.). Для этого можно использовать виртуальный зеленый экран Zoom, а также бесплатные ресурсы с анимацией, выполненной в Blender. Unity, Zoom и Blender бесплатны и используют всегда бесплатную автономную базу данных Oracle, что делает создание решения очень доступным с точки зрения стоимости программного обеспечения и облачных вычислений.

Экосистема данных: телемедицина и виртуальные медицинские центры

Виртуальный медицинский центр или больница — это медицинское учреждение, предоставляющее медицинские услуги по цифровым каналам, таким как видеоконференции, онлайн-чаты, удаленный мониторинг и, во все большей степени, технологии XR. Эти цифровые инструменты позволяют пациентам получать доступ к медицинским услугам, не выходя из дома или удаленных мест, без необходимости физического посещения больницы или клиники.

Концепция виртуального медицинского центра становится все более популярной в связи с растущим спросом на телемедицинские услуги, особенно в связи с пандемией COVID-19. Виртуальный медицинский центр может предоставлять широкий спектр медицинских услуг, таких как первичная помощь, специализированные консультации, диагностические тесты и пополнение рецептов, а также предлагает удобство и гибкость для пациентов, которые могут получить доступ к медицинским услугам из любого места и в любое время.

Это может быть особенно полезно для пациентов с ограниченными физическими возможностями, жителей сельской местности или пациентов, которым необходимо проконсультироваться со специалистом, которого нет в их районе. Это также может снизить расходы на здравоохранение как для пациентов, так и для поставщиков медицинских услуг. Используя удаленные консультации и мониторинг, поставщики медицинских услуг могут сократить потребность в дорогостоящих личных консультациях и пребывании в больнице. Пациенты также могут сэкономить деньги на транспортные расходы и свободное от работы время.

Виртуальный медицинский центр может улучшить качество обслуживания пациентов. Благодаря удаленному мониторингу пациенты могут получать персонализированный и непрерывный уход, а медицинские работники могут следить за их здоровьем в режиме реального времени и быстро вмешиваться в случае необходимости. Это может привести к улучшению состояния здоровья и сокращению числа повторных госпитализаций.

Однако существуют некоторые проблемы с внедрением виртуальных медицинских центров. К ним относятся вопросы, связанные с конфиденциальностью и безопасностью данных, а также необходимость адекватного доступа в Интернет и цифровой грамотности среди пациентов. Кроме того, некоторые пациенты могут по-прежнему предпочитать традиционное личное лечение, и, хотя их число уменьшается, существуют ограничения на то, какие медицинские услуги могут предоставляться дистанционно. Концепция виртуального медицинского центра может произвести революцию в способах оказания медицинской помощи, что принесет пользу как пациентам, так и поставщикам медицинских услуг. Однако необходимо тщательное рассмотрение и планирование, чтобы внедрение виртуальных медицинских центров было безопасным, эффективным и справедливым для всех пациентов.

Oracle, с приобретением Cerner и повышенным вниманием к будущему здравоохранения, находится в единственном в своем роде положении для облегчения таких XR-решений благодаря своей способности «предоставлять лучшее понимание здоровья и ориентированный на человека опыт для пациентов, поставщиков медицинских услуг. , плательщики и общественность. Oracle Health предлагает самые безопасные и надежные решения для здравоохранения, которые объединяют клинические, операционные и финансовые данные для улучшения ухода и принятия решений в отношении здоровья и благополучия». ( страница Oracle Health). Ларри Эллисон ясно дал понять это на своей презентации Oracle OpenWorld, где здравоохранение было приоритетом для будущего Oracle, и в начале года, когда он заявил: «Вместе Cerner и Oracle обладают всеми технологиями, необходимыми для создания революционной новой информационной системы управления здравоохранением в облаке».

Психическое здоровье

Более 20 % взрослых американцев страдают психическими заболеваниями, более 2,5 миллионов молодых людей борются с тяжелой депрессией, а 800 000 человек в мире ежегодно кончают жизнь самоубийством из-за психических заболеваний. В то же время наблюдается растущий дефицит специалистов в области психического здоровья, что является общенациональной проблемой, но особенно острой для несовершеннолетних и подростков. По данным Министерства здравоохранения и социальных служб США, к 2025 году в стране будет не хватать 10 000 специалистов в области психического здоровья.

Психическое здоровье является одной из областей, где XR наиболее широко исследована и доказала свою исключительную эффективность в качестве способа лечения психических заболеваний, таких как тревога, депрессия и посттравматическое стрессовое расстройство. Например, экспозиционную терапию виртуальной реальностью можно использовать, чтобы помочь пациентам противостоять своим страхам и преодолеть их, подвергая их симуляции того, чего они боятся, в контролируемой и безопасной среде.

Когнитивно-поведенческая терапия (КПТ), XR может использоваться для создания захватывающих медитативных переживаний, способствующих осознанности, расслаблению и снижению стресса. Например, виртуальная среда может имитировать мирную и успокаивающую естественную среду, такую ​​как пляжи, леса, горы или космос. Дети, пожилые люди и другие лица, которые могут подолгу находиться в больницах и т. д., используют XR, чтобы исследовать мир и общаться.

Используя XR и телетерапию, терапевты могут создавать виртуальные среды, которые могут имитировать личные сеансы терапии, обеспечивая более захватывающий и персонализированный опыт, уменьшая запреты пациента и даже позволяя использовать линзы AR и аватары для конфиденциальности.

Анализ настроений NLP (обработка естественного языка), такой как предоставляемый соответствующей службой Oracle AI, может интерпретировать эмоции и намерения из устного общения, а благодаря достижениям в распознавании лиц и анализе настроений теперь можно с большой точностью обнаруживать эмоции, которые человек чувствует и/или выражает невербально (то же самое следует для отслеживания тела/жестов). Нейротехнологии и нейронные интерфейсы в сочетании с XR теперь могут интерпретировать и давать представление о человеческих намерениях и измерять эмоции, обеспечивая еще более глубокое понимание намерений и эмоций.

И, конечно же, мир хорошо знаком с большей и более простой доступностью интерфейсов ИИ, таких как ChatGPT и т. д., для облегчения этого. Как и в примере с рентгеном, приведенном ранее, в некоторых ситуациях они могут обеспечить большую и более постоянную точность и скорость, чем человек, но также могут выступать в качестве вспомогательных технологий для медицинских работников. Дополнительные примеры этого будут в следующих блогах.

Дополнительные мысли

Я привел несколько идей и примеров того, как здравоохранение и XR могут использоваться вместе и поддерживаться Oracle. Я с нетерпением жду возможности опубликовать больше блогов по этой теме и другим областям XR с Oracle Cloud and Database в ближайшее время.

См. другие мои публикации для получения дополнительной информации об облаке и базе данных XR и Oracle, а также различные темы, связанные с микросервисами, наблюдаемостью и обработкой транзакций. и т. д., а также этот недавний блог о дополненной реальности. Кроме того, пожалуйста, не стесняйтесь обращаться ко мне с любыми вопросами или предложениями для новых блогов и видео, так как я очень открыт для предложений. Спасибо за прочтение и просмотр.