Edge Intelligence: грядущий претендент на Cloud Intelligence

Облачные сервисы и различные предложения API искусственного интеллекта ускорили цифровую трансформацию во многих отраслях. За последние несколько лет концепция Интернета вещей (IoT) привела к появлению миллионов точек данных данных датчиков, которые отправляются и анализируются с использованием инфраструктуры в общедоступном и частном облаке. Варианты использования варьировались от измерения потребления электроэнергии в нескольких домохозяйствах и динамического ценообразования стоимости электроэнергии до сопоставления информации из каналов видеонаблюдения, которые сообщают нам, вошел ли конкретный человек в здание или нет (наблюдение и др.). В первом случае временной ряд последовательно отправляется с пограничного измерителя мощности в облачные службы аналитики данных. Напротив, захваты изображений обрабатываются с помощью моделей глубокого обучения в облаке с использованием модулей обнаружения, отслеживания и повторной идентификации людей для второго варианта использования. Пограничное устройство — это просто канал для передачи информации в облако в обоих случаях.

Зачем нам нужен Edge Intelligence?

Сеть датчиков, которые должны работать ближе к конечным пользователям, обеспечивает им меньшую задержку, экономит полосу пропускания, предварительно обрабатывает данные на устройстве перед их передачей в более крупную инфраструктуру облачных вычислений и гарантирует конфиденциальность данных, собираемых и выводимых из некоторых форм. из основных требований к пограничному интеллекту. Эти пограничные устройства или датчики с низким уровнем вычислений эластично создают сеть (ячеистую сеть), в которой эти пограничные устройства — Amazon Echo, видеорегистратор, ваш смартфон, датчик температуры и т. д. — периодически присоединяются к сети для сбора, вычисления и обмена информацией.

В прошлые годы — я имею в виду — в мире IoT эти датчики воспринимали мир и точно передавали сигналы в материнский корабль (общедоступное или частное облако). Но подумайте об этом, если два или более периферийных устройства могут совместно использовать не только свои входы, но и ограниченные встроенные вычисления для достижения цели: у нас есть много ненадежных граничных устройств, которые можно объединить в ячеистую сеть для решения, скажем, задачи. проблема отслеживания активов, оценка загруженности транспортных средств и т. д. В общих чертах варианты использования могут варьироваться от автономных устройств (дроны, роботы, автономные транспортные средства и т. д.), иммерсивного опыта (AR/VR, носимые устройства и т. д.) до аналитики IoT (промышленные домашние датчики и др.) и другие.

По сути, существует два способа операционализации машинного обучения на периферии — централизованная топология с использованием инструментов централизованного федеративного обучения и математически бестолковая область децентрализованных и распределенных (без оракула) федеративных алгоритмов обучения. Федеративное обучение (рис. 1) основано на обучении моделей машинного обучения на устройствах с меньшей вычислительной мощностью и передаче локально изученных весов/моделей в оракул для дальнейшей обработки. В качестве первого шага на отдельные пограничные устройства отправляется обученная в облаке модель (оракул); затем эта модель настраивается с использованием локальных данных, модели отправляются в оракул, чтобы модель оракула можно было обновить. Шаблон связи здесь может быть как синхронным, так и асинхронным.

Воплощения, такие как SimFL, могут позволить граничным устройствам отправлять сообщения (градиенты функции потерь) друг другу, уменьшая коммуникационную нагрузку при отправке локальной модели. Децентрализованное федеративное обучение часто является предпочтительным способом развертывания моделей машинного обучения. Информация распространяется между устройствами, а не в одной точке, что уменьшает поверхность атаки любой кибератаки. Шаблоны связи для децентрализованного формализма могут быть через граф, распределенный реестр или просто одноранговые (например, SimFL).

:::Информация

Таким образом, истинный пограничный интеллект заключается в этой децентрализованной топологии, которая даст начало новому поколению компаний-производителей чипов, сосредоточившихся не только на вычислениях (оптимальное соотношение TFLOPS/Ватт), но и на совместном проектировании вычислений, чтобы они шли рука об руку. со связью, т. е. топологией сетки (одноранговая сеть, распределенный реестр, граф и т. д.).

Вычисления против связи

Что касается централизованной топологии, Oracle становится облачной инфраструктурой, а пограничное устройство — датчиком с меньшей вычислительной мощностью. Можно пойти немного дальше и иметь Oracle, который находится рядом с устройством Edge (для камер видеонаблюдения это может быть комплект nVidia Xavier, который устанавливается локально; 11 TFLOPS (fp16) при мощности до 30 Вт) — теперь у нас есть появление туманных вычислений, немного разбавленные аппаратные возможности, развернутые очень близко к периферийному устройству (чуть больший форм-фактор может вместить один блейд оракулов A6000 на тумане — 39 TFLOPS (fp16) при мощности до 300 Вт, вместо сотен оракулов A100 в облаке — 78 TFLOPS при мощности до 400 Вт).

Давайте сделаем шаг вперед в наших рассуждениях; теперь мы удаляем оракул и имеем множество менее мощных процессоров (теперь подумайте об одном Jetson Nano — 470 GFLOPS (fp16) при энергопотреблении до 10 Вт). Надеемся, мы понимаем, что периферийное развертывание моделей машинного обучения — это тонкий баланс между вычислительной мощностью, мощностью и форм-фактором.

Часто люди спрашивают, требуется ли 5G для Edge AI. Точно нет. Многие периферийные приложения могут использовать современные технологии, такие как 4G-LTE-M (долгосрочная эволюция, категория M1), NB-IoT (узкополосный IoT) и CBRS (Citizens Broadband Radio Service). мобильность**. Видеокамера привязана к стене, а мобильный телефон или автономный автомобиль — мобильны. Точно так же автомобиль, движущийся со скоростью 80 км/ч, требует более быстрого времени отклика для своего ИИ, чем голосовой агент, который может ждать ответа несколько секунд. Исходя из понятия близости, может потребоваться наличие периферийного центра обработки данных (оракула) рядом с роботом-сборщиком по сравнению с вариантом использования с дроном. По своей конструкции он может быть оптимизирован, чтобы оставаться рядом с краем доступа или региональным краем, предоставляемым поставщиком телекоммуникационной сети.

:::Информация

Таким образом, конкретный вариант использования вместе с этими тремя показателями (близость, задержка и мобильность) может быстро привести нас к списку того, что необходимо с точки зрения развертывания продукта на периферии.

Развертывание моделей на периферии

Развертывание моделей на периферии — это самый простой вариант, поскольку можно поднять и перенести многие стратегии развертывания контейнеров на туман/край. Механизмы контейнеров, которые могут управлять контейнерами, развернутыми на устройстве, и оркестраторы контейнеров, которые могут распределять задачи между вычислительными узлами, необходимы для граничных вычислений.

Еще одна важная технология виртуализации, за которой стоит следить, — это Unikernels. Это части программного обеспечения, которые избегают переключения контекста, работая в режиме ядра, экономя память. Поскольку эти образы включают только необходимые функции ядра, размеры образов значительно уменьшены. Они также сокращают поверхность атаки и объем ресурсов за счет конструкции, обеспечивая безопасное развертывание.

Точно так же контейнеры Kata сочетают в себе безопасную среду выполнения контейнера с облегченными виртуальными машинами. Они обеспечивают более существенную изоляцию рабочих нагрузок с помощью технологии аппаратной виртуализации.

Без таких стратегий развертывания большинство последующих задач просто становятся теоретической конструкцией. Копирование/вставка модели Kubernetes для развертывания на устройствах с ограниченными ресурсами, таких как микроконтроллер, мобильный телефон или камера видеонаблюдения, может оказаться непростой задачей. Kubernetes тоже должен развиваться.

К пограничному интеллекту

Границы сети — это нестабильная среда с постоянно меняющейся топологией и устройствами. Существуют алгоритмы оркестрации для динамического планирования полезной нагрузки в облаке. Тем не менее, для периферийных устройств это связано с проблемами масштаба (миллионы устройств), более разнородными огибающими мощности и вычислительной мощностью различных устройств. Сбор данных и модели становятся все более фрагментированными, когда каждое устройство имеет определенный процент от всех данных (вместо того, чтобы иметь доступ ко всему набору данных). Все больше периферийных устройств становятся миниатюрными, маломощными и с ограниченными вычислительными возможностями.

Поэтому будущая работа должна быть сосредоточена на децентрализованных алгоритмах, объединении динамически изменяющихся моделей связи, чипах с оптимальным значением TOPS/W в небольшом форм-факторе и, что наиболее важно, на интеграции вычислений с коммуникациями.