Как создать свой собственный автоматизированный сервис самообслуживания

Онлайн-торговля имеет одно ключевое преимущество — клиентский опыт. Никаких очередей, задержек и минимум движений для совершения покупки. Согласно исследованию Forrester, 72% розничных продаж в США по-прежнему приходится на обычные магазины, потому что люди хотят взаимодействовать с продуктом перед покупкой или просто не хотят ждать доставки.

Идея делать покупки без касс в торговых точках кристаллизовалась в Amazon Go, Tesco, Walmart и многих других. Идея использования полностью автоматизированной кассы с компьютерным зрением — успешный пример автоматизации розничной торговли. Но некоторые владельцы магазинов хотят построить совершенно новую торговую точку, чтобы вести свой бизнес в автономном режиме. Поскольку для этого требуется интегрированная программная инфраструктура, а также возникают проблемы с разработкой и финансированием, мы обсудим сегодня.

В этой статье мы проанализируем, как любой обычный магазин можно автоматизировать с помощью систем компьютерного зрения. Здесь мы рассмотрим, как это работает, какие есть варианты автоматизации касс и какие проблемы возникают.

Изображение предоставлено

Автоматизация касс с компьютерным зрением для розничной торговли.

Большинство операций в магазине, таких как управление полками, оформление заказа или взвешивание товаров, требуют присутствия человека. Человеческая производительность — это, по сути, показатель эффективности для ритейлера, и она часто становится узким местом, а также фактором разочарования клиентов.

А именно, очереди на кассе являются проблемой как для покупателей, так и для розничных продавцов. Но дело не только в очередях, поскольку настоящие человеческие усилия стоят денег. Так как же компьютерное зрение применимо к этим операциям?

Компьютерное зрение (CV) – это технология искусственного интеллекта, которая позволяет машинам извлекать значимую информацию из изображения. По своей сути компьютерное зрение направлено на имитацию человеческого зрения. Таким образом, аналогично глазу, CV опирается на датчики камеры, которые фиксируют окружающую среду. В свою очередь, лежащая в основе нейронная сеть, мозг, будет распознавать объекты, их положение в кадре или какие-то другие специфические свойства (например, отличать банку Pepsi от банки Dr Pepper).

Это наша основа для понимания того, как компьютерное зрение может соответствовать задачам розничной торговли, поскольку оно может распознавать продукты, расположенные в кадре. Эти продукты могут быть размещены на полках или доставлены покупателями. Это позволяет нам исключить сканирование штрих-кода, работу кассового аппарата или кассы самообслуживания.

Хотя реализации компьютерного зрения значительно различаются по сложности и бюджету, есть два общих сценария того, как его можно использовать для автоматизации розничной торговли. Итак, сначала давайте посмотрим, как можно построить полную автоматизацию магазина.

Автономная касса с искусственным интеллектом: полная автоматизация магазина

Автономная касса называется по-разному: «без кассы», «бери и иди», «без кассы» и т. д. В шоппинге Amazon, Tesco и даже Walmart такие магазины проверяют товары во время совершения покупок и взимать плату за них, когда вы выходите. Звучит просто, и именно так это работает в базовом сценарии.

Сеанс покупок начинается. Такие магазины, как Amazon, используют турникеты для совершения покупок путем сканирования QR-кода. На этом этапе система сопоставляет профиль Amazon и цифровой кошелек с реальным человеком, входящим в магазин.

Обнаружение человека. Это распознавание и отслеживание людей и объектов с помощью камер компьютерного зрения. Просто камеры запоминают, кто этот человек, и как только они берут товар с полки, система помещает его в виртуальную корзину. Некоторые магазины используют сотни камер для обзора под разными углами и покрытия всех зон магазина.

Распознавание продукта. Как только человек берет что-то с полки и берет с собой, камеры фиксируют это действие. Сопоставляя изображение товара на видео с реальным товаром в базе данных продавца, магазин помещает товар в виртуальную корзину.

Проверить. Когда список продуктов закончен, человек может просто уйти. Когда человек покидает зону, охваченную камерами, компьютерное зрение расценивает это как окончание шопинга. Это запускает систему для расчета общей суммы и списания ее с цифрового кошелька клиента.

С точки зрения покупателя, такая система представляет собой такой же опыт покупок, как и в интернет-магазинах, за исключением того, что вам не нужно оформлять заказ. Войдите, найдите то, что вы хотите, возьмите это и уходите. Хотя, чтобы предоставить клиентам полную автономию и покрыть все крайние случаи, нам потребуется решить большое количество технических проблем. Так что же такого сложного в автономной кассе?

Проблемы автономных магазинов с искусственным интеллектом

Поведение клиентов может быть непредсказуемым, так как мы собираемся автоматизировать кассу для десятков людей, которые проверяют и покупают тысячи товаров одновременно. Это накладывает ряд проблем на компьютерное зрение:

НЕПРЕРЫВНОЕ ОТСЛЕЖИВАНИЕ ЛИЦ

Когда покупатель входит в магазин, система должна иметь возможность непрерывно отслеживать его по пути совершения покупок. Нам нужно знать, что тот или иной товар в разных частях магазина брал один и тот же человек. В переполненном магазине непрерывное отслеживание может быть затруднено. Пока нельзя использовать распознавание лиц, модель должна распознавать людей по их внешнему виду. Так что же будет, если кто-нибудь снимет пальто или понесет ребенка на плечах?

Чтобы включить непрерывное отслеживание, нам нужно обеспечить 100% охват камер для обнаружения людей, проходящих из зоны в зону. Размещая камеры под разными углами, нам также нужны датчики для передачи их точного местоположения, чтобы мы могли использовать эти данные для более точного отслеживания объектов.

Вопрос «КТО ЧТО ВЗЯЛ?» ПРОБЛЕМА

Тогда мы должны помнить, что есть и продукты, верно? И процесс покупок клиентов не является линейным. Они перемещают предметы, нюхают их, кладут обратно и идут к другой полке. Особенно, когда на одной полке находится несколько человек, модели становится трудно распознать, кто что взял, и действительно ли они взяли товар, чтобы купить.

Amazon, например, решила эту проблему, внедрив оценку позы человека и анализ активности человека. По сути, это еще один уровень искусственного интеллекта в сочетании с компьютерным зрением. Что он делает, так это измеряет положение и движение человека, чтобы предсказать, что он или она берет, и был ли продукт взят для покупки.

Это решает проблему с несколькими покупателями на полке и помогает определить, кто взял этот конкретный продукт, даже если камера была кем-то заблокирована.

ОПРЕДЕЛЕНИЕ ПОХОЖИХ ПРОДУКТОВ

Что касается продуктов, нам также придется иметь дело с похожими упаковками. Некоторые продукты имеют незначительные отличия во внешнем виде, из-за чего модели труднее передать все детали. Особенно, если в кадре есть какое-то препятствие или объект быстро движется. Мы можем решить эту проблему, научив модель замечать мелкие детали и используя камеры с более высоким разрешением и частотой кадров.

Хотя использование автономной кассы кажется выгодным, сложность такой системы может быть обременительной. Для высокотехнологичной компании это не проблема. Но для обычного ритейлера бремя искусственного интеллекта снижает ценность такой автоматизации. Вот почему частичная автоматизация магазина с помощью компьютерного зрения может быть более подходящей.

Умные торговые автоматы: частичная автоматизация магазина

Когда дело доходит до торговых автоматов, их можно размещать в магазине или перемещать в другие места внутри и снаружи помещений. И это может быть элегантным решением проблемы, связанной с отслеживанием всего магазина. Торговые автоматы могут быть представлены полками со стеклянными дверцами или обычными холодильниками, использующими камеры компьютерного зрения для управления процессами покупки. Установив сканер QR-кода, мы можем минимизировать процедуру оформления заказа до расположения одного холодильника. Итак, идея довольно проста:

Начало торговой сессии. Сеанс начинается, когда человек подходит к холодильнику и открывает его. Это можно сделать, отсканировав QR-код через мобильное приложение, если это холодильник с закрытой дверью. В случае с обычной полкой камеры могут отслеживать, что с нее взято, чтобы инициировать сеанс.

Создание виртуальной корзины. Когда человек сканирует QR-код, это сигнал для системы о создании корзины покупок для этого конкретного пользователя.

Распознавание продукта. Камеры могут быть установлены внутри или снаружи торгового автомата. Внутренние камеры должны иметь возможность отслеживать взятые/возвращенные продукты. Внешние камеры могут отслеживать манипуляции в открытом холодильнике, как и на обычной полке. Оба типа камер фиксируют товары и помещают их в корзину.

Поскольку человек может осматривать несколько предметов и перемещаться из стороны в сторону, камеры CV также могут отслеживать человека в кадре. Это поможет нам убедиться, что покупку совершает один человек, а не кто-то другой, стоящий рядом.

Проверка продуктов. Когда товар принимается, система отправляет эти данные, чтобы сравнить изображение товара с изображением в базе данных и извлечь цену. Кроме того, мы можем автоматически обновлять доступность в нашей системе управления запасами.

Редактирование списка товаров. Как только продукты будут приняты, они будут отправлены в корзину пользователя, доступную на его смартфоне или планшете на холодильнике. Здесь клиент может изменить позиции и перейти к оплате.

Проверить. В случае мобильного приложения и сканирования QR-кода закрытие холодильника может быть триггерной точкой для завершения покупки и снятия суммы с цифрового кошелька. Но также может быть установлен POS-терминал для оплаты кредитной картой. На этом покупка совершена, и человек может покинуть магазин.

Хотя это выглядит как относительно слабая альтернатива автономной кассовой системе, торговые автоматы можно легко масштабировать для автоматизации всего магазина. Что имеет небольшое значение с точки зрения клиентского опыта, но требует меньше инженерных усилий и бюджета.

Та же концепция модульной автоматизации может быть применена ко многим другим случаям. Киоски с компьютерным зрением можно устанавливать не только в супермаркетах и ​​продуктовых магазинах, но и в местах общественного питания или кафе.

КАССИВ БЕСПЛАТНАЯ ЕДА

В ресторанах, кафе и столовых часто используется система сервировки «шведский стол» в виде буфета с порционными блюдами, из которых клиенты могут выбирать. Клиенты размещают блюда на подносах, а затем должны проверить свой заказ, что потенциально может быть обработано киоском компьютерного зрения.

Модель машинного обучения, находящаяся на сервере, может быть обучена распознавать блюда и другие продукты, размещенные на подносе, для запуска процесса оформления заказа. Эту идею можно реализовать в виде кассового киоска, где набор камер будет сканировать заказ. Фактическая оплата может быть произведена через обычный POS-терминал или с помощью мобильного приложения и цифрового кошелька.

Концепция безкассовых операций может быть доведена до крайности, как в случае со Starbucks. Используя систему Amazon, Starbucks стала первой в своем роде кофейней на вынос. Клиенты могут сделать заказ через мобильное приложение и прийти за кофе без какой-либо кассы, как в Amazon GO. Однако для работы с проектами компьютерного зрения требуется знание предмета. В частности, наука о данных и опыт машинного обучения.

Итак, теперь давайте немного поговорим о том, что вы должны знать, чтобы подойти к автоматизации проверки на основе компьютерного зрения.

Как подойти к оплате на основе ИИ?

Основываясь на нашем опыте, давайте рассмотрим шаги, необходимые для создания системы компьютерного зрения для автоматизации в розничной торговле. Мы сосредоточимся на умном корпусе холодильника как на самом доступном и универсальном.

СБОР ТРЕБОВАНИЙ

Прежде всего, нам нужно подробно разобраться в нашем бизнес-кейсе:

Предпочтительный метод автоматизации. Выбор между умными холодильниками или другими типами автоматов-дозаторов может потребовать менее глобальных модификаций магазина при сохранении масштабируемого подхода. Для полной автоматизации магазина в основном потребуются изменения в планировке помещения и дополнительное оборудование, такое как турникеты, что может быть недостатком для большинства владельцев магазинов.

Размер магазина. Торговые автоматы могут быть установлены практически в любом количестве, чтобы охватить весь ассортимент магазина и ассортимент продукции. Таким образом, размер магазина будет определять, сколько торговых автоматов вам понадобится, и какова будет планировка магазина с использованием умных холодильников для какой-то части продуктов.

Количество товаров для распознавания. Как и любой другой проект машинного обучения, система компьютерного зрения требует обучения, прежде чем она сможет что-либо распознать. В одном холодильнике может храниться от 20 до 50 различных продуктов. Поэтому мы должны учитывать эти цифры, так как они определят, сколько времени займет этап обучения.

Существующая инфраструктура. В большинстве случаев физические магазины не имеют достаточной интеграции между управлением запасами, точкой продаж и бухгалтерским учетом. Однако системам компьютерного зрения потребуется доступ к данным магазина для автоматизации обновлений продаж и доступности продуктов. Таким образом, изучение существующей инфраструктуры — еще один момент, который необходимо понять при рассмотрении требований этого проекта.

Допустим, в одном холодильнике может быть 35 предметов, и мы сосредоточимся на этих числах.

СБОР ИНФОРМАЦИИ

Компьютерное зрение — это технология искусственного интеллекта. Это означает, что нам нужны данные, чтобы он мог распознавать объекты. Данные используются для обучения модели, чтобы идентифицировать различные продукты в кадре, а также идентифицировать людей и то, что они хватают.

Оптимальным способом сбора данных для распознавания объектов является запись каждого продукта на видео с разных ракурсов и условий освещения. Важно, чтобы эти видео были классифицированы по продуктам, поэтому маркировка (какой продукт находится в кадре) будет выполняться автоматически. Общие рекомендации по сбору данных заключаются в том, что они должны быть максимально приближены к тому, как они будут выглядеть для реальных пользователей.

Как только мы внедрим рабочую модель для автоматизации оформления заказа, нам потребуется 60 кадров в секунду. Это необходимо для обеспечения быстрой работы модели. Чем выше частота кадров, тем более плавным получается изображение и тем больше деталей мы можем извлечь из него.

МОДЕЛИ ОБУЧЕНИЕ

Следующий шаг – обучение. Как только мы соберем все видеозаписи, эксперт по машинному обучению подготовит их для обучения модели. Этот процесс можно разделить на две задачи.

1.Подготовка данных означает, что нам нужно разделить все видеокадры на отдельные изображения и пометить продукты, которые нам нужно обнаружить. Проще говоря, мы извлекаем 60 фотографий из минутного видео и рисуем ограничивающие рамки вокруг наших целевых объектов.

2.Выбор алгоритма. Алгоритм — это математическая модель, которая извлекает закономерности из заданных данных, чтобы делать прогнозы. Для таких задач, как распознавание объектов, существуют рабочие алгоритмы, которые можно применять для построения модели. Итак, наша задача здесь — выбрать подходящий и скормить ему наши данные.

Процесс обучения может занять несколько недель, так как мы изо всех сил пытаемся добиться приличной точности.

ПЕРЕОБУЧЕНИЕ МОДЕЛИ

Если в процессе добавляются или заменяются какие-либо продукты, модель необходимо переобучить. Это связано с тем, что результаты прогнозирования будут различаться в зависимости от введенных данных. Это означает, что каждый раз, когда магазин получает новые товары для продажи и помещает их в холодильник компьютерного зрения — нам нужно запускать новую фазу обучения модели, чтобы изучить новые товары.

Учитывая это, нам потребуется переобучение, чтобы распознавать, скажем, банки Pringles на изображении, если до этого Pringles не было. Хотя это становится проще, как только мы внедряем камеры в холодильник, потому что мы можем использовать живые записи, чтобы делать аннотации и снова запускать обучение.

НЕОБХОДИМАЯ ИНФРАСТРУКТУРА

Существующая в магазине инфраструктура обычно представлена ​​сервером, который обрабатывает обновления инвентаря и фиксирует объемы продаж через POS-терминалы. Чтобы реализовать модель машинного обучения, нам нужно добавить несколько компонентов:

• Камеры для записи и передачи визуальных данных.

• Блок обработки видео. Это может быть видеокарта или одноплатный компьютер, такой как Nvidia Jetson, который включает графический процессор, оптимизированный для нужд компьютерного зрения.

• QR-сканер. Эта наклейка размещается на турникете или холодильнике, который пользователь сканирует, чтобы идентифицировать человека и запустить процесс покупки.

• Модельный сервер. Поскольку мы говорим об обработке видео в реальном времени, установка аппаратного сервера в магазине гарантирует более стабильные результаты. По сути, когда человек берет что-то из холодильника, реакция системы должна быть незаметной, чтобы аппаратные компоненты могли среагировать достаточно быстро.

Все эти компоненты должны быть взаимосвязаны, так как между каждым блоком должен быть поток данных. Что касается камер, мы также хотим убедиться, что магазин имеет стабильную и быструю пропускную способность. Поскольку камеры будут обрабатывать потоки данных в режиме реального времени, для правильной работы модели не должно быть никаких задержек. С другой стороны, покупатель будет ожидать быстрой реакции торгового автомата, которая зависит от того, насколько быстро модель получает и обрабатывает данные.

Даниил Лядов

Пирхонский инженер

КОНФИДЕНЦИАЛЬНОСТЬ

Среди других вопросов, которые могут волновать как ритейлеров, так и покупателей, — конфиденциальность. Поскольку компьютерное зрение предназначено для обнаружения и отслеживания объектов на видео, запись и хранение таких данных может нарушать законы о конфиденциальности в некоторых странах.

Хотя в США вообще разрешено использовать камеры наблюдения в магазинах. Пока клиенты отслеживаются со случайными идентификаторами только ради задачи оформления заказа, никакие другие технологии, такие как распознавание лиц, не требуются. И даже если камера захватывает лицо человека, оно может быть размыто с помощью ИИ для обеспечения конфиденциальности.

Подходит ли ИИ для самообслуживания каждому продавцу?

При всех системах автономная касса может показаться дорогой и громоздкой для реализации. Однако клиенты по-прежнему готовы использовать более удобные способы оплаты. В отчете об опыте работы с розничными клиентами за 2021 год отмечается, что 60 % потребителей выбрали бы касса самообслуживания вместо взаимодействия с кассиром.

При этом торговые автоматы могут быть доступным вариантом для розничной торговли, поскольку они приносят много преимуществ по разумной цене. Кроме того, такие системы могут быть настроены для удовлетворения конкретных потребностей конкретного ритейлера благодаря гибкости моделей машинного обучения. В принципе, любой тип продукта можно распознать при соответствующей подготовке. Таким образом, магазины шаговой доступности — не единственные, кто может извлечь выгоду из приложений компьютерного зрения.

Написано Любовью Затолокиной, инженером по искусственному интеллекту в MobiDev.

Полная статья изначально была опубликована здесь и основана по исследованию технологии MobiDev.