Разработка мобильного приложения с искусственным интеллектом: наш опыт, ошибки и достижения

Каждый продакт-менеджер желает, чтобы его приложение изменило жизнь пользователей к лучшему. Так было и со мной, когда мы только начали работать над мобильным приложением AI [CountThis] (https://apps.apple.com/us/app/countthis-counting-app/id1553863458). Изначально приложение должно было мгновенно подсчитывать похожие объекты на фото с помощью собственной нейросети. На тот момент у нас не было ограниченного списка объектов для подсчета; вместо этого мы хотели охватить как можно больше сфер применения. Однако по мере разработки приложения мы стали ориентироваться на определенные категории, то есть на точность результата. В этом случае сработало правило «меньше значит больше».

Все началось с маркетингового креатива

История CountThis (мобильное приложение с искусственным интеллектом, которое быстро подсчитывает похожие объекты через камеру телефона) началась с отличного маркетингового креатива. Наши коллеги из отдела маркетинга постоянно тестируют различные идеи. В какой-то момент им пришла в голову идея креатива о приложении, которое считает предметы на фото (много логов, если быть точным).

За этим последовал клип, в котором ИИ мгновенно считает совершенно разные объекты. Он получил большой положительный отклик в социальных сетях. Команда убедилась, что у концепции есть потенциал, специалисты по машинному обучению «повозились» с первой версией нейронной сети и реализовали режим подсчета в одном из наших приложений, чтобы посмотреть, как отреагируют реальные пользователи. Это в значительной степени начало CountThis, и вскоре после этого оно стало отдельным приложением в портфолио продуктов AIBY.

==Изначально мы не выбирали какую-то конкретную категорию объектов для подсчета; вместо этого мы пытались научить нейронную сеть подсчитывать любые похожие элементы на картинке на основе объекта, выбранного пользователем. == Позже нам пришлось переключиться на другой подход. Мы поняли, что ставить количество (в нашем случае множество различных категорий объектов) над качеством не стоит. По сути, обучение ИИ считать клавиши клавиатуры, бетонные плиты и таблетки — это 3 разных процесса, которые требуют времени и усилий. трудоемкий. Пользователи ожидают, что приложение будет считать быстро и точно, что вполне разумно. Рассеиваясь между несколькими счетными категориями, мы не добились бы высокого качества и точности результата — двух критериев, на которых мы сосредоточились. Вот почему мы решили постепенно вводить новые счетные категории. На данный момент мы сосредоточены на сферах строительство и медицина.

Время, необходимое для обучения нейронной сети подсчету новых объектов, зависит от:

• есть ли у вас хороший набор данных по категориям, что упрощает процесс обучения и сокращает время;

• «сложность» категории. Если в нем есть предметы, которые легко различить на картинке (например, коробки), все проходит гладко. Но если это что-то более плотное (например, листы железа или картона), обучение становится более сложным и трудоемким.

В среднем на обучение ИИ подсчету объектов определенной категории может уйти от 2 недель до месяца.

Решение проблем — как выбрать актуальные сферы для приложения

Возникает очевидный вопрос: почему мы делаем упор на строительство и медицину? Ответ очень прост. После нескольких итераций продукта мы стали лучше понимать, что наши пользователи пытались подсчитать, и что мы умели подсчитывать. Мы получили много отзывов от строительных, промышленных и фармацевтических компаний, сотрудникам которых часто приходится пересчитывать большое количество строительных материалов и таблеток.

На данном этапе разработки приложения == мы поняли, что одинаково точно считать разные предметы невозможно из-за текущего уровня технологий. Поэтому мы решили сосредоточиться на повышении точности подсчета только в определенных сферах.==

Очевидно, мы не думаем останавливаться на достигнутом! Мы планируем расширить список счетных сфер за пределы того, с чем мы сейчас работаем. Чтобы получить представление о том, какую категорию элементов мы должны ввести в приложение дальше, мы обращаемся к следующим источникам:

• Товары подсчитываются нашими пользователями. Мы собираем информацию о них с разрешения пользователей, что помогает нам узнать, что для них актуально.

• Клиенты. Обычно они хотят посчитать предметы определенной категории, но мы можем узнать, что еще им нужно посчитать.

• Опросы пользователей. Мы выясняем потребности наших пользователей с помощью опросов и учитываем результаты креативов, подготовленных отделом маркетинга, поскольку они продолжают тестировать различные гипотезы подсчета.

Как менеджер по продукту, я выполняю дополнительную работу по исследованию новых возможных сфер для CountThis. Это включает в себя постоянное исследование рынка, пользователей и конкурентов, генерирование и проверку гипотез (с минимальными затратами ресурсов и времени), понимание пределов технологий и того, как извлечь из них максимальную пользу. Работа с данными, опрос пользователей и изучение предметной области — все это отличные способы точно определить наиболее важные элементы для подсчета и сосредоточиться на них в первую очередь.

Кроме того, мы постоянно улучшаем пользовательский интерфейс приложения. Опросы пользователей и аналитика помогают нам выяснить, чего не хватает или работает неправильно, неинтуитивно, не так, как мы себе это представляли, или неудобно в использовании. Это большое поле для изучения и экспертизы, выявляющее неочевидные сценарии использования. Короче говоря, все они являются областями для улучшения. Например, мы знаем, в каких условиях те или иные пользователи фотографируют объекты. Мы видим, что довольно часто не хватает света или камера смартфона плохого качества. Позже мы можем попытаться решить эти проблемы при обучении нейронной сети или предварительной или постобработке фотографии, чтобы получить максимальную отдачу от текущей технологии.

Почему это так интересно, несмотря на то, что это так сложно?

Работа над приложением ИИ — сложный, но невероятно увлекательный опыт. Почему мне нравится быть продакт-менеджером такого продукта?

Это новый проект, который позволяет пройти все этапы его развития: от идеи до полноценного продукта, помогающего людям. Эта работа находится в авангарде компьютерного зрения и машинного обучения. Он предполагает общение с самыми яркими умами, которые превращают технологии, которые раньше казались научной фантастикой, в реальность. Большая часть этой работы связана с взаимодействием с пользователями, что дает вам ощущение того, что ваш продукт помогает им решать их проблемы, и мотивирует вас продолжать его улучшать.