ИИ и краудсорсинг: использование маркировки «человек в цикле»

Сегодня искусственный интеллект опирается на три столпа: алгоритмы машинного обучения, аппаратное обеспечение, на котором они выполняются, и данные для обучения и тестирования моделей. В то время как первые два не создают препятствий как таковые, получение высококачественных актуальных данных в масштабе остается проблемой. Один из способов решить эту проблему — принять ориентированный на данные подход к маркировке данных, который влечет за собой создание конвейеров с участием человека, т. е. гибридных конвейеров, включающих как компьютерные, так и человеческие усилия.

Примеры использования краудсорсинга

Human-in-the-Loop (HITL) относится к вычислительному процессу, который сочетает в себе усилия специалистов по маркировке и код и обычно управляется человеком-архитектором (архитектор решений для толпы, CSA).

Краудсорсинг — это онлайн-деятельность, при которой люди выполняют задачи, назначенные на платформе, которая становится все более популярной из-за ее эффективности с точки зрения затрат и времени. Давайте рассмотрим две категории тематических исследований, в которых краудсорсинг успешно помог в создании ИИ.

Пример №1: оценка релевантности поиска

Многие отрасли сегодня полагаются на рекомендательные системы для поддержки своего бизнеса. Рекомендательные системы состоят из алгоритмов обучения для ранжирования: они используются с поисковыми системами (документы), сайтами электронной коммерции (покупки), а также с социальными сетями и приложениями для обмена (изображениями и видео). Основное препятствие, которое необходимо преодолеть при тестировании и улучшении систем обучения на основе ранжирования, связано с получением достаточного количества релевантных данных, которые (по определению) состоят из субъективных мнений отдельных пользователей.

Мы смогли определить, что следующий конвейер обеспечивает эффективное тестирование и проверку, поскольку он сокращает периоды тестирования с многих недель до нескольких часов:

Чтобы ей следовать, нужно:

• Выполнение стратифицированной выборки запросов и документов.

• Образец и аннотировать пары документов для каждого запроса (попарное сравнение).

• Восстановите ранжированные списки и вычислите ERR (ожидаемый взаимный ранг), NDCG (нормализованный дисконтированный кумулятивный выигрыш) или используйте любую другую применимую оценку.

При попарном сравнении, используемом при тестировании рекомендательной системы, один объект в каждой паре указывает на предпочтение пользователя. Хотя задача выглядит простой, она позволяет решить ряд сложных задач, включая оценку информационного поиска. Поскольку мы аннотируем пары объектов, нам нужно объединить эти сравнения в ранжированные списки для дальнейшего использования.

Чтобы сделать это и получить улучшенную рекомендательную систему, основанную на актуальных человеческих суждениях, нам необходимо:

• Выберите субъективный метод агрегирования (например, Брэдли-Терри) и преобразуйте сравнения в ранжированный список.

• Вычислить оценочные баллы, сравнивая выходные данные системы с агрегированными человеческими предпочтениями.

• Обучите новую версию вашей модели обучения для повышения ранга.

Пример №2: бизнес-листинги

Еще одна распространенная задача, используемая многими компаниями, — это пространственный краудсорсинг, также известный как полевые задачи. Пространственный краудсорсинг используется для поиска информации об обычных магазинах (т. е. физической розничной торговле) для цифровых карт и справочных служб. Получение актуальной информации о таких заведениях обычно представляет собой огромную проблему из-за большого количества современных предприятий, которые имеют тенденцию появляться и исчезать или менять свое местонахождение на регулярной основе.

Пространственный краудсорсинг — мощный элемент конвейера HITL, который может успешно решить эту проблему. В отличие от традиционных краудсорсинговых задач, подобных опросам, пространственные задачи отображаются на карте, поэтому люди могут подписаться на посещение любого количества мест, чтобы собрать последнюю информацию о бизнесе, необходимом для задачи (и, например, сделать фотографию). .

Как и в случае с попарным сравнением, это кажется обманчиво простым, но на самом деле может помочь нам решить ряд чрезвычайно сложных проблем. Мы предлагаем использовать следующий конвейер:

Если местонахождение рассматриваемого предприятия возможно, информация расшифровывается соответствующим образом: название предприятия, номер телефона, веб-сайт и часы работы. Алгоритмы машинного обучения применяются для получения кодов компаний и другой информации. Мы спрашиваем публику, можно ли использовать эту фотографию как часть карты или службы каталогов. Напротив, если местонахождение рассматриваемого предприятия невозможно, мы выбираем другую, более подходящую фотографию.

На этом снимке экрана показана типичная задача пространственного краудсорсинга, в которой один человек делает снимок, а другой выполняет расшифровку.

Важные моменты, которые следует учитывать:

• Заявки могут потребоваться пересмотреть, если в некоторые места нельзя попасть из-за плохой погоды/дорожных условий и т. д.

• Текстовые ответы в произвольной форме труднее обрабатывать и также могут потребовать проверки.

• К счастью, рецензирование можно поручить толпе в качестве задачи классификации, которая очень хорошо масштабируется.

• В дальнейшем могут применяться классические методы контроля качества или агрегирования (например, Dawid-Skene).

• Если все сделано правильно, вы сможете быстро и эффективно обновлять базу данных.

Вывод: люди и машины

При маркировке данных с участием человека люди и машины дополняют друг друга, что приводит к простым решениям для множества сложных проблем в масштабе.