Тематическое исследование: как мы создали систему модерации на основе ИИ
26 июня 2025 г.В этой статье,Александр Карабатов, Менеджер проекта в
В течение девяти месяцев наш
Этот проект стал важной исследовательской инициативой, по сути, крупномасштабным экспериментом, который дал ценную информацию. 🚀 В этой статье я хочу поделиться критическими решениями, которые мы приняли, и их результатами.
Система модерации. Проблемы
Скорость ⚡
С точки зрения пользователя, процесс модерации во время регистрации сайта датирования может показаться простым-краткое самоопределение и несколько изображений. Однако в масштабе, для платформ с высоким трафиком, это приводит к существенным очереди обработки. Учет колебаний из -за маркетинговых кампаний, эти очереди обработки могут быть разумно прогнозированы.
Следующий вопрос касается балансировки SLA (Соглашение об уровне обслуживания) и CR2 (коэффициент конверсии в регистрацию). В системе ручной модерации каждая секунда сохранена еще одного сотрудника на борту. У человеческого модератора есть график работы, рабочую станцию и может заболеть.
Кроме того, истощение сотрудников делает набор непрерывного, дорогостоящего цикла. Даже с почти нефинитными ресурсами ручная модерация требует времени: открыть дело, принять решение, отправить ответ. Все это негативно влияет на объем регистраций пользователей - люди не получают первоначальный сервис в течение некоторого времени и не падают. Затем есть еще одна серьезная проблема: ошибки.
Качество🎯:
Ошибки неизбежны. Даже передовые системы еще не достигли 100% точности. Изменчивость в результатах зависит от нескольких факторов, в первую очередь от ясности задачи. Например, если вы запрещаете пользователям имена, начиная с буквы «A», вы получите минимальный уровень ошибок. Но должны ли мы разрешить «Алекс»? Или «Mr.alex»? Эвристическая система скажет да, человек скажет нет. ИИ выполнит эту задачу с хорошо продуманной подсказкой.
Более сложной задачей является определение того, намеревался ли пользователь мошенник других пользователей. 🚩 Еще одна проблема, наблюдаемая в ручной модерации,-это модераторы, делающие спекулятивные или субъективные суждения в таких сценариях, как «электронное письмо в стиле мошенничества»; «Я определенно видел это фото раньше»; «Десять регистраций подряд от Парижа на азиатском сайте знакомств? Определенно подделка!»
Контрольные списки для уточнения модерации могут помочь ✅, но ошибки все равно будут происходить. Кроме того, опыт не может быть просто передан в цифровом виде через облако; Преступление потребляет ценное время. Усталость может привести к снижению качества производительности, потребованию дополнительного персонала и увеличению затрат. Кроме того, всегда существует риск преднамеренного проступка.
Заключение 💡:
Системы ручной модерации страдают от медленного принятия решений, сложного персонала и сложной передачи знаний-что делает их медленными, дорогими и не постоянно надежными. Очевидно, что есть возможность для инноваций.
Выбор технологии
Мы решили добавить элементы искусственного интеллекта в нашу систему модерации.Выбранная технология в значительной степени зависит от задачи и доступного бюджета. Поскольку нам нужно было работать как с текстом, так и с изображениями, нам потребовались модели с сильными возможностями зрения.
Мы рассмотрели услуги, специализирующиеся на автоматизированной модерации, которые считались тонкими моделями с открытым исходным кодом, но в конечном итоге приземлились на CHATGPT. 📚 Ясно подсказывая модель, например, «вы модератор на сайте знакомств», - она эффективно идентифицирует финансовые мошенничества, фоновые люди и другие сложные проблемы с более чем 80% точностью. Это уже дешевле, чем команда полной модерации для той же рабочей нагрузки, и есть еще много возможностей для оптимизации.
Подсказка
Использование моделей LLM для модерации требует хорошо продуманной подсказки. Бывшая инженерия не является чем -то, что обычно преподается в университетах. Наши инженеры ML подтвердили, что в настоящее время не существует простых, готовых к использованию решений, поэтому мы начали проводить свои собственные эксперименты.
Мы быстро отвергли идею о быстром создании аутсорсинга. ⚠ предпочтительно иметь внутреннего разработчика, который, даже без специализированного опыта, может постоянно усовершенствовать подсказки. Наша задача требует постоянных корректировок из -за часто изменяющихся входов, влияющих на результаты модерации. Мошеннические пользователи, обнаруживающие лазейки, требуют оперативной модификации. Когда тренды меняются, подсказка должна быть обновлена. Обновления модели также требуют оперативных изменений. Например, на Хэллоуин вы рискуете ложно отвергать фотографии счастливых клиентов, позирующих с пластиковым ножом в голове.
Я выделил несколько основных ключевых выводов о приглашении:
- Введение:Кратко объясните задачу и цель модели;
- Действия:Необходимо точно и кратко обучать модели о том, что представляет собой проблемный содержание, и указать соответствующий ответ на возврат на обнаружение или отсутствие такого содержания;
- Примеры:Чрезвычайно важно предоставить несколько примеров для каждого типа проблемы, показывая то, что мы считаем приемлемым, а что нет. Любые исключения должны быть четко описаны;
- ** Примечания: ** Контекст необходим для модели, чтобы принять точные решения; Однако более длительные подсказки увеличивают вероятность галлюцинаций. Важно тщательно управлять количеством и контекстом в подсказках, чтобы найти баланс между количеством различных подсказок и количеством контекста, который они содержат.
Маркировка данных
Эффективная оперативная разработка неизбежно требует точной маркировки данных. Качество маркированных данных напрямую влияет на производительность модели. В то время как есть много краудсорсинговых услуг, мы решили построить нашу собственную команду по маркировке.
Вы можете найти много руководств в Интернете о том, как настроить конвейер маркировки данных, и это ключевые моменты, которые, я думаю, больше всего важнее:
- Четкая таксономия: Предоставьте комплексный список всех возможных ярлыков, каждый из которых имеет подробные определения и несколько примеров.
- Команда: Каждый элемент данных должен быть помечен как минимум тремя независимыми марок для снижения смещения и повышения надежности посредством консенсуса.
- Коммуникация: Сделайте сеансы на борьбу, проходите с собой разборовы вместе и позвольте маркировщикам отметить что -то как «неясное», если это необходимо.
- Улучшение: После каждого раунда маркировки уточняйте таксономию и скорректируйте команду, если возникнут проблемы качества.
Одним из наиболее важных критериев для полного набора данных является включение достаточного количества случайно выбранных положительных и отрицательных событий для всех ожидаемых типов контента. 📊 Например, приглашение, оптимизированное для содержания, связанного с взрослыми, может не достигать точных результатов при использовании с связанным с детьми контентом.
Системная архитектура
На этом этапе у нас есть первоначальная подсказка, которая дает удовлетворительные результаты в надежном наборе данных. Мы выровняли приемлемые пороговые значения для нашего модератора ИИ с точки зрения точности и отзыва, и готовы к интеграции системной интеграции. 🔄Есть несколько важных моментов, которые следует иметь в виду.
- Такие системы требуют постоянной проверки и уточнения. Важно создать процесс для регулярной аннотирования новых результатов и точности мониторинга разных типов контента.
- Методология человека в петле. Человек должен пересмотреть угловые случаи, когда ИИ не является на 100% уверен. Это снижает непосредственные риски и, что более важно, позволяет непрерывному улучшению модели и быстрое уточнение.
Влияние на бизнес 🎯
Первоначальная интеграция значительно повысила эффективность регистрации пользователей, сокращая время обработки в 60 лет, сохраняя при этом качество умеренности. Кроме того, автоматизация помогла нам стандартизировать объективность решений, что позволило нам быстро выявить новые проблемы и потребности и улучшить процесс. Система уже снижает затраты для компании, и дальнейшая оптимизация находится впереди.
До этого момента мы использовали самые популярные и сложные решения, доступные на рынке. Однако из -за быстрого роста ИИ мы теперь имеем доступ к широкому спектру поставщиков. Более того, Openai выпустил несколько значительных обновлений во время разработки нашего проекта.
Мы разработали гибкую архитектуру, способную одновременно поддерживать несколько моделей, обеспечивая точную настройку конкретных компонентов для различных моделей и по мере необходимости. Это распространяется на применение различных моделей к различным категориям между группами контента - например, одна модель обращается к простым запросам с азиатского рынка, в то время как другая управляет сложными запросами с европейского рынка.
Стадия 0–1 Сводка
Наш внутренний стартап был разработан специальной командой из шести постоянных участников.На различных этапах проекта мы использовали дополнительный опыт от коллег, но основная команда осталась маленькой. За короткий период наша работа была успешно интегрирована в полномасштабный продукт, что значительно мотивирует нашу команду. На протяжении всего проекта мы испытывали истинное чувство экспериментов, быстро тестировав широкий спектр гипотез, разрабатывая уникальные подходы и реализовывать их вживую.
✅ Система стала быстрее, более экономически эффективной и более последовательной по качеству, что привело к выводу, что цели первого этапа были достигнуты.
Оригинал