Как AI Proof of Concept поможет вам добиться успеха в ваших усилиях по искусственному интеллекту

12 января 2023 г.

Наш клиент потерял лишь четверть бюджета, выделенного на проект ИИ, потому что решил начать с проверки концепции. PoC позволил им проверить свою идею и быстро потерпеть неудачу при ограниченных затратах.

Чтобы не тратить время и усилия, всегда обращайтесь к своему консультанту по ИИ-решениям за подтверждением концепции, особенно если ваша компания только тестирование вод искусственного интеллекта.

В этой статье объясняется, что такое доказательство концепции ИИ, и подробно рассматриваются пять шагов, которые проведут вас через ваш первый PoC, а также проблемы, с которыми вы можете столкнуться на этом пути. В нем также представлены примеры AI PoC из нашего портфолио. И вы найдете счастливый конец примера, изображенного в первом абзаце.

Что такое проверка концепции ИИ и когда она необходима для успеха вашего проекта?

Подтверждение концепции искусственного интеллекта (PoC) – это прототип или демонстрация предлагаемого ИИ-решения, предназначенного для проверки того, осуществимо ли это решение и может ли оно быть успешным.

Целью создания AI PoC является проверка концепции, оценка потенциальных преимуществ предлагаемого решения и выявление любых потенциальных проблем или ограничений.

PoC ИИ обычно включает в себя создание мелкомасштабной версии предлагаемого решения ИИ и его тестирование в контролируемой среде, чтобы увидеть, как оно работает и соответствует ли желаемым целям. Затем результаты проверки подлинности ИИ можно использовать для дальнейшей разработки и внедрения решения.

По сравнению с обычными программными PoC, AI POC может включать более сложные соображения, такие как способность решения AI обучаться и адаптироваться с течением времени, а также потенциальные этические последствия решения, такие как Предвзятость ИИ.

Стек технологий для проектов PoC AI также отличается:

1. Алгоритмы машинного обучения. Эти алгоритмы позволяют системе ИИ учиться на структурированных данных и делать прогнозы или решения на основе этого обучения. Существует множество различных типов алгоритмов машинного обучения, включая алгоритмы обучения с учителем, алгоритмы обучения без учителя, и алгоритмы обучения с подкреплением.
2. Нейронные сети. Эти вычислительные модели вдохновлены структурой и функциями человеческого мозга. Нейронные сети могут обрабатывать и анализировать большие объемы неструктурированных данных. Их можно обучить выполнению различных задач, таких как распознавание изображений, обработка естественного языка, моделирование сценариев и прогнозирование.
3. Робототехника. Эта технология может быть использована для построения физических систем, способных к автономной работе и принятию решений. Решения для робототехники включают в себя датчики, приводы и другие аппаратные компоненты, которые позволяют инженерам создавать роботов, способных взаимодействовать с окружающей средой и выполнять задачи.
4. Облачные вычисления. Платформы облачных вычислений, такие как Microsoft Azure, Google Cloud и AWS, предоставляют вычислительную мощность, ресурсы хранения и предварительно настроенные сервисы, необходимые для поддержки разработки и тестирования POC AI. На этих платформах также можно размещать и развертывать решения ИИ после их разработки и тестирования.

Создание PoC для ИИ включает в себя сбор и подготовку данных, создание и обучение моделей машинного обучения, а также тестирование и оценку производительности системы ИИ.

Время, необходимое для создания подтверждения концепции искусственного интеллекта, может широко варьироваться в зависимости от нескольких факторов, включая сложность предлагаемого решения ИИ, ресурсы и опыт, доступные для POC, а также конкретные цели POC. Некоторые POC AI можно разработать всего за несколько дней или недель, в то время как на создание других может уйти несколько месяцев или даже больше.

Когда абсолютно невозможно обойти PoC ИИ?

Очень важно начать проект с PoC в следующих случаях:

* Ваш проект опирается на инновационную идею, которая ранее не тестировалась. Что-то, что изучалось на уровне бизнеса, но не применялось технически. Ни вы, ни ваш технический поставщик не уверены, что это вообще можно реализовать. * Если вам нужно продемонстрировать заинтересованным сторонам, инвесторам и т. д. осуществимость вашей идеи в ограниченные сроки. PoC справится с этой задачей лучше, чем интерактивный прототип или что-то подобное.

Бывают ли ситуации, когда PoC ИИ — пустая трата времени?

Несмотря на то, что проверка концепции ИИ полезна в большинстве случаев, есть несколько исключений. Если ваш проект подпадает под следующие категории, PoC может оказаться излишним:

* Если ваша идея и подход исключительно хорошо документированы с функциональной и технической точки зрения. Это довольно редко. * Если решение, которое вы хотите разработать, является стандартным и соответствует общепринятым практикам в этой области. Мы уже знаем, что это осуществимо и возможно с технической точки зрения. * Если вы хотите создавать программное обеспечение, которое понимают ваши разработчики внешнего и внутреннего интерфейса и уже работали над чем-то идентичным раньше

Какие преимущества вы можете получить от проверки концепции ИИ?

Проверка концепции ИИ дает следующие преимущества:

* Выявление потенциальных проблем, прежде чем выделять больше ресурсов на это начинание. PoC AI позволяет вам «потерпеть неудачу быстро, потерпеть неудачу лучше». Если команда сталкивается с проблемами, которые они не могут решить, у всех заинтересованных сторон есть время перегруппироваться или, возможно, изменить гипотезу, чтобы достичь тех же целей другими методами. * Минимизация бизнес-рисков, поскольку вы тестируете инновационные идеи небольшими шагами, а не погружаетесь в долгосрочный проект. * Улучшение практики сбора данных * Привлечение инвесторов и других заинтересованных сторон * Экономия времени и ресурсов. AI PoC может выявить проблемы, связанные с бизнесом или процессами, и дать вам время все исправить, прежде чем начинать полномасштабный проект. * Наращивание опыта и создание владельцев знаний, которые в будущем будут наставлять других членов команды в аналогичных проектах. * Тестирование стека технологий в меньшем масштабе, чтобы понять его пригодность для выбранного бизнес-кейса.

Примеры из нашего портфолио, где AI PoC спас положение

Вот несколько примеров AI PoC из портфолио ITRex, которые помогут вам еще больше оценить подход к проверке концепции.

Понимание того, что одно только машинное обучение — это не ответ

Крупная грузовая логистическая компания выполняет 10 000–15 000 отправок в день, и каждая отправка сопровождается коносаментами и счетами-фактурами для покрытия операций. Сотрудники были измотаны ручной обработкой всей документации. Компания хотела создать решение на основе машинного обучения, которое использовало бы оптическое распознавание символов (OCR) для обработки отсканированных документов и идентификации различных полей.

Клиент полагал, что машинное обучение было лучшим выбором для этого случая, поэтому мы приступили к PoC ИИ, чтобы проверить это предположение. Вскоре мы поняли, что документы форматируются по-разному, и метки, используемые для полей, значительно различаются. Например, одно только поле «Идентификатор загрузки» имело 8 псевдонимов. В результате модель машинного обучения продолжала расти. Он стал медленным и неэффективным. Наша команда решила дополнить эту модель динамическим алгоритмом (например, словарем, в котором жестко закодированы различные метки полей). Эта модификация значительно повысила производительность решения и сэкономила время и деньги клиента.

Если бы клиент решил пропустить проверку концепции ИИ, он бы потратил семь месяцев только на то, чтобы понять, что его первоначальная идея модели, основанной исключительно на машинном обучении, не была оптимальным решением здесь.

С PoC искусственного интеллекта они пришли к такому выводу всего за два месяца. После успешного завершения AI PoC мы создали MVP, способный обрабатывать четыре типа документов, взяв на себя около 25 % нагрузки, связанной с ручной обработкой.

Озадачен ограничениями Meta на использование данных

Клиент из индустрии развлечений хотел создать аналитическую платформу на основе искусственного интеллекта для независимых музыкальных исполнителей. Решение должно было сканировать социальные сети, включая Facebook и Instagram, для сбора данных. Он будет обрабатывать всю эту информацию, чтобы оценить отношение людей к художникам. Музыканты могли подписаться на платформе и получать отзывы о том, какое поведение в социальных сетях наиболее полезно для их успеха.

Мы приступили к проверке концепции ИИ, чтобы проверить идею. Всего через две недели мы поняли, что просто невозможно собрать данные из Facebook и Instagram, чтобы использовать их для описанной выше цели. Как правило, некоторые данные можно получить через Graph API. Объединив это с проверенным бизнес-аккаунтом в Meta, мы предполагали, что получим доступ к необходимой информации. Однако клиент не смог предоставить нам проверенный бизнес-аккаунт, а данных только из Graph API было недостаточно для работы этого решения.

Если бы клиент решил пропустить PoC, он бы потратил около 20 000 долларов США на исследовательский проект.

Это будет включать подробное описание решения и оценку затрат на разработку. Но поскольку они решили начать с AI PoC, они потратили всего около 5000 долларов, прежде чем поняли, что эту идею невозможно реализовать из-за ограничений доступа к данным, введенных компанией Meta.

Пятиступенчатое руководство по первому доказательству концепции ИИ

Вот пять шагов, которые вы можете выполнить, чтобы успешно пройти проверку подлинности AI. В этом разделе мы также перечисляем задачи, связанные с каждым этапом.

Шаг 1. Определите, какие проблемы вы хотите решить с помощью ИИ

Важно указать, чего именно вы хотите достичь, внедрив искусственный интеллект PoC. Выбранный вариант использования должен иметь высокую ценность и представлять то, что вы можете лучше всего решить с помощью этой технологии. Если у вас есть сомнения, стоит начать с изучения того, для чего другие специалисты в вашей области используют решения ИИ. Еще один способ — изучить проблемы, с которыми сталкивается ваш бизнес, и сравнить их с потенциалом ИИ.

После того как вы составили список возможностей, вы можете задать следующие вопросы, чтобы определить, какие из них лучше всего подходят для вашего проекта в данный момент:

* Является ли проблема, которую вы собираетесь решить, достаточно конкретной? Можете ли вы оценить результаты, чтобы определить успех? * Вы уже пытались решить эту проблему с помощью других технологий? * Есть ли у вас талант и финансирование, чтобы поддерживать этот проект до конца? Если в компании нет подходящих специалистов, можете ли вы нанять внешнюю специальную команду? * Как это повлияет на ваш бизнес? Достаточно ли значителен этот эффект, чтобы приложить усилия? * Сможете ли вы продать это руководству? Готова ли ваша организация взяться за такие проекты? * У вашей фирмы уже есть стратегия использования данных? Как это будет сочетаться с этим проектом? * Каковы потенциальные риски и ограничения использования ИИ для решения этой проблемы?

Связанный вызов:

* Выбор варианта использования, который не добавляет большой ценности или не использует весь потенциал ИИ. Искусственный интеллект — дорогая технология, и выбор незначительного случая будет означать, что вы потратите больше, чем получите. Прочтите нашу статью о сколько стоит внедрение ИИ, чтобы лучше понять расходы.

Шаг 2. Подготовьте данные

Теперь, когда вы четко определили свою проблему, пришло время собрать и подготовить обучающие данные для алгоритмов ИИ. Вы можете сделать это следующим образом:

* Проверка того, какие данные доступны для использования в вашей компании * Генерация полусинтетических данных с использованием конкретных готовых приложений или собственного решения * Покупка наборов данных у надежных поставщиков * Использование данных из открытых источников * Найм людей для удаления данных, которые соответствуют вашим целям

Не нужно ограничивать себя одним источником. Вы можете использовать комбинацию нескольких вариантов, перечисленных выше.

Обратитесь к специалистам по обработке и анализу данных, чтобы провести первоначальную проверку данных. Они будут выполнять следующие задачи:

* Структурировать данные * Очистите его, устранив шум * Добавьте любые недостающие точки данных, в случае табличных данных * Выполнение разработки функций (т. Е. Добавление и удаление полей данных) * Применение манипуляций, таких как объединение или фильтрация данных

Специалисты по обработке и анализу данных могут посоветовать вам, как собрать дополнительные данные или как сузить область проверки концепции ИИ, чтобы вы могли достичь желаемых результатов с существующими наборами данных.

Когда данные будут готовы к использованию, разделите их на три набора:

* Тренировочный набор, который модель будет использовать для обучения * Проверка установлена ​​для проверки модели и повторения обучения. * Тестовый набор для оценки производительности алгоритма

Связанные задачи:

* Данные обучения не являются репрезентативными для всего населения. В этом случае алгоритмы могут хорошо работать в обычных случаях, но давать плохие результаты в редких случаях. Например, модель машинного обучения для здравоохранения, которая анализирует рентгеновские снимки, может преуспеть в обнаружении распространенных заболеваний, таких как выпот, но с трудом выявит редкие заболевания, такие как грыжа. * Дисбаланс классов, когда количество случаев, представляющих один класс, значительно больше, чем другой, с соотношением 99,9% к 0,1% * Неправильная маркировка, например, смешивание классов, например, маркировка велосипеда как автомобиля. * Высокий уровень шума в обучающем наборе данных * Трудно достичь чистой разделимости классов. Это происходит, когда некоторые данные в обучающей выборке не могут быть правильно отнесены к определенному классу.

Шаг 3. Спроектируйте и создайте или купите решение

Возможно, вы задаетесь вопросом, стоит ли создавать модель самостоятельно или можно приобрести существующее решение.

Вот когда имеет смысл создать модель ИИ с нуля:

* Ваше решение является инновационным и не соответствует существующему стандарту * Готовые решения дорого настраиваются * Самая близкая готовая модель — это излишество, и она делает гораздо больше, чем вам действительно нужно

Рассмотрите возможность приобретения готовой модели, если:

• Затраты на покупку и настройку модели меньше, чем на ее создание с нуля.

Если вы решите построить алгоритм ИИ с нуля, это даст вам больше контроля над его точностью. Выполнение задачи займет больше времени, но она будет адаптирована к вашей бизнес-задаче и вашим внутренним процессам. Вам не нужно будет вносить изменения в вашу систему для установки внешнего программного обеспечения.

Что касается инфраструктуры для обучения и внедрения алгоритмов, вы можете положиться на облако, а не на локальные ресурсы. Есть четыре параметра, по которым вы можете решить, что вам больше подходит:

1. Безопасность. Если ваши данные очень важны с точки зрения безопасности, вам лучше хранить все локально.
2. Рабочая нагрузка. Если вычислительная нагрузка довольно велика, выберите облако.
3. Расходы. Оцените, что будет стоить вам дороже — приобретение ресурсов локально или оплата использования облака с течением времени.
4. Специальные возможности. Если вы будете использовать решение только локально, вы можете положиться на свои внутренние серверы. Если он должен быть доступен из разных географических мест, стоит подумать об облаке.

Каждый подход имеет свои преимущества и недостатки. Если вы работаете в сфере здравоохранения, у нас есть четкое объяснение в статье об облачных вычислениях в здравоохранении в нашем блоге. В противном случае не стесняйтесь обращаться к нашим экспертам по искусственному интеллекту, чтобы выбрать лучший стек технологий для обучения алгоритму.

Связанные задачи:

* Отсутствие надлежащей подготовки. Это вызовет проблемы, такие как плохая обобщаемость модели, что означает, что модель не может делать точные прогнозы на основе данных, которые она не видела при обучении. Возвращаясь к анализу рентгеновских изображений в медицинском секторе, алгоритм может успешно анализировать высококачественные изображения, полученные с помощью современных сканов, но по-прежнему плохо работает со сканами, созданными более старыми машинами. * Интеграция с существующими системами, некоторые из которых могут быть устаревшими или основанными на проприетарных технологиях. * Неспособность придумать подходящую архитектуру модели, например, невозможность выбрать правильную модель машинного обучения для решения поставленной задачи. * Возможности выбранной архитектуры не могут соответствовать требованиям модели * Входные данные изменчивы, что означает, что модель необходимо часто переобучать * Использование большего количества ресурсов, чем требуется вашей модели для выполнения своих задач. Нет необходимости вкладывать средства в мощный сервер для запуска простой модели.

Шаг 4. Оцените потенциал концепции ИИ для создания ценности

На этом этапе нужно оценить, соответствует ли AI PoC ожиданиям. Есть несколько способов выполнить оценку:

* Вернитесь к своим ключевым показателям эффективности (KPI) и протестируйте решение по ним. Эти факторы могут включать точность, удовлетворенность клиентов, скорость, гибкость, справедливость, безопасность и т. д. * Собирайте данные о том, как ваша система работала до развертывания концепции ИИ. Это будет включать время, затраченное на конкретную ручную задачу, количество ошибок и т. д. Затем вы должны использовать информацию для оценки влияния PoC. * Сравните производительность решения с другими продуктами, которые считаются эталоном для решения проблем такого типа или отрасли. Например, эталоном для проблем, связанных с классификацией изображений, может быть модель, которая обеспечивает точные результаты для популярных наборов данных, таких как ImageNet. * Собирайте отзывы пользователей с помощью фокус-групп или онлайн-опросов, чтобы оценить уровень удовлетворенности и определить, чего не хватает. * Проведите анализ затрат и результатов, чтобы понять финансовые последствия этого решения для организации.

Связанные задачи:

* Ошибка в оценке. Это может быть как простая математическая ошибка при расчетах, так и ошибка, связанная с оценкой бизнес-потенциала.

Шаг 5. Повторите проверку концепции ИИ, чтобы добиться лучших результатов, или увеличьте масштаб

Если результаты, полученные на предыдущем шаге, не соответствуют номиналу, можно рассмотреть возможность изменения решения и повторения всего процесса. Вы можете вносить изменения в алгоритм машинного обучения и измерять производительность каждой корректировки. Вы также можете поэкспериментировать с различными аппаратными компонентами или альтернативными моделями облачных служб.

Если вас устраивает производительность AI PoC, вы можете масштабировать ее в разных направлениях. Вот несколько примеров:

* Примените PoC к другим бизнес-кейсам. Ищите другие применения этого нового решения в вашем бизнесе. Например, если вы тестируете ИИ как одно из приложений профилактического обслуживания, вы можете попробовать применить его к другим связанным сценариям. * Масштабировать инфраструктуру. Просмотрите технологию, используемую для запуска этого программного обеспечения. Можете ли вы выделить больше вычислительной мощности или больше места для хранения данных? Такие модификации позволят вам использовать больше данных, уменьшить задержку и, возможно, получать результаты в режиме реального времени. Это также сведет к минимуму возможность возникновения узких мест в будущем. * Оптимизировать решение AI PoC. Несмотря на то, что вы уже получили разумные результаты на предыдущем шаге, возможно, стоит поискать способы повысить точность. Вы можете продолжать обучать свои алгоритмы, используя новые данные, данные с более точной маркировкой и т. д. Или вы даже можете экспериментировать с внедрением настроек и изменений для достижения лучших результатов.

Если вы решите внедрить ИИ в масштабах всей компании после этапа проверки концепции, вы можете найти полезные советы в нашем руководстве по адресу как внедрить ИИ в вашей организации.

Связанные задачи:

• Архитектура не была тщательно продумана. Решение может хорошо работать с 10 000 пользователей, но давать сбой, когда аудитория достигает 100 000 человек.
• Модель содержит ошибки, которые проявятся, когда вы попытаетесь масштабировать решение ИИ.
• Применение модели к другим бизнес-кейсам, кроме тех, для которых она предназначена. Например, решение, предназначенное для сборки садовой тачки, нельзя применить к сборке грузовиков, так как оно может собрать большую садовую тачку с двигателем.

В заключение

Когда дело доходит до внедрения ИИ, начните с малого и оставайтесь управляемым. Убедитесь, что у вас есть четкое экономическое обоснование с определенными целями и показателями для измерения успеха. И всегда рассматривайте возможность создания ИИ-доказательства концепции, за исключением случаев, представленных в начале этой статьи. Это поможет вам определить любые потенциальные препятствия, прежде чем вы полностью погрузитесь и сделаете крупные финансовые вложения в решение, которое не оправдает ожиданий.

<цитата>

Вы хотите внедрить искусственный интеллект в своей организации, но не уверены, осуществима ли ваша бизнес-идея? Свяжитесь с нами! Наша команда поможет вам провести PoC, чтобы проверить вашу идею на практике.

---

Оригинал