Как мы создали и развернули 3 модели машинного обучения за 3 месяца
3 мая 2023 г.Операции машинного обучения (MLOPs) — важнейший компонент современной науки о данных. Он упрощает процесс создания, развертывания и поддержки моделей машинного обучения чтобы компаниям было проще извлекать пользу из своих данных.
В этой статье мы рассмотрим, как моя команда перешла от нулевых моделей и инфраструктуры к развертыванию трех готовых к эксплуатации моделей всего за три месяца с использованием принципов MLOps. Мы обсудим стратегии, которые мы использовали, инструменты, которые мы использовали, и уроки, которые мы извлекли на этом пути.
1. Использование внешней помощи
В то время я был ведущим специалистом по обработке и анализу данных. Я был знаком с концепцией MLOps, но еще не применял ее на практике. Чтобы начать путешествие по MLOps, мы обратились за помощью к консультанту по машинному обучению. Это партнерство позволило нам работать вместе с опытными профессионалами, которые помогали нам в процессе создания надежной инфраструктуры машинного обучения. Эта система безопасности знаний сыграла важную роль в ускорении нашего прогресса и обеспечении того, чтобы мы заложили прочную основу для наших усилий по MLOps.
2. Повышение продуктивности команды
Одним из ключевых факторов, способствовавших нашему быстрому прогрессу, стал целенаправленный подход, который мы использовали в работе с нашей командой по обработке и анализу данных. Мы сузили круг команды до трех конкретных моделей без каких-либо отклонений. Все усилия, от экспериментов до развертывания, были направлены на эти три модели, которые, как мы знали, окажут наиболее значительное влияние на бизнес. Сохраняя четкую направленность и сохраняя идеи для будущих моделей в бэклоге, мы смогли оптимизировать продуктивность нашей команды и быстро добиться результатов.
3. Использование существующих сред MLOps
Вместо того, чтобы создавать собственную платформу MLOps с нуля, мы решили использовать существующие инструменты и среды. Мы использовали Amazon Web Services (AWS) SageMaker, полностью управляемый сервис машинного обучения, а также некоторый пользовательский код. Это решение позволило нам значительно сократить время выхода на рынок, поскольку нам не нужно было беспокоиться о самостоятельном создании критически важных компонентов инфраструктуры. Кроме того, использование хорошо зарекомендовавшей себя платформы, такой как SageMaker, дало нам больше уверенности в стабильности и надежности нашей инфраструктуры.
4. Получение поддержки от бизнеса
Машинное обучение предназначено не только для отделов обработки данных, но и для всей организации. Чтобы обеспечить плавный переход к модельному подходу, мы сообщали о наших планах и прогрессе командам по всей компании. Привлекая заинтересованные стороны из различных отделов и интегрируя их отзывы в наш процесс разработки, мы гарантировали, что все были готовы к развертыванию наших моделей.
Заключение
Наш успех в развертывании трех моделей всего за три месяца демонстрирует силу MLOps в ускорении разработки и развертывания решений для машинного обучения. Привлекая внешнюю помощь, сосредоточив усилия нашей команды, используя существующие инструменты и среды, а также заручившись поддержкой бизнеса, мы смогли быстро извлечь выгоду из наших данных.
:::информация Избранное фото Скотта Блейка на Unsplash
Также опубликовано здесь
:::
Оригинал