Как мы использовали распознавание жестов для спасения жизней (и тонн золота и бриллиантов!)

31 марта 2023 г.

Привет, мир! Мы Warden AI Lab, стартап-студия из Латвии. Мы хотели бы поделиться с вами тем, как мы используем доступные демократизированные технологии, чтобы помочь крупным и средним предприятиям спасти тысячи жизней, миллионы лет жизни, тонны золота и алмазов и миллиарды долларов. Мы также создаем тысячи новых рабочих мест в области AI/ML/DL/CV/MLOps. n n Мы фокусируемся на распознавании жестов и поведенческой видеоаналитике, а также создаем стартапы на основе решения «под ключ» (3–6 месяцев), адаптированного к потребностям клиентов/отраслей.

Вот наши десять случаев, грустных или забавных, из которых мы извлекли уроки.

Пример № 1: как распознавание жестов предотвращает кражу

• Компания: Золотоперерабатывающий завод
• Размер: 8000 сотрудников.
• Местоположение: Евразия
• Производительность: 16 тонн золота в год.

Шахта или карьер поставляют золотосодержащую руду на золотую мельницу, где руда дробится, сортируется и переплавляется в слитки. Измельченная в песок руда поступает на гравитационный стол, где происходит один из процессов сортировки. На этом этапе контроль за работниками был не очень строгим, и в результате... на фабрике возникла нехватка золота в размере 7%. Иными словами, из килограмма золота с конвейера до финальной стадии добралось всего 930 граммов. Ежегодно «исчезало» более тонны золота. Тонна золота стоит 57 миллионов долларов. При мировом производстве золота в 3000 тонн в год выкачивается 20 тонн золота (1 миллиард долларов) — и это на заводе, не говоря уже о руднике и транспортировке. п

n Сценарий атаки 1: Недовольные иногда клали палку на гравитационный стол, чтобы собрать кучу золотого песка, а затем зачерпывали песок руками прямо в карман. Затем они засовывали его в носовой платок и делали хитрый механизм из пряжи и нейлоновых чулок, чтобы транспортировать песок через вентиляционную систему наружу. На сленге это называется «пустить лошадь через форточку». n n Сценарий нападения 2: Злоумышленник прятал ведро с золотым песком в баке с химикатами, которые нужно было вывезти за периметр безопасности. n n Сценарий нападения 3: В плавильном цеху магазине, сплав Доре может быть случайно пролит на какой-либо предмет, который был преднамеренно поставил туда сталевар, а преступник шел домой, где его ждал «золотой ботинок», вышедший с завода через вентиляцию.

Решение: Мы установили 17 IP-камер и 3 сервера со специализированным ПО. Решение стоило 800 000 долларов. Внедрение проекта заняло 7 месяцев. В ней участвовало шесть специалистов. n n Программное обеспечение для видеоаналитики смогло распознать 20 целевых сценариев «нестандартного поведения», например, когда рука оператора находится не в том месте на гравиметре; оператор не держит в руках специальную щетку; оператор прикасается к ящику для накопления золота; оператор неправильно пломбирует лоток с золотым концентратом; и т.д. n n Результат: Установка системы видеоаналитики привела к снижению потерь с 7% до 2%. До сих пор остается загадкой, куда ежегодно исчезают оставшиеся 300 кг золота. Экстраполируя эти результаты с одного предприятия на глобальную золотодобычу, внедрение видеоаналитики могло бы снизить потери золота в 3–7 раз, с 20 тонн в год до 3–6 тонн.

Дело №2: как распознавание жестов предотвращает вооруженное восстание

• Компания: Diamond Mines
• Размер: 1500 сотрудников.
• Местоположение: Африка

Проблема: водители карьерных самосвалов не соблюдают правила техники безопасности и садятся за руль уставшими и сонными, что приводит к опрокидыванию самосвалов или авариям со смертельным исходом. Это особенно актуально во время Рамадана, когда вам не разрешается есть в дневное время по религиозным причинам в странах Африки к югу от Сахары. По статистике, каждый год во время Рамадана это приводит к двум крупным авариям. n n На месте мы стали свидетелями того, как водитель уснул за рулем 100-тонного самосвала и врезался в ремонтно-складской комплекс, убив двух человек на глазах у десятков рабочих. Рабочие поднялись с оружием в руках, захватили шахту и обвинили в аварии руководство европейской фирмы. Команда британского менеджмента и их семьи были срочно эвакуированы самолетом в соседнюю страну. n n Решение. Установите по 2 камеры на каждый самосвал, чтобы фиксировать поведенческие признаки усталости. Стоимость оснащения одного грузовика составит 80 000 долларов США «под ключ», включая оборудование связи и версию климатического оборудования. Разверните центр управления операциями. n n Результат: Решение не реализовано по религиозным соображениям — видеокамеры, предположительно, воруют души. Это как ограничения GDPR, только вы не можете их соблюдать.

Пример № 3. Как распознавание жестов предотвращает кражу в пути

• Компания: Diamond Mines
• Размер: 1300 сотрудников.
• Местоположение: Африка

Проблема. Автопоезд останавливается на полпути между шахтой и заводом по переработке руды и алмазодобычи и сообщает по радио о поломке. Тем временем 30-40 специально обученных людей из соседней деревни разгружают, как они считают, наиболее перспективные куски руды, до 2 тонн в час, если полагаться на автомобильные весы. Это происходило практически каждую вторую ночь, в разных точках 40-километровой трассы, по случайным целям, способствуя развитию малого ювелирного бизнеса в регионе больше, чем любая государственная программа развития. n n Решение: видеоаналитика на борту самосвалов позволила отслеживать борта автомобиля и поведение водителя, чтобы отличать настоящие поломки от спонтанных нападений и злого умысла. Система передала данные оперативной группе безопасности. После 3 месяцев и ряда громких инцидентов потери руды в пути сократились на 72%. Куда идут оставшиеся 28%, мы не знаем, мы бы только посоветовали чаще проверять автомобильные весы.

Пример № 4. Как распознавание жестов предотвращает неправильное использование опасного оборудования

• Компания: Diamond Mines
• Размер: 1300 сотрудников.
• Местоположение: Африка

Проблема. Представьте себе рабочий поселок с населением почти 10 000 человек. Из них один человек официально проходит полное обучение на водителя самосвала и получает все удостоверения и бумаги. Ночью водитель приводит в помещение постороннего человека, очень похожего на водителя, сажает его за руль самосвала и обучает. В итоге один водитель со всеми юридическими документами работает на трех площадках практически одновременно, когда по факту грузовиками управляют нелегалы, прошедшие обучение в этом импровизированном подземном учебном центре ночью, со всеми вытекающими казусами, рисками и ответственностью не имеет отношения ни к кому. n n Решение. Мы установили камеры на карьерные самосвалы, чтобы следить за усталостью водителя. Камеры были дополнены функцией распознавания лиц. Собранная фирменная библиотека позволила распознать 319 инцидентов за 1 месяц. В результате уменьшилось количество аварий и поломок самосвалов, средний расход топлива, потери инструмента. Количество водителей также было сокращено почти на десяток. Что касается экономики этого сценария использования в области безопасности и охраны, то привлечение и обучение новых людей оказалось несоизмеримо дешевле, чем это казалось отделу кадров поначалу.

Кейс №5: Как распознавание жестов предотвращает несоблюдение правил техники безопасности на электростанции

• Компания: ТЭЦ
• Размер: 914 сотрудников.
• Местоположение: Евразия

Проблема: Заказчик хотел установить систему видеоаналитики для проверки комплектности средств индивидуальной защиты, используемых сотрудниками при выходе из административного комплекса и входе в производственную зону (всего 7 контрольно-пропускных пунктов). n n Решение: 16 IP-камер и 1 сервер. Стоимость проекта составила 200 000 долларов. Программное обеспечение автоматически распознало наличие шлема на голове, перчаток на руках, ботинок на ногах и отличило джинсы от защитных штанов. n n Результат: Решение выявило грубые нарушения, такие как ношение хоккейных шлемов с цветовым оформлением, похожим на защитные шлемы; ношение шлемов для сафари; или носить шорты в мастерской. n Мы также определили мини-прайд из семи кошек, живущих в магазине. п

К забаве некоторых, мы также обнаружили, что каждую пятницу сотрудники приносили веник для сауны, чтобы насладиться бесплатной импровизированной сауной, возникшей в результате трещины в трубе в цехе по производству пара. Удивительно!

n После 14 месяцев работы количество инцидентов снизилось на 83 % по сравнению с предыдущим годом. Проект окупился более чем в десять раз, потому что настойчивые нарушители были лишены бонусов и инцидентов удалось избежать.

Пример № 6. Как распознавание жестов предотвращает серьезные сбои

• Компания: Обогатительная фабрика
• Размер: 510 сотрудников.
• Местоположение: Евразия

Проблема: Смерзшиеся крупногабаритные куски угля поступали из зоны хранения на конвейерную ленту и далее на дробильное оборудование, забивая его перекрытия и приводя к остановам. n n Решение. Решением может быть аналитическая система, состоящая из 6 IP-камер и 1 сервера стоимостью 200 000 долларов США для наблюдения за конвейерной лентой и уведомления оператора об обнаруженных негабаритных кусках угля (по прозвищу «снеговики»). . n n Результат: заказчику эти затраты показались необоснованными. Однако через некоторое время особенно большой кусок смерзшегося угля вызвал крайне нежелательную поломку 10-тонного цилиндра. Производство было остановлено на четыре месяца – просыпанный уголь пришлось выгружать вручную, с помощью переносных конвейеров, так как техника не могла попасть на площадку. Подобные инциденты требовали дополнительных ресурсов от и без того недоукомплектованного завода. По разным оценкам, убытки составили около $2 млн.

Пример № 7. Как распознавание жестов предотвращает несчастные случаи со смертельным исходом в тяжелой промышленности

• Компания: Сталелитейный завод
• Размер: 21 848 сотрудников.
• Местоположение: Евразия

Проблема. Компания использовала оборудование 1960-х годов. В результате для выполнения производственных заданий некоторые процессы приходилось выполнять «вручную», т.е. люди выходили в опасную рабочую зону стана, откуда периодически с большой скоростью вылетали предметы из раскаленного металла, такие как балки, арматуры или другого горячекатаного проката. Каждый год от 12 до 16 человек жестоко убивали так называемым методом «кебаб». n n Решение: Установка системы видеоаналитики, состоящей из 5–10 камер на магазин. Система обнаружит проникновение человека в опасную зону или предскажет его траекторию — и автоматически замедлит или даже безопасно остановит производственный процесс. Цена 100 000 долларов за магазин. Принимая во внимание социальные выплаты и другие предыдущие потери от инцидентов, экономическая эффективность этого варианта использования позволяет сэкономить до 500 000 долларов США в год.

Пример № 8. Как распознавание жестов сокращает время простоя на железной дороге

• Компания: Железная дорога
• Размер: 696 000 сотрудников.
• Местоположение: Европа

Проблема. Как заявил Фредерик Тейлор, существует более 40 способов копать уголь и только один правильный. Клиент хотел проверить ручные действия железнодорожников на соответствие стандартным операционным процедурам. Какие действия совершали сотрудники? Каким практикам они следовали? Использовали ли они надлежащие инструменты? Сколько времени им потребовалось для выполнения действия? Для этого используется задокументированный эталон — блок-схема, или, как очаровательно выражались немцы, Arbeitsplanstammkarte. n n Решение. Четыре огромных сервера принимают видеофрагменты, собранные в местах проведения сервисных работ в дороге. Смарт-камеры обеспечивают соответствие GDPR, поскольку они отправляют на обработку только анонимные видео с размытыми лицами. Далее программа распознает типичные жесты, инструменты и последовательность их применения. По специальным маркерам программа понимает, где закончился один шаг процедуры и начался другой. n n Результат: мы обнаружили сотни грубых нарушений, таких как движение высокоскоростных поездов по рельсам, отсоединенным от шпал; инструменты, расположенные в опасной близости от движущихся вагонов; действия, выполняемые в случайной последовательности; или поднятие тяжестей спиной, а не ногами. Точно так же мы узнали, что отсутствие унифицированных лопат — это глобальная проблема, а унифицированная практика совершенствует и приводит к увеличению производительности ручного труда на 2–4 % ежегодно. Кроме того, когда люди знают, что за ними наблюдают, время простоя сокращается более чем на 50%.

Случай № 9: как распознавание жестов помогает в реабилитации после инсульта

• Компания: Постинсультная реабилитация
• Местоположение: Европа

Проблема. В Европейском Союзе инсульт является второй по значимости причиной смерти. и частая причина инвалидности среди взрослых. Каждый год около 1,1 миллиона человек переносят инсульт, что приводит к 440 000 смертей. Оценочные расходы, связанные с инсультом, составляют 45 миллиардов евро, включая прямые и косвенные расходы на здравоохранение и потерю работоспособности. Ежегодно из-за инсульта теряется 5–7 миллионов лет жизни с поправкой на инвалидность. Больше всего от инсульта и его последствий страдает Латвия. n n Решение. Мы разработали продукт для сокращения расходов на постинсультную реабилитацию. Испытания показывают, что неврологи могут принимать в 2–2,5 раза больше пациентов, используя наш продукт. Благодаря базовому оборудованию и передовой технологии распознавания жестов пациенты могут получить эффективную реабилитационную поддержку. п

На экране отображаются игровые задачи и жесты, которые должен воспроизвести пациент, а программное обеспечение оценивает точность воспроизведенных жестов, ведет журнал выполнения и предоставляет визуальные или голосовые подсказки. n n В отличие от других дорогостоящих решений, использующих 3D-камеры и Kinect, наш продукт использует доступное оборудование (обычный компьютер + веб-камера) и помогает медицинскому персоналу удвоить производительность.

Пример N.10: Как распознавание жестов облегчает процесс обучения

• Компания: производитель низковольтной бытовой и бытовой электроники.
• Размер: 10 000 сотрудников.
• Местоположение: Европа

Проблема: сборка автоматических выключателей вручную.

n Компания производит 150 000 единиц в год. Сорок человек собирают устройства. У оператора на сборочном участке более 50 ящиков с комплектующими. Коробки могут выглядеть очень похожими, то есть резисторы на 10 Ом выглядят почти так же, как резисторы на 20 Ом. Усталый человек может легко запутаться и взять не тот компонент с разными параметрами, что приведет к авариям и пожарам. n n Решение. Мы использовали поведенческую аналитику для реализации системы, предназначенной для облегчения принятия решений во время операций сборки, т. е. какой компонент брать следующим и из какой коробки. n n Оборудование: 2 камеры на стол, до 8 камер на сервер. Пилот стоил 120 тысяч евро. n n Результат: частота ошибок снизилась на 61%, а время обучения сократилось с 1 недели до 1 дня.

Заключение

С одной стороны, мы рады признать, что наши усилия спасают жизни и укрепляют здоровье. Ежедневно во всем мире в результате несчастных случаев на производстве погибают 600 рабочих, что приводит к 200 000 смертей в год. Только в Австралии зарегистрировано 120 000 травм на производстве, при этом одна травма стоит в среднем 13 000 долларов США и 6 человеко-недель простоя. Доступные демократичные решения помогают компаниям во всем мире повышать безопасность и заботиться о своих сотрудниках. n n С другой стороны, мы работаем на быстрорастущих рынках, таких как n

• Безопасность на рабочем месте (по прогнозам, мировой рынок вырастет с примерно 14 млрд долларов США в 2022 году до 26 млрд долларов США к 2027 году)
• Видеоаналитика (ожидается, что этот сегмент вырастет с 7 млрд долларов США в 2022 году до 20 млрд долларов США в 2027 году)
• Поведенческая аналитика (рынок должен вырасти с 200 млн долларов США в 2016 году до 3,5 млрд долларов США в 2024 году.
• Распознавание жестов (в 2021 году объем рынка оценивался в 14,08 млрд долларов США, а к 2030 году ожидается, что он достигнет 70,18 млрд долларов США.

n Что очень привлекательно для венчурных инвесторов. п

Мы твердо верим, что мышление стартапа поможет решить основные проблемы человечества, и наша миссия – внести свой вклад в этот процесс и изменить ситуацию к лучшему.

---

Оригинал