Как достичь оптимальных бизнес-результатов с общедоступными веб-данными
5 декабря 2022 г.Общедоступные веб-данные могут изменить ваш бизнес. Он предоставляет уникальные возможности и идеи. Однако отличительной чертой этих данных является то, что они сырые и, проще говоря, большие. Работа с большими объемами необработанных данных требует определенной стратегии, инструментов и навыков.
В этой статье я сосредоточусь на том, как подготовиться к работе с необработанными веб-данными и как использовать их для достижения оптимального полученные результаты. Я расскажу о первых шагах по началу работы с веб-данными, расскажу, какие ресурсы необходимы, и поделюсь некоторыми полезными советами, которые помогут вашей организации сделать это эффективно.
Что такое общедоступные веб-данные?
В самом широком смысле веб-данные — это любые данные, собранные из Интернета. Это могут быть данные о компаниях, объявлениях о вакансиях, отзывах и т. д. В необработанном виде эти данные поступают в виде больших файлов, состоящих из текста, чисел и символов. Термин необработанные данные может означать как неструктурированные, так и не проанализированные или полностью проанализированные данные, которые не очищаются для определенной цели, в зависимости от контекста.
В этой статье я буду называть общедоступные веб-данные или альтернативные данные большими объемами необработанных данных, собранных из общедоступных веб-источников.
Общедоступные веб-источники данных
Общедоступные веб-данные можно собирать из профессиональных сетей, платформ бизнес-информации, общедоступных онлайн-баз данных и аналогичных источников. Сбор общедоступных веб-данных дает альтернативную цель многим ценным данным, извлеченным из общедоступных профилей компаний, объявлений о вакансиях, отзывов о компаниях или продуктах и т. д.
Например, в этих профилях есть численность персонала компании, описания должностей, названия должностей, рейтинги продуктов, требования к работе и многое другое. Каждое поле информации на общедоступной веб-странице может иметь определенную ценность для определенных целей.
Для чего используются общедоступные веб-данные?
Компании в основном используют альтернативные данные для двух целей:
Бизнес-аналитика. Например:
- аналитика продаж;
- Возможности для инвестиций;
- Мониторинг компаний, в которых они заинтересованы.
В этом случае компания может использовать данные для бизнес-аналитики, например для поиска новых стартапов для инвестиций или потенциальных клиентов.
Другим примером может быть мониторинг того, как конкуренты расширяют свои команды. Подобная статистика используется для внутренних целей.
Новые продукты (различные продукты на основе определенных данных или тем).
В этом случае компания стремится создать платформу или продукт, управляемый данными. Они используют проприетарные методы и модели на основе ИИ для обработки данных, извлечения информации и выводов и предоставления их клиентам через удобный и понятный интерфейс.
Например, компания предоставляет услуги по поиску талантов в сфере здравоохранения и использует альтернативные данные для создания платформы для работодателей.
Начало работы: первые шаги и ресурсы
Организация должна иметь четкие бизнес-цели и стратегию работы с данными, чтобы начать работу с альтернативными данными. Другими словами, компания должна знать, для чего нужны данные.
Эта идея должна быть в руках того, кто держит руку на пульсе рынка, умеет определять тенденции и, самое главное, бизнес-возможности. Вероятно, это будет кто-то на руководящей должности. Эти знания и понимание должны стать основой для поиска данных, которые можно использовать для достижения ваших бизнес-целей.
Использование веб-данных можно назвать генерацией сигналов. Компания определяет, какие сигналы будут ценны для бизнеса, какими бы они ни были, и ищет данные, которые помогут генерировать эти сигналы.
Итак, допустим, у вас уже есть бизнес-цель или предположение, требующее данных. Следующим важным шагом является получение необходимых ресурсов, начиная с самих данных.
Данные
Когда компания решает, что ей необходимо получить большие объемы данных от внешнего поставщика, первым делом нужно найти надежного поставщика данных. К этому поиску предъявляются особые требования в отношении качества и надежности данных.
Выбор поставщика данных
Чтобы оценить качество данных, обратите внимание на такие факторы, как точность, полнота, единообразие и своевременность.
Я попросил экспертов по данным Coresignal Мартинаса Симанаускаса и Юстаса Гратулявичюса, которые консультируют предприятия по вопросам использования общедоступных веб-данных для различных вариантов использования, поделиться своими мыслями и объяснить, почему также важно обеспечить, чтобы данные, которые вы получаете, свежие и доставляются последовательно.
<цитата>"Данные имеют свойство стареть и очень быстро терять свою актуальность. Покрытие важно, но не менее важна и свежесть. Непрерывное обновление наборов данных является сложной задачей для поставщиков данных, но обеспечивает максимальную ценность для компаний, использующих эти данные. Это также свидетельствует об уровне приверженности и профессионализма поставщика данных», — пояснил Мартинас.
Использование набора альтернативных данных только один раз встречается довольно редко. Вот почему, по словам Юстаса Гратулевичюса, вам следует выбирать поставщиков данных, которые могут обеспечить стабильные обновления в обязательном порядке.
<цитата>"Если доставка данных по какой-либо причине будет прервана, процесс, который ваша компания построила на основе этих данных, также будет нарушен. Хуже всего то, что практически невозможно быстро найти замену тем данным, которые вы получаете. Обязательно выберите опытного и надежного поставщика данных, чтобы избежать таких рисков», — порекомендовал Джастас.
С технической точки зрения сбор общедоступных веб-данных затруднен, особенно из некоторых источников. Еще больше усложняет ситуацию то, что поставщики данных всегда должны быть готовы адаптироваться к изменениям, таким как новые юридические требования или технические проблемы.
Наконец, я рекомендую помнить, что очень важно проверять, соответствуют ли данные бизнес-целям, прежде чем строить на их основе целые операции.
Технологии и человеческие ресурсы
Когда речь идет о технологиях и человеческих ресурсах, необходимых для работы с общедоступными веб-данными, эта часть в значительной степени зависит от того, для чего эти данные будут использоваться: для бизнес-аналитики или создания новых продуктов.
Группа данных для простого анализа
Предположим, компания хочет, чтобы данные генерировали простую информацию для внутреннего использования. Например, инвестиционная компания хочет отслеживать интересующие ее стартапы, чтобы обосновать свои инвестиционные решения.
Им нужна полезная информация, и у них не обязательно есть предпочтения в том, как эти идеи должны быть представлены им: по электронной почте, во время встречи или в любом другом формате.
В этом случае можно построить рабочий процесс с одним аналитиком данных с разносторонними навыками или инженером по данным с несколькими годами опыта работы с большими данными.
Может потребоваться от одного до трех месяцев, чтобы определить правильную структуру для конкретного варианта использования. Тем не менее, по крайней мере один выделенный специалист по данным сможет обеспечить правильную загрузку и агрегирование данных и извлечь из них полезные сведения.
Группа данных для более сложного анализа
Если компании нужны более сложные аналитические данные или если эти аналитические данные необходимо отразить на подробных информационных панелях или веб-сайтах (для внутреннего использования), потребуется больше людей. Например, компании нужна постоянно обновляемая информационная панель на основе веб-данных, к которой команда может получить доступ, фильтровать информацию в ней и т. д.
Когда объем проекта более обширен, лучше разделить разные задачи между несколькими специалистами.
В этом случае группа данных должна состоять из аналитика данных, инженера данных, специалиста по данным и кого-то, кто управляет командой.
Команда для создания новых продуктов
Предположим, компания планирует создавать новые продукты на основе альтернативных данных. В этом случае команда создаст платформу, веб-сайт или приложение, ориентированное на пользователя, поэтому вам необходимо добавить внешних и внутренних разработчиков, специалистов по маркетингу и дизайну, а также менеджеров или руководителей групп.
Необходимые навыки
С технической точки зрения необработанные общедоступные веб-данные — это большие данные, поэтому ваша команда должна иметь опыт работы с ними или очень стремиться приобрести этот навык.
Я говорю о терабайтах данных, доставляемых вам регулярно, а это значит, что ваша команда должна иметь возможность работать с определенными инструментами и платформами, такими как Apache Spark или Airflow, инструмент управления рабочим процессом для конвейеров больших данных.
С помощью подходящих платформ вы можете хранить, загружать, агрегировать, очищать, преобразовывать данные и выполнять другие действия более эффективно и точно.
Например, некоторые платформы позволяют планировать задачи обработки данных, поэтому нет необходимости ждать завершения некоторых частей процесса, прежде чем можно будет перейти к другим задачам.
И, наконец, терпение. Это может показаться очевидным, но обработка больших данных сложна и требует много времени. Поначалу объем данных, с которыми вы работаете, может показаться огромным.
Вы должны быть внимательны, внимательно все просматривать, следить за любыми нежелательными или неправильными элементами в данных, очищать данные от дубликатов или выбросов и делать другие вещи, которые иногда не могут быть полностью автоматизированы.
И даже когда все автоматизировано, помните, что обработка данных занимает дни, в зависимости от размера набора данных и используемых вами инструментов.
Инструменты
Первое решение, которое вам нужно принять перед получением первой доставки данных, должно касаться их хранения. Вы можете хранить данные на локальных серверах или в облаке, что является более удобным вариантом.
Помните, что хранение данных, которые вы не используете, в облаке приведет к ненужным затратам, поэтому вам также необходимо решить, нужны ли вам необработанные исторические данные. Простое правило заключается в том, что он вам, скорее всего, понадобится, если вы не уверены.
Существуют варианты хранения старых данных в другой базе данных, доступ к которым может быть не таким быстрым, и поэтому это обойдется вам дешевле. Существует также возможность хранить только агрегированные данные, для чего потребуется меньше места.
В каждом случае цель обработки необработанных данных будет состоять в том, чтобы уменьшить их размер путем очистки или фильтрации, что означает, что файл может преобразоваться из терабайтов в мегабайты.
Что касается фреймворков обработки данных, то существуют различные инструменты и практики для работы с альтернативными данными. Вот несколько примеров:
* Улей. Простая в использовании система хранилища данных, используемая для анализа больших объемов данных; * Флинк. Механизм обработки, используемый для обработки крупномасштабных потоков данных и аналитики; * Буря. Механизм обработки больших данных для быстрой обработки высокоскоростных данных; * Хадуп. Система пакетной обработки с открытым исходным кодом, которую можно использовать для обработки больших наборов данных и распределенного хранилища; * Искра. Инструмент, используемый для обработки, очистки и преобразования данных.
Ваша техническая команда (или группа данных) может решить, какие инструменты соответствуют их потребностям и навыкам.
Заключительные мысли
Ваша стратегия работы с данными начинается с концепции. Когда вы решите, какие сигналы вы ожидаете получить для своего бизнеса, вам будет проще выбрать правильные данные и поставщика данных, а также создать команду, которая поможет вашему бизнесу добиться успеха.
Также опубликовано здесь
Оригинал