Введение в веб-парсинг без кода

Фото Монга Буи на Unsplash.

Веб-скрапинг - один из самых полезных инструментов для любого специалиста по обработке данных.

Как вы знаете, реальная жизнь - это не набор данных Kaggle.

Большая часть данных не существует аккуратно, только для вас, структурированных в файле или базе данных, в ожидании, пока вы их не используете.

Если вы спросите меня, я бы сказал, что сбор данных из Интернета - это невероятно весело. Итак, Kaggle или нет, вы должны быть в порядке после прочтения этого руководства.

С самого первого дня меня удивляло, как все делается автоматически. Огромные объемы данных - на сбор вручную которых потребовались бы месяцы громоздкой работы - теперь можно собрать за считанные секунды.

Обычно эти процессы выполняются с помощью очень мощных языков программирования, таких как Python (мой личный фаворит), Ruby или даже C ++.

Приведенный выше сценарий, хотя и очень эффективен, делает поиск веб-страниц недоступным для людей без опыта программирования.

Несколько лет назад - до того, как я научился программировать - я пытался собирать данные о футбольных матчах, копируя и вставляя их вручную в таблицу Excel. Что ж, когда я понял, сколько времени это займет у меня, я сдался.

В этой статье мы увидим, как инструмент парсинга без кода может быть решением - не только для не кодировщиков, но и для всех, кто может использовать некоторые данные, собираемые за несколько щелчков мышью - или даже практически без каких-либо ограничений. щелкает вообще.

Начиная

Первым большим преимуществом инструмента для парсинга веб-страниц без кода является, очевидно, дружественный интерфейс и отсутствие требований к кодированию.

Кроме того, этот подход позволяет использовать преимущества функций, которые не может предоставить ни один язык программирования.

Прежде всего, если вам нужно собрать данные с самых известных веб-сайтов мира, то все, что вам нужно сделать, это… ну, ничего.

Да, весь скребок для вас уже встроен.

Допустим, я хочу собрать информацию о конкретном продукте на Amazon. Я имею в виду, что сейчас почти сезон отпусков, верно?

Все, что вам нужно сделать, это выбрать шаблон Amazon, а затем сообщить им почтовый индекс и то, что вы ищете:

Вот данные, которые мы собрали всего за пару кликов, и их можно легко экспортировать в таблицу Excel, файл CVS или даже базу данных SQL.

Не тратьте время на написание кода или настройку любой среды! Нет ничего проще.

Углубляясь

Но, конечно, если мы говорим здесь о независимости от языка программирования, мы не будем зависеть от встроенных шаблонов, какими бы легкими они ни делали нашу жизнь в некоторых моментах.

Такой инструмент, очевидно, должен иметь возможность очищать любой веб-сайт, который вы хотите, а не только предварительно настроенные страницы. Прелесть здесь в том, что вы можете очистить любую понравившуюся страницу практически без кликов.

В качестве примера возьмем quotes.toscrape.com - веб-сайт, созданный для обучения парсингу, так что это хороший выбор для этого упражнения.

Если вы введете этот URL-адрес (или любой URL-адрес, который хотите), откроется встроенный браузер и будет кнопка для автоматического определения данных веб-страницы.

Это алгоритм машинного обучения, который обучен определять закономерности на веб-сайте. Он показывает пользователю, как структурированы данные, а также лучший способ их сбора.

Выбирая этот подход на веб-сайте, который мы используем в качестве примера, вся информация о каждой цитате уже идентифицирована, и вы даже можете предварительно просмотреть данные.

Теперь всплывающее окно «Советы» упрощает вашу жизнь, предлагая новые шаги, которые помогут сделать ваш скребок более мощным. В этом случае вы можете легко создать нумерацию страниц, чтобы получать цитаты со всех страниц веб-сайта.

Выбор данных вручную

Хорошо, алгоритмы машинного обучения - это здорово, но иногда они не могут сделать все за вас, поэтому важно иметь возможность вручную выбирать данные, которые вы хотите собирать.

Сейчас мы собираем здесь данные о криптовалютах.

Посмотрев на веб-сайт, мы можем увидеть таблицу с десятью основными криптовалютами (согласно этому веб-сайту), в которой доступна такая информация, как цена, рыночная капитализация, объем и т. Д. Это то, что мы ищем.

Если вы используете кнопку автоопределения на этой конкретной странице, она не будет выбирать данные в этой таблице. Он выберет заголовки новостей внизу.

Я имею в виду, замечательно, что алгоритм автоматически создает способ нажать кнопку «Показать еще» и прокрутить страницу вниз, чтобы увидеть больше новостей. К сожалению, мы пришли не за этими данными.

Таким образом, у нас есть возможность выбрать с помощью нескольких щелчков мыши всю таблицу для извлечения. Именно так:

И точно так же можно выбрать и извлечь практически все, что угодно, с любой страницы.

Больше преимуществ

Помимо всего этого, веб-парсинг без кода также обладает всеми преимуществами программного обеспечения, такого как Octoparse.

Такие преимущества, как панель управления, на которой вы можете отслеживать все задачи парсинга одновременно, возможность запуска задач локально или в их облаке, где уже предоставлена ​​полная инфраструктура IP-адресов и резервное копирование данных, планирование задач и простота подключение к базам данных SQL.

Недавно добавленная и очень интересная функция - это возможность экспортировать очищенные данные, которые вы сохранили в облаке, в несколько типов приложений, таких как Dropbox, Google Sheets, MongoDB, или даже загрузить новый файл прямо на Google Drive.

Все это можно сделать, подключив учетную запись пользователя в каждом из этих приложений к учетной записи Octoparse через интеграцию с Zapier, которая позволяет настроить триггер, чтобы ваши данные могли автоматически сохраняться, что вы хотите, как только они будут собраны из Интернет. И все это, конечно, без кода.

Заключение

Как мы уже видели, парсинг веб-страниц преодолел барьеры программирования и теперь может выполняться намного проще и проще, при этом пользуясь дружественным интерфейсом. Самое главное, не требуется ни одной строчки кода!