Изучение веб-сайта Ikea для понимания ценовых стратегий в разных странах

Распространенные проблемы при отслеживании цен на товары в разных странах

Индекс Каллакса

Если вы хотя бы немного интересуетесь экономикой, вы наверняка слышали об индексе Биг Мака от The Economist. .

Изобретенный в 1986 году, это упрощенный способ понять, имеют ли валюты "справедливый" обменный курс, с использованием теории паритета покупательной способности: в долгосрочной перспективе бигмак должен стоить везде одинаково.

Например, если бигмак стоит 1 доллар в США и 4 юаня в Китае, ожидаемый обмен валюты будет 1:4, но если на рынках 1:6, это означает, что юань недооценен.

Но то, что верно для Биг Мака, неверно для большей части мира розничной торговли. Цены на один и тот же товар значительно варьируются от страны к стране, в зависимости от расположения производственной площадки, затрат на логистику до розничной точки и далее до конечного покупателя, налогообложения и импортно-экспортных пошлин, а также обменных пунктов.

Возьмем в качестве примера другой глобальный бренд, такой как IKEA, с магазинами в 61 стране мира. Хотя продукты разрабатываются в основном в Швеции, они производятся в основном в Китае, Южной Азии и Восточной Европе< /a>, а затем их нужно доставить во все точки розничной торговли по всему миру, определяя конечную стоимость.

Чтобы измерить, насколько велико это влияние, и в то же время провести парсинг в Интернете, давайте возьмем один из бестселлеров ИКЕА, доступных в каждой стране: книжная полка Kallax.

Сопоставление сайтов

Наша первая задача (и самая скучная) — сопоставить все версии веб-сайтов ИКЕА, доступные для каждой страны. К сожалению, на сайте нет страницы со списком локализаций для всех стран. Нам нужно вручную проверить для каждого из них, как работает веб-сайт и есть ли Каллакс в каталоге.

И тут открылись двери многостранового ада розничной торговли.

Разные коды продуктов

Чтобы точно сравнивать яблоки с яблоками, модель Kallax, которую мы ищем на каждом веб-сайте, является белой, 77x77 см, которая на веб-сайте имеет код продукта 20275814 (или 202.758.14 с форматом пунктуации).

После того, как мы определились с продуктом для поиска и нашли этот код, мы сможем легко найти его в любой стране.

Ну, на самом деле почти во всех странах: вскоре я обнаружил, что в Японии и других восточных странах нет продукта с кодом 20275814, но существует точно такая же разновидность Каллакса с кодом 70351886.

К счастью, есть только эти 2 варианта продукта, и они эксклюзивны. В США нет продукта 70351886, а в Японии нет другого продукта 20275814, поэтому, не беспокоясь о выборе неправильного товара, мы можем программно искать оба кода в каждой стране, чтобы быть уверенными, что ничего не упустили.

У Китая также есть третий код, 90471717, и мы будем использовать его только для его веб-сайта.

Различные версии сайта

После того, как я понял, какие коды продуктов запрашивать, я посмотрел, как работают веб-сайты в каждой стране, чтобы наиболее эффективно получить необходимую информацию о ценах.

Для большинства стран достаточно простого вызова API. Используя внутренний API поиска товаров, доступный на вкладке проверки сетевых инструментов Chrome, мы можем легко получить цену товара, его валюту и некоторые другие данные, которые нам на самом деле не нужны.

Но есть 14 стран из 61, где это не так: это связано с тем, что для реализации веб-сайта использовался другой технологический стек и не был доступен тот же самый API.

* Болгария, Кипр и Греция используют один вариант сайта без API. * Гонконг, Тайвань и Индонезия используют второй вариант, вызывая почтовый запрос на конечную точку Algolia для сбора данных. * Эстония, Латвия, Литва и Исландия используют третий вариант * Пуэрто-Рико и Санто-Доминго используют четвертый вариант. * У Турции и Китая своя версия веб-сайта

По моему опыту парсинга электронной коммерции, это довольно распространенная ситуация, и она зависит от нескольких причин. В Китае, Японии, а иногда и в Южной Корее ритейлеры обычно поручают разработку электронной коммерции местным командам, которые лучше разбираются в пользовательском опыте, культуре и понимании общества, чем западные.

Также есть страны, где электронная коммерция открылась раньше и они отстают по версии ПО, по сравнению с самой новой. Или, наоборот, самая последняя версия электронной коммерции имеет новый стек и тестируется только в нескольких странах, прежде чем портируется в другие.

В нашем случае, поскольку мы не собираемся извлекать все данные из всех стран, а нам нужен только один продукт для каждого веб-сайта, мы создадим парсер для наиболее распространенной версии, а затем вручную заполним пробелы для другие страны.

Создание парсера

Сам парсер довольно простой, нам нужно вызвать конечную точку API поиска для 46 стран.

Конечная точка следующая:

https://sik.search.blue.cdtapps.com/us/en/search-result-page?max-num-filters=8&q=20275814 

и он возвращает JSON с информацией о продукте и его цене. Чтобы чередовать этот запрос между разными странами, нам нужен двухзначный код страны и соответствующий языковой стандарт.

Затем я создам файл для ввода этих двух значений, по одной строке для каждой страны. Затем в парсере мы запросим код продукта, который мы ищем, и проанализируем ответ JSON.

Я разработал парсер с помощью Scrapy, но, вероятно, это можно было бы сделать с помощью нескольких простых запросов Curl, поскольку его функции являются базовыми, и вы можете найти код на наш репозиторий GitHub для бесплатных читателей.

Визуализация результата

Я скопировал результат в открытую таблицу Google и интегрировал результаты с данными из отсутствующих стран.

Нам повезло, что ответ API уже содержал ISO-код валюты, иначе потребовался бы еще один этап проверки качества и стандартизации данных, прежде чем мы сможем сравнить результаты.

Таблица Google содержит формулу для обмена валюты, но обычно это действие по обогащению данных, выполняемое в базе данных после того, как данные извлечены и загружены.

Благодаря обоим этим элементам мы можем сразу получить некоторое представление, и есть одна вещь, которая совершенно потрясающая. Один и тот же товар может стоить от 25 до 130 долларов США по всему миру.

Несмотря на наценку на местные цены, необходимую для покрытия расходов на логистику и налогообложение, такие разрывы обычно являются симптомом того, что нужно что-то корректировать. Вообще говоря, может случиться так, что валюта слишком сильно обесценилась или подорожала, а местная цена не была вовремя скорректирована.

Заключительные замечания

В этом посте мы увидели, что значит анализировать цены с точки зрения нескольких стран.

С технической точки зрения, это вводит новый порядок сложности:

• Несколько вариантов для одного и того же веб-сайта
• Разные стандарты для разных веб-сайтов (например, код продукта)
• Для сравнения яблок с яблоками необходимы качество и стандартизация данных.

Со стороны бизнеса мы видели разницу в ценах только на один товар на одном сайте в 60 странах. Но по своему опыту работы в Re Analytics я убедился, насколько важно для наших клиентов просматривать эти данные о ценах для сотен веб-сайтов и миллионов продуктов. Имея более широкую картину, менеджеры могут принимать решения, используя гораздо больше данных и меньше полагаясь на интуицию.

Последний пост в Лаборатории

• ЛАБОРАТОРИЯ №4: Scrapyd — как управлять и планировать парк парсеров< /li>
• ЛАБОРАТОРИЯ №3: парсинг веб-сайтов, защищенных Cloudflare
• ЛАБОРАТОРИЯ №2: сбор данных с веб-сайта с помощью токенов Datadome и xsrf
• ЛАБОРАТОРИЯ №1: сбор данных из приложения

Также опубликовано здесь.