5 способов стать лидером, которые понравятся дата-инженерам

«Нанять дата-инженеров проще простого!» никогда в жизни никто не говорил.

И не зря.

Хотя никогда не было легко нанимать инженеров, инженеры данных — это совершенно новая игра. Несмотря на гиперрост профессии инженера данных, наем костяка вашей команды по работе с данными никогда не был таким сложным.

Почему так сложно нанять дата-инженеров?

На мой взгляд, это сводится к двум ключевым факторам:

1. Предложение инженеров данных не соответствует спросу: экосистема данных быстро развивается, и все больше и больше компаний делают большие ставки на данные. Мы преодолели [паузу в приеме на работу из-за COVID] (https://hackernoon.com/the-state-of-tech-job-market-are-companies-still-hiring-pf163yss). Это означает, что группы данных либо обучают существующих аналитиков и ученых построению и масштабированию инфраструктуры, либо ищут внешних исполнителей для выполнения этих важных ролей. В любом случае, если порезать, инженеров данных не хватает.

1. Трудно найти подходящих кандидатов: должность «инженер данных» только зарождается, но работа в области разработки данных существует гораздо дольше. Специалисты по обработке и анализу данных, аналитики, инженеры баз данных, архитекторы данных и бэкэнд-инженеры годами занимались приемом, преобразованием, тестированием и инфраструктурой, необходимыми для создания и масштабирования платформ данных; если вы не читали [знаменательную статью Максима Бошемена об этом явлении] (https://www.freecodecamp.org/news/the-rise-of-the-data-engineer-91be18f1e603/), я настоятельно рекомендую ее.

Учитывая разнообразие опыта, которое составляет умы инженеров данных, может быть сложно найти подходящих кандидатов, и еще труднее кандидатам определить, подходят ли они для вашей команды, основываясь только на описании работы.

Помимо вознаграждения, самое главное, когда дело доходит до найма отличных дата-инженеров, заключается в том, поможет ли им присоединение к вашей компании добиться успеха как в карьере, так и в самой компании. В конце концов, конкурентоспособная зарплата и впечатляющий логотип могут привлечь ваших дата-инженеров, но это не значит, что они останутся с вами.

В этом сообщении блога мы рассмотрим 5 неочевидных способов (и один дополнительный способ!) от некоторых из лучших лидеров по разработке данных для привлечения и удержания лучших талантов.

Измерьте влияние вашего инженера данных на клиентов

Одна из моих самых больших проблем с традиционными карьерными лестницами инженеров заключается в том, что процесс продвижения по службе имеет тенденцию отдавать предпочтение смелым — и [не всегда к лучшему] (https://hackernoon.com/have-you-been-let-down-by- питер-принцип-b2fcba18fc57). И под этим я подразумеваю проекты с высокой видимостью вместо закулисной или инфраструктурной работы, которая не менее важна, но часто требует больше времени и ресурсов, чем разработка функций, особенно когда вы работаете в небольшой команде.

Точно так же работа по разработке данных часто остается непризнанной или недооценивается по сравнению с аналитикой или работой по науке о данных. (Если вы еще не читали ее, я настоятельно рекомендую вам прочитать эту пикантную ветку Hacker News и соответствующую статью об этой теме).

Как вы преодолеваете это препятствие как руководитель отдела обработки данных? Это начинается с воздействия на клиента. Еще до того, как вы начнете набирать сотрудников, определите реальные показатели, которые сопоставляют работу по обработке данных с ее влиянием на внутренних клиентов вашей команды.

Люди хотят работать там, где их усилия ценятся, поэтому крайне важно обеспечить согласованность между заинтересованными сторонами и руководством в отношении той роли, которую инженерия данных играет в общей стратегии группы обработки данных.

Согласно Хавьеру Пелайо, директору по разработке платформ, Big Data, в Adidas, установление ориентиров с вашим исполнительным руководством подразумевает не только сильное видение, но и способ связать влияние платформы данных и другие информационные продукты для более крупных технологических и бизнес-целей компании.

Один из способов измерить это? Метрики, связанные с сокращением операционных издержек и сокращением времени и ценности продуктов данных.

«В конце концов, если вы предоставляете какую-либо ценность и минимизируете операционные издержки для групп аналитиков и других пользователей данных, легко количественно оценить ценность обработки данных для заинтересованных сторон и компании в целом. Оттуда последует признание и внедрение информационных продуктов вашей команды».

Другие предложения по метрикам для отслеживания влияния ваших инженеров данных:

• [ ] Сколько времени/денег/ресурсов ваши инженеры по данным экономят для компании?

• [ ] Как их работа сокращает время окупаемости важных информационных продуктов?

• [ ] Каким образом их работа влияет на более крупные инженерные или аналитические стратегии?

Имея эти точки данных, вы сможете лучше объяснить потенциальным сотрудникам, как работа по обработке данных является приоритетной, отмеченной и фундаментально важной для успеха вашей компании.

Убедитесь, что ваши инженеры данных растут вместе с компанией

Как и многие технические специальности, разработка данных развивается быстрыми темпами. Постоянно появляются новые инструменты и лучшие практики, и лучшие инженеры захотят потратить время на то, чтобы быть в курсе последних разработок и технологий. Кроме того, как и любой потенциальный новый сотрудник, инженеры данных хотят знать, как они будут расти вместе с вашей компанией.

В настоящее время инженеры данных должны владеть все большим и большим объемом рабочих процессов сквозного преобразования данных, от приема до моделирования, что требует более широкого понимания пространства и специальных навыков.

Эбунолува Оке, менеджер по продуктам данных канадского рынка доставки едыSkipTheDishes (часть Just Eat Takeaway.com) работает с командой по продуктам и технологиям данных, чтобы возглавить процесс перехода ее команды на децентрализованную архитектуру данных, при этом встроенные специалисты-практики несут ответственность за владение всем рабочим процессом обработки данных с самого начала. до конца.

«Любой инженер данных, которого мы нанимаем сейчас и в будущем, должен быть в состоянии выполнять сквозной процесс приема данных, а также создавать модель данных, потому что мы хотим, чтобы этот инженер понимал контекст данных, а не только в смысле «о, это выглядит неправильно», но также и в контексте того, как данные используются и кто их использует», — сказала она.

При такой повышенной ответственности важно, чтобы потенциальные сотрудники знали, что их работа будет признана и напрямую привязана к итоговым KPI и показателям успеха для более широкой группы данных.

Для многих компаний это не так. Неудивительно, что инженеров данных часто называют «сантехниками» науки о данных. Несомненно важная и, безусловно, недооцененная роль, которая — в буквальном смысле — поддерживает работу вашей трубы (линии).

Инвестиции в развитие карьеры — это не только написание статей в блогах и выступления на конференциях; речь идет о построении карьеры ваших непосредственных подчиненных, в которую они могут расти по мере роста команды.

Сделать экосистему данных удобной для инженеров данных

В наши дни для компаний стало клише называть себя «управляемыми данными». Опытные инженеры по данным, вероятно, воочию убедились, что компания может много говорить о данных, но на самом деле не проводит работу по обучению своих сотрудников тому, как работать с продуктами данных, или даже предоставляет самостоятельный доступ к данным.

Без базового понимания того, где искать, как интерпретировать и как устранять неполадки, связанные с основными потребностями в данных, внутренние потребители данных могут занимать значительное количество времени вашей команды инженеров данных с разовыми запросами или требованиями в последнюю минуту.

И хотя руководство и надзор за управлением часто являются частью должностной инструкции, самые лучшие и умные инженеры данных поймут разницу между компанией, которая говорит о себе, и компанией, которая идет своим путем, инвестируя в грамотность данных и используя платформу данных, которая обеспечивает контекстуальное понимание между доменами.

Ларс Мейзингсет, руководитель платформы данных с Norwegian Public Roads предполагает, что создание основы для сильной культуры обнаружения данных и подотчетности настроит ваших новых инженеров данных и аналитиков на успех, как только они начнут работать.

«Мы находимся в процессе разработки и практического использования социальной структуры, чтобы определить, какие наборы данных важны, а какие не так важны, по различным параметрам «Кто это использует? Как часто он используется? Как часто это используется? Каков потенциал ценности как внутри компании, так и за ее пределами?» и т. д., чтобы определить, какие данные должны быть приоритетными и общими для всей организации, а какие потенциально могут быть устаревшими. Это также будет варьироваться в зависимости от предметной области и варианта использования в бизнесе, но, используя доменно-ориентированную платформу данных, будет легче предоставить командам возможность самостоятельно принимать решения».

Это также помогает формировать культуру ценности данных — и когда ваши инженеры данных работают в среде, где их вклад ценится, они с большей вероятностью будут удовлетворены и будут рады расти вместе с остальной частью команды.

Инвестируйте в инструменты, которые любят дата-инженеры

![Инженерам данных нужны хорошие инструменты. Фото Кристины @ wocintechchat.com на Unsplash] (https://cdn.hackernoon.com/images/DttJtZIouwez0hRqxMq7CdRoQP83-2022-05-09T13:59:29.120Z-cl2ysiue800ms0as66fnx805i)

Еще одна распространенная проблема? Использование устаревших или устаревших решений для создания «современного стека данных».

Не поймите меня неправильно. Вам не обязательно быть Airbnb, Netflix или Uber для создания хорошей платформы данных и использовать модные инструменты. По своей сути платформа данных — это просто центральный репозиторий для всех данных, который занимается сбором, очисткой, преобразованием и применением данных для получения бизнес-аналитики.

Но это возможно только в том случае, если у вас есть нужные технологии и процессы, чтобы внедрить их в масштабе.

В дополнение к бизнес-кейсу для создания платформы данных (расширение инноваций, конкурентное преимущество, децентрализованное владение данными, масштабирование анализа данных и т. д.), есть веские аргументы в пользу использования вашей платформы данных и ее базовых технологий. в качестве инструмента для найма дата-инженеров.

В последнее время было много дискуссий о том, следует ли использовать решения с открытым или закрытым исходным кодом (недавний диалог между Snowflake и Databricks ' маркетинговые команды действительно выявляют это), когда дело доходит до создания стека данных.

На мой взгляд, независимо от того, на чьей вы стороне, превосходны как решения с открытым исходным кодом (Apache Spark, Airflow, DBT и т. д.), так и лучшие в своем классе решения SaaS (Snowflake, Redshift, Fivetran, Looker, Tableau и т. д.). маркетинговые инструменты для вашей компании. На самом деле, большинство команд инженеров данных инвестируют в оба подхода.

В конце концов, вашим специалистам нужны инструменты и наборы навыков, которые будут:

1. расти вместе со своей карьерой

1. сделать их жизнь проще

1. уменьшить сложность

Выбор между открытым исходным кодом или SaaS редко бывает бинарным. При выборе нового решения или технологии разговор всегда должен быть направлен на ответ: «Подходит ли этот инструмент для работы/моей команды». Иногда это открытый исходный код, а иногда SaaS — все зависит от того, чего вы пытаетесь достичь и какие ресурсы вы готовы инвестировать.

Убедитесь, что ваши инженеры данных имеют автономию

Хороший лидер по разработке данных предоставит своей команде свободу действий и влияние для разработки, создания и масштабирования проектов таким образом, чтобы это их интересовало и расширяло их технические границы и границы сотрудничества.

Часто это сводится к тому, чтобы убедиться, что они чувствуют ответственность за то, над чем они работают, и что то, над чем они работают, будет способствовать их карьере и увеличению их взаимодействия с межфункциональными командами по всей компании.

Чад Сандерсон, руководитель отдела продукта , Data Platform в Convoy, отмечает, что хорошие менеджеры по обработке данных будут давать членам своей команды работу, которая не только их интересует, но и бросает им вызов.

«Если ваши инженеры данных просто запускают конвейеры, это не очень интересная работа», — сказал Сандерсон. «Но если они создают системы и технологии, лежащие в основе платформы данных, это гораздо более убедительно».

Поощрение автономии начинается с создания культуры доверия к способности вашей команды владеть и выполнять делегированные им проекты, а также с запроса их мнения о том, над чем они хотят работать, еще до того, как они присоединятся к вашей компании.

Поддерживая открытые линии связи, активно ища обратную связь и поощряя обсуждение даже в процессе найма, вы можете подготовить почву для совместных доверительных отношений в будущем, независимо от того, решат ли они работать в вашей компании или нет.

Мир данных мал. Вы никогда не знаете, когда ваши пути пересекутся в следующий раз — черт возьми, может быть, однажды они даже станут вашим менеджером.

Дайте своим инженерам данных сложные проекты

Это подводит меня к следующему пункту: инженеры с меньшей вероятностью присоединятся к вашей команде, если работа, за которую они будут нести ответственность, не будет для них сложной ни на техническом, ни на культурном уровне.

Будь то развертывание важной новой функции, возглавить RFC или служить контактным лицом для внедрения нового инструмента, важно убедиться, что они раздвигают свои профессиональные границы.

Важная часть обеспечения того, чтобы ваши инженеры работали над проектами, которые бросают им вызов и вдохновляют их? Автоматизация рутинной или ручной работы, когда это возможно.

Среди инженеров DevOps и специалистов по надежности сайтов ([предшественников инженеров данных] (https://www.cio.com/article/3237694/what-is-dataops-data-operations-analytics.html) есть поговорка, во многих способами), что целью надежных систем является уменьшение ручного труда. В контексте проектирования данных ручной труд может включать в себя обработку специальных запросов от нижестоящих заинтересованных сторон, модульное тестирование, проверку качества данных и документацию. Все эти и многие другие действия можно автоматизировать при правильном подходе.

Как метко сказал мне руководитель отдела обработки данных в компании, занимающейся электронной коммерцией, инженеры данных не выходят на поле, чтобы тестировать пайплайны весь день.

«Инженеры не любят эту работу — это не новаторское решение проблем, ради которого они, вероятно, пришли в поле в первую очередь. Писать тесты вариантов использования каждую неделю, каждый раз, когда API меняется, может быть обыденным делом».

В частности, старшие или штатные инженеры найдут огромную ценность в автоматизации, которая позволяет им тратить свое время и энергию на проектирование, создание и внедрение инноваций, а не на обслуживание и устранение неполадок существующих систем.

Сквозная передача данных, [наблюдаемость данных] (https://www.montecarlodata.com/blog-what-is-data-observability/) и инструменты обнаружения данных могут помочь вам создать более надежную и отказоустойчивую стек данных, сокращая трудоемкость ручного тестирования и документирования. Некоторые решения допускают как наблюдаемость, создаваемую машинным обучением, так и настройку пользовательских правил, в зависимости от ваших потребностей.

Другие команды могут инвестировать в автоматизированный прием данных (например, Fivetran или Stitch) или расширенную аналитику. Что бы ни потребовалось, чтобы ваши инженеры данных сосредоточились на том, что повлияет на их карьеру и профессиональную деятельность, а не на рутинной или повторяющейся работе.

Найм нового поколения инженеров данных

Создание среды, в которой будут работать лучшие и умнейшие специалисты по данным, даст вам преимущество, когда дело доходит до найма и создания условий для процветающей организации данных на долгие годы.

Создать команду инженеров данных непросто, особенно с учетом того, как быстро развивается отрасль, но, на мой взгляд, именно это делает этот опыт таким полезным — как для менеджеров, так и для новых сотрудников.