Мы ищем опытного инженера данных уровня Senior+ для работы в крупном банке с промышленным хранилищем данных и большими объемами финансовых и операционных данных. Вы будете разрабатывать и сопровождать ETL/ELT-пайплайны, обеспечивать надежность загрузок и качество данных на всех этапах: от источников до витрин и BI-отчетности.
Технологический стек:
• Хранилище данных и ETL: Greenplum, UI DWH (настройка ETL-загрузки), Airflow
• BI-платформа: Power BI (DAX, ролевые модели доступа)
• Управление данными и моделирование: Data Vault 2.0, OpenMetadata (каталог данных)
• Инструменты и инфраструктура: SQL-клиент (DBeaver или аналог), Git, GitLab, Wiki (Eva или аналог)
Обязанности
1. Стратегия и архитектура данных
• Формировать стратегию развития хранилища данных: развитие слоев КХД, подходов к моделированию, Data Vault 2.0, управлению происхождением данных, SLA/SLO и эксплуатационной устойчивости.
• Проектировать архитектурные принципы масштабирования платформы данных под рост объемов, числа источников, витрин, пользователей и регулярных загрузок.
• Принимать ключевые технические решения в условиях неопределенности, управлять рисками реализации, сроками, зависимостями и ожиданиями заказчиков.
• Организовывать и управлять архитектурой КХД, витрин, интеграционных потоков, ETL/ELT-процессов и платформенных компонентов с учетом масштабирования, надежности, безопасности и стоимости сопровождения.
• Выбирать технологические подходы и архитектурные паттерны для загрузок, инкрементальности, восстановления, дедупликации, контроля качества, мониторинга и управления изменениями данных.
• Участвовать в согласовании архитектуры с архитекторами, информационной безопасностью, эксплуатацией, аналитиками и владельцами бизнес-направлений.
2. Управление проектами и командой
• Отвечать за инженерное направление данных: формировать целевые результаты, распределять техническую ответственность, контролировать качество решений и нести ответственность за работу инженеров данных в своем контуре.
• Вести проекты, связанные с инженерной данностью: модернизация КХД, развитие платформы данных, миграции, повышение надежности загрузок, оптимизация производительности и внедрение инженерных стандартов.
• Управлять проектами в части загрузки данных, миграции данных между хранилищами и развитием инженерных компонентов платформы данных.
• Управлять командой инженеров данных: распределять зоны ответственности, контролировать качество выполнения задач и обеспечивать достижение проектных результатов.
• Планировать и контролировать загрузку инженерной команды, приоритизировать технический backlog и согласовывать ресурсы с учетом бизнес-приоритетов, сроков и критичности задач.
3. Взаимодействие с бизнесом и заказчиками
• Совместно с бизнес-заказчиками формировать требования к данным, витринам, отчетности, срокам доступности данных, качеству, критичности и правилам приемки результата.
• Переводить бизнес-цели в реализуемую инженерную дорожную карту: инициативы, архитектурные решения, этапы внедрения, зависимости, риски и критерии успешности.
• Вести техническую коммуникацию с заказчиками, смежными ИТ-командами и владельцами систем-источников; аргументированно защищать архитектурные решения и ограничения платформы.
• Управлять проектными зависимостями по данным: доступность источников, готовность витрин, сроки загрузок, эксплуатационные окна, требования к проверкам и приемке.
4. Стандарты, качество и технический долг
• Создавать, описывать и внедрять стандарты инженерной данных: проектирование пайплайнов, правила кодирования, моделирование, именование объектов, версионирование, тестирование, мониторинг и документация.
• Формировать подход к управлению техническим долгом платформы данных: выявлять проблемные зоны, оценивать влияние на бизнес и эксплуатацию, приоритизировать устранение и контролировать выполнение.
• Определять обязательные инженерные практики: code review, архитектурное ревью, автоматизированные проверки, регрессионные проверки, контроль качества данных и наблюдаемость загрузок.
• Обеспечивать повторное использование решений: общие ETL-фреймворки, шаблоны пайплайнов, библиотеки, типовые проверки и эксплуатационные регламенты.
• Устанавливать метрики инженерного качества: стабильность загрузок, время построения витрин, частота инцидентов, длительность восстановления, покрытие проверками и накопленный технический долг.
5. Развитие команды и найм
• Развивать инженеров данных: проводить наставничество, технические ревью, постановку целей развития, регулярную обратную связь и оценку эффективности.
• Нести ответственность за качество работы инженеров данных в своем контуре, помогать распределять задачи по уровню сложности и обеспечивать рост самостоятельности команды.
• Участвовать в найме инженеров данных: формировать профиль кандидата, технические критерии отбора, вопросы для интервью, оценивать архитектурное мышление, инженерную зрелость и практический опыт.
• Управлять работой подрядчиков и внешних команд: формировать технические задания, контролировать качество поставки, принимать результаты, проводить анализ и обеспечивать соблюдение стандартов Банка.
• Формировать и поддерживать инженерное сообщество вокруг платформы данных: распространять лучшие практики, проводить технические обсуждения и помогать смежным командам эффективнее использовать данные.
Обязательные требования
• Опыт построения, развития и масштабирования банковских КХД, ETL/ELT и платформ данных не менее 7 лет, включая не менее 3 лет в роли технического лидера, ведущего инженера или руководителя инженерного направления.
• Опыт ведения проектов модернизации КХД, развития платформы данных, миграций, повышения надежности загрузок и оптимизации производительности.
• Опыт управления командой инженеров данных (распределение задач, контроль качества, развитие сотрудников).
• Опыт управления подрядчиками и внешними командами.
• Глубокое владение Greenplum (или другими MPP-СУБД): распределение данных, партиционирование, планы выполнения, оптимизация под большие объемы и параллельную обработку.
• Экспертное владение Data Vault 2.0 на уровне архитектурных решений, проектирование слоев КХД, HUB/SAT/LINK, историчность и происхождение данных.
• Опыт проектирования масштабируемых архитектур под рост объемов, числа источников и пользователей.
• Понимание подходов к управлению техническим долгом и метрик инженерного качества.
• Глубокое владение Apache Spark: проектирование производительных пайплайнов, оптимизация, настройка кластерной инфраструктуры.
• Опыт интеграции Spark с Kafka, Airflow и другими инструментами.
• Python и Java для разработки переиспользуемых фреймворков и библиотек.
• Опыт миграции данных между DWH-платформами (Oracle → Greenplum или сопоставимые переходы).
• Управление проектами в части загрузки данных и развития платформы.
• Перевод бизнес-целей в инженерную дорожную карту.
• Управление рисками, сроками, зависимостями и ожиданиями заказчиков.
• Формирование и внедрение инженерных стандартов и практик.
• Опыт управления техническим долгом и метриками качества.
• Аналитическое мышление.
• Умение объяснять сложные вещи простым языком.
• Умение структурировать информацию и фиксировать договоренности по итогам встреч.
• Навыки письменной коммуникации: понятные комментарии, статусы, описания решений, инструкции и документация.
• Ответственность за корректность результатов.
• Умение занимать лидерскую позицию и вести других за собой. Навыки администрирования и мотивации.
• Ведение коммуникации на уровне бизнес-целей, архитектурных решений, приоритетов и рисков.
• Фасилитация сложных кросс-функциональных обсуждений с бизнесом, ИТ, ИБ, эксплуатацией и подрядчиками.
• Формирование единых правил взаимодействия, стандартов коммуникации и процесса принятия технических решений.
• Участие в найме, оценке кандидатов, развитии команды и разрешении конфликтных ситуаций.
Будет плюсом
Опыт работы с OpenMetadata или другими каталогами данных.
Опыт настройки наблюдаемости загрузок и алертинга.
Опыт формирования инженерного сообщества и распространения лучших практик.
Понимание SLA/SLO и их согласование с бизнесом.
