Крупный государственный ИТ-проект в транспортной отрасли. Мы развиваем и поддерживаем масштабное корпоративное хранилище данных (DWH). Нам нужен инженер, который займется созданием и оптимизацией ETL/ELT-потоков, обработкой больших объемов информации и обеспечением надежной интеграции между многочисленными системами компании в соответствии с современными архитектурными паттернами.
Обязанности
• Разработка, поддержка и оптимизация ETL/ELT-пайплайнов для корпоративного хранилища данных (с использованием СУБД Greenplum или ADB).
• Написание и оптимизация сложных SQL-запросов (в том числе для OLAP-систем).
• Создание DAG'ов и управление зависимостями в Apache Airflow.
• Работа с Kafka (понимание принципов работы и интеграция).
• Понимание и применение подходов Data Vault в работе с хранилищем.
• Документирование потоков данных, тестирование и поддержка результатов работы в базе знаний.
• Взаимодействие с разработчиками, аналитиками и архитекторами внутри проектной команды.
Обязательные требования
• Опыт работы от 2-х лет в качестве инженера данных, разработчика ETL в хранилищах данных на СУБД Greenplum или ADB.
• Опыт разработки с использованием dbt, оптимизации процессов загрузки и обработки больших витрин.
• Экспертиза в реализации ETL / ELT для хранилищ или озер данных.
• Уверенное владение SQL и PL/SQL (СУБД Greenplum / ADB).
• Навыки оптимизации SQL (в том числе для целей OLAP).
• Навыки работы с Apache Airflow: создание DAG'ов, управление зависимостями ETL-пайплайнов.
• Понимание Data Vault и навыки работы с ним.
• Знание подходов к разработке, документированию, тестированию потоков данных.
• Обязательно хотя бы базовый уровень владения Apache Hadoop (Spark, Hive или Impala).
• Понимание работы и взаимодействия с Kafka.
• Опыт работы с Jira, Confluence, Git.
• Готовность оперативно погрузиться в сложную архитектуру с множеством требований к разработке и немейнингом объектов.
• Самостоятельность: умение докручивать постановки от аналитиков и самостоятельно документировать результаты в базе знаний.
• Готовность работать в условиях сжатых сроков.
• Умение эффективно взаимодействовать с разработчиками, аналитиками, архитекторами, а также со смежными подразделениями и экспертами заказчика.
Будет плюсом
• Опыт работы с архитектурой Data Mesh.
