Крупный государственный ИТ-проект в транспортной отрасли. Мы развиваем и поддерживаем масштабное корпоративное хранилище данных (DWH). Нам нужен инженер, который займется созданием и оптимизацией ETL/ELT-потоков, обработкой больших объемов информации и обеспечением надежной интеграции между многочисленными системами компании.
Обязанности
• Разработка, поддержка и оптимизация ETL/ELT-пайплайнов для корпоративного хранилища данных.
• Написание и оптимизация сложных SQL-запросов (в том числе для OLAP-систем).
• Создание DAG'ов и управление зависимостями в Apache Airflow.
• Работа с базами данных (PostgreSQL) и брокерами сообщений (Kafka, RabbitMQ).
• Разработка и поддержка интеграций через API и веб-сервисы.
• Документирование потоков данных и результатов работы в базе знаний.
• Взаимодействие с разработчиками, аналитиками и архитекторами внутри проектной команды
Обязательные требования
• Опыт работы от 2-х лет в качестве инженера данных, разработчика ETL на SQL и PySpark.
• Опыт работы с СУБД PostgreSQL, оркестратором Apache Airflow, а также с API, веб-сервисами и очередями.
• Экспертиза в реализации ETL / ELT для хранилищ или озер данных.
• Уверенное владение SQL и PL/SQL, навыки оптимизации SQL (в том числе для целей OLAP).
• Уверенные навыки работы с PySpark.
• Навыки работы с Apache Airflow: создание DAG'ов, управление зависимостями ETL-пайплайнов.
• Обязательно хотя бы базовый уровень владения Apache Hadoop (Spark, Hive или Impala).
• Опыт работы с брокерами сообщений (Kafka, RabbitMQ).
• Опыт работы с Jira, Confluence, Git.
• Понимание подходов к разработке, документированию и тестированию потоков данных.
• Самостоятельность (умение докручивать постановки от аналитиков и документировать результаты).
• Стрессоустойчивость и готовность работать в условиях сжатых сроков.
• Умение эффективно взаимодействовать со смежными подразделениями и внешними заказчиками.
Будет плюсом
• Опыт работы с S3 Minio (объектное хранилище).
• Опыт работы с Apache Iceberg (табличный формат для Data Lake).
