Разработчик ETL

Remote work

Описание вакансии

Приглашаем в команду инженеров данных Банк ТОП-3 в РФ.
Возможность участвовать в разработке/развитии проекта как на базе современных Open Source решений, так и на базе "фундаментальных" Enterprise продуктов, лидирующих в "квадрате" Gartner.
Команде предстоит большой блок работ по строительству новой платформы данных на базе GreenPlum, HDFS/S3, ClickHouse, Tarantool, с запуском ELT фреймворка на стэке Airflow, Nifi, DBT, Spark, Kafka, Python, SQL. Плюс гейт в компоненты и практики Data Governance, Data Quality, DataOps (CI/CD).

Обязанности

Разработка/Внедрение ELT фреймворка (автоматизация процессов трансформации данных между HDFS/S3, GreenPlum, ClickHouse, Tarantool). Развитие функциональности, оптимизация (необходима высокая скорость обработки большого обьема данных);
Интеграция ELT с фреймворками контроля качества, каталогом метаданных. (datastore, featurestore и datalinage);
Настройка мониторинга. Разработка компонент анализа производительности и мониторинга ELT;
Участие в выборе технологий, компонентов, архитектуры решений;
Создание ETL процессов в рамках созданного framework;
Review работ коллег, внешних подрядчиков;
Пилотирование выбора фреймворка, модулей интеграционного взаимодействия.

Расположение

Remote work

Тип работы

ETL (Informatica, Ab Initio etc.)

Номер вакансии

VR-65050

Язык

Russian: C1 Advanced

Обязательные требования

Опыт работы с промышленным ETL/ELT решением, опыт работы/создания ETL/ELT фреймворка;
Опыт оптимизации и настройки производительности ETL/ELT компонент;
Опыт разработки Apache Airflow, Apache Nifi, Apache Spark (PySpark Framework);
Опыт ООП разработки на Python;
Опыт работы, понимание особенностей современных СУБД;
Опыт разработки, оптимизации SQL-процедур и запросов.

Желательные требования

Понимание особенностей работы с MPP решениями GreenPlum, ClickHouse, Hadoop (Hive/Impala;
Опыт интеграции ETL/ELT фреймворка с datastore, featurestore и datalinage компонентами;
Опыт автоматизации командной разработки: CI/CD, git, Jira, автотесты;
Опыт работы с DBT.

Другие вакансии