Старший инженер данных

Remote work

Описание вакансии

Приглашаем на работу IT специалистов в нашу большую команду для работы на проектах для крупнейшего российского банка из списка топ-3.
Мы строим лучшую в мире платформу данных, используя самые современные технологии, воплощая инновационные идеи.
Приглашаем в нашу команду инженеров данных, ETL,/DWH разработчиков,
Возможность участвовать в разработке/развитии решений как на базе современных Open Source решений, так и на базе "фундаментальных" Enterprise продуктов, лидирующих в "квадрате" Gartner.
Greenplum - MPP
ClickHouse - Data Mart
Postgree SQL - Data Mart OLTP
Oracle Golden Gate - CDC
Apache Nifi, Apache Kafka, IBM DS - ETL
CI/CD, DevOps, DataOps in DWH.
Поддержка текущих решений на базе MPP - SAP IQ, OGG, IBM DS. MS SQL.
У нас большой универсальный банк, в котором очень много данных и который очень быстро развивается. Много данных и во внешних системах. Для доставки, обработки и хранения таких массивов данных мы развиваем ETL кластер, DWH кластер.
Мы постоянно совершенствуем собственные ELT фреймворки доставки данных в слои DWH, фреймворки мониторинга за ETL, визуализируем в Grafana, развиваем решения контроля качества данных и Data Governance, внедряем Machine Learning для улучшения работы ETL.
В специалистах мы ценим технические навыки работы с данными, понимание бизнес смысла данных, понимание происхождения, логики обработки, логики консолидации, понимания тракта данных до потребителя витрин DWH.
Наш банк динамически развивается, все проекты ведутся с минимизацией "бюрократической составляющей", в работе мы выбираем удобные для конкретного решения процессы разработки (Agile, Waterfall).

Ищем опытного инженера данных на задачи:
Разработка/наполнение детального слоя и модели витрин DWH;
В перспективе участие в миграция DWH на новую платформу данных(Greenplum, ClickHouse, ...) и Open Source стэк доставки данных (DBT, Spark/Flink, Airflow, Kafka, ...).
Разрабатывать утилиты автоматизации процессов разработки корпоративного хранилища данных (Data Warehouse);
Внедрять лучшие практики CI/CD в существующие процессы разработки ПО;
А так же для решения текущих задач и потребностей банка в DWH.

Обязанности

Разработка, тестирование, оптимизация ETL/ELT процессов;
Реинжиниринг ETL на IBM DataStage с использованием других технологий(Spark,Airflow,Kafka,...);
Взаимодействие с коллегами DevOps, DQ, поддержки;
Работа с DWH;
Подготовка документации.

Расположение

Remote work

Тип работы

BigData Development

Номер вакансии

VR-67819

Язык

Russian: C1 Advanced

Обязательные требования

Уверенные навыки работы с одной современной СУБД (GreenPlum, PostgeeSQL, MS SQL Server, Oracle, Teradata, и т.д.).
Хорошее знание SQL, опыт написания и оптимизации SQL запросов, процедур, представлений;
Рассматриваем кандидатов с опытом развития решений в банковских АБС (Диасофт, ЦФТ, ...), желающих развиваться в области хранилищ данных (DWH);
Умение анализировать поставленные задачи.

Желательные требования

Желателен опыт работы в банковской сфере;
Желателен опыт разработки и сопровождения ETL/ELT процессов (Informatica, Pentaho, MS SSIS, DBT, AirFlow, Spark, Kafka, ...) + Python;
Желателен опыт разработки и внедрения корпоративных хранилищ данных (DWH).

Другие вакансии