Мы набираем IT специалистов в большую команду для работы на проектах для одного из крупнейших Банков РФ из топ-3.
Требуется аналитик для участия в проектах, связанных с загрузкой новых источников, построением витрин данных для применения математических моделей на базе Hadoop (Impala) и прочих СУБД (Oracle, Postgress) средствами Airflow/Python.
Процессы проектов представляют сложную бизнес логику и архитектуру.
Работа в команде построена по методологии Agile (Scrum).
Обязанности
• Анализ требований на разработку и проектирование программного обеспечения (далее ПО) в соответствии с полученными требованиями.
• Проектирование потоков данных, интеграционных решений.
• Разработка процессов загрузки данных из систем источников, процессов архивной и инкрементальной загрузок, процессов трансформации данных и построения витрин данных.
• Участие в процессах сопровождения и внедрения ПО.
• Согласование спецификаций на разработку ПО, архитектуры, ТЗ, модели данных, в случае привлечения к разработке внешних ресурсов или других команд.
• Разработка средств запуска аналитических моделей.
• Разработка (или подключение и настройка) средств протоколирования действий пользователей и процессов (систем/компонент).
• Участие в приемо-сдаточных испытаниях.
Обязательные требования
• ETL/ELT инструменты и практики, разработка и развитие витрин данных, принципы построения и наполнения DWH.
• Репликация данных между DWH и источниками.
• SQL, Hadoop-стэк, работа с parquet (Hive / Impala / Spark).
• ETL-разработка: AirFlow + Python/ Dbt или др. энтерпрайз етл-решения.
• Принципы DevOps.
• Использование/внедрение CI/CD pipeline-ов для разработки, сборки/тестирования и доставки ETL доработок в production.
Будет плюсом
• Опыт работы в SAS DI и/или знание языков программирования SAS Base, SAS Macro.
• Опыт работы в Linux / знания shell-scripts (sh, ksh, bash).
