Data Engineer
Remote work
Описание вакансии
Наш заказчик - второй по величине банк в стране, услугами которого пользуются миллионы людей. Цель заказчика - создать максимально удобные для клиентов приложения, сервисы, технологии. Мы активно ищем талантливых кандидатов, готовых к решению различного рода задач: вывод новых фичей, поддержка текущей функциональности, написание тестов, участие в общих грумингах и многое другое. Работа ведется в небольших кросс-функциональных командах с полным вовлечением разработчиков и ключевых экспертов.
Обязанности
выполнение функциональных обязанностей в рамках проекта по развитию аналитического блока в Privat Banking
обеспечение загрузки необходимых данных в Data Lake или необходимые витрины данных
проектирование и разработка, тестирование и внедрение ETL процессов, используя ETL Framework и конвейер данных
реализация различных интеграций в гетерогенной среде с помощью Python/Spark
оптимизация существующего кода и используемых платформ
конфигурация потоков данных из систем источников, их мониторинг, своевременную модификацию, оптимизацию
оптимизация конвейера данных и ETL-процессов для поддержания процессов проверки качества данных
контейнеризация процессов загрузки/выгрузки данных в Data Lake
Требования к кандидату
Обязательные требования
высшее образование;
опыт работы в роли разработчика на стеке Hadoop не менее 2-х лет
опыт разработки приложений с использованием инструментария экосистемы Hadoop (Spark streaming, Hbase, Spark SQL, KAfka, Hive, Impala, Hue и т.д.)
опыт разработки на Java / Python / Spark / Scala
понимание принципов модели распределенных вычислений
опыт разработки ETL / Self service ETL процессов по наполнению данными Data Lake, формирование витрин данных на Hadoop желателен
опыт решения ETL/data engineering задач
опыт реализации интеграции в гетерогенных средах
навыки работы с системами контроля версий / репозиториями кода на основе Git
успешный опыт работы в команде от 7 человек
понимание методологий Agile/Scrum
знание Unix/Linux, навыки работы в shell
опыт развертывания Linux серверов/ контейнеров, использования скриптовых языков (Bash) как преимущество
базовые знания работы kerberos как преимущество
знание и опыт работы с инструментами DevOPS рассматривается как преимущество
Желательные требования
Spark, Pyspark, Pandas, SQL, Hive и др
Работа у нас — это
Команда профессионалов, готовых поддержать ваши инициативы
Возможность работы с новыми технологиями
Возможности карьерного роста
Обучение за счёт компании
Красивый и комфортный офиc
Гибкий график
ДМС
Мощное железо и дополнительное оборудование
Ссылка на страницу с описанием вакансии скопирована в буфер обмена