Мы набираем IT специалистов в большую команду для работы на проектах для одного из крупнейших Банков РФ из топ-3. Требуется дата-инженер на задачи по построению витрин данных для разработки и применения моделей, аналитики и построения риск-отчетности. Работа в команде построена по методологии Agile: дата-инженеры привлекаются на всех стадиях проекта, от анализа требований и архитектуры до внедрения/сопровождения витрины/модели. Желание профессионально расти и самостоятельность в принятии решений приветствуются.
Обязанности
• Проектирование и разработка витрин данных для целей моделирования, аналитики и отчетности;
• Анализ исходных данных в различных СУБД (Hadoop, DWH, системы-источники) и форматах для решения бизнес-задач (оценка структуры, качества, полноты и применимости данных);
• Самостоятельное извлечение, очистка, загрузка и трансформация данных из различных источников (RDBMS, Hadoop, плоские файлы) в рабочую область (Hadoop);
• Подготовка требований на внедрение промышленных ETL-процессов загрузки данных из источников и формирования витрин;
• Участие в проработке архитектуры data flow и модели данных;
• Подготовка требований на внедрение моделей в промышленный контур и участие во внедрении;
• Контроль качества загружаемых данных, разработка автоматизированных инструментов для оценки качества данных;
• Предоставление экспертной поддержки внутренним потребителям (data analysts, data scientists) по вопросам, связанным с использованием данных.
Обязательные требования
• Опыт работы в качестве Data Engineer / Data Analyst не менее 1 года;
• Продвинутый уровень SQL (аналитические функции, подзапросы, хранимые процедуры, оптимизация запросов);
• Знание теории реляционных СУБД, основных понятий и концепций Data Warehousing и Big Data;
• Участие во всех жизненных циклах разработки программного обеспечения (проектирование, аналитика, разработка, тестирование, внедрение, сопровождение внедрения и внедренных решений) в качестве разработчика;
• Умение писать SQL-запросы средней и высокой сложности (с использованием join-ов, подзапросов и оконных функций);
• Понимание смысла использования скоринговых моделей;
• Работа с интеграциями;
• Опыт тестирования ETL процессов посредством SQL-скриптов;
• Умение анализировать код;
• Умение выстраивать коммуникации с членами команд;
• Высшее техническое или экономическое образование;
• Личные качества: ответственность, внимательность к деталям, проактивность, ориентированность на результат;
•Опыт и умение работать в команде;
Будет плюсом
• Опыт работы со стеком технологий Big Data (Hadoop, Spark, Hive/Impala);
• Навыки работы с Git, BitBucket, Confluence, Jira;
• Уверенное владение Python для анализа/обработки данных;,
• Опыт работы в финансовой индустрии, банках с фокусом на
корпоративном направлении / в рисках.
