MLOps инженер
Remote work
Описание вакансии
Мы набираем IT специалистов в большую команду для работы на проектах для одного из крупнейших Банков РФ.
Мы - стрим "DS Платформа" в Департаменте анализа данных и моделирования Банка. Мы разрабатываем платформу полного цикла для машинного обучения в Банке, которая позволит автоматизировать процессы разработки и применения моделей и снизить модельные риски.
В стриме «DS Платформа» наша команда создает процесс разработки моделей. Мы хотим, чтобы в Платформе разработчики моделей могли эффективно обучать модели, взаимодействовать с другими пользователями, обмениваться опытом.
Мы находимся в постоянном взаимодействии с будущими пользователями DS Платформы, тестируем open-source MLOps инструменты, живем и мыслим по Agile.
Обязанности
Анализ потоков данных, интеграционных решений, разработанных ETL-процессов;
Автоматизация процессов переноса данных из горячего в холодное хранилище;
Разработка процессов загрузки данных из систем источников, процессов архивной и инкрементальной загрузок, процессов трансформации данных и построения витрин данных;
Участие в процессах сопровождения и внедрения ETL/ELT - процессов;
Разработка документации на разработанные процессы.
Автоматизация ci/cd конвейеров сборки данных реализованных data-инженерами.
Требования к кандидату
Обязательные требования
Понимание принципов работы ETL/ELT конвейеров сборки данных
Опыт работы с оркестраторами (Apache Airflow и в частности KubernetesPodOperator)
Опыт работы с различными БД (инсталляция, мониторинг)
Уверенное знание CI/CD конвейеров и опыт работы с соответствующими инструментами (например, Jenkins, GitLab CI/CD, CircleCI);
Понимание контейнеризации и опыт работы с инструментами оркестровки контейнеров (например, Docker, Kubernetes);
Опыт работы с системами контроля версий (например, Git);
Отличные навыки решения проблем и устранения неисправностей;
Уверенный пользователь Linux / bash скрипты.
Желательные требования
Опыт работы с DBT;
Опыт работы с CDC-движками и Online Streaming в целом;
Опыт работы с Kafka;
Опыт работы c Hadoop/S3 хранилищами
Опыт работы со Spark.
Работа у нас — это
Команда профессионалов, готовых поддержать ваши инициативы
Возможность работы с новыми технологиями
Возможности карьерного роста
Обучение за счёт компании
Красивый и комфортный офиc
Гибкий график
ДМС
Мощное железо и дополнительное оборудование
Ссылка на страницу с описанием вакансии скопирована в буфер обмена