Senior Data Engineer

Moscow

Описание вакансии

Наш клиент занимается созданием инновационных продуктов и сервисов для цифровой трансформации крупнейшей логистической компании России.
Ключевое преимущество наших проектов в том, что мы работаем с использованием открытых технологий, позволяющих гибко развивать и быстро масштабировать data-driven решения и продукты. Мы используем: Java 8, Scala 10/11, SQL. Big Data stack: Hadoop, Hive, Spark, Spark Streaming, Sqoop, Oozie, Kafka, Flume. DBs: PostgreSQL, Cassandra, ClickHouse, Vertica. BI: Pentaho. Data Analysis: Spark Ml.

В числе разработанных нашими командами продуктов:
Сервис отслеживания почтовых отправлений,
Мобильное приложение,
Big Data платформа,
Центр ситуационного мониторинга и реагирования логистики,
И многие другие data-driven продукты/сервисы

Обязанности

Рефакторинг/оптимизация ETL/ELT-процессов
Конфигурирование и тюнинг Prod Batch WF
Развитие и саппорт CI/CD Oozie WF
Формирование SRS-документов
Траблшутинг в Продуктиве
Описание новых ETL/ELT под нужны инфраструктуры, тестирование и планирование миграций данных, тестирование и проектировка схем данных и их оптимизация

Расположение
Moscow
Адрес офиса
г.Москва, ул. Годовикова, 9 стр.7, БЦ «Калибр»
Тип работы
BigData (Hadoop etc.)
Номер вакансии
VR-57368
Язык
English: A2 Elementary

Требования к кандидату

Обязательные требования

Опыт работы с Hadoop 2.6.1- 3.1, hive 1.2-3.1, Spark 1-3, yarn(умение правильно настраивать квоты при большом кол-во пользователей(больше 200);
Знание etl/elt(есть оба вида конвертеров);
Хорошие знания sql, cql, понимание вторичных индексов, составных инжексов;
Опыт работы с SparkSQL;
Опыт работы с kafka, оптимизацией запросов к ней, KSQL.

Желательные требования

Знание инструмента управления развертыванием приложений Puppet
Опыт работы с Vertica, CLickHouse, Cassandra
Базовые знания Java
Опыт работы с Tomcat, Jetty
Опыт работы с Облачными Технологиями (Docker и т.п.)
Знание пакетных менеджеров (RPM, Deb)
Опыт управления системой сбора логов: Kibana+ElasticSearch
Знание инструментов сборки Java-продуктов (Maven, Gradle, Ant)
Знакомство c ETL инструментарием для работы с данными экосистемы Hadoop

Работа у нас — это

Команда профессионалов, готовых поддержать ваши инициативы

Возможность работы с новыми технологиями

Возможности карьерного роста

Обучение за счёт компании

Красивый и комфортный офиc

Гибкий график

ДМС

Мощное железо и дополнительное оборудование