Scala Big Data (Hadoop) Developer

Remote work

Описание вакансии

Мы занимается созданием big data платформы для крупнейшей логистической компании России. Платформа построена на open source технологиях и с помощью таких open source технологий как Kafka, Flink, Spark Streaming, Spark, Hive, ClickHouse платформа позволяет обрабатывать от 200 до 400 млн. событий в сутки.
Платформа активно развивается - растущий поток данных и новые бизнес задачи требуют исследования и внедрение новых фреймворков и технологий, поэтому мы ищем новых специалистов в команду.

Технологический стек:
У нас есть стриминговые и батчевые расчеты с классическим data lake.
На стриминговых расчетах используется: Kafka, Spark Streaming, Flink, Kafka Streams(в перспективе)
На батче: Flink, Spark (DF, Scala), ClickHouse, Vertica
Комитим код в Gitlab, собираем с помощью Maven
Обязательное покрытие тестами и ревью в Upsource
Автоматизировано создание рутинного кода по выделению слоев STG, ODS и DDS
Оркестрация на Oozie (планах airflow)
CI/CD выстроен с помощью Team City, релиз-инженера и команды девопсов

Обязанности

Разрабатывать как большие стратегические фичи для платформы, затрагивающие батч и стриминг
Рефакторить, оптимизировать, покрывать свой код юнит-тестами
Быстро прототипировать и оценивать новые open source frameworks и in house solutions
Решать классические задачи Data Engineering: интеграции, конвертации, streaming и батч обработка, построение базовых слоев данных DataLake

Расположение
Remote work
Тип работы
BigData (Hadoop etc.)
Номер вакансии
VR-62175
Язык
English: B1 Intermediate

Требования к кандидату

Обязательные требования

ETL
Apache Hive
Apache Spark
Apache Spark Streaming
Scala
HDFS
Apache Flume
Apache Flink
Java
Kafka

Желательные требования

Data Analysis
Apache Cassandra
ClickHouse

Работа у нас — это

Команда профессионалов, готовых поддержать ваши инициативы

Возможность работы с новыми технологиями

Возможности карьерного роста

Обучение за счёт компании

Красивый и комфортный офиc

Гибкий график

ДМС

Мощное железо и дополнительное оборудование