Big Data (Hadoop) Developer

Remote work

Описание вакансии

Компания IT_One расширяет команду и ищет разработчиков для создания и развития big data платформы для крупнейшей логистической компании России. Платформа позволяет обрабатывать до 500 млн. событий в сутки и активно развивается.

Стек:
Streaming: Kafka, Spark Streaming, Flink
Batch: Flink, Spark (DF, Scala), Hive, HDFS
DataLake c выделенными слоями STG, ODS и DDS
Автоматизированная генерация рутинного кода SQL
Оркестрация на Oozie (в планах airflow) + Kubernetes
Базы данных: Vertica, Cassandra, ClickHouse, KSQL DB

Команда
Состав подгруппы разработки:
8 разработчиков, 6 из них - Senior Data Engineer + Scala

Отдельные подгруппы аналитиков, тестировщиков, экспертов поддержки и релиз-инженер
Команда Devops выделена, помогает команде разработки и тестирования c инфраструктурой и CD/CD

Методология разработки ПО:
Scrum для разработки
Kanban для поддержки 3й линии.

Обязанности

Разработка фичей для платформы, фреймворков, затрагивающих батч и стриминг
Рефакторинг, оптимизация кода, code coverage
Классические задачи Data Engineering: интеграции, конвертации, streaming и батч обработка, построение базовых слоев данных DataLake
Проработка и реализация интеграционных решений с источником в Kafka, REST, FTP и получателем HDFS, формированием ODS, DDS
Прототипирование и оценка новых open source frameworks и in house solutions

Расположение
Remote work
Тип работы
BigData (Hadoop etc.)
Номер вакансии
VR-62320
Язык
English: A2 Elementary

Требования к кандидату

Обязательные требования

Хорошие знания одного из языков Java, Scala
Опыт работы с обработкой данных (Spark, Hive или MapReduce)
Опыт работы и хорошие знания SQL
Опыт работы с любой очередью (Kafka, IBM MQ, Rabbit MQ или др.)

Желательные требования

Опыт разработки Big Data пайплайнов на Spark Streaming (стриминговых и батчевых)
Опыт разработки высоконагруженных хранилищ данных Data Lake
Опыт разработки флоу на Oozie + Hue, AirFlow
Инжестинг и обработка данных в реальном времени с Apache Kafka, Apache Flink
Ведение коммуникации с заказчиком и готовность обосновать технические решения

Работа у нас — это

Команда профессионалов, готовых поддержать ваши инициативы

Возможность работы с новыми технологиями

Возможности карьерного роста

Обучение за счёт компании

Красивый и комфортный офиc

Гибкий график

ДМС

Мощное железо и дополнительное оборудование