Big Data (Hadoop) Developer
Remote work
Описание вакансии
Компания IT_One расширяет команду и ищет разработчиков для создания и развития big data платформы для крупнейшей логистической компании России. Платформа позволяет обрабатывать до 500 млн. событий в сутки и активно развивается.
Стек:
Streaming: Kafka, Spark Streaming, Flink
Batch: Flink, Spark (DF, Scala), Hive, HDFS
DataLake c выделенными слоями STG, ODS и DDS
Автоматизированная генерация рутинного кода SQL
Оркестрация на Oozie (в планах airflow) + Kubernetes
Базы данных: Vertica, Cassandra, ClickHouse, KSQL DB
Команда
Состав подгруппы разработки:
8 разработчиков, 6 из них - Senior Data Engineer + Scala
Отдельные подгруппы аналитиков, тестировщиков, экспертов поддержки и релиз-инженер
Команда Devops выделена, помогает команде разработки и тестирования c инфраструктурой и CD/CD
Методология разработки ПО:
Scrum для разработки
Kanban для поддержки 3й линии.
Обязанности
Разработка фичей для платформы, фреймворков, затрагивающих батч и стриминг
Рефакторинг, оптимизация кода, code coverage
Классические задачи Data Engineering: интеграции, конвертации, streaming и батч обработка, построение базовых слоев данных DataLake
Проработка и реализация интеграционных решений с источником в Kafka, REST, FTP и получателем HDFS, формированием ODS, DDS
Прототипирование и оценка новых open source frameworks и in house solutions
Требования к кандидату
Обязательные требования
Хорошие знания одного из языков Java, Scala
Опыт работы с обработкой данных (Spark, Hive или MapReduce)
Опыт работы и хорошие знания SQL
Опыт работы с любой очередью (Kafka, IBM MQ, Rabbit MQ или др.)
Желательные требования
Опыт разработки Big Data пайплайнов на Spark Streaming (стриминговых и батчевых)
Опыт разработки высоконагруженных хранилищ данных Data Lake
Опыт разработки флоу на Oozie + Hue, AirFlow
Инжестинг и обработка данных в реальном времени с Apache Kafka, Apache Flink
Ведение коммуникации с заказчиком и готовность обосновать технические решения
Работа у нас — это
Команда профессионалов, готовых поддержать ваши инициативы
Возможность работы с новыми технологиями
Возможности карьерного роста
Обучение за счёт компании
Красивый и комфортный офиc
Гибкий график
ДМС
Мощное железо и дополнительное оборудование
Ссылка на страницу с описанием вакансии скопирована в буфер обмена