Developer for Maintenance

Remote work

Описание вакансии

Мы занимается созданием big data платформы для крупнейшей логистической компании России. Платформа построена на open source технологиях и с помощью таких open source технологий как Kafka, Flink, Spark Streaming, Spark, Hive, ClickHouse платформа позволяет обрабатывать от 200 до 400 млн. событий в сутки.
Платформа активно развивается - растущий поток данных и новые бизнес задачи требуют исследования и внедрение новых фреймворков и технологий, поэтому мы ищем новых специалистов в команду.

Технологический стек:
У нас есть стриминговые и батчевые расчеты с классическим data lake.
На стриминговых расчетах используется: Kafka, Spark Streaming, Flink, Kafka Streams(в перспективе)
На батче: Flink, Spark (DF, Scala), ClickHouse, Vertica
Комитим код в Gitlab, собираем с помощью Maven
Обязательное покрытие тестами и ревью в Upsource
Автоматизировано создание рутинного кода по выделению слоев STG, ODS и DDS
Оркестрация на Oozie (планах airflow)
CI/CD выстроен с помощью Team City, релиз-инженера и команды девопсов

Обязанности

Формирование базы знаний по работе с инцидентами
Рефакторинг/оптимизация программного обеспечения
Анализ, разбор и устранение инцидентов в рамках 3-й и 4-й линии поддержки
Решение задач конфигурирования и тюнинга в Prod
Обеспечение выполнения SLA в задачах саппорта
Траблшутинг в среде Prod

Расположение
Remote work
Тип работы
BigData (Hadoop etc.)
Номер вакансии
VR-63614
Язык
Russian: C2 Proficient,English: B1 Intermediate

Требования к кандидату

Обязательные требования

Практика работы с ETL-инструментами (например, Airflow, Pentaho, Oozie, Informatica PowerCenter, NiFi, Talend, ODI)
Практика работы с промышленными СУБД, в том числе колоночными, распределенными. Приветствуется знание используемых в компании технологий - Vertica, ClickHouse
Хорошее владение SQL, написание сложных запросов
Понимание принципов построения ИТ-инфраструктуры и процессов управления инцидентами и проблемами
Практика работы с системами управления инцидентов (HPSM, Naumen и пр.), а также распространенными системами мониторинга (Zabbix, Grafana и пр.)
Фундаментальные знания принципов построения распределенных систем хранения и обработки данных
Опыт работы с экосистемой Hadoop (HDFS, Hive, Spark) в части разработки
Навыки работы с Unix shell
Навыки работы с Java, желательно также Scala
Умение быстро читать чужой код, диагностировать ошибки, формулировать детальные предположения по причинам возникновения проблем, в том числе в системной плоскости для дальнейшего анализа инженерами и администраторами.

Желательные требования

Apache Flink, Apache Flum, Apache Hive, Apache Oozie, Scala, Apache Spark, Apache Spark Streaming

Работа у нас — это

Команда профессионалов, готовых поддержать ваши инициативы

Возможность работы с новыми технологиями

Возможности карьерного роста

Обучение за счёт компании

Красивый и комфортный офиc

Гибкий график

ДМС

Мощное железо и дополнительное оборудование