Analyst for Maintenance (Аналитик поддержки)

Remote work

Описание вакансии

Мы занимается созданием big data платформы для крупнейшей логистической компании России. Платформа построена на open source технологиях и с помощью таких open source технологий как Kafka, Flink, Spark Streaming, Spark, Hive, ClickHouse платформа позволяет обрабатывать от 200 до 400 млн. событий в сутки.
Платформа активно развивается - растущий поток данных и новые бизнес задачи требуют исследования и внедрение новых фреймворков и технологий, поэтому мы ищем новых специалистов в команду.

Технологический стек:
У нас есть стриминговые и батчевые расчеты с классическим data lake.
На стриминговых расчетах используется: Kafka, Spark Streaming, Flink, Kafka Streams(в перспективе)
На батче: Flink, Spark (DF, Scala), ClickHouse, Vertica
Комитим код в Gitlab, собираем с помощью Maven
Обязательное покрытие тестами и ревью в Upsource
Автоматизировано создание рутинного кода по выделению слоев STG, ODS и DDS
Оркестрация на Oozie (планах airflow)
CI/CD выстроен с помощью Team City, релиз-инженера и команды девопсов

Обязанности

Разбор проблем недостающих данных
Разбор сбоев в работе систем (возможно, необнаруженных явно службой оперативной эксплуатации или обнаруженных слишком поздно), косвенно повлиявших на формирование данных
Разбор ошибок в алгоритмах сформированных данных
Описание алгоритмов, по которым были сформированы данные (в случае, если документации по ним нет)
Заведение задач на: разработчика поддержки для исправления ошибок, основную команду разработки

Расположение
Remote work
Тип работы
Functional/System Analysis
Номер вакансии
VR-63632
Язык
English: A2 Elementary

Требования к кандидату

Обязательные требования

Отличное знание SQL
Умение критически соединять требования документации с представленными данными
Умение ориентироваться в потоках данных (ETL) на уровне визуализации, чтения логов отработки через запросы
Хорошие коммуникативные навыки, опыт общения с пользователями и заказчиками
Опыт написания технической документации
Практика работы с системами управления инцидентов (HPSM, Naumen и пр.), а также распространенными системами мониторинга (Zabbix, Grafana и пр.)
Понимание принципов построения ИТ-инфраструктуры и процессов управления инцидентами и проблемами
Работа с системными таблицами БД
Практика работы с ETL-инструментами (например, Airflow, Pentaho, Oozie, Informatica PowerCenter, NiFi, Talend, ODI) на уровне визуализации и понимания как можно посмотреть историю запусков
Навыки работы с Unix shell
Навыки работы с Java/Python, желательно также Scala. Возможность писать крохотные скрипты. Уровень junior по знаниям, но практика написания должна быть регулярной на прошлом рабочем месте.

Желательные требования

Умение быстро читать чужой код, диагностировать ошибки, формулировать детальные предположения по причинам возникновения проблем, в том числе в системной плоскости для дальнейшего анализа инженерами и администраторами.
Опыт работы с экосистемой Hadoop (HDFS, Hive, Spark) в части разработки.
Фундаментальные знания принципов построения распределенных систем хранения и обработки данных.
HDFS, MapReduce/TEZ
Kafka
Flume/Flink
Oozie
Spark/Spark Streaming
YARN
Hive

Работа у нас — это

Команда профессионалов, готовых поддержать ваши инициативы

Возможность работы с новыми технологиями

Возможности карьерного роста

Обучение за счёт компании

Красивый и комфортный офиc

Гибкий график

ДМС

Мощное железо и дополнительное оборудование