Оператор связи
Обязанности
-
Обязательные требования
• Высшее техническое образование
• Опыт 7+ лет
Не менее 7 лет опыта в области аналитики данных., включая работу с Apache-стеком (Spark, NiFi, Airflow, Hadoop/Hive, Flink).
• Опыт работы с Apache-стеком
(Apache Spark, Apache Flink, Apache Kafka, Apache Hadoop)
• Apache Spark
Умение: разрабатывать и оптимизировать скрипты на Scala/Python для обработки 100+ млн записей.
• Apache Flink
Умение: настройки потоков данных.
• Apache Airflow
Умение: создавать DAG-файлы для оркестрации задач (ежедневная выгрузка в HDFS).
Опыт: Настройки алертов (Slack/почта).
• Apache Dolphin
Опыт: Интеграции с API/БД через XML-конфигурации.
Hadoop/Hive
Умение: писать оптимизированные Hive-запросы.
Опыт: Настройки HDFS (партицирование, репликация).
• SQL: написание сложных запросов (JOIN, оконные функции, агрегаты), оптимизация и индексация.
Источники данных: интеграция и обработка данных из различных систем (БД, API, файлы).
• ETL: настройка, автоматизация и мониторинг процессов загрузки и преобразования данных.
• DWH: проектирование хранилища данных (многомерная модель, «звёздная» схема), создание витрин и аналитических таблиц.
• Инструменты мониторинга
Умение: Настраивать Grafana/Prometheus для отслеживания ETL-процессов.
Опыт: Создания алертов для систем мониторинга.
Будет плюсом
• Навыки: Эффективной коммуникации с заказчиками и командой.
• Опыт: Формализации требований в ТЗ.
• Сертификаты пройденных курсов
1. Микросервисы и Kafka
2. ETL процессы на Airflow
3. Airflow и Flink
4. Kafka
5. Java/Scala
