Оператор связи
Обязанности
-
Обязательные требования
• Высшее техническое образование
• Опыт: 5+ лет
Не менее 5 лет опыта в разработке и миграции ETL-систем, включая работу с Apache-стеком (Spark, NiFi, Airflow, Hadoop/Hive, Flink).
• Опыт работы с Apache-стеком (Apache Spark, Apache Flink, Apache Kafka, Apache Hadoop)
Умение: разрабатывать и оптимизировать скрипты на Scala/Python для обработки 100+ млн записей.
Умение: настройки потоков данных.
Умение: создавать DAG-файлы для оркестрации задач (ежедневная выгрузка в HDFS).
Опыт: Настройки алертов (Slack/почта).
• Apache Dolphin
Опыт: Интеграции с API/БД через XML-конфигурации.
• Hadoop/Hive
Умение: писать оптимизированные Hive-запросы.
Опыт: Настройки HDFS (партицирование, репликация).
• SQL и оптимизация
Умение: составлять сложные SQL-запросы (оконные функции, джоины).
Опыт: Оптимизации запросов в Hive.
• Работа с большими данными
Опыт: Обработки 10+ млрд записей.
• Умение: настраивать YARN (memory, vcores).
• Инструменты мониторинга
Умение: Настраивать Grafana/Prometheus для отслеживания ETL-процессов.
Опыт: Создания алертов для систем момниторинга.
• Работа с кластерами
Обеспечение высокой доступности кластеров (Kubernetes, Docker Swarm).
• Настройка балансировки нагрузки (HAProxy, Nginx).
• Автоматизация
Навыки автоматизации на Ansible, Bash/Python.
Интеграция с CI/CD (Jenkins, GitLab CI).
Будет плюсом
• Навыки: Эффективной коммуникации с заказчиками и командой.
• Опыт: Формализации требований в ТЗ.
• Сертификаты пройденных курсов
1. Микросервисы и Kafka
2. ETL процессы на Airflow
3. Airflow и Flink
4. Kafka
5. Java/Scala
