-
Обязанности
— Наш стек: Greenplum, Trino, Apache Airflow, ClickHouse, Python, Spark, SQL (dbt), S3, Hadoop
— Сбор требований с бизнес-заказчиков и анализ источников данных — Разработка, реализация и поддержка интеграционных потоков, а также потоков сборки витрин-данных на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink — Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение типовых задач в установленный срок
— Поддержание в актуальном состоянии документации типовых интеграционных решений платформы больших данных.
- Предоставление отчётности о своей деятельности руководителю.
Обязательные требования
— Общее представление о стеке технологий Lakehouse
— Понимание различия работы между BigData/Lakehouse и с данными обычного размера
— Знание SQL (индексы, функции, оптимизация, профилирование производительности)
— Знание языков программирования (JAVA, Python)
— Опыт работы с реляционными БД (Oracle, Postgres, MySQL, MsSQL и т. п.)
— Умение работать с Git (знание команд git pull/commit/push)
— Опыт работы с DBT, Cosmos, Ni-Fi
— Опыт разработки на Spark
— Понимание особенностей Trino
— Понимание форматов данных Iceberg, Parquet, Avro
— Понимание работы с minio или любого другого хранилища на основе S3
— Опыт использования систем ведения проектов и документации
Будет плюсом
-
