Разработка программного кода Создание технической документации на стадии разработки
Обязанности
Обязанности
Разработка и интеграция:
• Разработка, реализация и поддержка типовых интеграционных решений на стеке Java, Groovy, Apache Nifi, Airflow.
• Разработка и поддержка ETL/ELT-пайплайнов (сбор из источников, очистка, преобразование и загрузка).
• Интеграция с источниками данных (API, базы данных, файлы, стриминг, очереди) и настройка надежного получения данных.
• Автоматизация регулярных загрузок.
Работа с данными и хранилищами:
• Работа с хранилищами данных: проектирование и доработка таблиц, витрин, схем.
• Поддержка DWH, data lake, data mart.
• Обработка неполных, дублированных или неконсистентных данных.
• Контроль качества (data quality checks), проверка полноты и актуальности данных.
Поддержка и оптимизация:
• Оперативное реагирование на проблемы и выполнение задач в установленный срок.
• Поддержка и мониторинг пайплайнов, отслеживание падений джоб, анализ логов и исправление сбоев.
• Оптимизация производительности: улучшение скорости обработки, снижение стоимости вычислений, оптимизация SQL-запросов.
Документация и отчетность:
• Поддержание в актуальном состоянии документации типовых интеграционных решений платформы Big Data.
• Описание логики пайплайнов и поддержка технической документации.
• Предоставление отчетности о деятельности руководству.
Командная работа:
• Взаимодействие с аналитиками, разработчиками, ML-инженерами и DevOps.
• Уточнение требований к данным, участие в оценке задач и передача знаний команде.
Обязательные требования
Навыки и опыт
Технологии Big Data:
• Общее представление о стеке технологий Big Data и понимание отличий от работы с данными обычного размера.
• Представление о работе с Hadoop (устройство HDFS, форматы данных).
• Понимание работы с Hive или другими хранилищами на основе Hadoop.
Работа с БД и SQL:
• Знание SQL (индексы, функции, умение писать несложные запросы).
• Опыт работы с реляционными БД (Oracle, Postgres, MySQL, MsSQL, DB2 и т.п.).
Инструменты и языки:
• Знание основ программирования (JAVA, Groovy, Python).
• Опыт работы с графическими ETL-инструментами (Apache Nifi, Airflow, Talend, Informatica, SAS и т.п.).
• Умение работать с Git (команды pull/commit/push).
Процессы:
• Опыт использования систем ведения проектов и документации.
Будет плюсом
-
