Мы ищем специалиста для развития и поддержки высоконагруженных потоков данных. Проект сфокусирован на тиражировании репликации данных и обработки Big Data.
Обязанности
• проектировать и развивать пайплайны: выстраивать архитектуру потоковой передачи данных по схеме СУБД (PostgreSQL) → Kafka → HDFS ↔ Kafka;
• обеспечивать качество источников: оценивать готовность баз к репликации, валидировать требования заказчиков и гарантировать соответствие схем интеграции;
• оптимизировать производительность: повышать скорость, надежность и отказоустойчивость действующих ELT-процессов в распределенной среде;
• сопровождать инфраструктуру: оперативно выявлять ошибки через системы мониторинга и взаимодействовать с командами владельцев данных.
Обязательные требования
• практический опыт создания ETL/ELT-решений с помощью Apache NiFi, Talend, Informatica или самостоятельной разработки решений на Python, SQL, Java;
• глубокое знание реляционных БД (преимущественно PostgreSQL);
• понимание принципов распределенных систем (Hadoop, Spark): уверенная работа с экосистемой Apache — Kafka, HDFS, Hive.
Будет плюсом
• навыки работы с системами мониторинга: Grafana и Zabbix.
