Мы набираем IT специалистов в большую команду для работы на проектах для крупного и динамичного российского банка.
Мы ищем опытного специалиста, который возглавит направление контроля качества данных (Data Quality, DQ) в корпоративном хранилище (DWH) на уровне домена Банка (~50 источников, 50 дата‑продуктов). Вам предстоит выстроить комплексную систему управления качеством данных, сформировать команду аналитиков DQ и обеспечить соответствие данных бизнес‑требованиям компании.
Стек:
• Spark, SparkStreaming, Scala, как язык для перекладки и обработки данных (ETL).
Хранение данных:
• ClickHouse - зона витрин и для отчетов BI;
• GreenPlum - публичная зона для обмена данными между доменами;
• IceBerg, HDFS, S3, - детальные данные Домена;
• На развитие в плане использование Tarantool, Cassandra;
• Оркестраторы: из пула Argo, Dagster, AirFlow;
• BI: FineBI, PowerBI, SuperSet;
• Среда доступа к данным через SQL: Trino.
Обязанности
• Разработать и внедрить стратегию управления качеством данных для DWH на уровне домена Банка;
• Сформировать и возглавить команду аналитиков по качеству данных: распределить зоны ответственности, поставить задачи, провести онбординг;
• Спроектировать и внедрить систему метрик качества данных (точность, полнота, согласованность, актуальность, уникальность, своевременность) для всех слоёв DWH
• Организовать автоматизированный мониторинг DQ: настроить дашборды, оповещения, эскалацию инцидентов по каждому уровню;
• Выстроить процессы выявления, анализа и устранения проблем качества данных — от обнаружения аномалий до внедрения превентивных мер;
• Создать и поддерживать каталог правил валидации данных для всех слоёв DWH (staging, DDS, Data Vault, CDM, витрины) и ключевых бизнес‑доменов;
• Интегрировать проверки DQ в ETL/ELT‑пайплайны и CI/CD‑процессы развёртывания изменений в DWH;
• Разрабатывать и согласовывать с источниками и потребителями данных соглашения по обеспечению качества данных (Data Quality Agreements, DQA),
• Взаимодействовать с командами разработки сервисов, поддержки и дата‑продуктов для приоритизации задач и контроля выполнения DQA;
• Проводить регулярные внутренние аудиты и проходить общебанковские аудиты качества данных на критичных этапах проекта (клиенты, транзакции, финансы и т. п.);
Обязательные требования
• Опыт работы аналитиком по качеству данных или DWH‑аналитиком от 3 лет, из них не менее 1 года на руководящей позиции (команды 3–5 человек);
• Глубокое понимаете архитектуры DWH и принципов работы ETL/ELT‑процессов
• Уверенное написание сложных SQL‑запросов (JOIN, подзапросы, оконные функции, CTE, рекурсивные запросы);
• Знакомство с методологиями Data Governance, DQM и стандартами качества данных (ISO, внутренние фреймворки);
• Умение формализовать бизнес‑требования в технические критерии качества данных и метрики;
• Навыки управления командой (постановка задач, контроль сроков, развитие компетенций);
• Способность выстраивать кросс‑функциональное взаимодействие между ИТ и бизнесом, вести переговоры по DQA;
• Понимание принципов моделирования в Data Vault (хабы, линки, сателлиты);
• Умение анализировать потоки данных от источников до витрин и выявлять точки риска для качества данных.
Будет плюсом
• Опыт автоматизации DQ‑процессов с использованием Python/PySpark;
• Владение инструментами мониторинга DQ (Great Expectations, Deequ, custom‑решения) и умение адаптировать их под задачи компании;
