Мы ищем архитектора хранилища данных для работы в крупном банке с промышленным хранилищем данных и большими объемами финансовых и операционных данных. Вы будете разрабатывать и сопровождать ETL/ELT-пайплайны, обеспечивать надежность загрузок и качество данных на всех этапах: от источников до витрин и BI-отчетности.
Технологический стек:
• Хранилище данных и ETL: Greenplum, UI DWH (настройка ETL-загрузки), Airflow
• BI-платформа: Power BI (DAX, ролевые модели доступа)
• Управление данными и моделирование: Data Vault 2.0, OpenMetadata (каталог данных)
• Инструменты и инфраструктура: SQL-клиент (DBeaver или аналог), Git, GitLab, Wiki (Eva или аналог)
Обязанности
1. Архитектурная ответственность
• Отвечать за стратегию развития и целевую архитектуру КХД, интеграционные потоки, витрины, принципы моделирования и эксплуатационную устойчивость решения.
• Принимать и обосновывать архитектурные решения, управлять техническими рисками.
• Обеспечивать согласованность решений аналитиков, инженеров данных, ETL-разработчиков и BI-специалистов.
• Руководить инициативами по улучшению решений управления данными: качество данных, дата-каталог, стандарты моделирования, эксплуатационные регламенты.
• Преобразовывать сложные бизнес-задачи в устойчивые технические решения, которые одновременно поддерживают текущие цели бизнеса и развитие платформы данных.
2. Моделирование и управление данными
• Проектировать логические и физические модели данных, владеть Data Vault 2.0, подходами к построению банковских КХД и витрин.
• Определять архитектурные паттерны загрузки, инкрементальности, CDC, дедупликации, историчности, отслеживаемости и разграничения доступа.
• Формировать принципы качества данных, управления данными, SLA/SLO по загрузкам и отчетности.
• Контролировать полноту и отслеживаемость данных на всех этапах.
• Обеспечивать соответствие архитектуры требованиям финансового сектора, регуляторной отчетности, аудита, безопасности и разграничения доступа.
• Задавать подходы к дата-каталогу, описанию происхождения данных, владельцам данных, критичности наборов данных и правилам использования данных.
3. Платформа и технологии
• Глубоко понимать архитектуру Greenplum: распределение, партиционирование, планы выполнения, оптимизация хранения и обработки больших объемов данных.
• Проектировать применение Apache Spark, Airflow, Java/Python, Liquibase, CI/CD и мониторинга в промышленном ландшафте данных.
• Определять стандарты разработки, версионирования, развертывания, наблюдаемости и восстановления пайплайнов.
• Оценивать применимость машинного обучения и продвинутых методов обработки данных для задач качества, классификации, обогащения или анализа данных.
• Проектировать интеграции с банковскими системами-источниками: АБС, БКИ, скоринговые системы, мобильное приложение, веб
- и продуктовая аналитика, внешние данные.
4. Лидерство и взаимодействие
• Вести архитектурные обсуждения с заказчиком, ИТ-командами, безопасностью и эксплуатацией.
• Переводить бизнес-цели в реализуемую архитектуру данных.
• Проводить ревью проектных решений, моделей, ETL/ELT-процессов, BI-витрин и технической документации.
• Наставлять команду, формировать лучшие практики и обеспечивать развитие КХД с учетом масштабируемости, надежности, стоимости владения для банка и будущих изменений.
• Выстраивать доверительное взаимодействие с заказчиком, информационной безопасностью, эксплуатацией и смежными ИТ-командами для согласования потребностей, ограничений и технических трендов.
Обязательные требования
• Опыт проектирования, развития или технического лидерства в КХД банка не менее 6 лет, включая не менее 4 лет в роли архитектора или технического лидера.
• Опыт модернизации DWH, миграции данных или масштабирования хранилища при быстром росте объемов банковских данных и количества потребителей данных.
• Опыт управления техническими рисками и обеспечения согласованности решений разных команд (аналитики, инженеры данных, ETL, BI).
• Опыт руководства инициативами по улучшению управления данными: качество данных, дата-каталог, стандарты моделирования.
• Глубокое понимание архитектуры Greenplum: распределение, партиционирование, планы выполнения, оптимизация хранения и обработки больших объемов данных.
• Экспертное владение Data Vault 2.0: проектирование логических и физических моделей, подходы к построению банковских КХД и витрин.
• Определение архитектурных паттернов загрузки, инкрементальности, CDC, дедупликации, историчности, отслеживаемости и разграничения доступа.
• Обеспечение соответствия архитектуры требованиям финансового сектора, регуляторной отчетности, аудита, безопасности.
• Проектирование применения Apache Spark, Airflow, Java/Python, Liquibase, CI/CD и мониторинга в промышленном ландшафте данных.
• Определение стандартов разработки, версионирования, развертывания, наблюдаемости и восстановления пайплайнов.
• Проектирование интеграций с банковскими системами-источниками: АБС, БКИ, скоринговые системы, мобильное приложение, веб
- и продуктовая аналитика, внешние данные.
• Оценка применимости машинного обучения и продвинутых методов обработки данных.
• Ведение архитектурных обсуждений с заказчиком, ИТ-командами, безопасностью и эксплуатацией.
• Перевод бизнес-целей в реализуемую архитектуру данных.
• Проведение ревью проектных решений, моделей, ETL/ELT-процессов, BI-витрин и технической документации.
• Наставничество команды, формирование лучших практик.
• Выстраивание доверительного взаимодействия с заказчиком, информационной безопасностью, эксплуатацией и смежными ИТ-командами.
• Аналитическое мышление.
• Умение объяснять сложные вещи простым языком.
• Умение структурировать информацию и фиксировать договоренности по итогам встреч.
• Навыки письменной коммуникации: понятные комментарии, статусы, описания решений, инструкции и документация.
• Ответственность за корректность результатов.
• Умение занимать лидерскую позицию и вести других за собой. Навыки администрирования и мотивации.
• Ведение коммуникации на уровне бизнес-целей, архитектурных решений, приоритетов и рисков.
• Фасилитация сложных кросс-функциональных обсуждений с бизнесом, ИТ, ИБ, эксплуатацией и подрядчиками.
• Формирование единых правил взаимодействия, стандартов коммуникации и процесса принятия технических решений.
• Участие в найме, оценке кандидатов, развитии команды и разрешении конфликтных ситуаций.
Будет плюсом
• Опыт работы с OpenMetadata или другими каталогами данных.
• Опыт миграции данных между DWH-платформами.
• Понимание SLA/SLO и их согласование с бизнесом.
• Опыт применения ML и продвинутых методов обработки данных.
• Опыт проектирования интеграций с АБС, БКИ, скоринговыми системами.
