Мы создаем и развиваем корпоративную распределенную аналитическую СУБД на основе Trino (PrestoSQL), которая используется разработчиками и аналитиками банка для выполнения интерактивных SQL-запросов к разнородным источникам данных (Data Lake, Data Warehouse, NoSQL-хранилища) в масштабе всей организации. Вы будете работать в команде, которая отвечает за платформенные возможности Trino, вендорозамещение и интеграцию с корпоративным ландшафтом. Мы не пишем бизнес-отчеты, а проектируем архитектуру, стандарты и инфраструктурные компоненты, чтобы потребители (аналитики, data-инженеры, разработчики) могли эффективно, безопасно и надежно получать данные в режиме, близком к реальному времени
Обязанности
Проектирование платформенных функций Trino:
• анализ, проработка ТЗ и приемка реализации механизмов подключения новых источников данных: разработка требований к коннекторам, поддержка партиционирования создаваемых таблиц, реализация новых типов данных (например, NUMBER)
• проектирование решений по вендорозамещению: обеспечение совместимости чтения форматов данных (например, .parquet) с поведением, аналогичным Spark, включая корректную обработку некорректных статистик
• разработка требований к интеграции Trino с корпоративными системами: аутентификация и авторизация (R0/R1/R2/R3), секрет-менеджеры, системы логирования (ELK), метрики (Prometheus/Grafana)
• проектирование механизмов управления доступом и изоляции команд в личных кабинетах (ЛЗ) по уровням доступа, обеспечение соответствия требованиям информационной безопасности.
Разработка процесса управления и мониторинга:
• проработка требований к системе мониторинга производительности Trino-кластеров: метрики координатора, воркеров, запросов (время выполнения, потребление памяти, стадии выполнения)
• анализ и проектирование процесса управления жизненным циклом кластеров (деплой, масштабирование, обновление версий) через специализированный корпоративный портал управления сервисами
• разработка требований к реализации Data Lineage: обеспечение прослеживаемости данных от источников до потребителей с учетом влияния на показатели КП DL
• проектирование механизмов создания и управления View через Trino, обеспечение удобства работы аналитиков и разработчиков.
Работа с потребителями и качество:
• выявление и формализация потребностей внутренних команд-аналитиков, data-инженеров и разработчиков по работе с Trino
• создание подробной технической документации, чек-листов, best practices по написанию оптимальных SQL-запросов и использованию возможностей Trino
• тестирование реализованных функций: разработка тест-планов, сценариев (включая негативные и нагрузочные), проведение приемо-сдаточных испытаний
Обязательные требования
• опыт работы системным или бизнес-аналитиком от 4 лет, из них не менее 2 лет в области аналитических СУБД, Big Data или интеграционных платформ
• опыт проектирования и описания интеграций через REST API и SQL-интерфейсы
• глубокое понимание архитектуры распределенных SQL-движков: координатор, воркеры, планировщик запросов, оптимизатор, коннекторы
• знание принципов работы систем мониторинга: Prometheus, Grafana. Умение читать и интерпретировать метрики
• продвинутый уровень SQL, умение работать с технической документацией (RFC, официальная docs), понимание планов выполнения запросов (EXPLAIN)
• навыки декомпозиции сложных задач, построения процессов, отличные коммуникационные навыки для работы с техническими командами (разработчики, DevOps) и потребителями (аналитики, data-инженеры)
• умение четко и структурно документировать требования в виде ТЗ/User Stories с критериями приемки
Будет плюсом
• практический опыт работы с Trino, Presto или аналогичными распределенными SQL-движками (ClickHouse, Greenplum, Hive)
• понимание форматов колоночного хранения данных: Parquet, ORC, Iceberg, Delta Lake. Опыт работы с Data Lake на S3
• знание экосистемы Hadoop/Big Data: HDFS, Hive, HBase. Понимание принципов работы с объектными хранилищами
• опыт работы с Kubernetes: понимание основных концептов (Pods, Deployments, Services, ConfigMaps)
• знакомство с задачами вендорозамещения и миграции с проприетарных СУБД на open-source решения
• опыт проектирования систем управления доступом и разграничения прав в корпоративных хранилищах данных
