Разработка и внедрение Платформы Данных в новой парадигме DataMesh.
В рамках платформы создан Домен данных Розницы.
В нем будут использованы инструменты и сервисы, поставляемые платформой.
А также часть инструментов будет дорабатываться\внедряться командой Домена.
Домен является поставщиком(основная функция) и потребителем данных других доменов (типа орг. структура, НСИ и т.п.).
Стек:
• Spark, SparkStreaming, Scala, как язык для перекладки и обработки данных (ETL).
Хранение данных:
• ClickHouse - зона витрин и для отчетов BI;
• GreenPlum - публичная зона для обмена данными между доменами;
• IceBerg, HDFS, S3, - детальные данные Домена;
• На развитие в плане использование Tarantool, Cassandra. Оркестраторы:из пула Argo, Dagster, AirFlow.
• BI: FineBI, PowerBI, SuperSet;
• Среда доступа к данным через SQL: Trino.
Обязанности
• Разработка кода загрузки данных из источников в модель данных;
• Домена, разработка кода загрузки Витрин;
• Проработка с архитектором решений по загрузке и архитектуре кода загрузки;
• Подготовка комплекта поставки (релиз) для тестирования и передачи в пром-среду;
• Анализ ошибок при возникновении и подготовка баг-фиксов;
• Участие в приемо-сдаточных испытания при необходимости;
• Рост в сторону Тех. Лида по разработке дата-продуктов с передачей знаний по разработке новым разработчикам;
Обязательные требования
• Опыт работы с Linux на достаточном уровне для работы с файлами, каталогами, основными операциями. Чтение логов, bash-скриптов;
• Опыт работы в аналогичной роли от 3-х лет;
• Работа с пакетами (установка, обновление и т.п.), настройка cron, cgroups, работа с процессами (нагрузка, порты, kill..);
• Опыт работы с GIT, BitBucket
- работа в команде разработчиков, ревью кода, pull request, merge, clone, commit, pull, push, stash;
• Опыт работы с Docker/K8s;
• Опыт работы с системами логирования и мониторинга
- Kibana, Grafana, OpenSearch, Splunk, Elasticsearch, Logstash;
• Опыт работы с Devops-процессами: Jenkins, Teamcity, опыт в формировании поставки релизов с применением CI/CD подходовж
• Опыт работы с SQL
- понимание как работает сервер БД с данными, запросами, грантами, транзакциями, индексами и т.п.;
• Опыт в разработке ETL/ELT кода либо на инструменте ETL, либо на SQL и процедурном языке БД. Оптимизация запросов;
• Опыт работы с NoSQL
- архитектура, принцип работы сервера, особенности работы с данными;
• Опыт в разработке на Spark / Spark Streaming / pySpark;
• Опыт работы с большими объемами данных, применение необходимых подходов и библиотек для загрузки/выгрузки/обработки данных
Будет плюсом
• Знание / опыт работы с Iceberg, Hudi, Deltalake.
• Опыт работы с оркестраторами потоков данных, например Argo, Dagster, AirFlow.
