Data Mesh вместо информационных «бункеров»: как управлять данными с пользой для бизнеса

Почему традиционный подход к работе с данными перестает работать

Традиционная модель управления данными предполагает наличие централизованного подразделения, ответственного за сбор, хранение, обработку и анализ данных. Такой департамент получает запросы от различных бизнес-подразделений, выполняет их и занимается аналитическими отчетами, ML-моделями и другими data-продуктами. 

Традиционная модель приводит к проблемам, препятствующим эффективной работе с данными. Централизованное хранилище данных с течением времени превращается в сложную структуру, теряющую прозрачность и эффективность отслеживания происхождения данных. Непросто понять, через какие преобразования прошли данные и как эти данные связаны между собой.

Разрыв, который увеличивается между операционными (те что генерируются системой) и аналитическими данными (те что появляются в результате анализа операционных данных) приводит к созданию информационных «бункеров», где знания и информация изолированы в разных департаментах. Это затрудняет обмен информацией, анализ данных и принятие эффективных решений на основе полной картины.

Еще один недостаток централизованной модели — при ее использовании сложно определить, кто конкретно отвечает за качество и актуальность данных. Это вызывает проблемы с доверием к данным и затрудняет принятие решений на их основе. В результате централизованное управление данными становится bottleneck или «бутылочным горлышком» — ограничением системы, которое задерживает обработку запросов и реагирование на новые потребности бизнеса.

Четыре принципа децентрализованной революции

Data Mesh предлагает альтернативный подход в работе с данными, основанный на четырех принципах. Они меняют способ организации и управления данными, что помогает повысить эффективность работы компании.

1. В концепте Data Mesh данные принадлежат не централизованному подразделению, а конкретным доменным командам, которые лучше всего понимают контекст и особенности данных. Домены несут ответственность за качество, актуальность и доступность данных для других доменов и бизнес-подразделений.
2. Домены создают и предоставляют data-продукты — наборы данных, витрины, ML-модели, отчеты, которые являются ценными источниками информации для остальных департаментов. Data-продукты имеют четкое определение, документацию и интерфейсы для доступа и использования.
3. Data Mesh предполагает наличие единой платформы, где домены публикуют свои data-продукты, предоставляя другим участникам возможность самостоятельно находить, изучать и использовать нужные данные. Платформа обеспечивает единый интерфейс для доступа к данным, инструменты для их анализа и интеграции, а также документацию и метаданные.
4. Определяется группа экспертов, которая устанавливает единые правила и стандарты управления данными, среди которых безопасность, конфиденциальность, соответствие законодательству, а также принципы разработки и предоставления data-продуктов. В дальнейшем этим стандартам должны соответствовать разрабатываемые data-продукты. Домены несут ответственность за соблюдение принятых стандартов.