Децентрализация управления данными: как внедрить в компании Data Mesh

Традиционный подход к работе с данными предусматривает их постоянный трансфер из хранилища в бизнес-приложения и обратно. В этом трансфере, конвейере данных, участвуют взаимосвязанные процессы, которыми нужно управлять. А для этого требуется штат квалифицированных специалистов. Этот подход оправдан в компаниях, где развивается только одно направление бизнеса. Но, как только появляется еще одно, такая централизованная архитектура данных начинает давать сбои. Преодолеть их призван подход к управлению данными, который называется Data Mesh.


Сегодня компании создают отдельные ИТ-команды, которые выполняют различные задачи от структурных подразделений. Такой задачей, к примеру, может быть анализ данных и создание модели машинного обучения, на основе которой потом искусственный интеллект будет эти данные обрабатывать. Но, при необходимости внесения корректировок возобновленная задача может попасть к другим специалистам – ее передадут в ту группу, где в моменте есть свободные ресурсы. В результате бизнес сталкивается с проблемами: непонятно, к кому обращаться в случае возникновения вопросов, кто несет ответственность за работоспособность сервиса. Все это связано с централизованной моделью владения и управления данными.

Та же самая проблема возникает, когда данные, которыми располагает и с которыми работает компания, хранятся в едином озере данных, где информация об их происхождении теряется. Массив данных превращается в клубок, который очень трудно, если вообще возможно, распутать.

Решить эту проблему должен подход Data Mesh. Он нацелен на децентрализацию процесса управления данными – вместо одного департамента компании, который аккумулирует все знания на основе всех данных, формируются домены в соответствии с бизнес-направлениями. Такая структура позволяет объединить всех сотрудников конкретного бизнес-направления и специалистов департамента, отвечающего за данные. В результате дата-аналитики и дата-инженеры становятся полноценными участниками рабочей группы, занятой решением отдельно взятой задачи.

Как понять, что Data Mesh стал актуальным для бизнеса

Перед тем, как переходить к Data Mesh, нужно ответить на несколько вопросов:

• Насколько многочисленна компания и насколько развита в ней культура работы с данными для того, чтобы внедрять Data Mesh? Для небольших компаний еще не время внедрять данный подход.
• Насколько увеличивается разрыв между двумя подразделениями: подразделениями бизнеса и разработки, отвечающими за операционные данные и подразделением по аналитике данных? Данные передаются из области операционных данных в аналитическую с использованием ETL, при этом в операционных данных часто отсутствует четкое определение контрактов для обмена данными. В результате даже незначительное изменение в структуре передаваемых данных может вызвать ошибки в работе конвейера.
• Насколько велико расхождение между инвестициями в данные и прибылью от них? Встречаются ситуации, когда компании в качестве метрики успеха использования данных считают инвестиции в развитие культуры управления данными, однако корректным будет учитывать прибыль, полученную от инвестиций в данные. И если данный разрыв увеличивается в годовой отчетности, то это повод задуматься о переходе на новый подход.

Ответы на эти вопросы позволят компании определить тот момент, когда переход на Data Mesh стал необходимостью.

Кроме этого, переход на Data Mesh актуален для компаний, которые намерены продолжать масштабирование, поскольку такой подход позволяет избежать глобальных изменений и провести децентрализацию при помощи простого создания функциональных доменов. Полезен Data Mesh и в тех случаях, когда компания не получает ожидаемой отдачи от инвестиций в управление данными, при том, что бизнес уже достаточно развит. Тогда необходимо развивать корпоративную культуру работы с данными, чему Data Mesh активно способствует.

Сегодня компании создают отдельные ИТ-команды, которые выполняют различные задачи от структурных подразделений. Такой задачей, к примеру, может быть анализ данных и создание модели машинного обучения, на основе которой потом искусственный интеллект будет эти данные обрабатывать. Но, при необходимости внесения корректировок возобновленная задача может попасть к другим специалистам – ее передадут в ту группу, где в моменте есть свободные ресурсы. В результате бизнес сталкивается с проблемами: непонятно, к кому обращаться в случае возникновения вопросов, кто несет ответственность за работоспособность сервиса. Все это связано с централизованной моделью владения и управления данными.

Та же самая проблема возникает, когда данные, которыми располагает и с которыми работает компания, хранятся в едином озере данных, где информация об их происхождении теряется. Массив данных превращается в клубок, который очень трудно, если вообще возможно, распутать.

Решить эту проблему должен подход Data Mesh. Он нацелен на децентрализацию процесса управления данными – вместо одного департамента компании, который аккумулирует все знания на основе всех данных, формируются домены в соответствии с бизнес-направлениями. Такая структура позволяет объединить всех сотрудников конкретного бизнес-направления и специалистов департамента, отвечающего за данные. В результате дата-аналитики и дата-инженеры становятся полноценными участниками рабочей группы, занятой решением отдельно взятой задачи.

Подробнее по ссылке.