Привет, Хабр! Я Татьяна, в РСХБ-Интех работаю с данными, в прошлый раз я рассказывала про свои любимые фреймворки для повышения эффективности бизнеса. В этот раз статья посвящена Data Governance.

Давайте сразу определимся с терминами. Система Data Governance — это комплекс из мероприятий и программного обеспечения для эффективного управления жизненным циклом данных с соблюдением требований регулятора по безопасности данных и требований бизнес-пользователей к их достоверности. Для описания основных принципов управления данными обязательно разрабатывают стратегию, позволяющую проводить непрерывную оценку и контроль качества данных на всём их жизненном цикле.

Data Governance управляет не самими данными и их потоками, а метаданными, которые сопровождают их во всех точках ввода, обработки, хранения и перемещения, вплоть до уничтожения.

Что такое метаданные? Метаданные — это данные о данных, под которыми мы понимаем абсолютно любую информацию, которая поможет нам управлять жизненным циклом данных в ИТ-ландшафте предприятия. Метаданные бывают абсолютно разными, например, это информация о бизнес-процессах, местах обработки данных, сведений об их чувствительности и критичности, определения логической и физической структуры.

Наиболее прогрессивные компании сегодня имеют целые экосистемы по управлению жизненным циклом данных. Такие экосистемы могут включать в себя несколько приложений или программных продуктов, которые дирижируются Data Governance процессом, выстроенным внутри организации.

Наличие сегодня в компании инструментов автоматизации процессов Data Governance является не приятным дополнением, а обязательным пунктом программы развития системы управления данными. Без комплекса автоматизированных инструментов современные организации не могут эффективно управлять своими данными. Ответственное управление данными включает в себя соблюдение всех регуляторных норм и правил, поддержание надлежащего уровня безопасности для отдельных категорий данных, сохранение доверия или качества к данным на всём их жизненном пути. Также это позволит организациям внедрить data-driven подход и создать базу знаний о данных.

Существует огромное количество программных продуктов, которые позволяют автоматизировать процессы Data Governance (руководства данными). Как разобраться, что нужно именно вам? Конечно, для принятия взвешенного решения необходимо изучить свои бизнес-потребности, сформировать функциональные требования к инструментам и протестировать разные программы на соответствие выявленным бизнес-требованиям. Но если у вас нет достаточного опыта в этой сфере, то вы можете столкнуться с трудностями при подготовке требований. Как определить, что нужно вам сейчас, а с чем можно повременить и отложить на потом?

Давайте разберёмся с основными целями, которые мы хотим достичь, внедряя у себя Data Governance, и поймём, какие задачи для этого нам нужно решить, а потом последовательно опишем каждую функцию Data Governance, которая закрывает ту или иную задачу.

Для начала пройдёмся по глобальным целям — к чему стремится любая организация при работе со своими данными:

1. Достоверные данные: мы им доверяем, они качественные, и они доступны нам тогда, когда требуются.

2. Cамообслуживание данных (Self-service): простой доступ к данным и их анализ, лёгкий поиск нужной информации.

3. Быстрая поставка дата-продуктов (снижение time2market): добавление новых срезов информации в хранилища и витрины происходит быстро и в полном объёме.

4. Закон и порядок: соблюдение требований законодательства и регулятора в отношении использования и распространения данных.

Теперь посмотрим, что лежит под каждой из этих целей, какие задачи нужно запланировать и выполнить, чтобы достичь желаемого:

Это верхнеуровневое представление, в котором не хватает специфики каждой из организаций. Эта специфика появится при проработке стратегии, так как именно на этом этапе мы проводим выравнивание бизнес-стратегии с дата-стратегией и добавляем «особенности бизнеса» в план.

Тем не менее мы получили список задач и теперь можем прикинуть функциональный объём наших требований под общие цели:

*КМД, ЛМД, ФМД — концептуальная, логическая, физическая модель данных.

Этот очень упрощенный анализ потребностей и декомпозиция целей дают нам представление о том, чем мы должны заняться в первую очередь при внедрении у себя ответственного управления данными или Data Governance.

Итак, мы получили с вами семь опорных функций, которые должны присутствовать в вашей экосистеме управления данными. Это тесно связанные между собой модули, каждый из которых отвечает за свой пул задач цикла управления данными, но вместе они покрывают всю цепочку доставки ценности. Ниже раскрываю немного подробностей про каждый из функциональных блоков. Расположены они в том порядке, в котором их рекомендуется внедрять.

1. Владельцы данными: функционал отвечает за управление списками сотрудников, организационной структурой, бизнес-доменами, если такие выделены в организации, а также процессами согласования и назначения на роль «Владелец данных».

2. Бизнес-глоссарий: управляет терминами и описанием любых объектов данных, как простых — сущности и атрибуты, так и сложных — отчёты, витрины, мэппинги. При появлении любого термина важно понимать, кто является его владельцем.

3. Управление метаданными: модуль хранит и обрабатывает всю информацию о местах физической обработки данных (системы-источники), также предоставляет данные о бизнес-процессах, которые обслуживают информационные системы, управляет требованиями к данным и специализированной разметкой, например, в части принадлежности к персональным данным.

4. Архитектура и моделирование данных: инструменты управления архитектурой данных организации, процессами моделирования данных, создания и поддержания в актуальном состоянии концептуальных, логических и физических моделей данных, ведение репозитория данных.

5. Управление качеством данных: набор специализированных инструментов для непрерывного улучшения качества данных, включающий в себя мониторинг качества данных, регистрацию инцидентов качества, идентификацию проблем и оценку эффективности управления качеством данных.

6. Происхождение данных: специальный функционал, который на основании информации о физическом происхождении данных, местах переиспользования данных и о потоках данных между системами, строит карту происхождения данных (data lineage), отражающую весь путь конкретной сущности или атрибута от первоисточника до конечной витрины или отчета.

7. Соглашения на поставку данных: хранение мэппингов словарей КМД на ФМД информационных систем, создание соглашений на поставку данных, ведение реестров схем на обмен данными.

Максимальный эффект и выгода для бизнеса получается только от совместного использования всех этих модулей. Полезная синергия всех этих программ в конечном счете представляет из себя базу знаний организации, пользоваться которой могут все сотрудники. При этом могут решаться различные задачи, начиная от понимания в целом, какие бизнес-домены какими данными владеют, в каких информационных системах эти данные обрабатываются, и заканчивая проектированием новых продуктов, интеграционных потоков и витрин данных для анализа.

Эта база знаний предоставляет пользователям информацию о данных с различных ракурсов: бизнес-контекст, форматы хранения данных и алгоритмы вычисления показателей, владельцы данных и требования к качеству данных, бизнес-критичность и чувствительность данных, структуры баз данных в информационных системах и место в корпоративной модели.

Каждый модуль отвечает за свой набор свойств и характеристик объектов данных. Собирая их вместе в одной базе знаний, мы получаем единый согласованный взгляд на наши данные, можем легко ими управлять и в любой момент времени убедиться в надежности данных и в том, что они заслуживают доверия. При этом ВАЖНО обеспечить совместный и простой доступ к этой базе знаний всем бизнес-пользователям.

Ставьте лайк, если вам понравилась статья и вы хотите услышать продолжение про каждый из функциональных блоков. Пишите в комментариях, о чём в первую очередь хотите узнать.