7 опорных функций, которые должны быть в вашей системе Data Governance

Привет, Хабр! Я Татьяна, в РСХБ-Интех работаю с данными, в прошлый раз я рассказывала про свои любимые фреймворки для повышения эффективности бизнеса. В этот раз статья посвящена Data Governance.

7 опорных функций, которые должны быть в вашей системе Data Governance - 1

Давайте сразу определимся с терминами. Система Data Governance — это комплекс из мероприятий и программного обеспечения для эффективного управления жизненным циклом данных с соблюдением требований регулятора по безопасности данных и требований бизнес-пользователей к их достоверности. Для описания основных принципов управления данными обязательно разрабатывают стратегию, позволяющую проводить непрерывную оценку и контроль качества данных на всём их жизненном цикле.

Data Governance управляет не самими данными и их потоками, а метаданными, которые сопровождают их во всех точках ввода, обработки, хранения и перемещения, вплоть до уничтожения.

Что такое метаданные? Метаданные — это данные о данных, под которыми мы понимаем абсолютно любую информацию, которая поможет нам управлять жизненным циклом данных в ИТ-ландшафте предприятия. Метаданные бывают абсолютно разными, например, это информация о бизнес-процессах, местах обработки данных, сведений об их чувствительности и критичности, определения логической и физической структуры.

Наиболее прогрессивные компании сегодня имеют целые экосистемы по управлению жизненным циклом данных. Такие экосистемы могут включать в себя несколько приложений или программных продуктов, которые дирижируются Data Governance процессом, выстроенным внутри организации.

Наличие сегодня в компании инструментов автоматизации процессов Data Governance является не приятным дополнением, а обязательным пунктом программы развития системы управления данными. Без комплекса автоматизированных инструментов современные организации не могут эффективно управлять своими данными. Ответственное управление данными включает в себя соблюдение всех регуляторных норм и правил, поддержание надлежащего уровня безопасности для отдельных категорий данных, сохранение доверия или качества к данным на всём их жизненном пути. Также это позволит организациям внедрить data-driven подход и создать базу знаний о данных.

Существует огромное количество программных продуктов, которые позволяют автоматизировать процессы Data Governance (руководства данными). Как разобраться, что нужно именно вам? Конечно, для принятия взвешенного решения необходимо изучить свои бизнес-потребности, сформировать функциональные требования к инструментам и протестировать разные программы на соответствие выявленным бизнес-требованиям. Но если у вас нет достаточного опыта в этой сфере, то вы можете столкнуться с трудностями при подготовке требований. Как определить, что нужно вам сейчас, а с чем можно повременить и отложить на потом?

Давайте разберёмся с основными целями, которые мы хотим достичь, внедряя у себя Data Governance, и поймём, какие задачи для этого нам нужно решить, а потом последовательно опишем каждую функцию Data Governance, которая закрывает ту или иную задачу.

Для начала пройдёмся по глобальным целям — к чему стремится любая организация при работе со своими данными:

  1. Достоверные данные: мы им доверяем, они качественные, и они доступны нам тогда, когда требуются.

  2. Cамообслуживание данных (Self-service): простой доступ к данным и их анализ, лёгкий поиск нужной информации.

  3. Быстрая поставка дата-продуктов (снижение time2market): добавление новых срезов информации в хранилища и витрины происходит быстро и в полном объёме.

  4. Закон и порядок: соблюдение требований законодательства и регулятора в отношении использования и распространения данных.

Теперь посмотрим, что лежит под каждой из этих целей, какие задачи нужно запланировать и выполнить, чтобы достичь желаемого:

Цель

Чем обеспечивается — какие задачи решаем

Достоверные данные

1. Правилами создания и обработки данных, а также требованиями к их качеству управляют люди, имеющие соответствующие компетенции и экспертизу.

2. Требования к обработке, хранению и управлению данными регистрируются и используются всеми участниками.

3. Жизненный цикл данных прозрачен и понятен.

4. Проблемы с данными идентифицируются и выявляются некачественные данные, существуют SLA на устранение.

5. В любой момент доступна информация об уровнях качества данных.

Cамообслуживание данных

1. Анализ данных в ИТ-ландшафте должен быть простым и быстрым, бизнес-контекст понятен.

2. Происходит систематизация и классификация данных с ракурса бизнес-пользователя.

3. Простой поиск и фильтрация данных по заданным критериям.

4. Мэппинги на обмен и поставку данных формируются полуавтоматически из словаря данных или полностью автоматизированы.

Быстрая поставка дата-продуктов

1. Происходит систематизация и классификация данных с ракурса разработчика.

2. Анализ данных в ИТ-ландшафте должен быть простым и быстрым, бизнес-контекст понятен.

3. Требования к обработке, хранению и управлению данными регистрируются и используются всеми участниками.

4. Мэппинги на обмен и поставку данных формируются полуавтоматически из словаря данных или полностью автоматизированы.

Закон и порядок

1. Соблюдение требований к безопасному хранению и распространению данных.

2. Соблюдение требований к качеству предоставляемой информации во внешние организации.

3. Требования к обработке, хранению и управлению данными регистрируются и используются всеми участниками.

Это верхнеуровневое представление, в котором не хватает специфики каждой из организаций. Эта специфика появится при проработке стратегии, так как именно на этом этапе мы проводим выравнивание бизнес-стратегии с дата-стратегией и добавляем «особенности бизнеса» в план.

Тем не менее мы получили список задач и теперь можем прикинуть функциональный объём наших требований под общие цели:

Решаемая задача

Функциональные блоки Data Governance

Правилами создания и обработки данных, а также требованиями к их качеству управляют люди, имеющие cоответствующие компетенции и экспертизу.

Владельцы данных

Анализ данных в ИТ-ландшафте должен быть простым и быстрым, бизнес-контекст понятен.

Бизнес-глоссарий

Требования к обработке, хранению и управлению данными регистрируются и используются всеми.

Управление метаданными

Жизненный цикл данных прозрачен и понятен.

Происхождение данных

Проблемы с данными идентифицируются и выявляются некачественные данные, существуют SLA на устранение.

Управление качеством данных

В любой момент доступна информация об уровнях качества данных.

Управление качеством данных

Происходит систематизация и классификация данных с ракурса бизнес-пользователя.

Архитектура и моделирование данных (КМД и ЛМД)

Простой поиск и фильтрация данных по заданным критериям.

Управление метаданными

Происходит систематизация и классификация данных с ракурса разработчика.

Архитектура и моделирование данных (КМД, ЛМД, ФМД*)

Соблюдение требований к безопасному хранению и распространению данных.

Управление метаданными

Соблюдение требований к качеству предоставляемой информации во внешние организации.

Управление метаданными

Мэппинги на обмен и поставку данных формируются полуавтоматически из словаря данных или полностью автоматизированы.

Соглашения на поставку данных

*КМД, ЛМД, ФМД — концептуальная, логическая, физическая модель данных.

Этот очень упрощенный анализ потребностей и декомпозиция целей дают нам представление о том, чем мы должны заняться в первую очередь при внедрении у себя ответственного управления данными или Data Governance.

Итак, мы получили с вами семь опорных функций, которые должны присутствовать в вашей экосистеме управления данными. Это тесно связанные между собой модули, каждый из которых отвечает за свой пул задач цикла управления данными, но вместе они покрывают всю цепочку доставки ценности. Ниже раскрываю немного подробностей про каждый из функциональных блоков. Расположены они в том порядке, в котором их рекомендуется внедрять.

  1. Владельцы данными: функционал отвечает за управление списками сотрудников, организационной структурой, бизнес-доменами, если такие выделены в организации, а также процессами согласования и назначения на роль «Владелец данных».

  2. Бизнес-глоссарий: управляет терминами и описанием любых объектов данных, как простых — сущности и атрибуты, так и сложных — отчёты, витрины, мэппинги. При появлении любого термина важно понимать, кто является его владельцем.

  3. Управление метаданными: модуль хранит и обрабатывает всю информацию о местах физической обработки данных (системы-источники), также предоставляет данные о бизнес-процессах, которые обслуживают информационные системы, управляет требованиями к данным и специализированной разметкой, например, в части принадлежности к персональным данным.

  4. Архитектура и моделирование данных: инструменты управления архитектурой данных организации, процессами моделирования данных, создания и поддержания в актуальном состоянии концептуальных, логических и физических моделей данных, ведение репозитория данных.

  5. Управление качеством данных: набор специализированных инструментов для непрерывного улучшения качества данных, включающий в себя мониторинг качества данных, регистрацию инцидентов качества, идентификацию проблем и оценку эффективности управления качеством данных.

  6. Происхождение данных: специальный функционал, который на основании информации о физическом происхождении данных, местах переиспользования данных и о потоках данных между системами, строит карту происхождения данных (data lineage), отражающую весь путь конкретной сущности или атрибута от первоисточника до конечной витрины или отчета.

  7. Соглашения на поставку данных: хранение мэппингов словарей КМД на ФМД информационных систем, создание соглашений на поставку данных, ведение реестров схем на обмен данными.

Максимальный эффект и выгода для бизнеса получается только от совместного использования всех этих модулей. Полезная синергия всех этих программ в конечном счете представляет из себя базу знаний организации, пользоваться которой могут все сотрудники. При этом могут решаться различные задачи, начиная от понимания в целом, какие бизнес-домены какими данными владеют, в каких информационных системах эти данные обрабатываются, и заканчивая проектированием новых продуктов, интеграционных потоков и витрин данных для анализа.

Эта база знаний предоставляет пользователям информацию о данных с различных ракурсов: бизнес-контекст, форматы хранения данных и алгоритмы вычисления показателей, владельцы данных и требования к качеству данных, бизнес-критичность и чувствительность данных, структуры баз данных в информационных системах и место в корпоративной модели.

Каждый модуль отвечает за свой набор свойств и характеристик объектов данных. Собирая их вместе в одной базе знаний, мы получаем единый согласованный взгляд на наши данные, можем легко ими управлять и в любой момент времени убедиться в надежности данных и в том, что они заслуживают доверия. При этом ВАЖНО обеспечить совместный и простой доступ к этой базе знаний всем бизнес-пользователям.

Ставьте лайк, если вам понравилась статья и вы хотите услышать продолжение про каждый из функциональных блоков. Пишите в комментариях, о чём в первую очередь хотите узнать.

Автор: Tinkao

Источник

Оставить комментарий