Как подойти к внедрению DWH, чтобы не было «больно»?

В апреле Qlever Solutions стартовали цикл вебинаров по эффективному внедрению корпоративных хранилищ данных.

На первой онлайн-встрече технический директор Qlever Андрей Харлак поделился опытом Qlever Solutions в разработке DWH и рассказал, как выбрать стек, методологию и создать идеальный Roadmap проекта внедрения корпоративного хранилища данных.

По итогам вводной онлайн-встречи решили в статье рассказать о том, кому стоит задуматься о внедрении DWH, как сократить вероятность ошибок на этапе разработки проекта и сэкономить ИТ-бюджеты.

Вне зависимости от отрасли количество данных для каждого бизнеса из года в год растет.

Например, в ритейле ежедневно обновляются данные из системы управления торговым залом и кассовых систем, строительство собирает данные из BPM или BIM-систем, современные производства используют системы ERP и WMS, IoT-датчики.

И абсолютно у всех есть различные бухгалтерские, CRM, HRM-системы, таблицы Excel, PDF-файлы, базы данных.

Эта информация ценна для бизнеса, с помощью ее анализа можно отследить тенденции и запланировать изменения, оптимизировать процессы, усовершенствовать взаимодействие с клиентами и поставщиками, сформировать новые конкурентные преимущества.

Но если не внедрить грамотное управление всеми этими данными, они могут стать причиной новых проблем.

Проблему хаоса в данных решает Data Warehouse (DWH, корпоративное хранилище данных, КХД) – единый репозиторий, который объединяет и структурирует текущие и исторические данные из разных источников для дальнейшего построения аналитических отчётов на их основе.

Что такое DWH, и какие задачи бизнеса решает корпоративное хранилище данных


В архитектуре управления данными корпоративное хранилище занимает одну из центральных ролей.

Задуматься о внедрении КХД особенно стоит компаниям, которые:

• Осуществляют регулярный анализ большого объема разноформатных данных из разрозненных источников
  
• Сталкиваются с необходимостью проводить глубокий, исторический анализ данных
  
• Работают с высоконагруженными системами, содержащими критически важные для бизнеса данные
  
• Нуждаются в структурированных данных для обеспечения специфической отчетности по ролям и подразделениям

Грамотное внедрение корпоративного хранилища данных способно сократить затраты на процесс обработки данных:

• Интегрирует процессы работы с данными в одно приложение
  
• Предоставляет ключевые метрики для бизнеса
  
• Помогает ускорить обработку сложных запросов
  
• Обеспечивает анализ данных в режиме реального времени
  
• Совершенствует процессы принятия решений

Порядок в данных, которого помогает достичь DWH, позволяет повысить ценность компании на рынке.

Согласно международным стандартам финансовой отчетности, базы данных — это нематериальный актив (intangible assets) компании, который повышает ее рыночную стоимость.

По отчету BrandFinance стоимость нематериальных активов публичных компаний по итогам 2023 года составляет 61.9 трлн.$, и растет примерно на 8% в год, в то время как материальные активы остаются на том же уровне.

Такая динамика роста говорит о том, что инвестиции в инфраструктуру управления данным выгодно влияют на капитализацию компании.

В российской практике задача оценки стоимости данных как актива до сих пор не решена, но подходы уже обсуждаются и в ближайшем будущем будут внедрены.

Многие компании осознают важность внедрения корпоративного хранилища данных, однако не все понимают, что при неграмотном, хаотичном и спешном подходе проект может привести к высоким затратам и усугублению проблем в работе с данными.

В своей практике эксперты Qlever Solutions обычно сталкиваются с двумя видами сложностей клиентов при работе над проектами DWH.

В штате компании есть аналитики, которые вручную собирают данные из разных источников, но количество этих источников растёт, а качество ручного сбора падает.

В таких ситуациях при внедрении корпоративного хранилища встают вопросы:

• С чего начать внедрение DWH?
  
• Кто должен быть в команде внедрения, как распределить роли в проекте?
  
• Как навести порядок во всех существующих источниках и интегрировать их с DWH?

В компании внедрено хранилище, но оно реализовано наспех, не учтены растущие потребности бизнеса, необходимые задачи не решаются, затраты на поддержку КХД растут.

Компания сталкивается с вопросами:

• Стоит ли проводить рефакторинг DWH?
  
• Какую методологию выбрать?
  
• Как учесть все изменения в источниках данных, бизнес-процессах, стратегии компании?

В первую очередь, и тем компаниям, которые уже предприняли неудачные попытки внедрения, и тем, кто находится только в начале проекта, стоит предпринять ряд похожих шагов.

1. Начальный уровень (Ad-hoc)

• Отсутствие управления процессами
• Результаты аналитики зависят от сотрудников
• Отчетность не автоматизирована и собирается вручную
• Проблемы качества данных не решаются

2. Минимальный уровень (Повторяемый)

• Определены некоторые роли и процессы
  
• Появляется управление процессами
  
• Негативные последствия низкого качества данных осознаны
  
• Начинается внедрение инструментов аналитики

3. Установленный уровень

• Данные становятся ценным активом
  
• Процессы стандартизированы
  
• Качество данных более прогнозируемо

• Внедряются гибкие и масштабируемые инструменты

4. Управляемый уровень

• Централизованное управление и руководство процессами
  
• Для оценки процессов внедрены KPI
  
• Внедрено управление рисками, связанными с данными
  
• Измеримое повышение качества данных

5. Оптимизированный уровень

• Процессы легко спрогнозировать
  
• Риски сведены к минимуму
  
• Можно измерить степень достижения целей, зависящих от управления данными

Для того, чтобы оценить поставленные задачи на возможность реализации, стоит:

• Определить, чего не хватает в текущем процессе управления данными
  
• Договориться и синхронизироваться с ожиданиями у участников процесса: команда внедрения, топ-менеджмент, бизнес-пользователи
  
• Понять, есть ли в компании необходимые ресурсы: бюджеты, команда, технологии

На данном этапе в основу проекта ложатся поставленные ранее задачи и цели, учитываются имеющиеся политики компании относительно безопасности данных и импортозамещения, состояние инфраструктуры, подбирается команда для реализации проекта.

На этапе проектирования необходимо выбрать стек технологий и подходящую методологию моделирования данных для хранилища.

Узнайте о том, какая методология проектирования DWH подойдет для вашего бизнеса


На схеме мы показали, что DWH можно строить как на проприетарном или Оpen Source ПО, так и размещать в облаке или on-premise.

При этом используется комбинация из разных инструментов, так как идеального решения из "коробки" для построения хранилища не существует.

Проприетарные решения чаще всего требуют развертывания дополнительных программных продуктов, например, при использовании Arenadata необходимо развернуть оркестратор, и сам вендор рекомендует Open source инструмент Airflow.

Open source ПО предлагает наибольшее разнообразие продуктов, при этом одна и та же задача на проекте может закрываться несколькими средствами.

Максимальную отказоустойчивость могут обеспечить облачные решения, однако, их применение зависит от политики безопасности в компании.

Самым сложным для поддержки является вариант построения собственной инфраструктуры. Несмотря на финансовые выгоды, такой вариант требует регулярного обновления продуктов и привлечения обширного штата сотрудников (DataOps, SRE-инженеры).

Подробную информацию о стеке, который чаще всего в проектах использует команда Qlever Solutions, вы можете узнать, посмотрев запись вебинара «Гибкие методологии в построении DWH. Как подойти к внедрению, чтобы не было "больно"?»

Компании могут годами строить корпоративное хранилище и тратить миллионы на систему, которая не может быть органически встроена в дальнейшую стратегию развития бизнеса.

Читайте про опыт внедрения DWH, которой стал для компаний дорогим удовольствием и только усугубил проблемы с данными


Чтобы не было "больно" при построении или рефакторинге DWH, необходимо:

• Определить себя с точки зрения ситуации сейчас + уровень зрелости (AS IS)
• Зафиксировать истинные задачи
• Договориться о результатах (Defenition of Done)
• Спокойно спроектировать решение
• Дисциплинированно реализовывать его

Для 100% эффективности проекта стоит обратиться к экспертам с опытом внедрения DWH.


Как вам может помочь Qlever Solutions в зависимости от уровня зрелости управления данными в компании: