Какая архитектура хранилища данных лучше всего подходит для отчетности?

Большинство предприятий полагаются на хранилище данных как на единый источник достоверной информации — консолидированное хранилище данных, которое служит для компаний уровнем отчетности, позволяющим выявлять тенденции и получать ценную бизнес-информацию. Однако для максимизации производительности и максимально эффективного использования хранилища данных важно выбрать правильную архитектуру и создать четко определенную модель данных.

Узнайте больше об архитектуре хранилища данных: типы, компоненты и концепции

Когда мы говорим об архитектуре хранилищ данных, у вас есть множество вариантов, включая 3NF, хранилище данных, многомерные модели (схема «звезда» и «снежинка») и одна большая таблица (OBT). Однако не все из них подходят для отчетности.

Важным фактором, который следует учитывать, является уровень нормализации/денормализации в модели. Высоконормализованную архитектуру зачастую сложно использовать из-за большого количества таблиц и связей. Запросы, созданные для потребления, также очень сложны из-за большого количества соединений между сущностями. Давайте взглянем на все эти архитектуры хранилищ данных, чтобы определить, какой вариант отчетности является лучшим.

3NF и хранилище данных

С самого начала становится очевидно, что модели 3NF и Data Vault не подходят в качестве уровней отчетности, поскольку эти модели сильно нормализованы. Эти архитектуры ориентированы на уменьшение избыточности данных, что естественным образом приводит к увеличению количества таблиц. Модели 3NF в основном используются в качестве уровня ODS (хранилища операционных данных), который извлекает данные из нескольких источников в централизованный репозиторий.

Хранилище данных, с другой стороны, оптимизирован для масштабируемости и адаптируемости с точки зрения добавления новых источников данных с меньшей сложностью. Витрины данных в стиле Кимбалла обычно строятся поверх хранилища данных, поскольку использование хранилища непосредственно для отчетов нецелесообразно из-за фактора нормализации. Однако его можно использовать в целях аудита.

Размерные модели

Размерные модели специально разработаны для работы в качестве слоев отчетности. Денормализованные структуры этих моделей приводят к повышению производительности запросов и упрощению их использования. В многомерных моделях существует два типа схем: схема звезды и схема снежинки. Основное различие между ними заключается в том, что схема «снежинка» содержит нормализованные измерения, тогда как схема «звезда» содержит денормализованные измерения.

Хотя Snowflake предлагает различные преимущества, в том числе снижение избыточности данных и упрощенную навигацию, звездообразная схема является явным победителем, когда речь идет исключительно об использовании для отчетов. Это просто потому, что последний содержит денормализованные измерения, а это означает, что запросы становятся менее сложными.

Более того, отслеживание исторических данных с медленно меняющимися измерениями (SCD) может оказаться затруднительным из-за родительско-дочерних зависимостей между измерениями в схеме Snowflake. Эта проблема отсутствует в звездообразной схеме.

ОБТ (Один большой стол)

На данный момент мы установили, что уровень нормализации/денормализации является ключом к определению того, подходит ли архитектура для составления отчетов. По этой логике звездообразная схема остается предпочтительным вариантом. Однако OBT делает еще один шаг вперед, обеспечивая максимально возможный уровень денормализации. Он объединяет все таблицы в одну большую таблицу, содержащую все данные.

Если денормализация действительно является секретом надежного уровня отчетности, архитектура OBT должна стать очевидным выбором для экспертов по BI. Но действительно ли все так просто?

Ну не совсем. Вот что дает звездообразной схеме преимущество перед OBT: звездообразные схемы оптимизированы для отслеживания исторических данных, что является обязательным требованием для целей аналитики. Более того, они часто содержат согласованные измерения многократного использования, которые легко обслуживать и масштабировать для поддержки межбизнесовой отчетности и анализа.

Хотя OBT обеспечивает высочайшую производительность при запросе данных, особенно в случае столбцовой базы данных, у этой архитектуры есть свои проблемы. Поскольку все упаковано в одну таблицу, избыточность данных высока, что затрудняет обслуживание архитектуры. Кроме того, сохранение исторических данных с помощью SCD, хотя и не является невозможным, является гораздо более сложной задачей.

Создавать отчеты на основе текущих данных легко при использовании OBT, но когда дело доходит до исторической отчетности, все может усложниться, что может стать препятствием для многих экспертов по BI.

Заключение

На основании приведенного выше анализа можно с уверенностью заключить, что звездообразная схема действительно является наиболее подходящей архитектурой для создания отчетов. Хотя другие архитектуры имеют свои преимущества, звездообразная схема обеспечивает идеальный баланс между уровнем денормализации, необходимым для менее сложных запросов.

Звездообразная схема также предлагает структурные преимущества, такие как управление историческими данными и простота использования, что выделяет ее среди остальных архитектур. Создание звездообразной схемы с нуля с использованием OLTP-системы в качестве отправной точки может оказаться сложной задачей и отнять много времени. К счастью, Astera DWB Builder предлагает идеальное решение этой проблемы.

Astera DW Builder имеет встроенный конструктор моделей данных, интерфейс «щелкни и укажи», а также возможность нормализовать или денормализовать объекты без написания кода. Используя интуитивно понятный конструктор, вы можете добавлять новые таблицы/поля и изменять существующие структуры с помощью всего лишь нескольких перетаскиваний.

Кроме того, функция автоматизации многомерной модели позволяет создать звездообразную схему непосредственно из существующей архитектуры всего за несколько щелчков мышью. Создание и использование звездообразных схем для отчетов еще никогда не было таким простым!

Если вы хотите изучить гибкий способ создания своего хранилища данных, свяжитесь с нами по адресу [электронная почта защищена] прямо сейчас

Узнайте больше о размерном моделировании: обзор, преимущества и советы по проектированию