Автоматизированный, Без кода Стек данных
Научиться Astera Data Stack может упростить и оптимизировать управление данными вашего предприятия.
Рекомендации по проектированию масштабируемой архитектуры витрины данных
Масштабируемый витрина данных Проектирование архитектуры может снизить риск потери данных, а также затраты и время на внедрение, поскольку оно в основном фокусируется на подмножестве данных, а не на полных корпоративных данных. Поэтому витрины данных часто рассматриваются как один из наиболее эффективных механизмов обеспечения быстрой и последовательной поддержки принятия решений.
Хотя витрина данных значительно снижает риск, связанный с разработкой системы поддержки принятия решений (DSS), для ее правильного внедрения необходимы навыки и опыт.
В этой статье мы начнем с определения витрины данных, обсудим некоторые примеры, а затем углубимся в составленный список лучших практик, которые помогут вам легко разработать масштабируемую и независимую архитектуру витрины данных для нужд вашего бизнеса.
с нуля
Определение витрины данных
Витрина данных определяется как сокращенная или сокращенная версия предприятия. информационное хранилище. Он извлекает информацию из меньшего количества ресурсов по сравнению с хранилищем данных. Архитектура витрины данных ориентирована на потребности очень специфических бизнес-подразделений, функций или отделов.
Объяснение витрин данных
Зачем бизнесу нужна витрина данных?
Существует множество преимуществ разработки независимой архитектуры витрины данных для бизнес-пользователей, таких как:
- Уменьшая объем данных, витрина данных помогает сократить время отклика пользователя и обеспечивает быстрый доступ к часто используемым данным.
- Это легко реализовать и требует гораздо меньших затрат по сравнению с внедрением полного хранилища данных.
- Он масштабируемый и гибкий, что удобно при смене моделей.
- Данные разделены в витрине данных, что позволяет лучше контролировать права на данные, т. е. тех, кто может просматривать и изменять данные.
- Данные могут храниться и организовываться на различных аппаратных или программных платформах.
Лучшие практики проектирования архитектуры витрины данных
Чтобы обеспечить эффективность и масштабируемость архитектуры витрины данных вашего предприятия, следуйте этим инструкциям. советы по проектированию хранилища данных.
1. Определите область действия витрины данных
Прежде чем переходить к этапу реализации модели витрины данных вашего предприятия, важно иметь надежный план, учитывающий все бизнес-потребности и приоритеты всех членов команды и конечных пользователей.
Начните с описания масштаба проекта, выделив все риски и ограничения. Это поможет сформулировать правильные ожидания и оценить расходы.
Возможно, вам придется скорректировать требования в отношении ресурсов (например, человеческих, технических и финансовых ресурсов), чтобы не отставать от запланированной даты завершения.
С учетом этого объема разработайте список основных результатов и распределите обязанности между вашей командой.
2. Обратите внимание на модель логической витрины данных.
Модель логической витрины данных — это теоретическая неосязаемая конструкция, которая организует данные с точки зрения логических отношений, известных как сущности и атрибуты. Сущность — это элемент данных, тогда как атрибут помогает определить эксклюзивность сущности.
При планировании архитектуры витрины данных сосредоточьтесь на потребностях вашего бизнеса. Сопоставьте исходные данные с предметно-ориентированной информацией в месте назначения. витрина данных схема. Источник модель данных Требования конечного пользователя являются важными элементами, используемыми при разработке схемы витрины данных.
Возможно, вам придется изменить физическую реализацию логической модели данных в зависимости от параметров системы, таких как размер компьютера, количество операторов, дисковое пространство, тип сети и программное обеспечение.
3. Определите соответствующие данные
Обычно элементы данных идентифицируются на основе бизнес-требований. Однако зачастую вам, возможно, придется выйти за рамки запросов конечных пользователей и ожидать будущих требований.
Хороший совет — начать с бизнес-факторов, имеющих отношение к вашей предметной области и имеющих решающее значение для вашего отдела. Например, если вы разрабатываете модель витрины данных для своего отдела продаж и маркетинга, ключевыми факторами могут быть клиент, местоположение, продукт, продажи и рекламные акции. Также подумайте, интересны ли вам ежемесячные, ежедневные или еженедельные записи.
Затем сформируйте список важных полей данных на основе потребностей, выдвинутых операторами витрин данных. Например, некоторыми полями интереса в витрине маркетинговых данных могут быть названия продуктов, характеристики продвижения, регионы и страны.
Вам также следует разделить данные на числовые показатели (называемые фактами) и описательные записи (называемые измерениями).
Источник: ксенонстек
4. Сузьте источники данных
После того как вы перечислили все измерения и факты, составляющие модель витрины данных, следующим шагом будет определение источников, которые будут кормить репозиторий. Эти источники могут включать базы данных, файлы Excel, файлы с разделителями и т. д.
Затем перейдите к сопоставлению измерений с таблицами поиска в вашей операционной системе, тогда как факты можно сопоставить с таблицами транзакций.
Вы также можете обнаружить, что некоторые необходимые данные невозможно сопоставить. Обычно это происходит, когда поля в исходной системе не соответствуют необходимым группам данных в витрине данных.
Например, в телекоммуникационной корпорации телефонные звонки могут быть сгруппированы по коду города, но для витрины данных требуются данные в виде почтового индекса. Сейчас сложно сопоставить эти измерения, поскольку один код города состоит из множества почтовых индексов, а почтовый индекс может включать в себя несколько кодов городов. В этой ситуации перевод данных в общий системный формат может потребовать дорогостоящей обработки.
5. Создайте звездообразную схему
При создании звездообразной схемы важно описать взаимосвязь между таблицами фактов и измерений. Это делается с помощью ключей, которые включают один или несколько столбцов, что делает строку в таблице эксклюзивной. Первичный ключ, включающий несколько столбцов, называется составным или составным ключом.
Чтобы связать факты и измерения, полезно использовать суррогатные ключи вместо первичного ключа фактической исходной таблицы. Это позволяет менеджеру витрины данных контролировать ключи внутри среда витрины данных, даже если ключи меняются в операционной системе.
Суррогатный ключ — это созданная системой серия целых чисел, которую можно включить в таблицу измерений вместе с первичным ключом. Он предлагает больше преимуществ по сравнению с первичным ключом, поскольку последний часто представляет собой длинную строку символов. Принимая во внимание, что первичный ключ включает целые числа, что сокращает время ответа на запрос.
Последняя мысль
Со временем объем данных вашей независимой витрины данных, вероятно, увеличится. Таким образом, при физической реализации логической модели витрины данных важно учитывать фактор масштабируемости. Чтобы удовлетворить требования к масштабируемости, рассмотрите возможность минимизации ограничений таких факторов, как размер оборудования, емкость программного обеспечения и пропускная способность системы.
Проектирование архитектуры витрины данных Это сложный процесс, который включает в себя несколько трудоемких этапов, а иногда и значительные затраты. Следуя пяти рекомендациям, упомянутым в этой статье, вы сможете снизить вероятность ошибок и ускорить процесс проектирования.
