Автоматизированный, Без кода Стек данных
Научиться Astera Data Stack может упростить и оптимизировать управление данными вашего предприятия.
Использование построения хранилища данных SCD в Astera Построитель хранилища данных
Хранилище данных SCD — это основа отслеживания изменений в данных. Изменения всегда присутствуют в каждом бизнесе. С точки зрения HR, сотрудники продвигаются по службе и получают новые звания, а политика вознаграждения и страхования переписывается с каждым годом. В маркетинге линейки продуктов переименовываются, объединяются или запускаются с большой помпой. В Sales приходят новые клиенты, а ключевые клиенты переходят от одного агента к другому.
Вопрос в том, учитывают ли ваши отчеты эту постоянную эволюцию? Создана ли ваша архитектура BI для обеспечения как текущего, так и исторического представления ваших данных, или вы получаете только периодические снимки каждой исходной системы?
Для того, кто строит информационное хранилище, лучший способ справиться с изменением атрибутов — это медленно меняющиеся размеры. Медленно меняющиеся измерения в хранилище данных сохраняют как текущую, так и предыдущую информацию с течением времени. Эти таблицы отражают изменения по мере их возникновения в выбранных атрибутах в каждом измерении. В зависимости от ваших требований они могут перезаписывать существующие записи или создавать дополнительные поля для отображения предыдущих версий записи.
AsteraНовый построитель хранилищ данных (ADWB) предоставляет полноценный конструктор моделей данных, который позволяет легко настраивать таблицы измерений и назначать различные Типы ХДС к выбранным атрибутам. Давайте рассмотрим некоторые случаи использования, которые наш продукт может помочь вам решить.
Исправление ошибочных записей в хранилище данных SCD
Любая исходная система, которая полагается на ввод данных вручную, подвержена человеческим ошибкам. От имен и адресов до котировок и оценок — в ваших исходных системах существуют различные записи, которые, возможно, потребуется исправить для обеспечения точности. В таких случаях сохранение предыдущей версии записи в хранилище данных только усложнит ваши данные. Лучшее решение — рассматривать записи в этих полях как атрибуты SCD-1, где текущие значения перезаписывают предыдущие данные.
Витрина данных о продажах, созданная с использованием конструктора моделей данных DWB
Допустим, вы использовали DWB для разработки многомерной модели вашей системы продаж и заметили неправильные имена клиентов в последнем пакете обновлений. Просто откройте измерение «Клиент» в дизайнере модели данных и в раскрывающемся меню установите имя клиента как SCD1 — Обновить.
Установка типа SCD для атрибута CustomerName
Теперь при внесении исправлений в исходную базу данных соответствующая запись будет обновляться в хранилище данных, как показано ниже. В хранилище данных это называется измерением типа 1.
Таблица размеров клиента до исправления
Таблица измерений клиентов с применением SCD1 к полю имени клиента
Сравнение текущих и прошлых данных в многомерном хранилище данных
Одной из ключевых функций корпоративного хранилища данных является поддержка долгосрочного стратегического анализа, который требует сохранения и отслеживания изменений внутри атрибута с течением времени.
Допустим, ваша компания недавно объединила несколько районных филиалов и создала новые регионы для своих магазинов. Если вы хотите отслеживать, как реорганизация повлияет на эффективность продаж, вы можете рассматривать поле «Район» как медленно меняющееся измерение типа 2. Это обеспечит отображение изменений в районах магазинов в виде новых записей в таблице.
В DWB вы можете применить параметр SCD2 — Обновить и вставить для поля «Район» в таблице измерений «Магазин». По мере внесения изменений в исходный атрибут будут созданы новые версии записи, которые будут вставлены в таблицу измерений, причем каждой из них будет присвоен уникальный суррогатный ключ. В зависимости от типа анализа, который компания хочет провести, вы также можете выбрать параметры «Дата вступления в силу» и «Дата истечения срока действия», чтобы любые изменения в регионах магазина можно было отслеживать до определенного периода.
В таблице ниже показано, как эти конфигурации повлияют на выходные данные вашей таблицы измерений.
Существующая таблица
Обновленная таблица – SCD2 (дата вступления в силу и дата истечения срока действия)
Отслеживание изменений статуса
Некоторые отделы, например отдел кадров, ожидают частых изменений записей в своих системах. Например, должность сотрудника может меняться несколько раз в год. В этих случаях компании обычно хотят иметь возможность вести историю данных, сохраняя при этом возможность быстрого запроса к ним на основе самого последнего значения атрибута.
В DWB вы можете решить эту ситуацию, настроив должность в качестве поля SCD6. Это означает, что таблица будет использовать элементы SCD1, SCD2 и SCD3 для записи изменений этого атрибута. Эти элементы следующие:
- Добавляется строка для отслеживания изменений атрибута по мере их возникновения (SCD2).
- Дополнительный столбец показывает текущее значение атрибута (SCD3).
- Поле текущего значения будет перезаписано и отобразит обновленное значение атрибута (SCD1).
В приведенном ниже примере показано, как будут выглядеть изменения в поле Job_Title, если будет реализован SCD6.
Текущая таблица
Обновленная таблица – SCD6 (активный флаг, дата вступления в силу и дата истечения срока действия)
Автоматизируйте свое корпоративное хранилище данных SCD
AsteraData Warehouse Builder на основе метаданных поможет вам спроектировать, создать и развернуть проект хранилища данных за считанные дни. Благодаря полному спектру функций многомерного моделирования и надежной платформе ETL для быстрого сопоставления, загрузки и подготовки данных мы предоставляем вам единую платформу со всеми инструментами, необходимыми для успешной реализации EDW.
Узнайте, как наш продукт может помочь вам решить ваш вариант использования уже сегодня. Нажмите здесь чтобы связаться с нашей технической командой.
Существует шесть типов медленно меняющихся размеров (SCD):
- Тип 0 или фиксированный размер: В этом фиксированном размере никакие изменения не допускаются, поскольку размер никогда не меняется.
- Введите 1 или нет истории: записи обновляются напрямую, без записей исторических значений этого типа.
- Управление версиями типа 2 или строки: В этом типе можно создавать новые дополнительные записи, а измененные записи отслеживать с помощью флагов и оперативных данных.
- Введите столбец 3 или предыдущее значение: В этом типе можно добавить новый столбец, а изменения можно отслеживать по определенному атрибуту.
- Введите 4 или таблицу истории: Он использует историческую таблицу для записи всех изменений и отображения текущего значения в таблице измерений.
- Тип 6 или гибридный SCD: Он сочетает в себе методы SCD (медленно меняющегося измерения) типов 1, 2 и 3 для отслеживания изменений.
Вот некоторые из распространенных примеров SCD и случаев использования в хранилищах данных:
- Исправление ошибочных записей
- Сравнение текущего и. Прошлые данные
- Отслеживание изменений статуса
