Обсуждение прошлого, настоящего и будущего хранилищ данных с экспертом по бизнес-аналитике Полом Келлеттом

По мере того, как мы приближаемся к выпуску Astera Построитель хранилища данных, мы хотим дать читателям представление о том, как они могут сделать свои BI-архитектуры более быстрыми, гибкими и, в конечном итоге, лучше подходящими для требований современной среды обработки больших объемов и высокоскоростных данных.

Когда дело доходит до создания и внедрения эффективных решений для хранения данных, мало кто может похвастаться такими полномочиями, которые Пол Келлетт подносит к столу. Имея за плечами 25-летний опыт работы над широким спектром проектов для организаций любого уровня, Пол своими глазами видел, как клиенты реагировали на постоянно растущую потребность в бизнес-аналитике на своем предприятии.

Пол Келлетт (эксперт по хранилищам данных)

В ходе этой обширной беседы мы воспользовались возможностью узнать некоторые откровенные мысли Пола по таким темам, как: текущее состояние корпоративного BI, как автоматизация может ускорить развитие хранилищ данных, и куда, по его мнению, будет развиваться отрасль в ближайшие пару лет.

Итак, что бы вы назвали наиболее значительными изменениями в корпоративном бизнес-аналитике с тех пор, как вы начали работать в этой области?

Итак, я начал работать в этой отрасли более 25 лет назад с того, что тогда называлось MIS (Информационные системы управления), работая преимущественно над проектами баз данных. С тех пор я участвовал в различных BI-проектах, от корпоративных до ведомственных и малых и средних предприятий.

Если бы мне пришлось говорить об основных изменениях, которые я увидел за это время, я бы сказал: гораздо большее понимание [важности BI], большие объемы данных, большая сложность данных и улучшенные поддерживающие технологии. Хотя основные затраты и сложность dуменьшается, есть еще путь туда. [Я думаю] визуальная сторона BI также значительно улучшилась.

Какие наиболее распространенные варианты использования хранилищ данных вы видите?

Разнообразие вариантов использования удивительно велико, но наиболее типичными являются Среда с нуля когда организация решила реализовать сценарии BI или замены существующих решений. Замена обычно вызвана плохим/неудачным существующим решением (что, как ни удивительно, обычное дело) или замена основных систем исходных данных. Существуют также различные варианты использования, когда элементы решения полностью заменяются, например, замена ETL, написанного вручную, инструментом ETL. Последнее имеет тенденцию быть более постепенным.

Считаете ли вы, что каждая организация может извлечь выгоду из хранилища данных?

Настоящее хранилище данных предназначено не для всех, но я еще не видел организации, которая не смогла бы улучшить использование данных и информации.

EDW может стать значительной инвестицией. Итак, [успешное внедрение] BI обычно требует культурных изменений в том, как бизнес использует данные. Один из распространенных путей к «настоящему BI» проходит через витрины данных, решения для подразделений и улучшенную отчетность, при этом каждое последующее внедрение улучшает использование данных организацией. Во многих случаях EDW находится в конце этого пути.

По иронии судьбы, крупные предприятия часто в конечном итоге появятся мавзолеи данных, которые являются узкими местами в доставке данных.й. [Эти архитектуры] часто используются конкретными бизнес-подразделениями и поэтому плохо поддерживают более широкий бизнес в отличие от настоящих корпоративных решений [таких как хранилище данных]. Решение заключается в создании большего количества витрин данных для поддержки различных бизнес-элементов. Эти данные затем следует интегрировать с основным хранилищем данных.

Есть ли какие-то конкретные факторы, на которые вы бы обращали внимание, рекомендуя EDW клиенту?

Я ищу компанию, желающую улучшить свою осведомленность о данных, поскольку все должно следовать из этого. Я рекомендую поэтапный подход, где это возможно. Конечным продуктом вполне могло бы стать хранилище данных, но важно, чтобы преимущества для бизнеса предоставлялись постепенно.

Какие ключевые проблемы, по вашему мнению, возникают в процессе разработки хранилища данных?

Вероятно, доступ к данным и их понимание… эта часть всегда интересна. Привлечение бизнеса к такому подходу также может оказаться непростой задачей. Еще одно ограничение, с которым я столкнулся, — это отсутствие доступа к специалистам по бизнес-аналитике, которые действительно разбираются в технологиях и могут общаться с бизнесом.

Что, по вашему мнению, является наиболее важным шагом при разработке хранилища данных? Извлечение исходных данных? Данные моделирования? Создание процессов ETL?

Самое главное – это результат. Данные должны быть в форме, поддерживающей BI. В первую очередь это означает, что данные не теряют никакой информации и что они доступны в удобном для бизнеса виде.

Есть много способов добраться до этой точки, но наиболее важным является пункт назначения. При этом цель BI часто неясна с самого начала, поэтому способность быстро адаптировать конечный результат на основе полученных знаний и отзывов бизнеса имеет первостепенное значение. Это предполагает наличие эффективного и быстрого механизма доставки данных, а также мощного инструмента представления [на интерфейсе].

Что вы думаете о таких архитектурах, как озеро данных или хранилище данных? Являются ли альтернативы хранилищу данных дополнительными решениями или просто шумихой?

Как правило, они дополняют друг друга, а не являются основными. Озера данных обычно намного дешевле и проще в реализации. Концепция озер данных относительно хорошо известна и в последнее время подверглась ребрендингу. Более 20 лет назад его можно было бы назвать хранилищем операционных данных (ODS). Я часто создаю невидимое озеро данных как часть решения для хранилища данных. Невидимый в том смысле, что я не публикую информацию о его существовании как озере данных, поскольку он обеспечивает гибкость и возможность аудита. Озеро данных также может быть дешевым промежуточным этапом для более сложного решения BI, например это позволяет улучшить отчетность.

Хранилище данных — это скорее компонент, управляемый ИТ. Более формальный и структурированный, ИМО менее часто оправдан из-за дополнительных затрат и сроков, которые он добавляет к решению. Если существует необходимость широко использовать общие данные во многих приложениях в дополнение к ХД, то это становится оправданным.

По вашему мнению, какую роль инструменты автоматизации хранилищ данных играют в ускорении и оптимизации разработки хранилищ данных?

Огромный. Огромный. Массивный. Стоит ли мне продолжать? Слишком часто хранилище данных представляет собой монолитный проект каскадного типа, в котором нас, техно-ботаников, запирают в комнате на длительный период и просят выйти с наиболее вероятным решением того, что, по нашему мнению, нужно бизнесу. Да, я преувеличиваю, но этот процесс должен быть быстрым и постепенным, с частыми короткими циклами проверки и доработки. которые занимаются бизнесом. Другими словами, хранилища данных должны стать по-настоящему гибкими.

Из прошлого опыта мы знаем, что разбиение хранилища данных на множество небольших частей снижает риск, повышает качество доставки и улучшает взаимодействие с бизнесом. Это гораздо проще сделать с помощью соответствующих инструментов автоматизации.

Другой способ взглянуть на это с точки зрения рентабельности инвестиций. В типичном хранилище данных основная часть затрат приходится на подготовку данных. Снижение этих расходов за счет надлежащей автоматизации, ориентированной на данные, имеет множество преимуществ, включая более быструю доставку и более высокое качество. данные для снижения барьера входа. 

Повышение качества, очевидно, является важнейшим преимуществом автоматизации, поскольку объем заказных, более сложных и подверженных проблемам операций значительно сокращается с помощью соответствующего инструмента.

Какие функции/функции, по вашему мнению, необходимы для эффективного инструмента автоматизации хранилища данных?

Повторяющиеся задачи, например, обработка ошибок, аудит, создание SCDи т. д. должны быть очень простыми и надежными. В сборке DW много повторяющихся задач. Интеграция с исходными системами и целевой моделью должна быть надежной. Для обслуживания и гибкой доставки очень важна способность выполнять анализ зависимостей для понимания обработки.

Считаете ли вы, что облачные хранилища данных заменят локальные EDW? Или вы считаете, что гибридная модель хранилища данных более распространена?

Не уверен. Я вижу общий переход к удаленным хранилищам данных, поскольку они обеспечивают большую гибкость, но это [развертывание в облаке] не лишено проблем. Вероятно, все три будут общими для большей доли облачных хранилищ, чем локальных.

Наконец, каким, по вашему мнению, будет развиваться отрасль в ближайшие пять лет или около того?

Основное внимание уделяется «привлекательным» элементам BI, таким как анализ на основе искусственного интеллекта и более мощные визуализации. Эти элементы, вероятно, продолжат доминировать в пространстве. Однако я вижу тихую революцию в сфере доставки данных. Поскольку доступность данных приобретает все большее значение, поскольку организации понимают, что это обычно самые большие затраты.

Взгляните из первых рук на будущее хранилищ данных

Пришло время модернизировать BI вашего предприятия. С Astera DW Builder, вы можете использовать комплексную платформу, которая обещает сделать проектирование, разработку и развертывание вашего EDW молниеносным. Узнайте, как мы можем поддержать ваш вариант использования, свяжитесь с нашими техническими специалистами прямо сейчас