Discutir el pasado, el presente y el futuro del almacenamiento de datos con el experto en BI Paul Kellett

A medida que avanzamos hacia el lanzamiento de Astera Constructor DW, buscamos brindar a los lectores una idea de cómo pueden hacer que sus arquitecturas de BI sean más rápidas, más ágiles y, en última instancia, más adecuadas para las demandas del entorno de datos de gran volumen y alta velocidad de hoy.

Cuando se trata de crear e implementar soluciones efectivas de almacenamiento de datos, pocas personas pueden presumir del tipo de credenciales que Pablo Kellett trae a la mesa. Con 25 años de experiencia en su haber trabajando en una amplia gama de proyectos para organizaciones en todos los niveles, Paul ha visto de primera mano cómo los clientes han respondido a la creciente necesidad de inteligencia empresarial en toda su empresa.

Paul Kellett (Experto en almacenamiento de datos)

En esta amplia conversación, aprovechamos la oportunidad para conocer algunos de los pensamientos sinceros de Paul sobre temas como: el estado actual de la BI empresarial, cómo la automatización puede acelerar el desarrollo del almacén de datos y adónde espera que se dirija la industria en los próximos años.

Entonces, ¿cuáles diría que son los desarrollos más importantes que ha visto en BI empresarial desde que comenzó en este espacio?

Entonces, comencé en esta industria hace más de 25 años con lo que entonces se llamaba MIS (Sistemas de Información de Gestión), trabajando predominantemente en proyectos de bases de datos. Desde entonces, he estado involucrado en varios proyectos de BI desde empresas hasta departamentos y pymes.

Si tuviera que hablar sobre los cambios importantes que he visto durante ese tiempo, diría que hay mucha mayor conciencia [de la importancia de BI], mayores volúmenes de datos, mayor complejidad en torno a los datos y tecnología de soporte mejorada. Si bien los costos subyacentes y la complejidad son dAumentando, todavía hay un camino por recorrer. [Creo que] el lado visual de BI también ha mejorado significativamente.

¿Cuáles son algunos de los casos de uso de almacenamiento de datos más comunes que ve?

La variedad de casos de uso es sorprendentemente amplia, pero los más típicos son Entornos greenfield donde una organización ha decidido implementar BI o escenarios de reemplazo para soluciones existentes. El reemplazo generalmente es impulsado por una solución existente deficiente / fallida (que sorprendentemente son lugar común) o sustitución de los sistemas de datos de origen central. También hay una variedad de casos de uso en los que los elementos de una solución se reemplazan por completo, por ejemplo, el reemplazo de ETL codificado a mano por una herramienta ETL. Este último tiende a ser más incremental.

¿Cree que todas las organizaciones podrían beneficiarse de un almacén de datos?

Un verdadero almacén de datos no es para todos, pero todavía no veo una organización que no pueda mejorar el uso de los datos y la información.

Un EDW puede ser una inversión significativa. Entonces, [la implementación exitosa de] BI normalmente requiere cambios culturales en la forma en que la empresa usa los datos. Uno de los caminos comunes hacia la “verdadera BI” pasa por los data marts, las soluciones departamentales y la mejora de los informes, y cada implementación posterior mejora el uso de los datos por parte de la organización. Un EDW se encuentra al final de este camino en muchos casos.

Irónicamente, las empresas más grandes con frecuencia terminan con mausoleos de datos que generan cuellos de botellay. [Estas arquitecturas] a menudo son secuestradas por unidades comerciales específicas y, por lo tanto, no dan soporte al negocio en general, a diferencia de una verdadera solución empresarial [como un almacén de datos]. La solución radica en crear más data marts para admitir diferentes elementos comerciales. Luego, estos datos deben integrarse con el almacén de datos central.

¿Hay factores específicos que buscaría al recomendar un EDW a un cliente?

Busco una empresa con ganas de mejorar su conocimiento de los datos, ya que todo debería derivarse de eso. Recomiendo un enfoque por etapas siempre que sea posible. El juego final bien podría ser un almacén de datos, pero es importante que los beneficios comerciales se entreguen de forma progresiva.

¿Cuáles son algunos de los desafíos clave que ve surgir durante el proceso de desarrollo del almacén de datos?

Probablemente, acceder y comprender los datos ... esa parte siempre es divertida. Hacer que las empresas se comprometan con el enfoque también puede ser una tarea ardua. Otra limitación con la que me encuentro es la falta de acceso a profesionales de BI que realmente entienden tanto la tecnología como pueden hablar con la empresa.

¿Cuál diría que es el paso más importante para acertar durante el desarrollo del almacén de datos? ¿Extrayendo datos de origen? ¿Modelado de datos? ¿Creando procesos ETL?

La parte más importante es el resultado. Los datos deben estar en un formato que admita BI. Básicamente, eso significa que los datos no pierden información y que están disponibles de manera relevante para el negocio.

Hay muchas formas de llegar a este punto, pero lo más importante es el destino. Habiendo dicho eso, el destino en BI a menudo no está claro desde el principio, por lo que la capacidad de adaptar rápidamente el resultado final en función de los aprendizajes y los comentarios comerciales es primordial. Esto implica un mecanismo de entrega de datos rápido y eficaz, así como una herramienta de presentación capaz [en la interfaz].

¿Qué opinas de arquitecturas como el lago de datos o la bóveda de datos? ¿Son alternativas al almacén de datos, soluciones complementarias o simplemente mucha publicidad?

Generalmente, estos son complementarios y no básicos. Los lagos de datos suelen ser mucho más baratos y más sencillos de implementar. El concepto de lagos de datos está relativamente bien establecido y en los últimos tiempos se le acaba de cambiar la marca. Podría haber sido llamado un almacén de datos operativos (ODS) hace más de 20 años. Con frecuencia creo un lago de datos invisible como parte de una solución de almacenamiento de datos. Invisible en el sentido de que no publico su existencia como un lago de datos, ya que existen beneficios de flexibilidad y auditabilidad. Un lago de datos también puede ser una etapa intermedia barata para una solución de BI más completa, p. Ej. permite mejorar los informes.

Una bóveda de datos es mucho más un componente impulsado por TI. Más formal y estructurado, y la OMI se justifica con menos frecuencia debido a los costos adicionales y los plazos que agrega a una solución. Si existe la necesidad de compartir ampliamente datos comunes entre muchas aplicaciones además del DW, entonces se vuelve justificable.

En su opinión, ¿qué papel tienen las herramientas de automatización del almacén de datos para acelerar y racionalizar el desarrollo del almacén de datos?

Enorme. Inmenso. Masivo. ¿Debería continuar? Con demasiada frecuencia, un almacén de datos es un proyecto monolítico tipo cascada en el que nosotros, los nerds tecnológicos, estamos encerrados en una habitación durante un período prolongado y se les pide que emerjamos con la mejor solución aproximada de lo que creemos que la empresa necesita. Sí, exagero, pero el proceso debe ser rápido e incremental con frecuentes ciclos breves de revisión / revisión. que se relacionan con el negocio. En otras palabras, el almacenamiento de datos debe volverse verdaderamente ágil.

Por experiencias pasadas, sabemos que dividir un DW en muchos trozos pequeños reduce el riesgo, mejora la calidad de la entrega y mejora el compromiso con la empresa. Esto es mucho más sencillo de hacer con las herramientas de automatización adecuadas.

Otra forma de ver esto es en términos de ROI. En el DW típico, el lado de la preparación de datos representa la mayor parte de los costos. Reducir estos gastos con la automatización adecuada orientada a datos tiene muchos beneficios, desde una entrega más rápida de mejor calidad datos para reducir la barrera de entrada. 

La mejora de la calidad es obviamente un beneficio crucial de la automatización, ya que la cantidad de productos personalizados, más complejos y propensos a problemas se reduce drásticamente con una herramienta adecuada.

¿Qué características / funcionalidades cree que son esenciales para una herramienta de automatización de almacenamiento de datos eficaz?

Las tareas repetibles, por ejemplo, manejo de errores, auditoría, creación de SCD, etc. deben ser muy simples y robustos. Hay muchas tareas repetitivas en una compilación de DW. La integración en los sistemas de origen y el modelo de destino debe ser sólida. Para el mantenimiento y la entrega ágil, la capacidad de realizar análisis de dependencia para comprender el procesamiento es muy importante.

¿Cree que los almacenes de datos en la nube reemplazarán a los EDW locales? ¿O cree que el modelo híbrido de almacenamiento de datos es más frecuente?

No estoy seguro. Veo un movimiento general hacia los DW fuera de las instalaciones, ya que brindan una mayor flexibilidad, pero esa [implementación en la nube] no está exenta de desafíos. Probablemente, los tres serán comunes con una mayor proporción de DW en la nube que en las instalaciones.

Finalmente, ¿hacia dónde cree que se moverá la industria en los próximos cinco años?

Los elementos "atractivos" de BI, como los análisis impulsados ​​por la IA y las visualizaciones más potentes, están recibiendo la mayor parte de la atención. Estos elementos probablemente seguirán dominando el espacio. Sin embargo, veo una revolución silenciosa en el lado de la entrega de datos. Dado que la disponibilidad de datos adquiere cada vez más importancia a medida que las organizaciones se dan cuenta de que suele ser el mayor costo.

Eche un vistazo de primera mano al futuro del almacenamiento de datos

El momento de modernizar su BI empresarial es ahora. Con Astera DW Builder, puede aprovechar una plataforma completa de un extremo a otro que promete hacer que el diseño, el desarrollo y la implementación de su EDW sean rápidos como un rayo. Descubra cómo podemos respaldar su caso de uso, contacta con nuestros expertos técnicos .