El automatizado, Sin código Pila de datos
Aprende cómo Astera Data Stack puede simplificar y agilizar la gestión de datos de su empresa.
Incorpore datos actualizados a su almacén de datos casi en tiempo real con CDC
¿Está cansado de tratar con datos redundantes en su almacén de datos? Cargue datos de forma incremental mediante la captura de datos modificados para llenar su almacén de datos a gran velocidad sin preocuparse por datos redundantes o inexactos.
Atrás quedaron los días en que las empresas podían permitirse analizar sus datos al final de cada semana, o incluso cada mes. El panorama empresarial actual en rápida evolución ha hecho necesario que las organizaciones utilicen almacenes de datos para procesar y consultar sus datos casi en tiempo real a fin de extraer información rápida y tomar decisiones comerciales rápidas.
La necesidad de un tiempo de conocimiento más rápido significa que los datos a menudo deben capturarse directamente de los sistemas transaccionales a medida que se reciben. Dicho esto, es imposible mover bases de datos completas cada vez que necesite realizar un análisis de sus datos. Esto se debe a que copiar todos sus datos para cada consulta puede consumir muchos recursos y causar retrasos innecesarios, especialmente cuando su base de datos comprende millones de registros.
Cuando necesite procesar datos rápidamente, es importante copiar o migrar solo datos nuevos o modificados a su almacén de datos. La tecnología Change Data Capture (CDC) puede ayudarlo a lograr esto identificando cambios en su conjunto de datos de origen, capturando estos cambios en tablas de cambios temporales y entregándolos al almacén de datos para informes y análisis.
¿Por qué no se pueden analizar y consultar los datos en el sistema de origen?
Es importante replicar los datos antes de analizarlos o consultarlos por varias razones.
Los datos a menudo se almacenan inicialmente en bases de datos transaccionales. Dado que estas bases de datos son de naturaleza operativa y no se han creado específicamente con fines analíticos, puede llevar una cantidad considerable de tiempo consultar datos directamente en ellas, especialmente cuando se trata de grandes volúmenes de datos.
Además, estas bases de datos operativas también se utilizan con regularidad, lo que significa que la consulta o el análisis directamente en la tabla de origen pueden causar problemas relacionados con el flujo de datos. En caso de que los datos de estas bases de datos se transformen o manipulen directamente en la fuente, probablemente no habrá forma de volver a la versión original de los datos. Realizar análisis en la base de datos transaccional de origen mientras se ingresan nuevos datos en estas bases de datos también puede causar interrupciones y afectar potencialmente la calidad de la información que extraerá.
Al replicar los datos de las bases de datos transaccionales a las analíticas, puede reducir el tiempo de generación de valor procesando los datos en un sistema dedicado a consultas complejas y mantener la originalidad de los datos de origen. Change Data Capture facilita aún más el procesamiento de datos rápido y conveniente al replicar solo los datos que aún no están disponibles en la base de datos de destino.
Al usar CDC, tampoco tiene que esperar hasta tener una cantidad significativa de datos nuevos en su base de datos de origen, ya que los datos no se transfieren en lotes. En su lugar, puede crear, programar y orquestar sus canalizaciones de datos para asegurarse de que solo los datos nuevos o modificados se migren del origen al destino tan pronto como se produzca el cambio, lo que agiliza considerablemente el proceso de migración completo.
Cómo la captura de datos modificados optimiza sus análisis
Suponga que su organización multinacional trata con miles de clientes en varias ubicaciones geográficas. Cuando su red es tan amplia, ciertamente necesita mantener una base de datos con la información de contacto de todos estos clientes y almacenar su información en un repositorio centralizado para facilitar el acceso. El más mínimo cambio en la información de uno solo de estos clientes debe propagarse a su almacén de datos para garantizar que continúe sirviendo como una única fuente de verdad.
Copiar los datos de miles de clientes solo para propagar un cambio en un registro requerirá muchos recursos y puede causar retrasos innecesarios en el análisis. Con Change Data Capture, puede asegurarse de que solo la nueva información se mueva de la base de datos de origen al almacén de datos para que sus conocimientos se basen en datos precisos y actualizados.
Uno de los mayores beneficios de usar CDC para identificar, capturar y entregar cambios desde sus sistemas de origen a su almacén de datos o bases de datos analíticas es la eficiencia de recursos de todo el proceso. Le evita ejecutar consultas de alta carga de forma periódica. Para su negocio, esto se traduce directamente en tiempos de carga reducidos y un tiempo de conocimiento más rápido para una mejor toma de decisiones.
Con Change Data Capture, también puede escalar sin preocuparse por la falta de integridad o completitud de los datos, ya que CDC garantiza que su repositorio central siempre esté poblado con los datos correctos sin demoras.
El uso de CDC también garantiza que sus recursos no se ahoguen en determinados momentos del día o de la semana porque, en lugar de cargar datos en su almacén de datos en grandes lotes y consultar grandes volúmenes de datos de una sola vez, puede hacerlo cuando y como sea necesario. Esta recibido. Como el proceso no requiere demasiados recursos, también puede ahorrar costos en el gasto en hardware específico para mantener en marcha el proceso de carga de datos.
Tipos de CDC
Hay algunas formas diferentes en las que puede implementar CDC en su almacén de datos. Echemos un vistazo más de cerca a cada uno de ellos:
Captura de datos modificados basada en registros
La captura de datos de cambios basada en registros es una forma confiable de garantizar que los cambios dentro del sistema de origen se transmitan al almacén de datos. En los CDC basados en registros, se crea un registro de transacciones en el que se registran todos los cambios, incluidas las inserciones, eliminaciones y modificaciones de los datos ya presentes en el sistema de origen. Luego, los datos en la fuente se comparan con los datos en el registro de transacciones para ver si hay algún cambio que deba propagarse al almacén de datos.
Los registros creados en este tipo de CDC también garantizan que las transacciones normales dentro del sistema de origen no se vean afectadas por el procesamiento continuo de los datos directamente en el origen. Este proceso reduce la latencia y puede ayudarlo a crear un repositorio centralizado sin sobrecargar sus sistemas con procesamiento adicional para mantenerse al día con los cambios transaccionales.
Captura de datos modificados basada en disparadores
Este tipo de captura de datos de cambios implica la creación de funciones específicas para capturar los cambios a medida que ocurren en la base de datos de origen. Por ejemplo, un disparador AFTER DELETE SQL capturará la instancia de su base de datos después de que se haya eliminado un registro.
Cuando utilice CDC basados en disparadores, su base de datos creará otra tabla para registrar los cambios además de mantener un registro de transacciones. Esto no solo puede aumentar la latencia, sino también aumentar el riesgo de perderse algunos cambios en caso de que los desencadenantes no se definan correctamente para ciertos escenarios o si los desencadenantes se desactivan accidentalmente.
Mantener un conjunto adicional de cambios basados en disparadores también supone una carga adicional para la arquitectura y puede consumir una gran cantidad de recursos en caso de que esté tratando con grandes volúmenes de datos o registrando cambios en varias tablas simultáneamente.
Dado que este suele ser el escenario de las organizaciones grandes, es posible que deba probar los CDC basados en disparadores realizando algunos cambios en una base de datos más pequeña y ver si la latencia y la carga son algo con lo que pueda trabajar a largo plazo. Dicho esto, el CDC basado en disparadores es particularmente útil en arquitecturas basadas en eventos donde es absolutamente necesario actualizar el almacén de datos cuando se realizan ciertos cambios en la base de datos de origen.
Captura de datos modificados basada en proveedores
Para la captura de datos de cambio basada en el proveedor, los proveedores de bases de datos ponen a disposición scripts para monitorear uno o más campos de una tabla de base de datos. Luego, estos scripts pueden identificar y registrar cualquier cambio en la tabla. Al igual que los CDC basados en activadores, la captura de datos modificados basada en el proveedor también implica la recuperación de datos de la base de datos de origen a medida que se realizan los cambios, lo que supone una carga adicional para el sistema.
Optimice su arquitectura de análisis con la captura de datos modificados
Capturar cambios en sus sistemas de origen y propagarlos a su almacén de datos es esencial para garantizar que pueda extraer información rápida y precisa. Con Astera Con el componente CDC integrado de DW Builder, puede crear elaboradas canalizaciones de datos y copiar todos los datos nuevos y modificados en su almacén de datos sin escribir una sola línea de código.
Astera DW Builder viene completo con cientos de transformaciones integradas para maximizar el valor que puede extraer de sus datos. Automatice sus canalizaciones de datos y aproveche las capacidades integradas como la captura de datos modificados para garantizar que su almacén de datos esté siempre actualizado sin ninguna intervención manual.
¿Está listo para construir un almacén de datos autorregulado que entregue datos actualizados a su arquitectura de informes y BI casi en tiempo real? Póngase en contacto para discutir su caso de uso o tomar Astera DW Builder para una prueba de manejo hoy!
