Captura De Cambio De Datos2021-03-15T14:25:20+00:00

Visión General

Los almacenes de datos se construyeron originalmente para actualizarse anualmente, mensualmente o semanalmente. En el entorno empresarial actual, las empresas ya no pueden esperar a que los datos lleguen a los almacenes de datos de back-end; necesitan capturar datos directamente de los sistemas transaccionales centrales a medida que se recopilan. La captura de datos modificados (CDC) es un conjunto de patrones de diseño de software que se utilizan para determinar y realizar un seguimiento de los datos que han cambiado para que se puedan tomar medidas utilizando los datos modificados sin demora.

AsteraEl conjunto de productos de gestión de datos admite una variedad de estrategias de captura de datos modificados, tanto por lotes como en tiempo real, lo que permite a una empresa seleccionar una estrategia de actualización que optimice los procesos generales de integración de datos. Esto es especialmente importante cuando los datos deben copiarse de las bases de datos de producción a un almacén de datos analíticos sin interrumpir el flujo regular de datos, que es el caso cuando los usuarios se ven obligados a esperar las ejecuciones por lotes. La captura de datos modificados (CDC) agiliza los análisis modernos al aprovechar los datos basados ​​en eventos y hacer que la integración de datos sea más ágil para ofrecer una mayor eficiencia operativa.

Cómo funciona la captura de datos de cambio

La tecnología Change Data Capture permite a los usuarios seleccionar los campos que necesitan ser auditados y luego capturar inserciones, actualizaciones y eliminaciones de bases de datos automáticamente para hacer un registro disponible de lo que cambió, dónde y cuándo, en tablas relacionales simples. Estas tablas de "cambios" contienen los metadatos necesarios para comprender los cambios en el contexto adecuado y, en última instancia, impulsar mejores decisiones comerciales.

Identificar

AsteraLa tecnología CDC permite al usuario elegir entre múltiples opciones de identificación: activadores de base de datos, marcas de tiempo y tablas de registro para identificar cambios. Al utilizar estos enfoques de captura de datos de cambio, también se puede implementar una estrategia de lectura híbrida de manera visual mediante la definición de reglas comerciales que le indiquen al sistema qué cambios identificar y cómo.

Los flujos de integración pueden construirse usando estrategias CDC para "escuchar" los cambios para la propagación posterior. La estrategia de los CDC también se puede seleccionar al configurar los ajustes de carga del almacén de datos en el Astera .

Capturar

Los INSERTs, ACTUALIZACIONES y BORRADAS de la base de datos aplicados a las tablas de SQL Server se capturan utilizando CDC para crear automáticamente tablas de cambios que capturan lo que cambió, dónde y cuándo en las tablas que se están rastreando. Estas tablas de cambios contienen columnas que reflejan la estructura de columnas de la tabla de origen, junto con los metadatos necesarios para comprender los cambios realizados.

CDC crea un espejo de la tabla rastreada, con columnas adicionales para metadatos, y la usa para monitorear los cambios.

Suministrar

Una vez identificados y registrados los cambios, AsteraEl potente motor de procesamiento en paralelo utiliza los procesos de extracción, transformación y carga (ETL) automáticamente en el backend para cargar los datos modificados de las tablas de origen de SQL Server al almacén de datos o centro de datos, ya sea por transacción o en agregados.

Debido a que CDC captura los cambios realizados en una fuente de datos y los aplica en toda la empresa, minimiza los recursos necesarios para los procesos de ETL porque solo se ocupa de los cambios de datos.

Habilite una integración de datos más rápida para impulsar sus iniciativas de BI

Reconocer los eventos de negocios a medida que ocurren y capturar automáticamente

Asegurar la sincronicidad de datos y facilitar la integración de datos en tiempo real utilizando AsteraEl motor ETL de potencia industrial con capacidades de automatización avanzadas, Change Data Capture permite la propagación sin interrupciones de las nuevas entradas realizadas en la base de datos a las aplicaciones asociadas, como los sistemas de envío, facturación, etc.

Características clave de DWAccelerator son:

Cumplir con los requisitos modernos de integración de datos en tiempo real

La evolución de las aplicaciones basadas en datos requiere un enfoque cada vez más ágil y moderno para la integración de datos. AsteraLa tecnología CDC captura los datos directamente de los sistemas transaccionales principales a medida que se recopilan, lo que permite la integración de datos en tiempo real.

Crea configuraciones de CDC rápida y fácilmente

Con el entorno libre de códigos de arrastrar y soltar de nuestras soluciones, configurar la estrategia de CDC correcta es rápido y fácil. Se requiere que los usuarios solo seleccionen 'Carga incremental' como la opción deseada para las entidades requeridas y que definan otras configuraciones para cargar incrementalmente datos nuevos de una fuente a un almacén de datos.

Minimice los recursos requeridos para los procesos ETL

En lugar de procesos de Extracción-Transformación-Carga de carga masiva, orientados a lotes, que interrumpen la producción y consumen una gran capacidad de procesamiento, utilizan CDC para capturar solo los datos modificados en los sistemas de origen y entregar los cambios en toda la empresa.

Obtenga datos actualizados más rápido para tomar mejores decisiones empresariales

Las empresas ya no pueden esperar a que lleguen los datos de las tiendas de back-end, ya que el valor de las decisiones comerciales se basa principalmente en su puntualidad. Para asegurar esto, Astera ofrece a sus empleados la versión más actual, completa y precisa de la información con su tecnología Change Data Capture (CDC).

Elección de estrategias de CDC por lotes, casi en tiempo real y en tiempo real

Dependiendo de los requisitos comerciales y del entorno, configure CDC fácilmente para cargar datos modificados en lotes, en incrementos definidos, o entregue la transmisión en tiempo real. La tecnología es lo suficientemente flexible para todas sus estrategias de negocio.

Crear flujos de integración que "escuchen" los cambios en la base de datos

AsteraEl creador visual proporciona a los usuarios una interfaz simple de arrastrar y soltar para crear flujos de datos reutilizables que se pueden adaptar para adaptarse a cualquier requisito de integración de datos, incluida la capacidad de "escuchar" los cambios en los campos de la base de datos y actualizar los sistemas de destino.

Configurar CDC usando activadores de base de datos automatizados

AsteraEl CDC aplica automáticamente los activadores de la base de datos y otros objetos de identificación de cambios, como las marcas de tiempo, el historial de versiones y los indicadores de estado actual en los sistemas fuente para observar los cambios.

Amplíe su configuración de CDC para acomodar volúmenes de datos masivos

Aproveche el poder de procesamiento avanzado de AsteraEl motor de alto rendimiento que aprovecha al máximo el hardware multiprocesador y multinúcleo para ampliar las configuraciones de CDC para el manejo masivo de volúmenes de datos.

Elija si desea extraer todas las actualizaciones o seleccionar algunos

La función CDC se puede configurar para capturar cualquier combinación de cambios, ya sea que desee usarla para cargar la base de datos de origen en su totalidad, o simplemente configurarla para ver los pocos campos seleccionados para los cambios y actualizarlos continuamente en el almacén de datos.

Capture metadatos automáticamente para comprender el contexto de los cambios

Si bien la tecnología puede observar los cambios y capturar estos datos, los CDC también capturan los cambios en la estructura de la base de datos utilizando su lenguaje de definición de datos (DDL) y registran estos metadatos en una columna de la tabla de auditoría separada.

Mejorar la capacidad de respuesta de TI a las necesidades empresariales Desde Hoy