Criando um fluxo de dados complexo no Centerprise - Parte 1

 

Parte 1 - Unir transformações e funções

Nosso último post (Criando um Fluxo de Integração em Centerprise) descreveu como criar um fluxo de dados simples no Centerprise. Neste blog em duas partes, mostraremos como criar um fluxo de dados mais complexo, incluindo mapas, transformações, regras de qualidade e criação de perfil de dados.

A figura abaixo mostra um fluxo de dados mais complexo.

Neste exemplo, estamos trabalhando com dois arquivos de origem, um contém informações sobre empréstimos à habitação e o outro contém informações sobre o imposto sobre a propriedade dos empréstimos à habitação correspondentes. Precisamos combinar esses dois dados e fazer algumas conversões executando alguns cálculos nos atributos. No final, queremos direcionar os dados para duas tabelas de destino diferentes, dependendo da origem do empréstimo à habitação: se for da Califórnia, vai para a tabela Empréstimos da Califórnia, caso contrário, vai para a tabela Empréstimos fora do estado. Além disso, precisamos verificar a qualidade dos dados para os dados do empréstimo e novamente para os dados fiscais. Também precisamos criar um perfil dos dados fiscais para que possam ser enviados para um arquivo do Excel e gerados como um relatório.

Para projetar o fluxo de dados mostrado acima, começamos clicando no botão Novo fluxo de dados para criar um novo fluxo de dados. Primeiro, examinamos os dados - dados de empréstimos e dados fiscais. No blog anterior, Criando Fluxos de Dados Simples, aprendemos como criar nosso código-fonte simplesmente arrastando e soltando da caixa de ferramentas no designer e especificando propriedades. No entanto, também existe um atalho para criar fontes diretamente. Simplesmente arraste e solte os arquivos de Empréstimos e Impostos do Excel diretamente da janela do Explorer para o designer.

Centerprise faz o resto. Ele criou a fonte, sabe de onde vem o arquivo e fez o layout. Ao clicar na divisa, você pode ver todas as colunas de dados do arquivo de origem.

Clique na visualização e você pode ver todos os seus dados na janela de visualização.

Agora faça o mesmo com o arquivo de impostos. Ao visualizar seus dados fiscais, você pode ver as informações do imposto sobre a propriedade de cada um dos empréstimos.

Em seguida, queremos combinar as duas fontes. Para fazer isso, usamos a transformação Join. Arraste e solte a transformação Junção no designer.

Ao clicar na divisa, você pode ver que a transformação não possui nenhum elemento.

Queremos pegar todos os elementos das fontes Empréstimos e Imposto e combiná-los na transformação Junção. Arraste e solte o nó superior Empréstimos na janela Ingressar. Você pode ver isso Centerprise criou e mapeou automaticamente todos os campos.

Para adicionar os dois campos de imposto à associação, arraste e solte cada campo na janela Associação e Centerprise adiciona automaticamente os campos e os mapeia.

Observe que, como agora existem dois campos LoanId, Centerprise anexou o da fonte de imposto a LoanID_1.

Agora temos todos os campos necessários para a associação. Se clicarmos com o botão direito do mouse na janela Ingressar e selecionar Propriedades, poderemos ver todos os campos de Empréstimos e Impostos.

Clique na seta azul no canto superior esquerdo da janela para ir para a próxima página, onde especificaremos que tipo de união queremos. Escolha uma junção interna simples e, nas entradas Classificar à esquerda e Classificar à direita, especifique a chave que será usada para a associação. Para empréstimos, é o LoanID e, para impostos, é o LoanID_1.

Clique em OK e nossa associação está pronta. Quando visualizamos os dados, podemos ver que, para cada um dos empréstimos, as informações sobre imposto predial e empréstimo são unidas.

Assim, com apenas alguns cliques, juntamos nossas duas fontes.

A próxima etapa é usar nossa junção como fonte para nossa transformação e mapas. Arraste e solte o Mapa de Expressão da caixa de ferramentas para o designer.

Isso é usado para fazer cálculos e qualquer tipo de combinação de dados. Neste exemplo, vemos que as informações sobre empréstimos têm o nome, o estado e o CEP do mutuário. Queremos combinar esses três campos em um campo e chamá-lo de "Endereço" em nosso destino. Como vamos rotear para dois destinos diferentes, nosso próximo passo natural é adicionar um roteador.

Arraste e solte um roteador da caixa de ferramentas para o designer. O roteador se torna o próximo destino.

Em seguida, arraste e solte os três campos que queremos combinar (nome do mutuário, estado e código postal) da janela de associação para a janela de expressão.

Em seguida, abra a janela de propriedades da expressão, clique na seta azul próximo botão e somos apresentados ao redator de regras, o que nos permite escrever qualquer tipo de regra. Você pode ver que o menu suspenso de funções possui uma grande variedade de funções que podem ser usadas para escrever regras como lógica, conversão, data / hora, análise de nome e endereço, matemática, etc.

Neste exemplo, temos uma concatenação muito simples; portanto, escreveremos a regra começando com Nome, depois vírgula, Estado e depois espaço, e depois o CEP, que é um número inteiro. Como estamos fazendo uma concatenação das strings, usaremos uma função de conversão para converter o CEP de um número inteiro para uma string.

Clique em OK e nosso valor está pronto para a saída. Pegamos esse valor e arrastamos e soltamos no nosso destino. Você pode ver que o valor está agora no destino.

Nesse ponto, podemos fazer uma visualização e ver como nossos dados realmente vão funcionar. Você pode ver que o Nome, Estado e CEP foram combinados da maneira que desejávamos: Nome, vírgula, Estado, espaço, CEP. É assim que você pode escrever regras simples e cálculos simples para conversão de dados.

Em seguida, queremos criar uma função. Começamos arrastando e soltando uma função da caixa de ferramentas para o designer.

Temos o campo Nome em nossa associação, mas nosso destino usa os campos Nome e Sobrenome, portanto, precisamos pegar o campo Nome e dividi-lo em Nome e Sobrenome. Para isso, usaremos a função de análise de nome. Clique nas propriedades da função e escolha Análise de nome e endereço no menu suspenso. Em seguida, selecione a função Analisar nome e clique em OK.

 

Ao expandir a função, você pode ver que uma lista de opções possíveis de campos relacionados ao nome está disponível.

Arraste e solte o campo de nome da janela Ingressar para o lado esquerdo da função para criar a entrada, e então temos as opções no lado direito para a saída. Arraste e solte os campos Nome e Sobrenome da janela de função para o destino.

Quando você visualiza, pode ver que Centerprise tomou os nomes da transformação e os dividiu em nome e sobrenome.

É assim que você pode usar funções e expressões. A parte 2 deste blog, na próxima semana, explicará como encaminhar os dados que transformamos para vários destinos.