A transição de projetos de mapeamento de dados, desde a fase de desenvolvimento, passando pelos testes, até a produção

Os projetos de mapeamento de dados frequentemente refletem os esforços de desenvolvimento de software, com fases distintas para o design, testes e implementação. Isto é especialmente verdade para os projetos ETL (Extração, Transformação e Carregamento), em que a execução repetida do mapeamento de dados é necessária à medida que novos dados se tornam disponíveis, e a importância aumenta com grandes conjuntos de dados. Os produtos Altova MissionKit e Server Software fornecem Recursos Globais para definir configurações para cada fase do projeto e permitem uma transição suave entre elas.

Vamos analisar um exemplo baseado numa transformação de dados do MapForce, que converte informações de um ficheiro de origem para uma base de dados.

The projeto de mapeamento de dados A ferramenta apresentada abaixo recebe como entrada um ficheiro CSV que contém um ou mais pedidos de venda simples. Cada pedido contém um número de produto e a quantidade, e a ferramenta calcula o valor total da venda com base no preço atual do produto, gera um número de pedido único e insere o pedido numa base de dados existente.

O processo para desenvolver um mapeamento de dados como este e integrá-lo num fluxo de trabalho empresarial envolve três etapas distintas: um desenvolvedor ou especialista em dados cria o mapeamento, um testador de garantia de qualidade valida o mapeamento e, finalmente, o mapeamento é implementado no ambiente de produção. A solução Global Resources permite que diferentes partes interessadas do projeto alterem o ficheiro de origem dos dados e o banco de dados de destino do projeto de mapeamento de dados para cada fase, sem modificar o próprio mapeamento.

Os Recursos Globais são referências portáteis a ficheiros, pastas ou bases de dados que funcionam como aliases. Quando armazenados como Recursos Globais, os caminhos e os detalhes de ligação à base de dados tornam-se reutilizáveis e estão disponíveis em várias aplicações Altova. A imagem abaixo mostra Recursos Globais que referenciam um ficheiro de dados de entrada e uma base de dados.

As referências globais também podem ser organizadas em configurações. Por exemplo, alguns projetos de mapeamento de dados exigem configurações separadas para o design, o teste e a produção. A alteração entre as configurações modifica tanto o ficheiro de dados de origem como o banco de dados de destino.

A imagem abaixo mostra uma parte da barra de ferramentas do MapForce, com o menu suspenso de configuração de recursos globais. É neste local que o utilizador seleciona a configuração ativa.

Na própria definição do mapeamento de dados, tanto o ficheiro de entrada como a base de dados de destino são configurados para apontar para Recursos Globais. A seguir, apresenta-se a caixa de diálogo de configurações do componente para o ficheiro de dados de origem, definido como um Recurso Global:

Para cada configuração de recurso global, também é definida a base de dados de destino:

O designer do projeto de mapeamento de dados começa trabalhando com um pequeno conjunto de dados de exemplo e uma cópia da estrutura da base de dados. Quando o mapeamento está concluído, o programador executa-o diretamente no MapForce para criar e executar um script SQL que insere os dados. A janela de saída do MapForce mostra os resultados:

Para a fase de testes, pretendemos executar o mapeamento de dados diretamente no MapForce Server, num ambiente de testes que utilize um ficheiro de entrada diferente e uma cópia da base de dados, distintos daqueles com que o desenvolvedor trabalhou originalmente.

O desenvolvedor compila a transformação para um ficheiro de execução do MapForce Server através do menu "Ficheiro" do MapForce

O ficheiro de execução do MapForce Server contém o mapeamento, o ficheiro de Recursos Globais e as referências ao banco de dados associadas ao mapeamento, mas não resolve nenhuma configuração específica dos Recursos Globais. Isto permite que a configuração dos Recursos Globais seja selecionada em tempo de execução. As definições dos Recursos Globais são armazenadas num ficheiro XML chamado GlobalResources.xml, na estação de trabalho do designer. O designer forneceria tanto o ficheiro de execução do MapForce Server como o ficheiro de Recursos Globais para a fase de testes.

A equipa de testes utiliza a interface de linha de comandos do MapForce Server para executar a transformação de dados na configuração desejada. A seguir, apresenta-se a forma genérica da linha de comandos do MapForce Server, com o nome da transformação e os parâmetros para o ficheiro de recursos globais e a configuração dos recursos globais:

E aqui está o comando real, tal como pode aparecer numa janela de comandos:

Se os resultados do teste forem satisfatórios, o mapeamento e os recursos globais podem ser implementados no servidor FlowForce e executados como parte de um processo no servidor FlowForce, possivelmente como parte de um.. Importação programada de dados para empresas A configuração é implementada a partir do menu principal, como mostrado acima, através da opção "Implementar no servidor FlowForce":

Os recursos globais são configurados a partir da caixa de diálogo "Gerir Recursos Globais":

Cada configuração é armazenada como um objeto FlowForce Server separado e é referenciada numa definição de tarefa do FlowForce Server.

Descarregue uma versão de avaliação gratuita para facilitar a transição de projetos de mapeamento de dados através das diferentes etapas do seu fluxo de trabalho empresarial!