Como criar projetos de mapeamento de dados em lote
Uma exigência comum no processamento de dados é o mapeamento de dados em lote, especialmente no contexto da transformação e integração de dados. Este processo envolve a conversão de dados em lotes, em vez de processar cada ponto de dados individualmente. O mapeamento de dados em lote é frequentemente necessário em cenários de integração de dados ou ETL, onde é preciso alinhar ou transformar dados provenientes de múltiplas fontes em conjunto. Dois cenários comuns são:de lote para lote" e "um lote para um."
Na nossa série de vídeos sobre processamento de dados em lote, guiamos os utilizadores passo a passo na implementação destes projetos, utilizando ferramentas visuais no MapForce.
Mapeamento de dados entre lotes
O processamento de grandes volumes de dados é útil em situações em que existem atualizações ou alterações de dados que chegam em lotes, e é necessário sincronizar ou transformar esses lotes em conjunto. Isso pode ser para convertê-los para um formato diferente, realizar algum tipo de ordenação ou cálculo, ou uma combinação destes.
Nesta demonstração, criamos um projeto de mapeamento de dados que lê ficheiros de um diretório e utiliza caracteres curinga para configurar um mapeamento que processa dados de vários ficheiros simultaneamente. Em seguida, exploramos outra opção para definir conversões em lote, utilizando nomes de ficheiros dinâmicos fornecidos pelo mapeamento. Esta demonstração também mostra como adicionar cálculos e comentários aos seus projetos de mapeamento de dados.
Embora este vídeo demonstre a conversão de ficheiros JSON para XML, o MapForce suporta a conversão e transformação para qualquer combinação de formatos, incluindo XML, JSON, PDF, bases de dados, texto, Protobuf, Excel, XBRL, Shopify, e muitos outros, para integração avançada de dados e processos ETL.
TRANSFORMAÇÃO DE DADOS EM LOTE
Lote para um transformação de dados é outro requisito comum, por exemplo, quando se pretende juntar ou combinar vários ficheiros num único documento consolidado e realizar algumas operações de transformação, conversão ou cálculo de dados nesse processo.
Este exemplo explora diferentes abordagens para definir o processo em lote, que poderão ser aplicadas em diferentes cenários:
Especificar um conjunto de ficheiros que se encontram no mesmo diretório, utilizando um caractere curinga
Selecionar ficheiros por lote com base numa lista de nomes de ficheiros armazenada num diretório diferente
Esta demonstração também mostra como ordenar os dados combinados de vários ficheiros antes de os gravar no destino.
Depois de assistir a estas demonstrações rápidas, pode descarregar uma versão de avaliação gratuita do MapForce para experimentar pessoalmente a mapeamento em lote, a conversão e a transformação de dados.
MAIS DEMONSTRAÇÕES DO MAPFORCE
Se gostaram destes vídeos, consultem o restante da série de demonstrações do MapForce, que aborda tudo, desde a conversão de XML e JSON para bases de dados, até à configuração de funções de processamento de dados e à extração de dados de documentos PDF.