Tutorial sobre ETL: Vídeo

Os processos ETL abrangem um vasto leque de complexidade, desde tarefas simples como a correspondência direta de dados de uma API para um banco de dados, até cenários altamente complexos que exigem filtragem, transformação e manipulação extensivas de dados.

O Altova MapForce consegue lidar com toda esta gama de tarefas de ETL.

Este tutorial em vídeo explora um cenário comum de ETL:

Extração de dados CSV recebidos em vários relatórios
Transformar e filtrar os dados
Carga os dados transformados para um banco de dados SQL de destino

Esta transformação específica é um pouco complexa porque os dados CSV estão num formato alargado, com colunas separadas que correspondem a cada um de vários anos. Parte da nossa transformação consistirá em converter ou reorganizar os dados para um formato mais longo, mais adequado à forma como os dados são armazenados numa base de dados relacional.

Desta forma, cada ano passa a ser um valor numa única coluna, e os dados correspondentes são transferidos para uma nova coluna, resultando em mais linhas, mas menos colunas. Este formato mais longo é também mais facilmente utilizado por ferramentas de análise e de business intelligence.

Além disso, vamos filtrar os dados indesejados e arredondar os números decimais longos antes de gravar os dados na base de dados.

Embora este tipo de transformação possa parecer um problema complexo, é fácil de realizar utilizando as ferramentas de ETL [mapforce-offers-dynamic-access-to-node-names|MapForce, que incluem mapeamento de dados por arrastar e soltar, [nomes de nós dinâmicos]] e funções integradas.

O exemplo neste vídeo demonstra um cenário de ETL que converte um ficheiro CSV para uma base de dados, mas o MapForce suporta uma vasta gama de formatos de dados adicionais, incluindo XML, JSON, PDF, Excel, EDI e XBRL. Todas as bases de dados SQL e NoSQL populares também são suportadas como fonte ou destino de qualquer mapeamento de dados.

O MapForce está disponível numa versão gratuita Período de teste de 30 dias. Agora não é necessário ter uma conta ou cartão de crédito – pode começar a experimentar esta funcionalidade ETL por si mesmo.

Em seguida: Veja o vídeo anterior da nossa série, Noções básicas de ETL.