Ferramentas ETL MapForce

Software ETL para empresas

As ferramentas ETL (Extração, Transformação e Carregamento) fornecem um mecanismo para extrair dados de fontes externas, transformá-los para um formato de dados normalizado e, em seguida, carregá-los num destino final ou repositório.

Com suporte para os formatos de dados empresariais mais comuns (XML, JSON, PDF, bases de dados, ficheiros simples, EDI, Protobuf, Shopify/GraphQL, etc.), o MapForce é uma ferramenta ETL extremamente eficaz, leve e escalável. O MapForce oferece uma interface de mapeamento ETL visual e intuitiva que permite carregar facilmente qualquer estrutura suportada e, em seguida, utilizar a funcionalidade de arrastar e soltar para conectar nós, adicionar funções de transformação de dados e filtros, ou utilizar o construtor de funções visual para projetos ETL mais complexos.

Para complementar a sua interface visual, as ferramentas ETL do MapForce podem ser automatizadas de forma integrada através do MapForce Server, que oferece alto desempenho.

O MapForce permite associar facilmente estruturas de dados utilizando a funcionalidade de mapeamento de dados ETL por arrastar e soltar.

Filtros e funções avançadas de processamento de dados podem ser adicionados através de uma biblioteca de funções integrada, e pode utilizar o construtor visual de funções para combinar múltiplas operações inline e/ou recursivas em projetos ETL ou de integração de dados mais complexos, e até mesmo guardar funções para utilização em outros projetos de mapeamento.

O MapForce também suporta cenários ETL avançados que envolvem múltiplos esquemas de entrada e saída, múltiplos ficheiros de origem e/ou destino, ou transformações de dados complexas que requerem várias etapas.

O suporte para streaming de dados proporciona um aumento significativo no desempenho dos seus projetos ETL, permitindo o processamento de dados provenientes de ficheiros XML, CSV e FLF de qualquer tamanho, bem como de bases de dados relacionais, e permitindo o envio dos resultados para ficheiros XML, CSV e FLF igualmente grandes, ou a sua inserção numa base de dados.

Esta funcionalidade integrada significa que o MapForce consegue processar facilmente grandes conjuntos de dados e projetos de ETL, sendo o único limite a quantidade de espaço em disco disponível no seu computador ou acessível através de uma rede.

Para ativar esta funcionalidade, basta selecionar o ícone "EMBUTIDO" na barra de ferramentas, dentro da área de design do MapForce.

Com suporte para inserção em massa de dados em bases de dados, bem como para transmissão direta de dados, o MapForce Server também é ideal para a execução de mapeamentos de dados ETL.

Converter formatos de dados

Em aplicações ETL, a nova informação destinada à importação frequentemente chega num formato de dados incompatível com o repositório existente. O MapForce oferece uma capacidade e flexibilidade incomparáveis para conversões e transformações avançadas, tornando-o uma ferramenta ETL eficiente para projetos de integração de dados, tanto a nível global como dentro da empresa. É possível integrar facilmente dados de vários ficheiros em formatos diferentes.

Com suporte para a automatização da integração de dados, o MapForce é um produto de middleware ideal para conectar aplicações distribuídas em qualquer empresa, em fluxos de trabalho baseados na web ou até mesmo em arquiteturas na nuvem.

Três formatos de dados estão incluídos no mapeamento ETL ilustrado abaixo. O ficheiro de origem principal é uma folha de cálculo do tipo Excel e o repositório de saída final é um banco de dados. No entanto, os registos na coluna "SharesAndLeaves" do banco de dados são armazenados como um objeto JSON. A ferramenta ETL MapForce constrói o objeto JSON em tempo real e inclui-o na instrução de inserção no banco de dados gerada, como se pode ver na pré-visualização da saída no canto inferior direito da captura de ecrã.

Seja um esquema XML, JSON ou de base de dados; a API da Shopify, um ficheiro de configuração EDI; um modelo PDF; ou uma taxonomia XBRL, e muito mais, o MapForce integra dados com base nas estruturas de dados, independentemente da instância específica do conteúdo. Isso significa que pode reutilizar as mapeações de dados mesmo quando os dados de negócio se alteram.

O MapForce pode gerar ficheiros de execução do MapForce para serem utilizados pelo MapForce Server, ou código de integração de dados sem royalties em Java, C# ou C++, para o reprocessamento automatizado de projetos ETL. Isto permite implementar operações de integração/migração de dados programadas ou acionadas por eventos, para inclusão em qualquer aplicação de relatórios, comércio eletrónico ou baseada em SOA. As operações de integração de dados do MapForce também podem ser automatizadas através de uma API de integração de dados ou de um controlo ActiveX.

Os projetos ETL exigem a manipulação de dados para transformar os dados de entrada antes de serem utilizados pelo sistema de destino. O MapForce oferece um construtor de funções visuais e intuitivo, funções de processamento de dados totalmente escaláveis com bibliotecas integradas, filtros e condições, e muito mais, para permitir que manipule os dados facilmente e integre formatos diferentes.

O MapForce não depende da utilização de um conjunto de adaptadores ou de outros componentes adicionais com custos extras. Os utilizadores têm controlo total sobre o design e a implementação da integração de dados e das transformações de todos os tipos de dados, incluindo qualquer combinação de XML, JSON, bases de dados, ficheiros de texto, EDI, Excel, XBRL e/ou dados de serviços web.

Ferramentas de ETL para bases de dados

As ferramentas de ETL (extração, transformação e carregamento) da base de dados MapForce incluem um suporte poderoso para mapeamento de bases de dados, permitindo o mapeamento de dados entre qualquer combinação de formatos XML, JSON, PDF, CSV, EDI, Excel, Protobuf, XBRL, Shopify/GraphQL, serviços web e até mesmo outros formatos de base de dados.

Quando carrega a estrutura de uma base de dados na janela de design, o MapForce interpreta automaticamente o esquema da base de dados, permite-lhe selecionar as tabelas e vistas disponíveis e reconhece as relações entre as tabelas.

Depois de ter carregado todos os modelos de conteúdo necessários para o mapeamento ETL da sua base de dados, complete o mapeamento simplesmente arrastando linhas de conexão entre as estruturas de origem e de destino.

Funcionalidades de mapeamento de bases de dados:

O MapForce suporta todas as principais bases de dados relacionais e as bases de dados NoSQL mais populares, permitindo-lhe criar designs gráficos para mapear dados entre a fonte da base de dados, funções e filtros de processamento de dados, e outras estruturas de dados de vários tipos.

Suportado Bases de dados relacionais Para ETL:

Suportado Bases de dados NoSQL Para ETL:

Muitas operações de ETL (extração, transformação e carregamento) de bases de dados exigem a manipulação de dados entre a fonte e o destino, com base em condições booleanas ou em instruções SQL e SQL/XML. Pode ser necessário realizar comparações lógicas, cálculos matemáticos ou operações com strings, verificar se os dados da base de dados correspondem a um determinado valor e efetuar outras modificações nos dados. Na captura de ecrã acima, as funções de processamento de dados aparecem como os retângulos entre as linhas que ligam o modelo de dados de origem e o modelo de dados de destino.

As funções de processamento de dados permitem realizar mapeamentos avançados de bases de dados em tempo real, para uma vasta gama de necessidades de transformação. Por exemplo, pode criar mapeamentos de bases de dados que utilizem mensagens XML ou EDI para extrair linhas da base de dados com base em critérios de filtragem provenientes dos elementos XML ou EDI.

Depois de definir o mapeamento, o motor MapForce integrado permite visualizar e guardar os resultados com apenas um clique.

As transformações para uma base de dados geram resultados na forma de scripts SQL (por exemplo, instruções SELECT, INSERT, UPDATE e DELETE) que são executados diretamente na sua base de dados de destino, a partir do MapForce, ou através do MapForce Server.

Ferramenta de ETL para ficheiros de texto e ficheiros simples

Os dados históricos contidos em ficheiros de texto existentes podem ser extraídos e atualizados para garantir a consistência com um repositório ETL existente. O MapForce inclui a ferramenta FlexText, que permite analisar e converter ficheiros de texto, como relatórios de texto de sistemas mainframe, ficheiros de registo baseados em texto e outros tipos de ficheiros de texto legados, nos projetos de mapeamento. Com a sua interface visual, o FlexText permite inserir um ficheiro de texto existente e extrair as partes que pretende converter na interface de mapeamento do MapForce.

A FlexText cria um modelo que é, posteriormente, carregado no MapForce, onde os nós de texto individuais podem ser convertidos para qualquer combinação de formatos XML, bases de dados, PDF, EDI, XBRL, ficheiros simples, Excel, JSON, Protocol Buffers e dados de serviços web. Ao guardar a configuração que cria na FlexText, pode reutilizar o mesmo modelo para converter vários ficheiros de texto em diferentes mapeamentos.

O FlexText permite criar regras para modelos de conversão de ficheiros de texto, utilizados no mapeamento ETL. Quando abre um ficheiro de texto na interface do FlexText, o ficheiro é exibido em dois blocos. O bloco raiz representa o ficheiro original, enquanto o bloco de operações (à direita) mostra os dados do ficheiro em tempo real, à medida que extrai os dados que necessita.

O resultado de cada operação que você realiza é visível em tempo real, permitindo que veja imediatamente se obteve o resultado desejado.

Os ficheiros de texto antigos podem conter dados úteis em formatos CSV (valores separados por vírgula) ou FLF (campos de comprimento fixo) dentro de um ficheiro de texto mais complexo. O FlexText permite extrair diretamente esses dados utilizando as operações CSV e FLF. Após aplicar a operação de divisão e outras operações, pode armazenar os campos restantes formatados em CSV ou FLF, configurando os nomes dos campos, comprimentos, etc.

O FlexText permite que você isole os dados que precisa aceder, removendo texto, caracteres e espaços em branco irrelevantes, utilizando comandos de divisão. Cada divisão apresenta os seus dados em dois blocos distintos: um que contém os dados que foram separados, e outro que mostra a versão modificada do seu ficheiro convertido. Pode ver imediatamente o resultado de cada operação que realiza.

O FlexText suporta as operações de "Node" (Nó) e "Ignore" (Ignorar), proporcionando maior flexibilidade na construção da estrutura de informações. A operação "Ignore" marca um bloco de texto como irrelevante para fins de conversão, instruindo o MapForce a ignorá-lo. A operação "Node" cria um novo nó na estrutura de informações no MapForce, permitindo representar adequadamente a natureza hierárquica dos seus dados textuais, quando necessário.

A operação "Switch" permite definir múltiplas condições para um único bloco de texto. Os dados no ficheiro de texto são enviados para o contentor associado para serem utilizados na conversão do MapForce apenas se cumprirem uma condição definida.

O FlexText também suporta expressões regulares. Por exemplo, um ficheiro de entrada pode ser um relatório gerado pelo sistema, com números e códigos de letras na margem esquerda que indicam os tipos de registo. Nesses casos, uma sequência de cinco dígitos seguida da letra "O" indica o início de uma nova secção para uma determinada localização de escritório.