Ferramentas ETL MapForce

Software ETL para empresas

As ferramentas ETL (Extração, Transformação e Carga) fornecem um mecanismo para extrair dados de fontes externas, transformá-los para um formato de dados normalizado e, em seguida, carregá-los em um destino final ou repositório.

Com suporte para os formatos de dados empresariais mais comuns (XML, JSON, PDF, bancos de dados, arquivos de texto simples, EDI, Protobuf, Shopify/GraphQL, etc.), o MapForce é uma ferramenta ETL extremamente eficaz, leve e escalável. O MapForce oferece uma interface de mapeamento ETL visual e intuitiva que permite carregar facilmente qualquer estrutura suportada e, em seguida, usar a funcionalidade de arrastar e soltar para conectar nós, adicionar funções de transformação de dados e filtros, ou utilizar o construtor visual de funções para projetos ETL mais complexos.

Para complementar sua interface visual, as ferramentas ETL do MapForce podem ser automatizadas de forma integrada através do MapForce Server, que oferece alto desempenho.

O MapForce permite associar facilmente estruturas de dados utilizando a funcionalidade de mapeamento de dados ETL por meio de arrastar e soltar.

Filtros e funções avançadas de processamento de dados podem ser adicionados através de uma biblioteca de funções integrada. Além disso, você pode usar o construtor visual de funções para combinar múltiplas operações, sejam elas sequenciais ou recursivas, em projetos de ETL ou integração de dados mais complexos, e até mesmo salvar funções para utilizá-las em outros projetos de mapeamento.

O MapForce também oferece suporte a cenários avançados de ETL que envolvem múltiplos esquemas de entrada e saída, múltiplos arquivos de origem e/ou destino, ou transformações de dados complexas que exigem múltiplas etapas.

O suporte para streaming de dados proporciona um grande aumento de desempenho para seus projetos de ETL, permitindo o processamento de dados provenientes de arquivos XML, CSV e FLF de qualquer tamanho, bem como de bancos de dados relacionais, e permitindo o envio dos resultados para arquivos XML, CSV e FLF igualmente grandes, ou a inserção dos dados em um banco de dados.

Essa funcionalidade integrada significa que o MapForce pode processar facilmente grandes conjuntos de dados e projetos de ETL, sendo o único limite a quantidade de espaço em disco disponível no seu computador ou acessível em uma rede.

Para ativar esta funcionalidade, basta selecionar o ícone "EMBUTIDO" na barra de ferramentas, dentro da área de design do MapForce.

Com suporte para inserção em massa de dados em bancos de dados, bem como para transmissão direta de dados, o MapForce Server também é ideal para a execução de processos de mapeamento de dados ETL.

Converter formatos de dados

Em aplicações ETL, novas informações destinadas à importação frequentemente chegam em um formato de dados incompatível com o repositório existente. O MapForce oferece um poder e flexibilidade incomparáveis para conversão e transformação avançadas, tornando-o uma ferramenta ETL eficiente para projetos de integração de dados, tanto em nível global quanto dentro da empresa. É possível integrar facilmente dados de vários arquivos em diferentes formatos.

Com suporte para a automação da integração de dados, o MapForce é um produto de middleware ideal para conectar aplicações distribuídas em qualquer empresa, em fluxos de trabalho baseados na web ou até mesmo em arquiteturas de nuvem.

Três formatos de dados estão incluídos no mapeamento ETL ilustrado abaixo. O arquivo de origem principal é uma planilha Excel e o repositório de saída final é um banco de dados. No entanto, os registros na coluna "SharesAndLeaves" do banco de dados são armazenados como um objeto JSON. A ferramenta ETL MapForce constrói o objeto em tempo real e o inclui na instrução de inserção no banco de dados gerada, como destacado na pré-visualização de saída no canto inferior direito da captura de tela.

Seja um esquema XML, JSON ou de banco de dados; a API da Shopify, um arquivo de configuração EDI; um modelo PDF; ou uma taxonomia XBRL, e muito mais, o MapForce integra dados com base em estruturas de dados, independentemente da instância específica de conteúdo subjacente. Isso significa que você pode reutilizar as configurações de mapeamento de dados mesmo quando os dados de negócios forem alterados.

O MapForce pode gerar arquivos de execução do MapForce para serem utilizados pelo MapForce Server, ou código de integração de dados sem royalties em Java, C# ou C++, para o reprocessamento automatizado de projetos ETL. Isso permite implementar operações de integração/migração de dados programadas ou acionadas por eventos, para inclusão em qualquer aplicação de relatórios, comércio eletrônico ou baseada em SOA. As operações de integração de dados do MapForce também podem ser automatizadas através de uma API de integração de dados ou de um controle ActiveX.

Projetos de ETL exigem a manipulação de dados para transformar os dados de entrada antes que sejam utilizados pelo sistema de destino. O MapForce oferece um construtor de funções visuais e intuitivos, funções de processamento de dados totalmente escaláveis com bibliotecas integradas, filtros e condições, e muito mais, para que você possa manipular dados e integrar diferentes formatos de forma fácil.

O MapForce não depende da utilização de uma coleção de adaptadores ou outros complementos adicionais que geram custos extras. Os usuários têm controle total sobre o design e a implementação da integração de dados e das transformações de todos os tipos de dados, incluindo qualquer combinação de XML, JSON, bancos de dados, arquivos de texto, EDI, Excel, XBRL e/ou dados de serviços web.

Ferramentas de ETL para bancos de dados

As ferramentas de ETL (Extração, Transformação e Carga) do MapForce oferecem um suporte poderoso para mapeamento de bancos de dados, permitindo o mapeamento de dados entre qualquer combinação de formatos XML, JSON, PDF, CSV, EDI, Excel, Protobuf, XBRL, Shopify/GraphQL, serviços web e até mesmo outros formatos de banco de dados.

Ao carregar a estrutura de um banco de dados na janela de design, o MapForce interpreta automaticamente o esquema do banco de dados, permite que você selecione as tabelas e visualizações disponíveis e reconhece as relações entre as tabelas.

Depois de carregar todos os modelos de dados necessários para o mapeamento ETL do seu banco de dados, complete o mapeamento simplesmente arrastando linhas de conexão entre as estruturas de origem e destino.

Recursos de mapeamento de banco de dados:

O MapForce oferece suporte a todos os principais bancos de dados relacionais e aos bancos de dados NoSQL mais populares, permitindo que você crie projetos de mapeamento gráfico entre dados de origem de bancos de dados, funções e filtros de processamento de dados, e outras estruturas de dados de diversos tipos.

Suportado Bancos de dados relacionais Para ETL:

Suportado Bancos de dados NoSQL Para ETL:

Muitas operações de ETL (extração, transformação e carregamento) de bancos de dados exigem a manipulação de dados entre a fonte e o destino, com base em condições booleanas ou em instruções SQL e SQL/XML. Pode ser necessário realizar comparações lógicas, cálculos matemáticos ou operações com strings, verificar se os dados do banco de dados possuem um valor específico e fazer outras modificações nos dados. Na captura de tela acima, as funções de processamento de dados aparecem como os blocos entre as linhas que conectam o modelo de dados de origem e o modelo de dados de destino.

As funções de processamento de dados permitem que você realize mapeamentos avançados de bancos de dados em tempo real, atendendo a uma variedade de necessidades de transformação. Por exemplo, você pode criar mapeamentos de banco de dados que utilizem mensagens XML ou EDI para extrair linhas de dados com base em critérios de filtro provenientes dos elementos XML ou EDI.

Depois que o mapeamento for definido, o motor MapForce integrado permite visualizar e salvar os resultados com apenas um clique.

As configurações para um banco de dados geram resultados na forma de scripts SQL (por exemplo, comandos SELECT, INSERT, UPDATE e DELETE) que são executados diretamente no seu banco de dados de destino, a partir do MapForce, ou através do MapForce Server.

Ferramenta de ETL para arquivos de texto e arquivos simples

Os dados históricos contidos em arquivos de texto existentes podem ser extraídos e atualizados para garantir a consistência com um repositório ETL existente. O MapForce inclui a ferramenta exclusiva FlexText, que permite analisar e converter arquivos de texto, como relatórios de texto de sistemas mainframe, arquivos de log baseados em texto e outros tipos de arquivos de texto legados, dentro dos projetos de mapeamento. Com sua interface visual, o FlexText permite inserir um arquivo de texto existente e extrair as partes que você deseja converter na interface de mapeamento do MapForce.

A FlexText gera um modelo que é então carregado no MapForce, onde os nós de texto individuais podem ser convertidos em qualquer combinação de XML, banco de dados, PDF, EDI, XBRL, arquivos de texto simples, Excel, JSON, Protocol Buffers e dados de serviços web. Ao salvar a configuração que você cria na FlexText, você pode reutilizar o mesmo modelo para converter vários arquivos de texto em diferentes formatos.

O FlexText permite criar regras para modelos de conversão de arquivos de texto, utilizados no mapeamento de processos de ETL. Ao abrir um arquivo de texto na interface do FlexText, o arquivo é exibido em dois blocos. O bloco raiz representa o arquivo original, enquanto o bloco de operações (localizado à direita) exibe os dados do arquivo em tempo real, à medida que você extrai os dados necessários.

O resultado de cada operação que você realiza é exibido em tempo real, permitindo que você veja imediatamente se obteve o resultado desejado.

Arquivos de texto antigos podem conter dados úteis em formatos CSV (valores separados por vírgula) ou FLF (campos de comprimento fixo) dentro de um arquivo de texto mais complexo. O FlexText permite extrair diretamente esses dados usando as operações CSV e FLF. Após aplicar as operações de divisão e outras, você pode armazenar os campos restantes formatados em CSV ou FLF, configurando os nomes dos campos, comprimentos, etc.

O FlexText permite que você isole os dados que precisa acessar, removendo textos, caracteres e espaços em branco irrelevantes, utilizando comandos de divisão. Cada divisão apresenta seus dados em dois novos blocos: um que contém os dados que você separou, e outro que exibe a versão modificada do seu arquivo convertido. Você pode visualizar imediatamente o resultado de cada operação que realiza.

O FlexText oferece suporte para as operações de "Node" (Nó) e "Ignore" (Ignorar), proporcionando maior flexibilidade na construção da estrutura de informações. A operação "Ignore" marca um bloco de texto como irrelevante para fins de conversão, instruindo o MapForce a ignorá-lo. A operação "Node" cria um novo nó na estrutura de informações no MapForce, permitindo que você represente adequadamente a natureza hierárquica dos seus dados textuais, quando necessário.

A função "Switch" permite definir múltiplas condições para um único bloco de texto. Os dados no arquivo de texto são enviados para o contêiner associado para serem utilizados na conversão do MapForce apenas se atenderem a uma condição específica.

O FlexText também oferece suporte para expressões regulares. Por exemplo, um arquivo de entrada pode ser um relatório gerado pelo sistema, com números e códigos de letras na margem esquerda que indicam os tipos de registro. Nesse caso, uma sequência de cinco dígitos seguida pela letra "O" indica o início de uma nova seção para uma determinada unidade.