Automatize os fluxos de trabalho de integração e transformação de dados com o servidor FlowForce

As organizações que lidam com grandes volumes de dados recebidos sabem bem o quão rapidamente o processamento manual se torna um obstáculo. Os ficheiros chegam em diferentes formatos, as regras de negócio variam consoante a região ou o cliente, e a margem de erro é mínima. O que é necessário é um sistema de processamento de dados fiável que possa encaminhar, transformar e calcular dados automaticamente, sem intervenção humana.

É exatamente isso que o Altova FlowForce Server e o MapForce Server foram concebidos para fazer. No nosso mais recente tutorial em vídeo, mostramos um cenário completo de automatização de fluxos de trabalho, desde o início até ao fim, com exemplos práticos.

Um cenário real de ETL

No vídeo, demonstramos um cenário prático de integração de dados que muitas organizações reconhecerão. Uma empresa recebe encomendas de clientes tanto dos EUA como da UE, recebidas em formato de ficheiro Excel. Como os cálculos de impostos são diferentes entre as duas regiões, as encomendas recebidas precisam de ser encaminhadas para a correspondência correta, processadas com a lógica de negócio apropriada e transformadas em formato JSON, tudo de forma automática.

Aqui está como o fluxo de trabalho se estrutura:

1. Um pedido de encomenda (PO) em formato Excel é recebido numa pasta de entrada monitorizada.

2. O servidor FlowForce deteta o novo ficheiro através de um gatilho do sistema de ficheiros e inicia o processo.

3. Uma correspondência condicional analisa o código do país do ficheiro e determina se a encomenda é proveniente dos EUA ou da União Europeia.

4. Com base nesse resultado, o servidor FlowForce executa o mapeamento regional apropriado, que aplica os cálculos fiscais corretos e transforma os dados para o formato JSON.

5. Em caso de sucesso, os ficheiros de origem e os ficheiros de saída são movidos para uma pasta de processamento. Se ocorrer um erro, os ficheiros são enviados para uma pasta de falhas para análise, e o processo continua a ser executado.

Este tipo de pipeline de processamento de dados, que envolve condições e múltiplas etapas, é uma exigência comum em.. Fluxos de trabalho ETL, e o servidor FlowForce facilita a configuração, sem a necessidade de escrever código personalizado.

Veja a demonstração:

Como o servidor FlowForce e o MapForce funcionam em conjunto

O vídeo demonstra como três produtos da Altova se combinam para automatizar fluxos de trabalho completos. O MapForce é a ferramenta de ambiente de trabalho utilizada para criar os mapeamentos de dados que definem como os ficheiros de entrada do Excel são transformados em ficheiros de saída JSON, incluindo quaisquer cálculos e reestruturação de dados.

Assim que as configurações estiverem prontas, elas são implementadas diretamente no servidor FlowForce.

Em tempo de execução, O servidor FlowForce orquestra o fluxo de trabalho: O FlowForce monitoriza os gatilhos, avalia as condições e gerencia todo o processo. Quando é hora de executar um mapeamento implementado, o FlowForce Server chama o MapForce Server, o motor de execução do lado do servidor que processa as transformações de dados. Esta separação significa que você projeta uma vez no MapForce, e depois deixa que o FlowForce Server e o MapForce Server gerenciem a execução automatizada, tudo isso sem precisar escrever scripts de shell ou desenvolver software intermediário personalizado.

Como configurar um fluxo de processamento de dados

O tutorial do FlowForce demonstra como gerir as funcionalidades do servidor FlowForce, que são essenciais para criar fluxos de trabalho de integração de dados robustos e adequados para produção:

• Os gatilhos do sistema de ficheiros iniciam automaticamente um processo quando um novo ficheiro aparece num diretório monitorizado – ideal para processar dados recebidos à medida que chegam.

• Execução condicional permite definir lógica de ramificação dentro de um processo. No nosso cenário, o código do país determina qual mapeamento regional executar, mas a mesma abordagem funciona para qualquer regra de negócio que exija diferentes caminhos de processamento.

• Gestão de erros e sucesso garante que o seu fluxo de trabalho funcione de forma estável, mesmo em caso de problemas. Os blocos protegidos detetam erros, movem os ficheiros problemáticos para uma pasta específica e utilizam etapas de continuação, para que a tarefa continue a ser executada em vez de falhar completamente.

• Variáveis e expressões na linguagem de expressões do FlowForce Server permitem calcular nomes de ficheiros, construir caminhos de forma dinâmica e transferir dados entre etapas, proporcionando um controlo preciso sobre o fluxo de trabalho automatizado.

O vídeo também apresenta várias funcionalidades adicionais para requisitos de automatização de processos mais avançados. O servidor FlowForce suporta etapas "para cada" para iterar sobre coleções de ficheiros, permite adiar etapas para garantir que os pré-requisitos sejam cumpridos antes da execução, e oferece armazenamento de resultados para tarefas demoradas que são disponibilizadas como serviços web. Os gatilhos baseados em tempo permitem agendar tarefas em intervalos específicos, enquanto os gatilhos HTTP permitem que sistemas externos invoquem tarefas sob demanda através de pedidos GET ou POST. As filas ajudam a gerir a carga do servidor numa única máquina ou num cluster.

Em conjunto, estas funcionalidades tornam o FlowForce Server um motor de fluxo de trabalho versátil, adequado para tarefas ETL simples baseadas em ficheiros, bem como para pipelines de integração de dados complexos e com várias etapas, que interagem com sistemas externos.

Experimente o FlowForce gratuitamente

Quer a sua equipa precise de automatizar transformações de dados recorrentes, criar um pipeline ETL fiável ou eliminar etapas manuais de processamento de dados, o FlowForce Server oferece as ferramentas necessárias para alcançar esses objetivos de forma rápida. Além de permitir a utilização do MapForce Server para integração de dados, o FlowForce Server também pode gerir fluxos de trabalho para validação e processamento de XML e XBRL, bem como para geração de relatórios empresariais.

Está pronto para experimentar por si mesmo? Descarregue uma versão de avaliação gratuita do servidor FlowForce e comece a criar fluxos de trabalho automatizados hoje mesmo.

Todos os produtos do software Altova Server estão disponíveis para download direto para Windows e Linux, bem como através de um modelo Azure VM gratuito ou um projeto Docker.