Automatiseer workflows voor data-integratie en -transformatie met FlowForce Server

Organisaties die grote hoeveelheden inkomende data verwerken, weten hoe snel handmatige verwerking een knelpunt kan vormen. Bestanden arriveren in verschillende formaten, bedrijfsregels verschillen per regio of klant, en de foutmarge is klein. Wat nodig is, is een betrouwbare dataverwerkingsomgeving die data automatisch kan routeren, transformeren en berekenen, zonder menselijke tussenkomst.

Dat is precies waar Altova FlowForce Server en MapForce Server voor zijn ontworpen. In onze nieuwste video-tutorial laten we een compleet, realistisch scenario voor workflow-automatisering van begin tot eind zien.

Een praktijkvoorbeeld van ETL

In de video laten we een praktisch voorbeeld zien van data-integratie, dat veel organisaties herkenbaar zullen vinden. Een bedrijf ontvangt bestellingen van zowel Amerikaanse als Europese klanten, en deze bestellingen worden aangeleverd in Excel-bestanden. Omdat de belastingberekeningen verschillen tussen de twee regio's, moeten de binnenkomende bestellingen automatisch naar de juiste verwerking worden geleid, met de bijbehorende bedrijfslogica worden verwerkt en worden omgezet in een JSON-uitvoer.

Hier volgt een beschrijving van de manier waarop het proces verloopt:

1. Een inkooporder in Excel-formaat arriveert in een beveiligde map voor inkomende bestanden.

2. De FlowForce Server detecteert het nieuwe bestand via een trigger in het bestandssysteem en start vervolgens de taak.

3. Een voorwaardelijke mapping controleert de landcode in het bestand en bepaalt of de bestelling afkomstig is uit de VS of de EU.

4. Op basis van dat resultaat voert FlowForce Server de juiste regionale aanpassing uit, waarbij de correcte belastingberekeningen worden toegepast en de gegevens worden omgezet naar JSON-formaat.

5. Bij succes worden de bronbestanden en uitvoerbestanden verplaatst naar een map met de naam "verwerkt". Als er een fout optreedt, worden de bestanden naar een map met de naam "mislukt" verplaatst voor controle, en de taak wordt voortgezet.

Dit soort voorwaardelijke, meerstaps dataverwerkingsprocessen is een veelvoorkomende vereiste in ETL-workflows, en FlowForce Server maakt het eenvoudig om dit te configureren zonder dat er aangepaste code hoeft te worden geschreven.

Bekijk de demonstratie:

Hoe FlowForce Server en MapForce samenwerken

De video laat zien hoe drie Altova-producten samenwerken voor een complete automatisering van workflows. MapForce is de desktoptool voor het ontwerpen van de datamappingen die bepalen hoe de Excel-invoerbestanden worden omgezet in JSON-uitvoer, inclusief eventuele berekeningen en dataherstructurering.

Zodra de configuraties klaar zijn, worden ze direct naar de FlowForce Server geïnstalleerd.

Tijdens de uitvoering coördineert FlowForce Server de workflow: het bewaakt triggers, evalueert voorwaarden en beheert de gehele taak. Wanneer het tijd is om een geïmplementeerde mapping daadwerkelijk uit te voeren, roept FlowForce Server de MapForce Server aan, de server-gebaseerde uitvoeringsomgeving die de datatransformaties verwerkt. Deze scheiding betekent dat u eenmaal ontwerpt in MapForce, en vervolgens laat FlowForce Server en MapForce Server de geautomatiseerde uitvoering verzorgen, zonder dat u shellscripts hoeft te schrijven of aangepaste middleware hoeft te ontwikkelen.

Hoe configureert u een dataverwerkingspijplijn

De FlowForce-handleiding laat zien hoe u de functionaliteiten van FlowForce Server kunt beheren, die essentieel zijn voor het bouwen van robuuste, productiegerijpe data-integratieprocessen:

• Bestandssysteemtriggers starten automatisch een taak wanneer een nieuw bestand verschijnt in een gemonitorde map – ideaal voor het verwerken van binnenkomende gegevens zodra deze beschikbaar zijn.

• Voorwaardelijke uitvoering stelt u in staat om vertakkingslogica binnen een taak te definiëren. In ons scenario bepaalt de landcode welke regionale mapping moet worden uitgevoerd, maar dezelfde aanpak werkt voor elke bedrijfsregel die verschillende verwerkingspaden vereist.

• Omgaan met fouten en succes zorgt ervoor dat uw workflow op een gecontroleerde manier omgaat met problemen. Beschermde blokken vangen fouten op, verplaatsen problematische bestanden naar een aangewezen map en gebruiken herstartfuncties, zodat de taak blijft doorlopen in plaats van volledig te mislukken.

• Variabelen en expressies binnen de expressietaal van FlowForce Server stellen u in staat om bestandsnamen te berekenen, paden dynamisch te construeren en gegevens tussen stappen door te geven, waardoor u een fijnmazige controle heeft over de geautomatiseerde workflow.

De video laat ook verschillende aanvullende mogelijkheden zien voor geavanceerdere automatisering van werkprocessen. De FlowForce Server ondersteunt "voor elke"-stappen om iteraties over verzamelingen bestanden mogelijk te maken, stappen uit te stellen om ervoor te zorgen dat vereisten zijn vervuld voordat ze worden uitgevoerd, en resultaatcaching voor tijdrovende taken die als webdiensten worden aangeboden. Tijdgebaseerde triggers stellen u in staat om taken op specifieke intervallen in te plannen, terwijl HTTP-triggers externe systemen in staat stellen om taken op aanvraag uit te voeren via GET- of POST-verzoeken. Wachtrijen helpen bij het beheren van de serverbelasting, zowel op een enkele machine als in een cluster.

Samen maken deze functies van FlowForce Server een veelzijdig workflow-systeem, geschikt voor alles van eenvoudige ETL-processen op basis van bestanden tot complexe, meerstapsdata-integratieprocessen die interactie hebben met externe systemen.

Probeer FlowForce gratis

Of uw team nu repetitieve datatransformaties moet automatiseren, een betrouwbare ETL-pijplijn moet bouwen, of handmatige databewerkingstappen moet elimineren, FlowForce Server biedt de tools om dit snel te realiseren. Naast het aanroepen van MapForce Server voor data-integratie, kan FlowForce Server ook XML- en XBRL-validatie en -verwerking en werkstromen voor het genereren van bedrijfsrapporten beheren.

Bent u klaar om het zelf te proberen? Download een gratis proefversie van FlowForce Server en begin vandaag nog met het automatiseren van uw processen.

Alle Altova Server Software producten zijn direct te downloaden voor Windows en Linux, en zijn ook beschikbaar via een gratis Azure VM-sjabloon of een Docker-project.