Het overbrengen van datamappingsprojecten van de ontwikkelingsfase via de testfase naar de productieomgeving

Data-mappingprojecten lijken vaak op softwareontwikkelingsprojecten, met duidelijke fasen voor ontwerp, testen en implementatie. Dit is vooral van toepassing op ETL-projecten (Extract, Transform, Load), waarbij herhaalde data-mapping nodig is wanneer nieuwe data beschikbaar komt, en de inzet toeneemt bij grote datasets. De Altova MissionKit- en Server Software-producten bieden globale resources om configuraties voor elke projectfase te definiëren en een soepele overgang tussen deze fasen mogelijk te maken.

Laten we eens kijken naar een voorbeeld gebaseerd op een data-mapping in MapForce, waarbij gegevens van een bronbestand worden omgezet naar een database.

Het onderstaande project voor data-omzetting neemt een CSV-bestand als invoer, dat één of meerdere eenvoudige verkooporders bevat. Elke order bevat een productnummer en een hoeveelheid, en de omzetting berekent het totale verkoopbedrag op basis van de huidige productprijs, genereert een uniek ordernummer en plaatst de order in een bestaande database.

Het ontwikkelen van een datamapping zoals deze en het integreren ervan in een bedrijfsprocess is een proces dat drie duidelijke stappen omvat: een ontwikkelaar of data-expert ontwerpt de mapping, een kwaliteitscontroleur valideert de mapping, en vervolgens wordt de mapping geïmplementeerd in de productieomgeving. Met Global Resources kunnen verschillende betrokkenen bij het project de brongegevens en de doeldatabase voor elke fase wijzigen, zonder dat de mapping zelf aangepast hoeft te worden.

Globale resources zijn verwijzingen naar bestanden, mappen of databases die als alias werken. Wanneer ze worden opgeslagen als globale resources, worden paden en databaseverbindingen herbruikbaar en beschikbaar in verschillende Altova-applicaties. De afbeelding hieronder toont globale resources die verwijzen naar een invoergegevensbestand en een database.

Globale referenties kunnen ook worden georganiseerd in configuraties. Zo vereisen sommige datamappingprojecten bijvoorbeeld aparte configuraties voor het ontwerp, het testen en de productie van de mapping. Het wisselen tussen configuraties verandert zowel het bronbestand als de doeldatabase.

De afbeelding hieronder toont een deel van de MapForce-werkbalk met het dropdownmenu voor de globale resource-configuratie. Hier kan de gebruiker de actieve configuratie selecteren.

Bij de datamapping zelf worden zowel het invoerbestand als de doeldatabase gedefinieerd om te verwijzen naar globale resources. Hieronder wordt het dialoogvenster voor de componentinstellingen voor het bronbestand, als een globale resource, weergegeven:

Voor elke configuratie van een globale resource wordt ook de doeldatabase gedefinieerd:

De ontwerper van het datamappingsproject begint in eerste instantie met een kleine dataset en een kopie van de database structuur. Zodra de mapping voltooid is, voert de ontwikkelaar deze direct uit in MapForce om een SQL-script te genereren en uit te voeren, waarmee de data wordt ingevoegd. Het MapForce-venster toont de resultaten:

Voor de testfase willen we Voer de datamapping direct uit in MapForce Server, in een testomgeving die een ander invoerbestand en een kopie van de database gebruikt dan waarmee de ontwikkelaar oorspronkelijk werkte.

De ontwikkelaar compileert de mapping naar een uitvoerbaar bestand voor MapForce Server via het menu "Bestand" in MapForce

Het uitvoerbestand van MapForce Server bevat de mapping, het bestand met globale resources en de databaseverwijzingen die bij de mapping horen, maar het lost geen specifieke configuratie van globale resources op. Dit maakt het mogelijk om de configuratie van de globale resources tijdens de uitvoering te selecteren. De definities van de globale resources worden opgeslagen in een XML-bestand met de naam GlobalResources.xml op de werkstation van de ontwerper. De ontwerper zou zowel het uitvoerbestand van MapForce Server als het bestand met globale resources aanleveren voor de testfase.

Het testteam gebruikt de commandoregelinterface van MapForce Server om de transformatie uit te voeren met de gewenste configuratie. Hieronder is de algemene vorm van de MapForce Server commandoregel weergegeven, met de naam van de transformatie en parameters voor het globale resourcebestand en de globale resourceconfiguratie:

En hier is de daadwerkelijke commando, zoals deze eruit zou kunnen zien in een opdrachtvenster:

Als de testresultaten bevredigend zijn, kunnen de mapping en de globale resources worden geïmplementeerd op de FlowForce Server en uitgevoerd als onderdeel van een FlowForce Server-taak, mogelijk als onderdeel van een geplande data-importoperatie voor het hele bedrijf. De mapping kan worden geïmplementeerd via het hoofdmenu, zoals hierboven getoond, via de optie "Implementeren op FlowForce Server":

Globale resources kunnen worden beheerd via het dialoogvenster "Globale resources beheren":

Elke configuratie wordt opgeslagen als een apart FlowForce Server-object en wordt vermeld in de taakdefinitie van de FlowForce Server.

Download een gratis proefversie om datamappingprojecten naadloos te integreren in uw eigen bedrijfsprocessen!