Databasekoppeling en ETL (Extract, Transform, Load)

Tools voor het in kaart brengen van databases

MapForce is een tool voor data-integratie en ETL (Extract, Transform, Load) met uitgebreide ondersteuning voor databaseconversie. U kunt gegevens converteren tussen vrijwel elke combinatie van databases en XML, JSON, PDF, CSV en andere platte bestanden, EDI, Excel, protobuf, XBRL, webdiensten, Shopify/GraphQL en zelfs andere databaseformaten.

Wanneer u een database structuur in het ontwerpvenster laadt, interpreteert MapForce automatisch het databaseschema, stelt u in staat om beschikbare databasetabellen en -weergaven te selecteren, en herkent het de relaties tussen de tabellen. U kunt de database structuur vervolgens visueel bekijken.

Zodra u alle benodigde contentmodellen voor uw database-mapping heeft ingeladen, kunt u de mapping voltooien door eenvoudig verbindingslijnen tussen de bron- en doelstructuren te slepen.

Ondersteund relationeel databases: databases: databanken

Ondersteunde NoSQL databases:

MapForce ondersteunt alle belangrijke relationele databases, evenals populaire NoSQL-databases, waardoor u grafische database-mapping ontwerpen kunt maken tussen brondata van databases, databewerkingfuncties en filters, en andere datastructuren van verschillende types. Dit maakt het mogelijk om veelvoorkomende database-migratiescenario's te ondersteunen, zoals van MySQL naar PostgreSQL, evenals talloze andere mogelijkheden, waaronder één-op-veel-relaties en gekoppelde datatransformaties.

Filteren en verwerken van databasegegevens

Veel database-transformaties vereisen het manipuleren van gegevens tussen de bron en de bestemming, gebaseerd op boolean-voorwaarden of SQL- en SQL/XML-statements. Mogelijk moet u logische vergelijkingen uitvoeren, wiskundige berekeningen maken of string-bewerkingen uitvoeren, controleren of databasegegevens een bepaalde waarde hebben, en andere wijzigingen aan de gegevens aanbrengen. In de bovenstaande screenshot worden de databewerkingfuncties weergegeven als de vakken tussen de lijnen die de bron- en doeldatamodellen verbinden.

De functies voor dataverwerking stellen u in staat om geavanceerde databasekoppelingen in real-time te maken, voor een breed scala aan praktische transformatiebehoeften. U kunt bijvoorbeeld databasekoppelingen maken die XML- of EDI-berichten gebruiken om databasegegevens te extraheren op basis van filtercriteria die zijn afkomstig van de XML- of EDI-elementen.

Loggen (of traceren) van de output van de database

Met behulp van database-output tracing is het eenvoudig om alle wijzigingen die een mapping- of ETL-project aanbrengt in de database vast te leggen, terwijl de mapping wordt uitgevoerd.

Wanneer het traceren is ingeschakeld, worden gebeurtenissen zoals database-invoegingen of -wijzigingen, of fouten, vastgelegd in een XML-bestand. Dit bestand kan u later analyseren of op een geautomatiseerde manier verder verwerken.

Het volgen van databaseactiviteit kan worden ingeschakeld op het niveau van de databasecomponent, de tabel, de opgeslagen procedure of het databaseveld. U kunt ervoor kiezen om alle berichten te volgen, of alleen fouten, of u kunt het volgen volledig uitschakelen.

Zodra u het gewenste traceerniveau heeft geselecteerd, wordt het betreffende databasecomponent in het mappingproject uitgebreid met een XML-structuur die de logstructuur weergeeft. Als u de logbestanden liever in een ander formaat dan XML wilt, kunt u de gegevens uit het bestand mappen naar een ander gegevensformaat dat door MapForce wordt ondersteund (bijvoorbeeld een tekstbestand of zelfs een andere database).

Wanneer de ontwikkelaar op de knop "Output" klikt om het resultaat van de mapping te bekijken, kan hij ook een voorbeeld zien van hoe het traceerlog eruit zal zien wanneer de mapping wordt uitgevoerd.

Geavanceerde database-mapping en ETL-processen

Voor gebruikers die met SQL werken, bevat MapForce een tabblad "Database Query" waarmee directe databasequery's kunnen worden uitgevoerd. Wanneer u verbinding maakt met een database via dit tabblad, toont MapForce de tabellen van de database in een hiërarchische boomstructuur in het venster van de browser.

U kunt vervolgens het tabblad "SQL-editor" gebruiken om SQL- of SQL/XML-statements weer te geven, te bewerken en uit te voeren. Dit kan door bestaande SQL-bestanden te openen, of door SQL-statements vanaf nul te creëren met behulp van drag-and-drop-functionaliteit en automatische suggesties.

U kunt uw SQL-script uitvoeren en de resultaten in tabelvorm bekijken. U kunt zowel de opgehaalde gegevens als het SQL-script afzonderlijk opslaan in aparte bestanden.

De database-sleutelinstellingen in MapForce stellen u in staat om te bepalen hoe primaire en externe sleutelwaarden worden toegevoegd aan een database die als doel dient voor de datamapping. U kunt zelf waarden voor de sleutels invoeren binnen MapForce, of u kunt het databasesysteem de taak laten om automatisch waarden te genereren.

In situaties waarin de primaire en/of externe sleutelrelaties niet expliciet zijn gedefinieerd in uw databasetabellen, stelt MapForce u in staat om deze relaties direct te definiëren, zonder dat dit invloed heeft op de brongegevens.

Wanneer u gegevens naar een database importeert, stelt MapForce u in staat om database-acties te selecteren, waarmee u kunt bepalen hoe de gegevens naar de database worden geschreven. Dit geeft u volledige flexibiliteit om de meest geavanceerde taken op het gebied van gegevensbeheer te automatiseren.

Het gebruiksvriendelijke dialoogvenster "Database Tabel Acties" stelt u in staat om de kolommen binnen de geselecteerde tabel te definiëren die gebruikt worden om te bepalen welke actie (INVOEGEN, UPDATEN, VERWIJDEREN) in de database moet worden uitgevoerd.

Dit biedt ongekende flexibiliteit bij het bewerken van databasegegevens in reactie op XML, databases, EDI, XBRL, platte bestanden, Excel, JSON, JSON5, webdiensten of andere databasegegevens, allemaal via MapForce.

MapForce biedt uitgebreide ondersteuning voor opgeslagen procedures, zowel als invoercomponenten (procedures die resultaten leveren) of als uitvoercomponenten (procedures die gegevens invoegen of bijwerken). Bovendien kunnen opgeslagen procedures worden gebruikt als een functie-achtige aanroep, waardoor gebruikers invoergegevens kunnen aanleveren, de opgeslagen procedure kunnen uitvoeren en de uitvoergegevens kunnen lezen en toewijzen aan andere componenten.

MapForce stelt u ook in staat om verbinding te maken met en te mappen XML-gegevens die zijn opgeslagen in velden van relationele databases (momenteel ondersteund voor SQL Server en IBM DB2). U wijst eenvoudigweg een XML-schema toe aan het veld – ofwel een schema dat is geregistreerd in de database, of een schema van uw lokale bestandssysteem – en MapForce toont dit schema als een subboom van het databaseveld, zodat u het kunt gebruiken voor het maken van mappings.

SQL-query's die binnen de database worden uitgevoerd, zijn niet altijd voldoende voor complexe datatransformaties. MapForce biedt extra functionaliteit voor het sorteren van gegevens in de database via de SQL-WHERE/ORDER-component. Dit is handig voor database-invoer die extra verwerking vereist, of wanneer andere gegevens of voorwaarden in de transformatie de sorteervolgorde van de dataregels beïnvloeden.

JSON-databasekoppeling

MapForce biedt ondersteuning voor het definiëren en uitvoeren van database-mappingen op basis van JSON-modellen (JavaScript Object Notation). U kunt JSON-instantiebestanden of JSON-schema's toevoegen als bron- of doelcomponenten van een database-mapping. MapForce leest en schrijft JSON-bestanden op basis van het JSON Draft 04-schema.

Zoals hieronder te zien is, worden JSON-componenten weergegeven met de juiste syntaxis en hun datatypes worden duidelijk aangegeven.

Functies voor dataverwerking uit de MapForce-functiebibliotheek kunnen worden gebruikt om JSON-gegevens te transformeren, net zoals ze worden gebruikt met andere componenten.

Wanneer u een JSON- of JSON5-bestand toevoegt aan een database-mapping, detecteert MapForce automatisch of het een schema- of een instantiebestand is. Voor JSON- of JSON5-instantiebestanden vraagt MapForce u om een schema te selecteren of om er automatisch één te genereren. MapForce gebruikt het JSON- of JSON5-schema om de structuur van het component te construeren.

MapForce Server ondersteunt het bulk-invoegen van gegevens voor databases

"Bulk Insert" is een functie die beschikbaar is voor bepaalde databases en waarmee een grote hoeveelheid data in één keer in een databasetabel kan worden ingevoegd, in plaats van de gebruikelijke methode waarbij voor elke rij een afzonderlijke "Insert"-instructie wordt gebruikt. Omdat de verwerkingsbelasting voor de database-engine aanzienlijk wordt verminderd, is de prestatie veel sneller. Tests met MapForce Server, met behulp van enkele voorbeelden, hebben aangetoond dat "Bulk Insert" meer dan 10 keer sneller kan zijn dan het gebruik van individuele "Insert"-instructies.

Bulk Insert is ook voordelig in omgevingen met meerdere gebruikers. Een lange reeks "Insert"-commando's die door één gebruiker naar de database worden verzonden, kan potentieel worden onderbroken door een andere gebruiker die een "Select"-verzoek naar dezelfde tabel stuurt. In dat geval zou de reeks "Insert"-commando's worden hervat. In een dergelijke situatie zou de "Select"-operatie leiden tot onvolledige of ongeldige gegevens.