MapForce ETL-tools

Bedrijfstoepassingen voor ETL-software

ETL-tools (Extract-Transform-Load) bieden een mechanisme om data uit externe bronnen te halen, deze om te zetten naar een gestandaardiseerd dataformaat en vervolgens in een eindbestemming of opslagplaats te laden.

MapForce is een uiterst effectief, lichtgewicht en schaalbaar ETL-tool met ondersteuning voor veelgebruikte bedrijfsgegevensformaten (XML, JSON, PDF, databases, platte bestanden, EDI, Protobuf, Shopify/GraphQL, enz.). MapForce biedt een eenvoudige, visuele ETL-mappinginterface waarmee u gemakkelijk alle ondersteunde structuren kunt laden en vervolgens met behulp van drag-and-drop functionaliteit knooppunten kunt verbinden, datatransformatiefuncties en filters kunt toevoegen, of de visuele functiebouwer kunt gebruiken voor complexere ETL-projecten.

Om de visuele interface aan te vullen, kunnen de MapForce ETL-tools naadloos worden geautomatiseerd via de krachtige MapForce Server.

MapForce stelt u in staat om gegevensstructuren eenvoudig te koppelen met behulp van de drag-and-drop functionaliteit voor ETL-datamapping.

Geavanceerde filters en functies voor dataverwerking kunnen worden toegevoegd via een ingebouwde functiebibliotheek. U kunt de visuele functiebouwer gebruiken om meerdere inline- en/of recursieve bewerkingen te combineren in complexere ETL- of data-integratieprojecten, en zelfs functies opslaan voor gebruik in andere projecten.

MapForce ondersteunt ook geavanceerde ETL-scenario's die meerdere invoer- en uitvoerschema's, meerdere bron- en/of doelbestanden, of complexe, meerstapsdata-transformaties omvatten.

Ondersteuning voor datastromen zorgt voor een aanzienlijke prestatieverbetering van uw ETL-projecten, doordat u gegevensstromen kunt ontvangen van extreem grote XML-, CSV- en FLF-bestanden en relationele databases, en deze gegevensstromen kunt doorsturen naar even grote XML-, CSV- en FLF-bestanden, of deze kunt opslaan in een database.

Deze ingebouwde functionaliteit betekent dat MapForce grote hoeveelheden data en ETL-projecten eenvoudig kan verwerken, waarbij de enige beperking de beschikbare schijfruimte op uw lokale computer of op een netwerk is.

Om deze functie te activeren, selecteert u eenvoudigweg het pictogram "BUILTIN" in de werkbalk in het ontwerpvenster van MapForce.

Met ondersteuning voor het massaal invoegen van gegevens in databases, evenals directe datastroming, is MapForce Server ook uitermate geschikt voor het uitvoeren van ETL-datamappingen.

Converteer gegevensformaten

In ETL-toepassingen arriveert nieuwe informatie die bedoeld is voor import vaak in een dataformaat dat niet compatibel is met de bestaande database. MapForce biedt ongeëvenaarde kracht en flexibiliteit voor geavanceerde conversie en transformatie, waardoor het een efficiënt ETL-gereedschap is voor wereldwijde en interne data-integratieprojecten. U kunt eenvoudig data uit meerdere bestanden in verschillende formaten integreren.

MapForce is een ideaal middleware-product voor het verbinden van gedistribueerde applicaties, en biedt ondersteuning voor het automatiseren van data-integratie. Het is geschikt voor gebruik in elke lokale onderneming, webgebaseerde workflows of zelfs cloud-architecturen.

Drie datavormen zijn opgenomen in de ETL-mapping die hieronder wordt weergegeven. Het belangrijkste bronbestand is een Excel-spreadsheet, en de uiteindelijke uitvoerbestemming is een database. Echter, de gegevens in de kolom "SharesAndLeaves" van de database worden opgeslagen als een JSON-object. Het MapForce ETL-tool maakt het JSON-object dynamisch aan en voegt het toe aan de gegenereerde SQL-insert-statement, zoals te zien is in de voorbeeldweergave rechtsonder op de screenshot.

Of het nu gaat om een XML-, JSON- of databaseschema, een Shopify API, een EDI-configuratiebestand, een PDF-sjabloon, of een XBRL-taxonomie, MapForce integreert data op basis van datastructuren, ongeacht de specifieke inhoud. Dit betekent dat u datamappingen opnieuw kunt gebruiken, zelfs als de bedrijfsdata veranderen.

MapForce kan uitvoeringsbestanden genereren voor gebruik door MapForce Server, of royalty-vrije code voor data-integratie in Java, C# of C++, voor het automatisch opnieuw verwerken van ETL-projecten. Dit stelt u in staat om geplande of op gebeurtenissen gebaseerde data-integratie-/migratietaken te implementeren, die kunnen worden opgenomen in rapportage-, e-commerce- of SOA-gebaseerde applicaties. MapForce data-integratietaken kunnen ook worden geautomatiseerd via een data-integratie-API of een ActiveX-component.

ETL-projecten vereisen datagegevens worden bewerkt om invoergegevens om te zetten voordat deze door het doel systeem worden gebruikt. MapForce biedt een intuïtieve, visuele functiebouwer, volledig schaalbare databewerkingsfuncties met ingebouwde bibliotheken, filters en voorwaarden, en meer, om u in staat te stellen gegevens eenvoudig te bewerken en verschillende formaten te integreren.

MapForce vereist geen verzameling van adapters of andere extra kosten met zich meebrengende add-ons. Gebruikers hebben volledige controle over het ontwerp en de implementatie van data-integratie en -transformatie van alle datatypes, inclusief elke combinatie van XML, JSON, databases, tekstbestanden, EDI, Excel, XBRL en/of web services data.

Tools voor het extraheren, transformeren en laden van data in databases

De MapForce database ETL-tools bieden uitgebreide ondersteuning voor database-mapping, inclusief het omzetten van databasegegevens tussen elke combinatie van XML, JSON, PDF, CSV, EDI, Excel, Protobuf, XBRL, Shopify/GraphQL, webdiensten en zelfs andere databaseformaten.

Wanneer u een database structuur in het ontwerpvenster laadt, interpreteert MapForce automatisch het databaseschema, stelt u in staat om beschikbare databasetabellen en -weergaven te selecteren, en herkent het de relaties tussen de tabellen.

Zodra u alle benodigde contentmodellen voor uw database-ETL-mapping heeft ingeladen, kunt u de mapping voltooien door eenvoudig verbindingslijnen te slepen tussen de bron- en doelstructuren.

Functies voor database-mapping:

MapForce ondersteunt alle belangrijke relationele databases en populaire NoSQL-databases, waardoor u grafische database-mapping ontwerpen kunt maken tussen brondata uit databases, databewerkingfuncties en filters, en andere datastructuren van verschillende types.

Ondersteunde relationele databases voor ETL:

Ondersteunde NoSQL-databases voor ETL:

Veel database-ETL-transformaties vereisen datagegevens tussen de bron en de bestemming worden aangepast op basis van boolean-voorwaarden of SQL- en SQL/XML-statements. Mogelijk moet u logische vergelijkingen uitvoeren, wiskundige berekeningen maken of stringbewerkingen uitvoeren, controleren of databasegegevens een bepaalde waarde hebben, en andere wijzigingen aan de gegevens aanbrengen. In de bovenstaande screenshot worden de databewerkingsfuncties weergegeven als de vakken tussen de lijnen die de bron- en doeldatamodellen verbinden.

De functies voor dataverwerking stellen u in staat om geavanceerde databasekoppelingen in real-time te maken, voor een breed scala aan praktische transformatiebehoeften. U kunt bijvoorbeeld databasekoppelingen maken die XML- of EDI-berichten gebruiken om databasegegevens te extraheren op basis van filtercriteria die zijn afkomstig van de XML- of EDI-elementen.

Zodra uw mapping is gedefinieerd, stelt de ingebouwde MapForce-engine u in staat om de resultaten met één klik te bekijken en op te slaan.

De mapping naar een database genereert uitvoer in de vorm van SQL-scripts (bijvoorbeeld SELECT-, INSERT-, UPDATE- en DELETE-statements) die direct vanuit MapForce of via MapForce Server worden uitgevoerd op uw doeldatabase.

Tool voor het verwerken van tekstbestanden en platte bestanden (Extract, Transform, Load)

Bestaande tekstbestanden kunnen worden doorzocht en bijgewerkt om consistent te zijn met een bestaande ETL-repository. MapForce bevat de unieke FlexText-tool voor het verwerken en converteren van tekstbestanden, zoals tekstrapporten van mainframe-systemen, tekstgebaseerde logbestanden en andere soorten legacy-tekstbestanden, binnen de mapping-ontwerpen. Met de visuele interface kunt u met FlexText een bestaand tekstbestand invoegen en de gewenste delen extraheren om ze in de MapForce-mappinginterface te converteren.

FlexText genereert een sjabloon dat vervolgens in MapForce wordt geladen. Hierin kunnen individuele tekstblokken worden omgezet in een combinatie van XML, databases, PDF, EDI, XBRL, platte bestanden, Excel, JSON, Protocol Buffers en web services data. Door de configuratie die u in FlexText maakt op te slaan, kunt u hetzelfde sjabloon hergebruiken om meerdere tekstbestanden om te zetten met verschillende mappinginstellingen.

FlexText stelt u in staat om regels te definiëren voor conversiemallen van tekstbestanden, die gebruikt worden voor ETL-mapping. Wanneer u een tekstbestand opent in de FlexText-interface, wordt het bestand weergegeven in twee blokken. Het hoofdblok vertegenwoordigt het originele bestand, terwijl het actieblok (aan de rechterkant) de gegevens van het bestand in real-time weergeeft, terwijl u de benodigde gegevens selecteert.

Het resultaat van elke actie die u uitvoert is direct zichtbaar, waardoor u onmiddellijk kunt zien of u het gewenste resultaat heeft bereikt.

Oude tekstbestanden kunnen nuttige gegevens bevatten in CSV- (waarde gescheiden door komma's) of FLF- (velden met vaste lengte) formaten, verpakt in een complexer plat bestand. FlexText stelt u in staat om deze gegevens direct te extraheren met behulp van de CSV- en FLF-bewerkingen. Nadat u bewerkingen zoals "Splitsen" en andere bewerkingen hebt uitgevoerd, kunt u de overgebleven velden in CSV- of FLF-formaat opslaan door de veldnamen, lengtes, enz. te configureren.

FlexText stelt u in staat om de gegevens die u wilt benaderen te isoleren door irrelevante tekst, tekens en witruimte te verwijderen met behulp van splitsingsfuncties. Elke splitsing presenteert uw gegevens in twee nieuwe blokken: één blok bevat de gegevens die u hebt gesplitst, en het andere toont de gewijzigde weergave van uw geconverteerde bestand. U kunt direct het resultaat van elke uitgevoerde bewerking zien.

FlexText ondersteunt functies voor het toevoegen en negeren van elementen, waardoor u meer flexibiliteit heeft bij het opbouwen van de informatieboom. Met de "Ignore"-functie markeert u een tekstblok als irrelevant voor de conversie, waardoor MapForce dit blok negeert. Met de "Node"-functie maakt u een nieuw element in de informatieboom in MapForce, zodat u de hiërarchische structuur van uw tekstgegevens correct kunt weergeven indien nodig.

De "Switch"-functie stelt u in staat om meerdere voorwaarden te definiëren voor een enkel tekstblok. De gegevens in het tekstbestand worden alleen aan de bijbehorende container doorgegeven en gebruikt in uw MapForce-conversie, als ze aan een bepaalde voorwaarde voldoen.

FlexText ondersteunt ook reguliere expressies. Zo kan een invoerbestand bijvoorbeeld een door het systeem gegenereerd rapport zijn met getallen en lettercodes in de linker marge, die recordtypen aangeven. Een reeks van vijf cijfers gevolgd door de letter "O" kan bijvoorbeeld het begin van een nieuwe sectie voor een specifieke vestiging aangeven.