Hoe maakt u projecten voor het groepsgewijs verwerken van data
Een veelvoorkomende vereiste bij dataverwerking is het verwerken van data in batches, met name in de context van datatransformatie en -integratie. Het omvat het omzetten van data in groepen, in plaats van individuele datapunten één voor één te verwerken. Batchdataverwerking is vaak nodig bij data-integratie of ETL-processen, waarbij gegevens uit verschillende bronnen samen moeten worden afgestemd of getransformeerd. Twee veelvoorkomende scenario's zijn:van batch tot batch" en "een batch naar één."
In onze videoreeks over batchdataverwerking laten we u stap voor stap zien hoe u deze projecten kunt implementeren, met behulp van visuele tools in MapForce.
Data-mapping tussen verschillende batches
Het verwerken van grote hoeveelheden data is nuttig in situaties waarin u data-updates of -wijzigingen in batches ontvangt, en u deze batches gezamenlijk wilt synchroniseren of transformeren. Dit kan bijvoorbeeld om ze om te zetten naar een ander formaat, om een bepaalde sorteer- of berekeningsbewerking uit te voeren, of een combinatie van deze bewerkingen.
In deze demonstratie maken we een project voor data-mapping dat bestanden uit een map leest en wildcards gebruikt om een mapping in te stellen waarmee data uit meerdere bestanden tegelijkertijd verwerkt kan worden. Vervolgens onderzoeken we een andere optie voor het definiëren van batchconversies, waarbij dynamische bestandsnamen worden gebruikt die door de mapping worden aangeleverd. Deze demonstratie laat ook zien hoe u berekeningen en commentaar kunt toevoegen aan uw data-mappingprojecten.
Hoewel deze video een voorbeeld laat zien van de conversie van JSON-bestanden naar XML-bestanden, ondersteunt MapForce conversie en transformatie voor elke combinatie van XML, JSON, PDF, databases, tekstbestanden, Protobuf, Excel, XBRL, Shopify en meer, voor geavanceerde data-integratie en ETL-processen.
Batch-gebaseerde dataomzetting
Batch naar één gegevensomzetting is een andere veelvoorkomende vereiste, bijvoorbeeld wanneer u meerdere bestanden wilt samenvoegen tot één document en daarbij bepaalde bewerkingen wilt uitvoeren, zoals het transformeren, converteren of berekenen van gegevens.
Dit voorbeeld onderzoekt verschillende benaderingen voor het definiëren van het batchproces, die in verschillende situaties van toepassing kunnen zijn:
Het specificeren van een verzameling bestanden in dezelfde map met behulp van een wildcard
Het selecteren van batchbestanden op basis van een lijst met bestandsnamen die is opgeslagen in een andere map
Deze demonstratie laat ook zien hoe u de gegevens die uit meerdere bestanden zijn samengevoegd, kunt sorteren voordat u deze naar de doelbestemming schrijft.
Nadat u deze korte demonstraties heeft bekeken, kunt u een gratis proefversie van MapForce downloaden om zelf batch-mapping, conversie en transformatie uit te proberen.
MEER DEMO'S VAN MAPFORCE
Als u deze video's leuk vond, bekijk dan de rest van de MapForce demo-serie. Deze serie behandelt alles, van het omzetten van XML en JSON naar databases, tot het configureren van functies voor dataverwerking en het extraheren van data uit PDF-documenten.