Wie man Projekte zur Massenverarbeitung von Daten erstellt

Eine häufige Anforderung in der Datenverarbeitung ist die Batch-Datenzuordnung, insbesondere im Kontext von Datentransformation und -integration. Dabei werden Daten in großen Mengen verarbeitet, anstatt einzelne Datenpunkte nacheinander zu bearbeiten. Die Batch-Datenzuordnung ist oft erforderlich in Szenarien der Datenintegration oder ETL (Extrahieren, Transformieren, Laden), in denen Daten aus verschiedenen Quellen zusammengeführt oder transformiert werden müssen. Zwei typische Szenarien sind „Batch-zu-Batch“ und „Batch-zu-eins“

In unserer Video-Reihe zur Batch-Datenverarbeitung zeigen wir Ihnen Schritt für Schritt, wie Sie diese Projekte mithilfe visueller Werkzeuge in MapForce umsetzen können.

DATENABGLEICHUNG ZWISCHEN VERSCHIEDENEN DATENMENGEN

Die Verarbeitung großer Datenmengen ist hilfreich in Situationen, in denen Datenaktualisierungen oder -änderungen in großen Mengen eingehen und Sie diese Mengen zusammen synchronisieren oder transformieren müssen. Dies kann beispielsweise dazu dienen, die Daten in ein anderes Format zu konvertieren, eine bestimmte Sortierung oder Berechnung durchzuführen oder eine Kombination aus diesen Vorgängen.

In dieser Demonstration erstellen wir ein Datenmapping-Projekt, das Dateien aus einem Verzeichnis liest und Wildcards verwendet, um eine Zuordnung zu erstellen, die Daten aus mehreren Dateien gleichzeitig verarbeitet. Anschließend untersuchen wir eine weitere Möglichkeit, Batch-Konvertierungen mithilfe dynamischer Dateinamen zu definieren, die von der Zuordnung bereitgestellt werden. Diese Demonstration zeigt auch, wie Sie Berechnungen und Kommentare zu Ihren Datenmapping-Projekten hinzufügen können.

Obwohl dieses Video die Umwandlung von JSON-Dateien in XML-Dateien anhand eines konkreten Beispiels zeigt, unterstützt MapForce die Konvertierung und Transformation für jede beliebige Kombination von XML-, JSON-, PDF-, Datenbank-, Text-, Protobuf-, Excel-, XBRL- und Shopify-Dateien sowie für viele weitere Formate, um fortschrittliche Datenintegration und ETL-Prozesse zu ermöglichen.

Stapelweise Datenumwandlung

Chargenweise zu Einzelstücken Datentransformation ist eine weitere häufige Anforderung, beispielsweise wenn Sie mehrere Dateien zu einem einzigen, zusammengefassten Dokument zusammenführen oder kombinieren und dabei Daten transformieren, konvertieren oder Berechnungen durchführen möchten.

Dieses Beispiel untersucht verschiedene Ansätze zur Definition des Batch-Prozesses, die in unterschiedlichen Szenarien anwendbar sind:

1. Eine Sammlung von Dateien im selben Verzeichnis mithilfe eines Platzhalters angeben

2. Auswahl von Batch-Dateien basierend auf einer Liste von Dateinamen, die in einem anderen Verzeichnis gespeichert sind

Diese Demo zeigt außerdem, wie man die aus mehreren Dateien zusammengeführten Daten sortiert, bevor man sie in die Zielausgabe schreibt.

Nachdem Sie sich diese kurzen Demonstrationen angesehen haben, können Sie eine kostenlose Testversion von MapForce herunterladen, um die Batch-Verarbeitung, Konvertierung und Transformation selbst auszuprobieren.

WEITERE MAPFORCE-DEMOVERSIONEN

Wenn Ihnen diese Videos gefallen haben, schauen Sie sich doch den Rest der MapForce-Demo-Reihe an. Diese behandelt alles von der Umwandlung von XML- und JSON-Daten in Datenbanken bis hin zur Konfiguration von Datenverarbeitungsfunktionen und der Extraktion von Daten aus PDF-Dokumenten.