Come creare progetti di mappatura dati in batch

Una necessità comune nell'elaborazione dei dati è la mappatura dei dati in batch, soprattutto nel contesto della trasformazione e dell'integrazione dei dati. Questo processo prevede la conversione dei dati in gruppi, anziché l'elaborazione di singoli elementi di dati uno alla volta. La mappatura dei dati in batch è spesso richiesta in scenari di integrazione dei dati o ETL, in cui i dati provenienti da diverse fonti devono essere allineati o trasformati insieme. Due scenari comuni sono:da un lotto all'altro" e "un lotto a uno."

Nella nostra serie di video sull'elaborazione batch di dati, vi guideremo passo dopo passo nell'implementazione di questi progetti, utilizzando strumenti visivi in MapForce.

MAPPATURA DEI DATI TRA LOTE E LOTE

L'elaborazione di grandi quantità di dati è utile in situazioni in cui si ricevono aggiornamenti o modifiche ai dati in lotti, e si ha bisogno di sincronizzare o trasformare questi lotti contemporaneamente. Questo potrebbe essere necessario per convertire i dati in un formato diverso, eseguire un tipo di ordinamento o calcolo, o una combinazione di queste operazioni.

In questa dimostrazione, creiamo un progetto di mappatura dei dati che legge i file da una directory e utilizza i caratteri jolly per definire una mappatura che elaborerà i dati di più file contemporaneamente. Successivamente, esploreremo un'altra opzione per definire la conversione in batch, utilizzando nomi di file dinamici forniti dalla mappatura. Questa dimostrazione mostra anche come aggiungere calcoli e commenti ai vostri progetti di mappatura dei dati.

Sebbene questo video illustri la conversione da file JSON a file XML, MapForce supporta la conversione e la trasformazione per qualsiasi combinazione di formati, tra cui XML, JSON, PDF, database, testo, Protobuf, Excel, XBRL, Shopify e molti altri, per una gestione avanzata dell'integrazione dei dati e dei processi ETL.

TRASFORMAZIONE DEI DATI ESEGUITA SU Lotti

Da un lotto a uno trasformazione dei dati è un'altra esigenza comune, ad esempio, quando si desidera unire o combinare più file in un unico documento e, nel frattempo, eseguire operazioni di trasformazione, conversione o calcolo dei dati.

Questo esempio esplora diversi approcci per definire il processo batch, che potranno essere applicati in diversi contesti:

1. Specificare un insieme di file presenti nella stessa directory utilizzando un carattere jolly

2. Selezionare i file batch in base a un elenco di nomi di file memorizzati in una directory diversa

Questa dimostrazione mostra anche come ordinare i dati provenienti da più file prima di scriverli nel file di destinazione.

Dopo aver visionato queste brevi dimostrazioni, è possibile scaricare un Prova gratuita di MapForce Provate voi stessi a utilizzare le funzionalità di mappatura, conversione e trasformazione dei dati.

ALTRE DEMO DI MAPFORCE

Se questi video vi sono piaciuti, date un'occhiata al resto della serie di dimostrazioni di MapForce, che copre tutto, dalla mappatura di XML e JSON ai database, alla configurazione delle funzioni di elaborazione dei dati e all'estrazione dei dati dai documenti PDF.