Mappatura dei database e processi ETL

Strumenti di mappatura dei database

MapForce è uno strumento di integrazione dati e ETL che offre un potente supporto per la conversione di database. Permette di convertire dati tra qualsiasi combinazione di database, XML, JSON, PDF, CSV e altri file di testo, EDI, Excel, protobuf, XBRL, servizi web, Shopify/GraphQL e persino altri formati di database.

Quando si carica la struttura di un database nella finestra di progettazione, MapForce interpreta automaticamente lo schema del database, consente di selezionare le tabelle e le viste disponibili e riconosce le relazioni tra le tabelle. In questo modo, è possibile visualizzare la struttura del database in modo grafico.

Una volta caricati tutti i modelli di dati necessari per la mappatura del database, completate la mappatura semplicemente trascinando delle linee di collegamento tra le strutture di origine e di destinazione.

Supportato relazionale database:

Supportato NoSQL Banche dati:

MapForce supporta tutti i principali database relazionali, nonché i database NoSQL più diffusi, consentendovi di creare progetti grafici per la mappatura dei dati tra le fonti di dati del database, le funzioni di elaborazione dei dati e i filtri, e altre strutture dati di vario tipo. Questo permette di gestire scenari comuni di migrazione dei database, come.. Conversione da MySQL a PostgreSQLe, inoltre, innumerevoli altre possibilità, tra cui trasformazioni dei dati da uno a molti e trasformazioni concatenate.

Filtrare ed elaborare i dati del database

Molte trasformazioni di database richiedono la manipolazione dei dati tra la sorgente e la destinazione, basandosi su condizioni booleane o istruzioni SQL e SQL/XML. Potrebbe essere necessario eseguire confronti logici, calcoli matematici o operazioni su stringhe, verificare la presenza di dati specifici nel database e apportare altre modifiche ai dati. Nello screenshot mostrato, le funzioni di elaborazione dei dati sono rappresentate dai riquadri situati tra le linee che collegano il modello di dati di origine e quello di destinazione.

Le funzioni di elaborazione dati consentono di eseguire mappature avanzate di database in tempo reale, per soddisfare una vasta gamma di esigenze di trasformazione dei dati. Ad esempio, è possibile creare mappature di database che utilizzano messaggi XML o EDI per estrarre righe di dati in base a criteri di filtro, a partire dagli elementi contenuti nei messaggi XML o EDI.

Registrazione (o tracciamento) dell'output del database

La funzionalità di tracciamento dell'output del database semplifica la registrazione di tutte le modifiche apportate da un progetto di mappatura o ETL al database durante l'esecuzione della mappatura.

Quando la funzionalità di tracciamento è attiva, eventi come le operazioni di inserimento o aggiornamento nel database, oppure gli errori, vengono registrati in un file XML che è possibile analizzare in seguito o elaborare ulteriormente in modo automatizzato.

La tracciatura del database può essere attivata a livello di componente del database, tabella, procedura memorizzata o campo del database. È possibile scegliere di tracciare tutti i messaggi o solo gli errori, oppure è possibile disabilitare completamente la tracciatura.

Una volta selezionato il livello di tracciamento desiderato, il componente del database interessato nel progetto di mappatura viene arricchito con un albero XML che mostra la struttura del log. Se si preferisce che il file di log sia in un formato diverso da XML, è possibile mappare i dati da esso a un altro formato supportato da MapForce (ad esempio, un file di testo o persino un altro database).

Quando si preme il pulsante "Output" per visualizzare l'anteprima del risultato della mappatura, lo sviluppatore può anche vedere un esempio di come apparirà il registro delle tracce quando la mappatura viene eseguita.

Mappatura avanzata di database e processi ETL

Per gli utenti che lavorano con SQL, MapForce include una scheda "Query del database" per eseguire query dirette al database. Quando ci si connette a un database tramite la scheda "Query del database", MapForce visualizza le tabelle del database in una struttura ad albero gerarchica nella finestra del browser.

Potete quindi utilizzare la scheda dell'editor SQL per visualizzare, modificare ed eseguire istruzioni SQL o SQL/XML, sia aprendo file SQL esistenti, sia creando nuove istruzioni SQL partendo da zero, utilizzando le funzionalità di trascinamento e rilascio e il completamento automatico.

È possibile eseguire il proprio script SQL e visualizzare i risultati in forma tabellare, nonché salvare sia i dati recuperati che lo script SQL separatamente, in file distinti.

Le impostazioni delle chiavi del database in MapForce consentono di personalizzare il modo in cui i valori delle chiavi primarie e secondarie verranno aggiunti a un database che è l'obiettivo della mappatura dei dati. È possibile fornire i valori delle chiavi direttamente all'interno di MapForce, oppure è possibile lasciare che il sistema di database gestisca la generazione automatica di questi valori.

In situazioni in cui le relazioni di chiave primaria e/o chiave esterna non sono definite esplicitamente nelle tabelle del database, MapForce consente di definire queste relazioni direttamente, senza alterare i dati di origine.

Quando si effettua una mappatura verso un database, MapForce consente di selezionare le azioni relative alle tabelle del database per controllare come i dati vengono scritti nel database. Questo offre la massima flessibilità per automatizzare anche le attività di gestione dei dati più complesse.

La finestra di dialogo "Azioni sulla tabella del database", facile da usare, consente di definire le colonne all'interno della tabella selezionata, che verranno utilizzate per determinare quale azione (INSERIMENTO, AGGIORNAMENTO, ELIMINAZIONE) deve essere eseguita nel database.

Questo offre una flessibilità senza precedenti nella manipolazione delle righe del database in risposta a dati XML, dati di database, EDI, XBRL, file di testo, Excel, JSON, JSON5, servizi web o altri dati di database, grazie a MapForce.

MapForce offre un supporto completo per le stored procedure, che possono essere utilizzate come componenti di input (procedure che forniscono risultati) o come componenti di output (procedure che inseriscono o aggiornano dati). In alternativa, le stored procedure possono essere utilizzate come chiamate di funzioni, consentendo agli utenti di fornire dati di input, eseguire la stored procedure e leggere/mappare i dati di output ad altri componenti.

MapForce consente anche di connettersi e mappare dati XML memorizzati in campi di database relazionali (attualmente supportato per SQL Server e IBM DB2). È sufficiente assegnare uno schema XML – registrato nel database o proveniente dal sistema di file locale – al campo, e MapForce visualizza lo schema come un sottoalbero del campo del database, al fine di facilitare la mappatura.

Le query SQL che operano all'interno del database non sono sempre sufficienti per attività di mappatura dati complesse. MapForce offre funzionalità aggiuntive di ordinamento dei dati tramite il componente SQL-WHERE/ORDER per l'input da database che richiedono un'elaborazione aggiuntiva, oppure quando altri dati o condizioni nella mappatura influenzano l'ordine di ordinamento delle righe di dati.

Mappatura di database in formato JSON

MapForce include il supporto per la definizione e l'esecuzione di mappature di database basate su modelli JSON (JavaScript Object Notation). È possibile aggiungere file di istanze JSON o schemi JSON come componenti di origine o di destinazione di una mappatura di database. MapForce legge e scrive file JSON in base allo schema JSON Draft 04.

Come mostrato di seguito, i componenti JSON vengono visualizzati con la sintassi degli elementi appropriata, e i loro tipi di dati sono chiaramente indicati.

Le funzioni di elaborazione dati della libreria di funzioni MapForce possono essere utilizzate per trasformare i dati JSON, esattamente come vengono utilizzate con altri componenti.

Quando si aggiunge un file JSON o JSON5 a una mappatura del database, MapForce rileva automaticamente se si tratta di un file di schema o di un file di istanza. Per i file di istanza JSON o JSON5, MapForce vi chiede di selezionare un file di schema oppure di generarne uno automaticamente. MapForce utilizza lo schema JSON o JSON5 per definire la struttura del componente.

MapForce Server supporta l'inserimento massivo di dati per i database

L'operazione "Bulk Insert" è disponibile per alcuni database e consente di inserire un grande volume di dati in una tabella del database con un'unica istruzione SQL, a differenza del metodo tradizionale che prevede l'utilizzo di istruzioni "Insert" individuali per ogni riga. Grazie alla notevole riduzione del carico di elaborazione da parte del motore del database, le prestazioni sono notevolmente più rapide. I test effettuati su MapForce Server con alcuni esempi hanno dimostrato che "Bulk Insert" può essere più di 10 volte più veloce rispetto all'utilizzo di istruzioni "Insert" individuali.

L'operazione di inserimento massivo (Bulk Insert) presenta anche vantaggi in ambienti multiutente. Una lunga sequenza di comandi di inserimento inviati al database da un utente potrebbe potenzialmente essere interrotta da un altro utente che invia una richiesta di selezione (Select) alla stessa tabella; in tal caso, la sequenza di inserimenti continuerebbe. In una situazione del genere, l'operazione di selezione risulterebbe in dati incompleti o non validi.