Strumenti ETL MapForce

Software ETL per aziende

Gli strumenti ETL (estrazione, trasformazione, caricamento) forniscono un meccanismo per estrarre dati da fonti esterne, trasformarli in un formato dati standardizzato e quindi caricarli in un sistema di destinazione o in un repository.

MapForce è uno strumento ETL estremamente efficace, leggero e scalabile, che supporta i formati di dati aziendali più diffusi (XML, JSON, PDF, database, file di testo, EDI, Protobuf, Shopify/GraphQL, ecc.). MapForce offre un'interfaccia di mappatura ETL intuitiva e visiva che consente di caricare facilmente qualsiasi struttura supportata, e quindi utilizzare la funzionalità di trascinamento e rilascio per collegare i nodi, aggiungere funzioni di trasformazione dei dati e filtri, oppure utilizzare il costruttore di funzioni visivo per progetti ETL più complessi.

Per integrare la sua interfaccia grafica, gli strumenti ETL di MapForce possono essere automatizzati in modo efficiente tramite il potente server MapForce Server.

MapForce consente di associare facilmente le strutture dati utilizzando la funzionalità di mappatura dei dati ETL tramite trascinamento e rilascio.

È possibile aggiungere filtri e funzioni avanzate di elaborazione dati tramite una libreria di funzioni integrata, e si può utilizzare il costruttore di funzioni visuale per combinare diverse operazioni, sia dirette che ricorsive, in progetti ETL o di integrazione dati più complessi, e persino salvare le funzioni per utilizzarle in altri progetti di mappatura.

MapForce supporta anche scenari ETL avanzati che coinvolgono schemi di input e output multipli, più file di origine e/o di destinazione, o trasformazioni complesse dei dati che richiedono più passaggi.

Il supporto per lo streaming dei dati offre un notevole miglioramento delle prestazioni per i progetti ETL, grazie alla possibilità di elaborare flussi di dati provenienti da file XML, CSV e FLF di dimensioni praticamente illimitate, nonché da database relazionali, e di inviare l'output a file XML, CSV e FLF altrettanto grandi, oppure di inserirli in un database.

Questa funzionalità integrata significa che MapForce può elaborare facilmente set di dati di grandi dimensioni e progetti ETL, con un limite rappresentato solo dalla quantità di spazio su disco disponibile sul vostro computer o accessibile tramite una rete.

Per attivare questa funzionalità, selezionate semplicemente l'icona "INTEGRATO" dalla barra degli strumenti nel pannello di progettazione di MapForce.

Con il supporto per l'inserimento massivo di dati nei database, nonché per lo streaming diretto dei dati, MapForce Server è particolarmente adatto anche per l'esecuzione di processi di mappatura dei dati ETL.

Convertire i formati dei dati

Nelle applicazioni ETL, le nuove informazioni destinate all'importazione spesso arrivano in un formato dati incompatibile con il repository esistente. MapForce offre una potenza e una flessibilità senza pari per la conversione e la trasformazione avanzate, rendendolo uno strumento ETL efficiente per progetti di integrazione dati a livello globale e all'interno delle aziende. È possibile integrare facilmente dati provenienti da più file in formati diversi.

MapForce, grazie al supporto per l'automazione dell'integrazione dei dati, è un prodotto middleware ideale per connettere applicazioni distribuite in qualsiasi azienda, in flussi di lavoro basati sul web o persino in architetture cloud.

Tre formati di dati sono inclusi nella mappatura ETL illustrata di seguito. Il file sorgente principale è un foglio di calcolo Excel e il repository di output finale è un database. Tuttavia, i record nella colonna "SharesAndLeaves" del database sono memorizzati come un oggetto JSON. Lo strumento ETL MapForce costruisce l'oggetto in tempo reale e lo include nell'istruzione di inserimento nel database generata, come evidenziato nell'anteprima dell'output nell'angolo in basso a destra dello screenshot.

Che si tratti di uno schema XML, JSON o di un database; di un'API Shopify, di un file di configurazione EDI; di un modello PDF; o di una tassonomia XBRL, e oltre, MapForce integra i dati in base alle loro strutture, indipendentemente dalla specifica istanza di contenuto sottostante. Ciò significa che è possibile riutilizzare le mappature dei dati anche quando i dati aziendali cambiano.

MapForce può generare file di esecuzione di MapForce, che possono essere utilizzati per l'esecuzione da parte di.. MapForce Serveroppure codice di integrazione dati senza royalty, disponibile in Java, C# o C++, per l'elaborazione automatica di progetti ETL. Questo permette di implementare operazioni di integrazione/migrazione dati programmate o attivate da eventi, da includere in qualsiasi applicazione di reporting, e-commerce o basata su architetture SOA. Le operazioni di integrazione dati di MapForce possono essere automatizzate anche tramite un'API di integrazione dati o tramite un controllo ActiveX.

I progetti ETL richiedono la manipolazione dei dati per trasformare i dati di input prima che vengano utilizzati dal sistema di destinazione. MapForce offre un costruttore di funzioni visivo e intuitivo, funzioni di elaborazione dati completamente scalabili con librerie integrate, filtri e condizioni, e molto altro, per consentirvi di manipolare facilmente i dati e integrare formati diversi.

MapForce non richiede l'utilizzo di una serie di adattatori o altri componenti aggiuntivi a pagamento. Gli utenti hanno il pieno controllo sulla progettazione e sull'implementazione dell'integrazione dei dati e delle trasformazioni di tutti i tipi di dati, inclusa qualsiasi combinazione di XML, JSON, database, file di testo, EDI, Excel, XBRL e/o dati di servizi web.

Strumenti ETL per database

Gli strumenti ETL di MapForce offrono un supporto avanzato per la mappatura dei database, consentendo di trasferire dati tra qualsiasi combinazione di formati come XML, JSON, PDF, CSV, EDI, Excel, Protobuf, XBRL, Shopify/GraphQL, servizi web e persino altri formati di database.

Quando si carica la struttura di un database nella finestra di progettazione, MapForce interpreta automaticamente lo schema del database, consente di selezionare le tabelle e le viste disponibili e riconosce le relazioni tra le tabelle.

Una volta caricati tutti i modelli di dati necessari per la mappatura ETL del vostro database, completate la mappatura semplicemente trascinando delle linee di collegamento tra le strutture di origine e di destinazione.

Funzionalità di mappatura dei database:

MapForce supporta tutti i principali database relazionali e i database NoSQL più diffusi, consentendovi di creare progetti grafici per la mappatura dei dati tra le fonti di dati del database, le funzioni di elaborazione dei dati e i filtri, e altre strutture dati di vario tipo.

Supportato Database relazionali per ETL:

Supportato Database NoSQL per ETL:

Molte mappature ETL per database richiedono la manipolazione dei dati tra la sorgente e la destinazione, basandosi su condizioni booleane o istruzioni SQL e SQL/XML. Potrebbe essere necessario eseguire confronti logici, calcoli matematici o operazioni su stringhe, verificare la presenza di dati specifici nel database e apportare altre modifiche ai dati. Nello screenshot mostrato, le funzioni di elaborazione dei dati sono rappresentate dalle caselle che si trovano tra le linee che collegano il modello di dati di origine e quello di destinazione.

Le funzioni di elaborazione dati consentono di eseguire mappature avanzate di database in tempo reale, per soddisfare una vasta gamma di esigenze di trasformazione dei dati. Ad esempio, è possibile creare mappature di database che utilizzano messaggi XML o EDI per estrarre righe di dati in base a criteri di filtro, a partire dagli elementi contenuti nei messaggi XML o EDI.

Una volta definita la mappatura, il motore MapForce integrato consente di visualizzare e salvare i risultati con un semplice clic.

Le mappature verso un database producono risultati sotto forma di script SQL (ad esempio, istruzioni SELECT, INSERT, UPDATE e DELETE) che vengono eseguiti direttamente sul database di destinazione, all'interno di MapForce, oppure tramite MapForce Server.

Strumento ETL per dati testuali e file semplici

I dati storici contenuti in file di testo esistenti possono essere estratti e aggiornati per essere coerenti con un repository ETL esistente. MapForce include l'utilità FlexText, unica nel suo genere, per l'analisi e la conversione di file di testo, come report di testo per mainframe, file di log basati su testo e altri tipi di file di testo obsoleti, all'interno dei progetti di mappatura. Grazie alla sua interfaccia visiva, FlexText consente di inserire un file di testo esistente ed estrarre le sezioni che si desidera convertire all'interno dell'interfaccia di mappatura di MapForce.

FlexText crea un modello che viene poi caricato in MapForce, dove i singoli nodi di testo possono essere convertiti in qualsiasi combinazione di formati XML, database, PDF, EDI, XBRL, file di testo semplice, Excel, JSON, Protocol Buffers e dati di servizi web. Salvando la configurazione creata in FlexText, è possibile riutilizzare lo stesso modello per convertire più file di testo in diverse trasformazioni.

FlexText consente di creare regole per i modelli di conversione di file di testo, utilizzabili per la mappatura ETL. Quando si apre un file di testo nell'interfaccia di FlexText, il file viene visualizzato in due sezioni. La sezione principale rappresenta il file originale, mentre la sezione delle operazioni (a destra) mostra i dati del file in tempo reale, man mano che si estraggono i dati necessari.

Il risultato di ogni operazione che eseguite è visibile in tempo reale, quindi potete vedere immediatamente se avete ottenuto il risultato desiderato.

I file di testo legacy possono contenere dati utili in formato CSV (valori separati da virgola) o FLF (campi di lunghezza fissa) all'interno di un file di testo più complesso. FlexText consente di estrarre direttamente tali dati utilizzando le operazioni CSV e FLF. Dopo aver applicato le operazioni di divisione e altre operazioni, è possibile salvare i campi rimanenti formattati in CSV o FLF configurando i nomi dei campi, le lunghezze, ecc.

FlexText consente di isolare i dati a cui è necessario accedere, eliminando il testo, i caratteri e gli spazi non pertinenti tramite comandi di divisione. Ogni divisione presenta i dati in due nuovi blocchi: uno che contiene i dati estratti e l'altro che mostra la versione modificata del file convertito. È possibile visualizzare immediatamente il risultato di ogni operazione eseguita.

FlexText supporta le operazioni di "Nodo" e "Ignora" per una maggiore flessibilità nella costruzione dell'albero informativo. L'operazione "Ignora" contrassegna un blocco di testo come irrilevante per la conversione e istruisce MapForce a ignorarlo. L'operazione "Nodo" crea un nuovo nodo nell'albero informativo in MapForce, consentendovi di rappresentare adeguatamente la struttura gerarchica dei vostri dati testuali, quando necessario.

L'operazione "Switch" consente di definire più condizioni per un singolo blocco di testo. I dati presenti nel file di testo vengono passati al contenitore associato per essere utilizzati nella conversione MapForce solo se soddisfano una condizione specifica.

FlexText supporta anche le espressioni regolari. Ad esempio, un file di input potrebbe essere un rapporto generato dal sistema, contenente numeri e codici alfanumerici nel margine sinistro che indicano i tipi di record. In questo caso, una sequenza di cinque cifre seguita dalla lettera "O" potrebbe indicare l'inizio di una nuova sezione relativa a una specifica sede.