Programska oprema za ETL za podjetja

ETL (izvikanje, transformacija, uložitev) orodja omogočajo izkrivanje podatkov iz zunanjih virov, njihovo transformacijo v standardiziran format podatkov in nato njihovo shranjevanje v ciljno lokacijo ali repozitorij.

MapForce je izjemno učinkovit, lahek in prilagodljiv ETL orodje, ki podpira pogoste formate poslovnih podatkov (XML, JSON, PDF, podatkovne baze, preproste datoteke, EDI, Protobuf, Shopify/GraphQL itd.). MapForce ponuja preprost, vizualen vmesnik za mapiranje ETL, ki vam omogoča enostavno nalaganje vseh podprtih struktur, nato pa uporabite funkcijo povleci in spusti za povezovanje vozlišč ter dodajanje funkcij za transformacijo podatkov in filtrov, ali pa uporabite vizualni konstruktor funkcij za bolj kompleksne ETL projekte.

Močnejí orodja za pretvorbo in prenos podatkov (ETL) v programu MapForce

Nástroje MapForce ETL, aby doplnili svoje vizuálne rozhranie, môžu byť bezproblémovo automatizované prostredníctvom výkonného servera MapForce Server.

Obdelava in transformacija podatkov ETL

MapForce vám umožňuje jednoducho spájať dátové štruktúry pomocou funkcie mapovania dát ETL, ktorá funguje prostredníctvom metód "drag and drop".

Napredne filtre in funkcije za obdelavo podatkov lahko dodate prek vgrajene knjižnice funkcij. Uporabite lahko tudi vizualni konstruktor funkcij za kombiniranje več zaporednih in/ali rekurzivnih operacij v bolj kompleksnih projektih ETL ali integracije podatkov, in celo shranite funkcije za uporabo v drugih projektih obdelave podatkov.

MapForce podpira tudi napredne ETL scenarije, ki vključujejo več vhodnih in izhodnih shem, več vhodnih in/ali ciljnih datotek ter napredne transformacije podatkov v več korakih.

Neposredna obrada datoték (tok dat)

Podpora pre streamovanie dát výrazne zlepšuje výkon vašich ETL projektov, pretože umožňuje streamovanie vstupných dát z rozsiahlych XML, CSV a FLF súborov, ako aj z relačných databáz, a streamovanie výstupných dát do rovnako rozsiahlych XML, CSV a FLF súborov, alebo ich vloženie do databázy.

Táto vstavaná funkčnosť znamená, že MapForce dokáže ľahko spracovávať rozsiahle množstvá dát a ETL projekty, pričom jeho možnosti sú obmedzené len množstvom dostupného diskového priestoru na vašom lokálnom zariadení alebo na sieti.

Če želite aktivirati to funkcijo, preprosto izberite ikono BUILTIN v orodni vrstici v oknu za oblikovanje MapForce.

Sistém MapForce Server ponúka podporu pre hromadné vkladanie dát do databázy, ako aj priame prenosy dát, a preto je tiež ideálny pre vykonávanie transformácií, načítania a ukladania dát (ETL).

Grafički alati za mapiranje ETL procesa

Vmesnik MapForce olajša integracijo podatkov, ki je običajno potrebna v projektih ETL, s pomočjo grafičnega vmesnika, ki vključuje številne možnosti za upravljanje, vizualizacijo, manipulacijo in izvajanje posameznih mapiranj ter kompleksnih projektov mapiranja ETL. Uporabite ploščo za oblikovanje, da grafično definirate komponente mapiranja, dodajte funkcije in filtre za manipulacijo podatkov ter povlecite povezave za pretvorbo med viri in ciljnimi formati.

Definujte pravidlá transformácie graficky pomocou softvéru MapForce ETL

Okno dizajna obsahuje funkcie, ktoré sú ľahko použiteľné a pomáhajú vám jednoducho pracovať, identifikovať a predefinovať aj tie najzložitejšie mapovania dát. Napríklad, kliknutím na názov položky sa táto položka automaticky vyberie na pripojenie k inej položke. Pri presúvaní myši nad časti pripojení mapovania sa zobrazia výskakovacie upozornenia, kde môžete zobraziť ďalšie informácie, ako sú cieľové položky mapovania alebo typ dát.

Spoje je možno jednoducho presúvať kliknutím a ťahaním na požadované miesto. Duplikáty spojení (od rovnakého zdroja k inému cieľu) je možné vytvoriť ťahaním spoja pri držaní klávesu CTRL. Aktivácia ikony automatického prepojenia podradných položiek automaticky prepojí všetky podradné položky s rovnakým názvom pod nadradenou položkou.

Programski paket MapForce ETL podpira več vhodnih podatkov in več izhodnih podatkov, poleg tega pa omogoča združevanje popolnoma različnih tipov podatkov.

MapForce obsahuje rozsiahlu knižnicu funkcií na spracovanie dát, ktoré umožňujú takmer akúkoľvek potrebnú konverziu dát požadovanú integračným projektom. Praktické okno s prehľadom vám umožňuje vizualizovať celý projekt mapovania dát a priblížiť si konkrétne oblasti podľa potreby, a tiež zobrazuje pozíciu v mape pri posúvaní v návrhovom paneli. S ľahkosťou zvládnete aj najväčšie projekty mapovania dát!

Naučite se o ETL s programom MapForce

Prevedite formate podatkov

V aplikáciách ETL často prichádzajú nové informácie, ktoré sú určené na import, vo formáte, ktorý nie je kompatibilný s existujúcim repozitárom. MapForce ponúka bezkonkurenčnú silu a flexibilitu pre pokročilé konverzie a transformácie, čo z neho robí efektívny nástroj ETL pre globálne a vnútorné projekty integrácie dát. Môžete ľahko integrovať dáta z viacerých súborov v rôznych formátoch.

MapForce je ideálny produkt pre middleware, ktorý umožňuje automatizáciu integrácie dát a je vhodný na prepojenie distribuovaných aplikácií v akejkoľvek lokálnej spoločnosti, webových aplikáciách alebo dokonca v cloudových systémoch.

Tri formata dát sú zahrnuté v mapovaní ETL, ktoré je znázornené nižšie. Hlavný zdrojový súbor je tabuľka v programe Excel a konečná výstupná databáza. Avšak, záznamy v stĺpci databázy SharesAndLeaves sú uložené ako objekt objekt JSON. Nástroj MapForce ETL vytvára tento za behu a zahrnuje ho do vygenerovaného príkazu na vloženie do databázy, ako je zvýraznené v náhľade výstupu v dolnej časti pravého rohu snímku obrazovky.

Použite nástroje MapForce ETL na transformáciu a načítanie akýchkoľvek dát

Opraviteľné mapovania dát

Ne glede na to, ali gre za XML, JSON ali shemo podatkovne zbirke; Shopify API, konfiguracijsko datoteko EDI; predlogo PDF; ali taksonomijo XBRL in še več, MapForce integrira podatke na podlagi struktur podatkov, ne glede na specifično obliko vsebine. To pomeni, da lahko ponovno uporabite preslikave podatkov, tudi ko se poslovni podatki spremenijo.

Automatizujte proces ETL

MapForce lahko ustvari datoteke za izvajanje MapForce, ki jih lahko izvaja MapForce strežnik, ali pa brezplačno kodo za integracijo podatkov v jeziku Java, C# ali C++, za samodejno obdelavo projektov ETL. To vam omogoča implementacijo planiranih ali dogodkovsko sproženih operacij integracije/migracije podatkov, ki jih lahko vključite v katero koli aplikacijo za poročanje, e-poslovanje ali aplikacijo, ki temelji na SOA. Operacije integracije podatkov MapForce lahko tudi avtomatizirate prek API-ja za integracijo podatkov ali prek ActiveX kontrola.

Manipulácia dát

Projekti ETL zahtevajo obdelavo podatkov za transformacijo vhodnih podatkov, preden jih ciljni sistem uporabi. MapForce ponuja intuitiven vizualni konstruktor funkcij, popolnoma prilagodljive funkcije obdelave podatkov z vgrajenimi knjižnicami, filtri in pogoji, ter še več, da vam omogoči enostavno manipulacijo podatkov in integracijo različnih formatov.

Ekonomičen

MapForce ne potrebuje zbirko adapterjev ali drugih dodatnih komponent, ki bi povečale stroške. Uporabniki imajo popoln nadzor nad načrtovanjem in izvajanjem integracije podatkov ter transformacij vseh tipov podatkov, vključno z vsako kombinacijo XML, JSON, podatkovnih baz, tekstovnih datotek, EDI, Excel, XBRL in/ali podatkov spletnih storitev.

Funkcije za transformacijo podatkov

V každom ETL procese je potrebné, aby prichádzajúce dáta boli zladené s existujúcimi štandardmi repozitória. V závislosti od charakteristík daných dát, je možné, že bude potrebné konvertovať rôzne položky, ako sú štýly názvov, formáty dátumov a čias, presnosť desatinných číslic, meny, teploty a jednotky merania, a ďalšie faktory. MapForce poskytuje rozsiahlu knižnicu funkcií na spracovanie a konverziu dát, ktoré umožňujú filtrovanie a manipuláciu s dátami podľa potrieb vášho ETL mapovacieho projektu. Na úsporu času a využitie už vykonanej a otestovanej práce, môžete importovať existujúci kód na konverziu dát alebo súbor XSLT 1.0 alebo 2.0, ktorý môžete použiť ako knižnicu funkcií. MapForce tiež obsahuje unikátny vizuálny nástroj na vytváranie funkcií, ktorý umožňuje definovať a opätovne používať vlastné funkcie kombinujúce viacero operácií.

Funkcije preobrazbe podatkov MapForce

MapForce lahko obdeluje tudi najzahtevnejše scenarije pretvorbe, kar vam omogoča definiranje pravil na podlagi pogojev, logičnih operacij, manipulacije s tekstom, matematičnih izračunov, SQL in SQL/XML izjav ali katero koli uporabniško definirano funkcijo. Lahko celo uporabite obstoječo spletno storitev za iskanje ali obdelavo podatkov v katerem koli pretvorbenem procesu.

MapForce za pretvorbo podatkov:

  • Funkcije obdelave podatkov pretvarjajo podatke v realnem času.
  • Matematične izračuni.
  • Pretvorba logičnih vrednosti, podatkov, časa, števil ali nizov.
  • Programska obdelava nizov in datuma/časa.
  • Specializirane funkcije za vozlišča, zaporedja, EDIFACT in baze podatkov.
  • Podpira filtre, pogoje, parametre in spremenljivke.
  • Funkcije za baze podatkov v SQL ali SQL/XML.

Knihovna funkcij

Mnoho vstavaných funkcií, ako sú `concat`, `add`, `multiply` a ďalšie, podporuje neobmedzený počet parametrov, čo uľahčuje matematické operácie a kombináciu viacerých parametrov. Agregačné funkcie umožňujú vykonávať výpočty na skupinách dát, vrátane počítania, sčítania, minimálnej hodnoty, priemeru, spájania reťazcov a ďalších. Sú k dispozícii konverzné funkcie, ktoré umožňujú jednoducho spracovávať komplexné dátové typy.

Funkcije v jederni knjižnici so splošne in niso specifične za noben tip izhodnih podatkov. S pomočjo teh jedrnih funkcij lahko ustvarite kode za pretvorbo podatkov v XSLT 1.0/2.0, XQuery, Java, C++ ali C#, tako da preprosto izberete jezik (jezik), ki ga potrebujete.

Spremenljive srednjega nivoja

Medziľahlivé premenné sú špeciálny typ komponentu, ktorý ukladá medziprodukt mapovania na ďalšie spracovanie a môžu byť použité na riešenie rôznych pokročilých problémov mapovania. Medziľahlivá premenná je ekvivalentná bežnej (nie inline) používateľsky definovanej funkcii a je štruktúrnym komponentom bez súboru inštancie.

Filtri in pogoji

Vloženie filtrov a podmienok do mapovania umožňuje výber dát zo zdroja na základe logických podmienok.

Podmienka "if-else" v programe MapForce je ekvivalentná konštrukcii "switch" v mnohých programovacích jazykoch, čo vám umožňuje jednoducho ovládať tok dát vo vašich projektoch transformácie údajov priraďovaním hodnoty k vybranému kritériu.

Parametri transformácie

MapForce podporuje transformácie vstupných parametrov, čo umožňuje vonkajším parametrom ovplyvňovať proces mapovania.

Nástroje pre ETL procesy v databázach

Nástroje MapForce pre extrakciu, transformáciu a načítanie dát (ETL) obsahujú rozsiahlu podporu pre mapovanie databáz, vrátane mapovania dát medzi rôznymi formátmi, ako sú XML, JSON, PDF, CSV, EDI, Excel, Protobuf, XBRL, Shopify/GraphQL, webové služby a dokonca aj iné formáty databáz.

Ko naložite strukturo podatkovne zbirke v okno za oblikovanje, MapForce samodejno razume shemo podatkovne zbirke, omogoča vam izbiro razpoložljivih tabel in pogledov v podatkovni zbirki ter prepozna relacije med tabelami.

Pretvorba podatkov iz baze podatkov s pomočjo orodja MapForce za pretvorbo podatkov

Kože, da naložite vse modele podatkov, potrebne za vašo ETL transformacijo podatkov, dokončajte transformacijo tako, da preprosto povlečete povezovalne črte med virnimi in ciljnimi strukturami.

Funkcije za mapiranje podatkovne baze:

  • Dotazy do databáz na všetkých hlavných platformách
  • Prevod podataka iz akéhokoľvek podporovaného typu databázy do iného
  • Nastavte nastavenia kľúčov databázy
  • Definujte akcie pre tabuľky databázy
  • Priamo preberite podatkovne zbirke
  • Pripojite sa XML a mapujte ho na polia v databáze
  • Razvrstite elemente vhodnih podatkov iz baze

MapForce podpira všetky hlavné relačné databázy a populárne NoSQL databázy, čo vám umožňuje vytvárať grafické návrhy mapovania dát medzi zdrojovými dátami databázy, funkciami a filtrami spracovania dát a ďalšími dátovými štruktúrami rôznych typov.

Podporované relačné databázy pre ETL:

  • Firebird
  • IBM DB2 for iSeries®
  • IBM DB2®
  • Informix®
  • MariaDB
  • Microsoft Access™
  • Microsoft® Azure SQL
  • Microsoft® SQL Server®
  • MySQL®
  • Oracle®
  • PostgreSQL
  • Progress OpenEdge
  • SQLite
  • Sybase® ASE
  • Teradata

Podporované NoSQL databázy pre ETL:

  • MongoDB
  • CouchDB

Filtrovanie a spracovanie údajov z databázy

Mnoho mapovaní ETL pre databázy vyžaduje manipuláciu s údajmi medzi zdrojom a cieľom na základe logických podmienok alebo SQL a SQL/XML príkazov. Môže byť potrebné vykonať logické porovnania, matematické výpočty alebo operácie s reťazcami, overiť údaje v databáze s určitou hodnotou a vykonať ďalšie úpravy údajov. Na snímke obrazovky vyššie sa funkcie spracovania údajov zobrazujú ako obdĺžniky medzi čiarami, ktoré spájajú zdrojové a cieľové dátové modely.

Funkcije obdelave podatkov omogočajo izvajanje naprednih mapiranj podatkovnih baz v realnem času za številne praktične transformacijske zahteve. Na primer, lahko ustvarite mapiranja podatkovnih baz, ki uporabljajo XML ali EDI sporočila za pridobivanje vrstic iz podatkovne baze na podlagi filtrov, ki so definirani v elementih XML ali EDI.

Takoj preklopi podatkovne baze

Koč, keď už máte definovanú mapu, vstavaný nástroj MapForce vám umožňuje prezerať a ukladať výsledky jediným kliknutím.

Mapiranja k databazi generirajo izhod u obliku SQL skripti (npr. SELECT, INSERT, UPDATE i DELETE naredbe), ki se izvajajo direktno na ciljnem področju podatkov iz programa MapForce ali preko strežnika MapForce.

Orodja za ETL za EDI

Standardy EDI predstavujú dominantný formát pre výmenu dát v oblasti elektronického obchodu, čím organizáciám poskytujú rýchly a presný spôsob výmeny transakčných dát. EDI predchádzalo iným integrovaným obchodným technológiám, ako sú ERP, CRM a mnohým ďalším technológiám podporujúcim dodávateľský reťazec. Preto je mapovanie a transformácia dát dôležitými faktormi, keď sú správy EDI zdrojom dát pre aplikáciu ETL.

MapForce je grafički alat za ETL (ekstrakciju, transformaciju i učitavanje) podataka, koji ima ugrađenu podršku za sve glavne formate poslovnih podataka koji se danas koriste, uključujući XML, JSON, baze podataka, ravne datoteke, Excel, web usluge, kao i EDIFACT, X12, HL7, NCPDP SCRIPT, IDoc i PADIS EDI transakcijske skupove.

Projekt ETL, ktorý transformuje údaje v formáte EDI do formátu databázy

MapForce zjednodušuje integráciu dát tým, že vám umožňuje vizuálne definovať transformácie dát (ETL) medzi formátmi UN/EDIFACT, ANSI X12, HIPAA X12, Health Level 7 (HL7), NCPDP SCRIPT, SAP IDoc, IATA PADIS alebo TRADACOMS a formátmi XML, databázami, CSV, Excel a ďalšími systémami EDI, ako aj webovými službami. Tieto nástroje ETL pre EDI umožňujú vašej organizácii využívať výhody elektronickej výmeny informácií – bez zvyšovania nákladov alebo zložitosti vašej aplikačnej infraštruktúry.

Podpora pre viacero typov EDI správ

MapForce omogoča definiranje enega samega preslikovanja, ki lahko obseva datoteke EDI, ki vsebujejo več različnih tipov sporočil. Podpora je zagotovljena za datoteke EDI, ki vsebujejo več različnih tipov sporočil, bodisi v viru ali cilju vašega projekta preslikovanja podatkov, kar zagotavlja optimalno prilagodljivost za preslikovanje EDI.

Potrditev prejetih sporočil

V štandarde EDI X12, sporočilo 997 za potrditev prenaša stanje prejetega izmenjave podatkov – potrjuje prejem transakcije, prikazuje napake v transakcijah itd.

MapForce lahko enostavno konfigurirate, da samodejno ustvari preslikavo med vašimi vhodnimi X12 sporočili in 997 potrdili, kar vam pomaga vzpostaviti nemoteno povezavo za poslovanje znotraj in zunaj vaše partnerske mreže.

Preverite izhodne podatke EDI

MapForce vám umožňuje overiť presnosť výstupu EDI z vašich transformácií pomocou validácie všetkých zdrojových a cieľových komponentov EDI, ako aj výstupu transformácie. To vám pomáha zabezpečiť, aby boli spracovávané len platné správy EDI.

Orodje za ETL za obdelavo podatkov iz besedilnih datotek

Podatki, ki so že shranjeni v obstoječih besedilnih datotekah, se lahko izluščijo in posodobijo, da so usklajeni z obstoječo ETL (Extract, Transform, Load) repozitorijem. MapForce vključuje edinstveno orodje FlexText za analiziranje in pretvarjanje besedilnih datotek, kot so besedilna poročila za glavne računalnike, besedilne log datoteke in druge vrste starih besedilnih datotek, v načrtih pretvorbe. S svojim vizualnim vmesnikom vam FlexText omogoča, da vstavite obstoječo besedilno datoteko in izluščite dele, ki jih želite pretvoriti, v vmesniku za pretvorbo MapForce.

FlexText vytvára šablónu, ktorá sa následne načíta do programu MapForce. V programe MapForce je možné jednotlivé textové uzly premeniť na akúkoľvek kombináciu formátov XML, databázy, PDF, EDI, XBRL, jednoduchých súborov, Excelu, JSON, Protocol Buffers a dát webových služieb. Uložením konfigurácie, ktorú vytvoríte v programe FlexText, môžete túto šablónu opätovne použiť na konverziu viacerých textových súborov v rámci viacerých transformácií.

MapForce - obdelava besedil

FlexText omogoča ustvarjanje pravil za predloge pretvorbe datotek za mapiranje ETL. Ko odprete datoteko v vmesniku FlexText, se datoteka prikaže v dveh blokih. Glavni blok predstavlja izvirno datoteko, medtem ko blok za operacije (na desni strani) prikazuje podatke iz datoteke v realnem času, ko izluščujete podatke, ki jih potrebujete.

Rezultat každého vykonaného príkazu je viditeľný v reálnom čase, takže môžete okamžite zistiť, či ste dosiahli požadovaný výsledok.

Datoteke starejšega formata lahko vsebujejo uporabne podatke v formatu CSV (vrednosti ločene z vejico) ali FLF (polja fiksne dolžine) znotraj bolj kompleksne datoteke. FlexText vam omogoča, da te podatke neposredno izluščite s pomočjo operacij CSV in FLF. Po uporabi operacij za ločevanje in drugih operacijah lahko shranite preostala polja, formatirana v CSV ali FLF, tako da konfigurirate imena polj, dolžine itd.

Získajte relevantné údaje

FlexText omogoča, da izolirate podatke, do katerih želite dostopati, tako da odstranite nepomembno besedilo, znake in prazne prostore s pomočjo ukazov za ločevanje. Vsako ločevanje prikaže vaše podatke v dveh novih blokih: en blok vsebuje podatke, ki ste jih ločili, drugi pa prikazuje spremenjeno različico vaše pretvorjene datoteke. Takoj lahko vidite rezultat vsake izvedene operacije.

Vozlišče, ignoriraj, preklopnik in regularni izrazi

FlexText podpira operácie Node a Ignore, čo umožňuje väčšiu flexibilitu pri vytváraní štruktúry informácií. Operácia Ignore označí blok textu ako irelevantný pre účely konverzie a pokynuje programu MapForce, aby ho ignoroval. Operácia Node vytvorí nový uzol v štruktúre informácií v programe MapForce, čím umožní správne zobrazenie hierarchickej štruktúry vašich dát, ak je to potrebné.

Operacija "Switch" omogoča določanje več pogojev za en sam blok besedila. Podatki v datoteki se posredujejo povezani komponenti za uporabo v pretvorbi MapForce, le če izpolnjujejo določen pogoj.

FlexText podpira tudi regularne izraze. Na primer, vhodna datoteka lahko vsebuje poročilo, ki ga ustvari sistem, z numeričnimi in alfanumeričnimi kodami na levi strani, ki označujejo vrste zapiskov. Sekvenca petih števk, ki je sledovana črki "O", označuje začetek nove sekcije za eno lokacijo pisarne.

Automatizujte izvajanje orodij ETL s pomočjo strežnika MapForce

Altova MapForce Server obsahuje integrovaný nástroj na transformáciu dát, ktorý bol vyvinutý pre MapForce a bol výrazne vylepšený pre prevádzku v serverových prostrediach. MapForce Server vykonáva transformácie dát pre akúkoľvek kombináciu formátov XML, JSON, databáz, EDI, XBRL, jednoduchých súborov, Excelu, Protobuf a/alebo webových služieb, pričom využíva predzpracované a optimalizované mapovania dát uložené v súboroch, ktoré sú založené na mapovaniach dát definovaných v MapForce. MapForce Server posúva transformáciu dát na novú úroveň vďaka serverovým funkciám, vrátane paralelného spracovania, viacnadväznosti, hromadného vkladania SQL, podpory pre rôzne platformy a ďalších.

Predzpracovanie umožňuje rýchlejší výkon a zníženú spotrebu pamäte pre väčšinu dátových transformácií. MapForce Server funguje pod správou FlowForce Server, a to buď v samostatnej konfigurácii, spustený z príkazového riadka, alebo programaticky prostredníctvom API.

Po koncipiranju in testiranju mapiranja ETL v programu MapForce, ga lahko izvede MapForce Server za avtomatizacijo poslovnih procesov, ki zahtevajo ponavljajoče se transformacije podatkov.

MapForce Server je výkonný nástroj na automatizáciu procesov ETL

MapForce predelačuje a optimalizuje mapovanie dát ETL, ukladá ich v súboroch na vykonávanie na serveri MapForce, ktoré sa používajú pre spustenie z príkazového riadka, a nahráva ich na použitie v procesoch na serveri FlowForce.

Ko MapForce Server deluje pod správou FlowForce Server, mapovanie dát sa vykonáva ako kroky úlohy FlowForce Server, na základe spúšťacích podmienok definovaných ako súčasť úlohy FlowForce Server. Napríklad, nový XML dokument sa objaví v adresári, čo spustí viacstupňovú úlohu FlowForce Server, ktorá najprv overí súbor pomocou servera RaptorXML+XBRL, a potom spustí MapForce Server na extrahovanie určitých dát z XML a ich vloženie do databázy ETL.