Mapovanie databáz a ETL procesy

Pretvori podatke med različnimi bazami podatkov ali drugimi formati podatkov

ETL za katero koli bazo podatkov
Vykonávajte databázové dotazy na všetkých hlavných databázach
Podpora za SQL in NoSQL podatkovne baze
Prevod iz jedne vrste baze podataka u drugu
Prevedenie údajov z databázy map do iných formátov údajov, alebo naopak
Nastavte nastavenia kľúčov databázy

Zapis logov in obravnava napak
Definujte akcie pre tabuľky databázy
Priamo preberite podatkovne zbirke
Pripojite sa XML databázou a mapujte ju do tabuliek
Razvrstite elemente vhodnih podatkov iz baze

Orodja za mapiranje podatkovnih baz

MapForce je nástroj na integráciu dát a ETL, ktorý ponúka rozsiahlu podporu pre konverziu databáz. Môžete konvertovať medzi akoukoľvek kombináciou dát z databáz a formátov XML, JSON, PDF, CSV a iných plochých súborov, EDI, Excel, protobuf, XBRL, webových služieb, Shopify/GraphQL a dokonca aj iných formátov databáz.

Ko naložite strukturo podatkovne zbirke v okno za oblikovanje, MapForce samodejno razbere shemo podatkovne zbirke, omogoča vam izbiro razpoložljivih tabel in pogledov v podatkovni zbirki ter prepozna relacije med tabelami. Nato lahko vizualno pregledate strukturo podatkovne zbirke.

Grafičko mapiranje baza podataka v programe MapForce za jednoduché začlenenie údajov z databáz

Ko naložite vsebino vseh modelov, potrebnih za vašo bazo podatkov, dokončajte mapiranje tako, da preprosto povlečete povezovalne črte med virnimi in ciljnimi strukturami.

Podprtá vzťahový baz podataka:

Firebird
IBM DB2 for iSeries^®
IBM DB2^®
Informix^®
MariaDB
Microsoft Access™
Microsoft^® Azure SQL
Microsoft^® SQL Server^®
MySQL^®
Oracle^®
PostgreSQL
Progress OpenEdge
SQLite
Sybase^® ASE
Teradata

Podpraté NoSQL databázy:

MongoDB
CouchDB
Microsoft Azure Cosmos DB

MapForce podpira všetky hlavné relačné databázy, ako aj populárne NoSQL databázy, čo vám umožňuje vytvárať grafické návrhy mapovania dát medzi zdrojovými dátami databázy, funkciami a filtrami spracovania dát a ďalšími dátovými štruktúrami rôznych typov. To umožňuje podporu bežných scenárov migrácie dát, ako napríklad migrácia z MySQL do PostgreSQL, ako aj nespočetné množstvo ďalších možností, vrátane transformácií dát typu jeden k mnohým a reťazených transformácií.

Nástroje pre ETL procesy v databázach

MapForce obsahuje výkonné nástroje ETL na zápis dát do relačných (SQL) a nereklačných (NoSQL) databáz. To zahŕňa nielen transformáciu formátov XML, JSON, Shopify/GraphQL a iných dátových formátov do databáz, ale aj transformáciu dát z jedného typu databázy do iného, napríklad po fúzii a akvizícii alebo po prechode na nový systém.

```po Izvlačanje: Ko je povezan, MapForce bere podatke iz vseh podprtih formatov za izvlečenje. ```
```po Transformacija: MapForce podpira širok nabor funkcij za transformacijo, vključno z manipulacijo nizov, matematičnimi operacijami, pretvorbo datuma in še več. Poleg tega podpira tudi prilagojene funkcije in pogojno logiko za obdelavo kompleksnih transformacij. ```
```po Nakladanje: MapForce olakšava konfiguraciju konekcija na ciljne baze podataka, generiranje SQL skripti za unos transformiranih podataka i postavljanje akcija kao što su unos, ažuriranje ili brisanje, kako bi se kontroliralo kako se podaci upisuju, uz sveobuhvatne opcije za obradu pogrešaka i logiranje. ```

Filtrovanie a spracovanie údajov z databázy

Mnoho transformácií databáz sa vyžaduje manipulácia s údajmi medzi zdrojom a cieľom na základe booleovských podmienok alebo SQL a SQL/XML príkazov. Môže byť potrebné vykonať logické porovnávania, matematické výpočty alebo operácie s reťazcami, overiť údaje v databáze s určitou hodnotou a vykonať ďalšie úpravy údajov. Na snímke obrazovky vyššie sa funkcie spracovania údajov zobrazujú ako obdĺžniky medzi čiarami, ktoré spájajú zdrojové a cieľové dátové modely.

Funkcije obdelave podatkov omogočajo izvajanje naprednih mapiranj podatkovnih baz v realnem času za številne praktične transformacijske zahteve. Na primer, lahko ustvarite mapiranja podatkovnih baz, ki uporabljajo XML ali EDI sporočila za pridobivanje vrstic iz podatkovne baze na podlagi filtrov, ki so definirani v elementih XML ali EDI.

Takoj preklopi podatkovne baze

Koč, keď už máte definovanú mapu, vstavaný nástroj MapForce vám umožňuje prezerať a ukladať výsledky jediným kliknutím.

Pretvornba podatkovne baze v XML ustvari izhodno XML datoteko, pretvorbe podatkovne baze v običajne datoteke imajo izhod v obliki CSV ali tekstovnih datotek s fiksno dolžino, pretvorbe podatkovnih baz v EDI lahko ustvarijo EDIFACT, X12 ali HL7 sporočila, pretvorbe podatkovnih baz v Excel ustvarijo Office Open XML (OOXML) oznake, in pretvorbe v XBRL ustvarijo finančna poročila v formatu XBRL.

Mapiranja k databazi generirajo izhod u obliku SQL skripti (npr. SELECT, INSERT, UPDATE i DELETE naredbe) ili NoSQL skripti, koje se direktno izvršavaju na vašoj ciljnoj bazi podataka, unutar programa MapForce.

Poleg takoj transformacije, visoko zmogljiv ETL je na voljo preko MapForce Serverja.

Zapisávání výstupu databáze (sledování)

Sledovanie výstupu databázy umožňuje jednoducho zaznamenávať všetky zmeny, ktoré aplikácia alebo projekt ETL vykonáva v databáze počas jej spustenia.

Ko je sledenje omogočeno, se dogodki, kot so vstavljanje ali posodabljanje podatkov v bazo, ali pa napake, shranjujejo v datoteko XML, ki jo lahko kasneje analizirate ali obdelate na avtomatiziran način.

Sledovanie databázy sa môže aktivovať na úrovni komponentu databázy, tabuľky, uloženého procedúry alebo poľa databázy. Môžete si vybrať, či chcete sledovať všetky správy, alebo len chyby, alebo môžete sledovanie úplne vypnúť.

Kožali ste izbrali želeno raven sledenja, se prizadeti komponenti podatkovne baze v projektu mapiranja razširi s strukturo XML, ki prikazuje strukturo dnevnika. Če želite, da je datoteka dnevnika v formatu, ki ni XML, lahko podatke iz nje preslikate v drug format, ki ga podpira MapForce (na primer, datoteko besedila ali celo drugo podatkovno bazo).

Ko kliknete na gumb "Výstup" na predhľadne výsledok mapovania, vývojár môže tiež vidieť príklad toho, ako bude vyzerať záznam sledovania, keď sa mapovanie spustí.

Sledovanie databázy a zaznamenávanie výstupov pre proces ETL databázy

Obdelava napak pri transakcijah z bazami podatkov

MapForce ponúka aj funkcie pre správu transakcií databáz, ktoré umožňujú vrátiť zmeny v časti databázy, ktorá bola počas konverzie ovplyvnená, ak počas procesu vznikne chyba, a voliteľne pokračovať s premapovaním zvyšnej časti.

Včasih se pojavi napaka, ki ne prepreči nadaljevanja celotnega procesa mapiranja podatkovne baze, na primer, ko določene omejitve podatkovne baze preprečijo procesu ETL, da bi vstavil ali posodobil neveljavne podatke.

Omogočanje obdelave transakcij v bazi podatkov bo vključilo vse spremembe, ki jih izvede komponenta baze podatkov, v transakcijo, ki bo v primeru napake prekinjena. Lahko se odločite, ali želite nadaljevati z ostalim delom mape ali prenehati z nadaljnjim izvajanjem mape. Transakcije lahko omogočite na ravni komponente baze podatkov in na ravni dejanja tabele.

Omogočanje transakcij podatkovne baze za obdelavo napak

Toto je veľmi užitočné, keď návrhár mapovania chce zachytiť platné prichádzajúce údaje a jednoducho ignorovať neplatné údaje.

Napredno mapiranje podatkovnih baz in ETL procesi

Za uporabnike, ki delajo z SQL, MapForce vključuje zavihek "Baza podatkov - vprašanje" za izvajanje direktnih vprašanj k bazi podatkov. Ko se povežete z bazo podatkov preko zavitka "Baza podatkov - vprašanje", MapForce prikaže njene tabele v hierarhičnem drevesu v oknu brskalnika.

Vykonajte dotaz na databázu pri definovaní mapovania pre konverziu databázy

Potem lahko uporabite zavihek urejevalnika SQL za prikaz, urejanje in izvajanje izjav SQL ali SQL/XML, bodisi z odpiranjem obstoječih datotek SQL, bodisi z ustvarjanjem izjav SQL od začetka, s pomočjo funkcionalnosti vlečenja in spuščanja ter samodejnega dopolnjevanja.

Vaše SQL skripto lahko izvedete in rezultate si ogledate v tabelarni obliki. Prav tako lahko shranite pridobljena podatke in samo SQL skripto v ločene datoteke.

Nastavitve ključev podatkovne zbirke

Nastavitve ključev baze podatkov v programu MapForce vam omogočajo, da prilagodite, kako se bodo vrednosti primarnih in tujih ključev dodajale v bazo podatkov, ki je cilj pretvorbe podatkov. Lahko določite vrednosti za ključe neposredno v programu MapForce, ali pa lahko pustite, da sistem upravljanja z bazami podatkov sam ustvari avtomatske vrednosti.

V situáciách, kedy primárne a/alebo cudzí kľúče nie sú explicitne definované v tabuľkách vašej databázy, MapForce vám umožňuje definovať tieto vzťahy priamo v tabuľke, a to bez akéhokoľvek dopadu na pôvodné dáta.

Definujte akcie pre tabuľky databázy

Ko mapujete na databázu, MapForce vám umožňuje vybrať akcie tabuliek databázy, ktoré určujú, ako sa údaje zapisujú do databázy. To vám poskytuje plnú flexibilitu na automatizáciu aj tých najpokročilejších úloh správy údajov.

Okno "Dejanja tabele podatkovne zbirke", ki je enostavno za uporabo, vam omogoča, da definirate stolpce znotraj izbrane tabele, ki se bodo uporabili za določanje, katero dejanje (VNOS, POSODOBITEV, BRISANJE) se bo izvedlo v podatkovni zbirki.

To umožňuje bezprecedentnú flexibilitu pri manipulácii s riadkami databázy v reakcii na XML, databázy, EDI, XBRL, jednoduché súbory, Excel, JSON, JSON5, webové služby alebo iné údaje z databázy prostredníctvom nástroja MapForce.

Podpora za SQL uložené procedury

MapForce ponuja robustno podporo za shranjene postopke, ki se lahko uporabljajo kot vhodni elementi (postopki, ki zagotavljajo rezultate) ali kot izhodni elementi (postopki, ki vstavljajo ali posodabljajo podatke). Alternativno, shranjene postopke je mogoče vstaviti kot klic funkcije, kar uporabnikom omogoča, da zagotovijo vhodne podatke, izvedejo shranjen postopek in preberejo/povežejo izhodne podatke z drugimi elementi.

Ta izjava zaslona prikazuje način, kako se shranjena postopek v SQL Serverju uporablja za ustvarjanje datoteke XML. Postopek vrne tabelo podatkov, ki prikazuje vse vodje v hierarhični strukturi nad določenim identifikatorjem zaposlenega, ki je podan kot vhodni parameter – v tem primeru je to konstanta 67.

Parameter lahko podamo tudi kot izračunano vrednost ali kot element podatkov, pridobljen iz drugega dela podatkovne zbirke.

MapForce poskytuje kontextové menu, ktoré umožňuje používateľom spustiť uloženú procedúru, aby zobrazili štruktúru dát pre mapovanie. Spustenie zobrazeného mapovania vygeneruje výstup vo formáte XML.

Napredne alati za mapiranje podataka uključuju podršku za pohranjene procedure

XML mapa shranjená v poljih databázy

MapForce omogoča tudi povezavo z in mapiranje podatkov XML, shranjenih v poljih relacijske podatkovne zbirke (trenutno podprto za SQL Server in IBM DB2). Preprosto dodelite shemo XML – bodisi tisto, ki je registrirana v podatkovni zbirki, ali tisto iz vašega lokalnega sistema datotek – določenemu polju, in MapForce prikaže to shemo kot poddrevo polja podatkovne zbirke za namene mapiranja.

Razvrstite komponente vhodnih podatkov iz podatkovne zbirke

SQL dotazy, ktoré sa vykonávajú v rámci databázy, nie sú vždy dostatočné pre komplexné úlohy mapovania dát. MapForce poskytuje ďalšie funkcie pre triedenie dát v databáze prostredníctvom komponentu SQL-WHERE/ORDER pre vstupy z databázy, ktoré vyžadujú ďalšie spracovanie, alebo keď iné dáta alebo podmienky v mapovaní ovplyvňujú zoradenie riadkov dát.

Podpora za vrednosti NULL v operacijah z baznimi tabelami

Pogovorno okno "Dejanja tabele podatkovne zbirke" podpira primerjavo vrednosti NULL. Primerjave, ki upoštevajo vrednosti NULL, omogočajo boljši način za obdelavo podatkovnih zbirk, ki vsebujejo vrednosti NULL. Uporabniki MapForce lahko konfigurirajo preslikavo podatkovne zbirke tako, da se primerjava podatkov izvede na način, ki upošteva vrednosti NULL, v skladu s pravili, ki veljajo za vrsto podatkovne zbirke, ki je vključena v preslikavo.

Zapis dat, ki je prikazan na desni strani, je namenjen posodobitvi ciljne tabele, pri čemer se preprečuje vnašanje podvojenih vnosov. Obe tabeli sta definirani tako, da polje za e-poštni naslov lahko vsebuje vrednost NULL, zato lahko v vsaki tabeli obstajajo vnosi z enakim imenom, vendar z različnimi vrednostmi v polju za e-poštni naslov (vključno z NULL).

Kliknutím na ikonu "Akcie" vedľa tabuľky databázy TARGET sa otvorí dialógové okno "Akcie databázy". Začkártnutím políčka "Rovná sa NULL" vedľa poľa e-mailu umožníte programu MapForce považovať hodnoty NULL v zdrojových a cieľových dátach za rovnaké z hľadiska mapovania dát, aj keď ich databázové pravidlá nepovažujú za rovnaké.

MapForce v aplikáciách, kde sa pracuje s databázami a je potrebné riešiť situácie, keď niektoré hodnoty sú prázdne

Baza podataka v XML

MapForce podporuje prekladaní dát medzi databázami a XML formátmi, pričom využíva štruktúry definované pomocou XML schém alebo DTD. Na vytvorenie prekladu medzi databázou a XML, jednoducho importujte XML schému a databázu do MapForce a pretiahnite spojovacie čiary medzi XML uzlami a objektami databázy.

Ak nemáte definovanú schému pre XML dokument, MapForce automaticky vygeneruje XML schému na základe tohto XML dokumentu.

Podpora za splošne vzorce v XML

Element `<xs:any>` in XML Schema umožňuje umiestniť akýkoľvek nový element alebo atribút na príslušné miesto v XML dokumente, aj keď tento nový element alebo atribút nie je definovaný v XML Schéme. Toto sa nazýva XML wildcard a je to populárny mechanizmus, ktorý sa používa na umožnenie určitej miery prispôsobenia v mnohých XML Schémach, ktoré podporujú priemyselné štandardy v širokej škále podnikov.

MapForce podpira elemente `<xs:any>` in `<xs:anyAttribute>` za mapovanie do výstupu v XML alebo v inom výstupnom formáte. Nové tlačidlo výberu, umiestnené vedľa elementov `<xs:any>` alebo `<xs:anyAttribute>` v zložke pre mapovanie XML, otvára dialógové okno na výber zástupných znakov.

Element `<xs:any>` in `<xs:anyAttribute>` pogosto se uporabljata pri načrtovanju XML shem, in podpora zanje v MapForce je bila pogosta zahteva uporabnikov.

Naučte sa, ako previesť dáta z databázy do formátu XML a do iných formátov v programe MapForce

Mapovanie databázy pomocou JSON

MapForce omogoča definiranje in izvajanje mapiranj baz podatkov, ki temeljijo na modelih JSON (JavaScript Object Notation). Lahko dodate datoteke JSON instanc ali JSON shem kot vir ali cilj mapiranja baze podatkov. MapForce bere in zapisuje datoteke JSON na podlagi sheme JSON Draft 04.

Ako je vidljivo u nastavku, JSON komponente su prikazane uz odgovarajuću sintaksu elemenata, a njihovi tipovi podataka su jasno označeni.

Prevedenie údajov z databázy do formátu JSON v programe MapForce

Funkcie spracovania dát z knižnice funkcií MapForce je možné použiť na transformáciu dát vo formáte JSON, presne tak, ako sa používajú s inými komponentami.

Automatické generovanie JSON schém

Ko pridáte súbor JSON alebo JSON5 do mapovania databázy, MapForce automaticky zistí, či ide o súbor schémy alebo inštancie. Pre súbory inštancií JSON alebo JSON5, MapForce vás vyzve, aby ste vyhľadali schému alebo ju automaticky vygenerovali. MapForce používa schému JSON alebo JSON5 na vytvorenie štruktúry komponentu.

Visoko zmogljiva integracija podatkov in avtomatizacija ETL procesov

Altova MapForce Server obsahuje integrovaný nástroj na transformáciu dát, ktorý bol vyvinutý pre MapForce a bol výrazne vylepšený pre prevádzku v serverových prostrediach. MapForce Server vykonáva transformácie dát pre akúkoľvek kombináciu formátov XML, PDF, databáz, EDI, XBRL, jednoduchých súborov, Excelu, JSON a/alebo webových služieb, pričom využíva predzpracované a optimalizované mapovania dát uložené v súboroch, ktoré sú založené na mapovaniach dát definovaných v MapForce. MapForce Server posúva proces ETL dát na vyššiu úroveň vďaka serverovým možnostiam, vrátane paralelnej spracovania, viacnadväznosti, hromadného vkladania SQL, podpory pre rôzne platformy a ďalších funkcií.

Predzpracovanie umožňuje rýchlejší výkon a zníženú spotrebu pamäte pre väčšinu dátových transformácií. MapForce Server funguje pod správou FlowForce Server, a to buď v samostatnej konfigurácii, spustený z príkazového riadka, alebo programaticky prostredníctvom API.

Po koncipiranju in testiranju mapiranja v programu MapForce, ga je mogoče izvesti preko strežnika MapForce, da se avtomatizirajo poslovni procesi, ki zahtevajo ponavljajoče se transformacije podatkov.

Automatizujte procese mapiranja baza podataka pomoću programa MapForce

MapForce pripravuje a optimalizuje mapovanie dát, ukladá ich do súborov MapForce Server Execution pre spustenie z príkazového riadka pomocou MapForce Server a nahráva ich na použitie v úlohách FlowForce Server.

Koordinate MapForce Server, akó je spravovaný serverom FlowForce, sa vykonávajú ako kroky úlohy servera FlowForce, na základe spúšťacích podmienok definovaných v rámci úlohy servera FlowForce. Napríklad, nový dokument instance XBRL sa objaví v adresári, čo spustí viacstupňovú úlohu servera FlowForce, ktorá najprv overí súbor pomocou servera RaptorXML+XBRL, a potom spustí server MapForce, aby extrahoval určité údaje z XBRL a vložil ich do databázy.

MapForce Server podpira množično vstavljanje podatkov za baze podatkov

Bulk Insert je operacija, ktorá je dostupná pre niektoré databázy a umožňuje vloženie veľkého množstva dát do tabuľky databázy v rámci jedného SQL príkazu, na rozdiel od bežnej metódy, ktorá používa samostatné príkazy Insert pre každý riadok. Vzhľadom na výrazné zníženie režie spracovania zo strany databázového enginu, je výkon výrazne rýchlejší. Testovanie MapForce Serveru s niekoľkými príkladmi ukázalo, že Bulk Insert môže byť viac ako 10-krát rýchlejší ako jednotlivé príkazy Insert.

Vloženie dát vo veľkom objeme je tiež výhodné v prostrediach s viacerými používateľmi. Dlhá séria príkazov "Vlož" (Insert), ktoré jeden používateľ posiela do databázy, by mohla byť potenciálne prerušená, ak by iný používateľ poslal požiadavku "Vyber" (Select) pre rovnakú tabuľku. V takom prípade by sekvencia vkladaní pokračovala. V takejto situácii by operácia "Vyber" viedla k neúplným alebo neplatným údajom.

Language:
EN
DE
ES
JA
FR