Mapowanie baz danych i procesy ETL

Narzędzia do mapowania baz danych

MapForce to narzędzie do integracji danych i przetwarzania ETL, które oferuje zaawansowane funkcje konwersji baz danych. Umożliwia konwersję między dowolną kombinacją danych z baz danych oraz formatów XML, JSON, PDF, CSV i innych plików tekstowych, EDI, Excel, protobuf, XBRL, usług internetowych, Shopify/GraphQL, a także innych formatów baz danych.

Po załadowaniu struktury bazy danych w oknie projektowania, MapForce automatycznie interpretuje schemat bazy danych, umożliwia wybór dostępnych tabel i widoków bazy danych oraz rozpoznaje relacje między tabelami. Następnie można wizualnie przeglądać strukturę bazy danych.

Po załadowaniu wszystkich modeli danych wymaganych do mapowania bazy danych, należy zakończyć proces mapowania, po prostu przeciągając linie łączące struktury źródłowe i docelowe.

Wspierany relacyjny bazy danych:

Wspierany NoSQL Bazy danych:

MapForce obsługuje wszystkie popularne bazy danych relacyjnych, a także popularne bazy danych NoSQL, umożliwiając tworzenie graficznych mapowań między danymi źródłowymi w bazach danych, funkcjami przetwarzania danych i filtrami, oraz innymi strukturami danych różnego typu. Dzięki temu możliwe jest wsparcie dla typowych scenariuszy migracji baz danych, takich jak migracja z MySQL do PostgreSQL, a także niezliczone inne możliwości, w tym transformacje danych typu "jeden do wielu" i łańcuchowe transformacje.

Filtrowanie i przetwarzanie danych z baz danych

Wiele transformacji baz danych wymaga manipulacji danymi między źródłem a celem, w oparciu o warunki logiczne lub instrukcje SQL i SQL/XML. Może być konieczne wykonanie porównań logicznych, obliczeń matematycznych lub operacji na łańcuchach znaków, sprawdzenie, czy dane w bazie zawierają określone wartości, oraz wprowadzenie innych modyfikacji danych. Na powyższym zrzucie ekranu, funkcje przetwarzania danych są przedstawione jako pola znajdujące się pomiędzy liniami łączącymi model danych źródłowych i docelowych.

Funkcje przetwarzania danych umożliwiają wykonywanie zaawansowanych mapowań baz danych w czasie rzeczywistym, spełniając różnorodne potrzeby transformacji danych. Można na przykład tworzyć mapowania baz danych, które wykorzystują wiadomości XML lub EDI do pobierania wierszy z bazy danych na podstawie kryteriów filtrowania zawartych w elementach XML lub EDI.

Rejestrowanie (śledzenie) wyników działania bazy danych

Śledzenie wyników działania bazy danych umożliwia łatwe rejestrowanie wszystkich zmian wprowadzonych przez projekt mapowania danych lub ETL w bazie danych podczas jego działania.

Kiedy funkcja śledzenia jest włączona, zdarzenia takie jak operacje zapisu lub aktualizacji danych w bazie, a także błędy, są rejestrowane w pliku XML, który można później analizować lub przetwarzać automatycznie.

Śledzenie aktywności bazy danych można włączyć na poziomie komponentu bazy danych, tabeli, procedury składowanej lub pola bazy danych. Można wybrać śledzenie wszystkich komunikatów lub tylko błędów, lub też całkowicie wyłączyć śledzenie.

Po wybraniu odpowiedniego poziomu szczegółowości śledzenia, wybrany komponent bazy danych w projekcie mapowania zostaje rozszerzony o strukturę XML, która przedstawia strukturę logów. Jeśli wolisz, aby plik logów był w formacie innym niż XML, możesz przekształcić dane z niego do innego formatu obsługiwanego przez MapForce (np. pliku tekstowego lub nawet innej bazy danych).

Po kliknięciu przycisku "Wyjście", aby wyświetlić podgląd wyniku mapowania, programista może również zobaczyć przykład tego, jak będzie wyglądał dziennik śledzenia, gdy mapowanie zostanie uruchomione.

Zaawansowane mapowanie baz danych i procesy ETL

Dla użytkowników pracujących z SQL, MapForce oferuje zakładkę "Zapytanie do bazy danych", która umożliwia bezpośrednie wykonywanie zapytań do bazy danych. Po połączeniu z bazą danych za pomocą tej zakładki, MapForce wyświetla jej tabele w postaci hierarchicznej struktury drzewa w oknie przeglądarki.

Następnie można użyć zakładki edytora SQL, aby wyświetlać, edytować i wykonywać instrukcje SQL lub SQL/XML, otwierając istniejące pliki SQL lub tworząc instrukcje SQL od podstaw, korzystając z funkcji przeciągania i upuszczania oraz automatycznego uzupełniania.

Można uruchomić skrypt SQL i wyświetlić wyniki w formie tabeli, a także zapisać zarówno pobrane dane, jak i sam skrypt SQL do oddzielnych plików.

Ustawienia kluczy bazy danych w MapForce pozwalają na dostosowanie sposobu, w jaki wartości kluczy głównych i obcych będą dodawane do bazy danych, która jest celem mapowania danych. Można albo ręcznie wprowadzać wartości kluczy w MapForce, albo można pozwolić systemowi baz danych, aby automatycznie generował te wartości.

W sytuacjach, gdy relacje klucza głównego i/lub klucza obcego nie są wyraźnie zdefiniowane w tabelach bazy danych, MapForce umożliwia zdefiniowanie tych relacji bezpośrednio, bez wpływu na dane źródłowe.

Podczas mapowania danych do bazy danych, MapForce umożliwia wybór operacji na tabelach bazy danych, co pozwala kontrolować sposób zapisu danych. Dzięki temu zyskujesz pełną elastyczność w automatyzacji nawet najbardziej zaawansowanych zadań związanych z zarządzaniem danymi.

Okno dialogowe "Akcje dla tabeli bazy danych", charakteryzujące się prostym interfejsem, umożliwia zdefiniowanie kolumn w wybranej tabeli, które będą używane do określenia, jaka akcja (INSERT, UPDATE, DELETE) powinna zostać wykonana w bazie danych.

To zapewnia bezprecedensową elastyczność w manipulowaniu wierszami baz danych w odpowiedzi na dane XML, bazy danych, EDI, XBRL, pliki tekstowe, arkusze Excel, JSON, JSON5, usługi internetowe lub inne dane z baz danych, przy użyciu narzędzia MapForce.

MapForce oferuje zaawansowane wsparcie dla procedur składowanych, które mogą być wykorzystywane jako komponenty wejściowe (procedury dostarczające wyniki) lub jako komponenty wyjściowe (procedury wstawiające lub aktualizujące dane). Alternatywnie, procedury składowane mogą być wywoływane jak funkcje, co pozwala użytkownikom dostarczać dane wejściowe, wykonywać procedurę składowaną i odczytywać/mapować dane wyjściowe do innych komponentów.

MapForce umożliwia również łączenie się z bazą danych i mapowanie danych XML przechowywanych w polach baz danych relacyjnych (obecnie obsługiwane dla SQL Server i IBM DB2). Wystarczy przypisać schemat XML – zarejestrowany w bazie danych lub znajdujący się w lokalnym systemie plików – do danego pola, a MapForce wyświetli ten schemat jako poddrzewo pola bazy danych, co ułatwia proces mapowania.

Zapytania SQL wykonywane wewnątrz bazy danych nie zawsze są wystarczające do złożonych zadań mapowania danych. MapForce oferuje dodatkowe funkcje sortowania danych w bazie danych za pomocą komponentu SQL-WHERE/ORDER, co jest przydatne, gdy dane pobierane z bazy wymagają dodatkowej obróbki, lub gdy inne dane lub warunki w procesie mapowania wpływają na kolejność sortowania wierszy danych.

Mapowanie bazy danych do formatu JSON

MapForce umożliwia definiowanie i wykonywanie mapowań baz danych opartych na modelach JSON (JavaScript Object Notation). Można dodać pliki instancji JSON lub schematy JSON jako elementy źródłowe lub docelowe w mapowaniu bazy danych. MapForce odczytuje i zapisuje pliki JSON zgodnie ze standardem JSON Draft 04.

Jak pokazano poniżej, komponenty JSON są wyświetlane z odpowiednią składnią elementów, a ich typy danych są wyraźnie wskazane.

Funkcje przetwarzania danych z biblioteki funkcji MapForce mogą być wykorzystywane do transformacji danych JSON, dokładnie tak samo, jak są używane z innymi komponentami.

Po dodaniu pliku JSON lub JSON5 do mapowania bazy danych, MapForce automatycznie wykrywa, czy jest to plik schematu, czy plik instancji. W przypadku plików instancji JSON lub JSON5, MapForce wyświetli prośbę o wskazanie pliku schematu lub automatyczne wygenerowanie go. MapForce wykorzystuje schemat JSON lub JSON5 do budowy struktury komponentu.

Serwer MapForce obsługuje masowe wstawianie danych do baz danych

Funkcja "Bulk Insert" (masowe wstawianie) jest dostępna dla niektórych baz danych i umożliwia wstawienie dużej ilości danych do tabeli bazy danych za pomocą pojedynczego polecenia SQL, w przeciwieństwie do standardowej metody, która polega na używaniu oddzielnych poleceń INSERT dla każdego wiersza. Dzięki znacznemu zmniejszeniu obciążenia przetwarzania przez silnik bazy danych, wydajność jest znacznie wyższa. Testy MapForce Server z wykorzystaniem kilku przykładów wykazały, że funkcja Bulk Insert może być ponad 10 razy szybsza niż pojedyncze polecenia INSERT.

Metoda "bulk insert" jest również korzystna w środowiskach wieloużytkownikowych. Długa sekwencja poleceń "Insert" wysyłanych do bazy danych przez jednego użytkownika może zostać przerwana przez innego użytkownika, który wysyła zapytanie "Select" do tej samej tabeli. W takim przypadku sekwencja operacji "Insert" zostanie kontynuowana. W takiej sytuacji operacja "Select" może skutkować pobraniem niekompletnych lub nieprawidłowych danych.