Narzędzia MapForce do ekstrakcji, transformacji i ładowania danych (ETL)

Oprogramowanie ETL dla przedsiębiorstw

Narzędzia ETL (Extract-Transform-Load) zapewniają mechanizm do pobierania danych z zewnętrznych źródeł, ich transformacji do ustandaryzowanego formatu oraz późniejszego załadowania do docelowego systemu lub repozytorium.

MapForce to niezwykle efektywne, lekkie i skalowalne narzędzie ETL, które obsługuje popularne formaty danych wykorzystywane w przedsiębiorstwach (XML, JSON, PDF, bazy danych, pliki tekstowe, EDI, Protobuf, Shopify/GraphQL, itp.). MapForce oferuje prosty, wizualny interfejs mapowania danych ETL, który umożliwia łatwe importowanie dowolnych obsługiwanych struktur, a następnie, za pomocą funkcji przeciągania i upuszczania, łączenie elementów i dodawanie funkcji transformacji danych oraz filtrów. Można również wykorzystać wizualny konstruktor funkcji do bardziej złożonych projektów ETL.

Aby uzupełnić interfejs graficzny, narzędzia MapForce ETL można bezproblemowo automatyzować za pomocą wydajnego serwera MapForce Server.

MapForce umożliwia łatwe łączenie struktur danych za pomocą funkcji mapowania danych ETL, która działa poprzez przeciąganie i upuszczanie.

Zaawansowane filtry i funkcje przetwarzania danych można dodawać za pomocą wbudowanej biblioteki funkcji. Można również wykorzystać wizualny konstruktor funkcji, aby łączyć wiele operacji, zarówno prostych, jak i rekurencyjnych, w bardziej złożonych projektach ETL lub integracji danych, a nawet zapisywać funkcje do wykorzystania w innych projektach mapowania.

MapForce obsługuje również zaawansowane scenariusze ETL, obejmujące wiele schematów wejściowych i wyjściowych, wiele plików źródłowych i/lub docelowych, a także zaawansowane transformacje danych wykonywane w wielu etapach.

Wsparcie dla przesyłania danych w czasie rzeczywistym znacząco zwiększa wydajność projektów ETL, umożliwiając przesyłanie danych wejściowych z plików XML, CSV i FLF o dowolnej wielkości, a także z baz danych relacyjnych, oraz przesyłanie danych wyjściowych do plików XML, CSV i FLF o równie dużej pojemności, lub zapisywanie ich w bazie danych.

Dzięki tej wbudowanej funkcjonalności, MapForce może z łatwością przetwarzać ogromne zbiory danych oraz projekty ETL, a jego możliwości są ograniczone jedynie ilością dostępnej przestrzeni dyskowej na lokalnym komputerze lub w sieci.

Aby aktywować tę funkcję, wystarczy wybrać ikonę BUILTIN z paska narzędzi w oknie projektowania MapForce.

Dzięki wsparciu dla masowego importu danych do baz danych oraz bezpośredniej transmisji danych, MapForce Server doskonale nadaje się również do przeprowadzania transformacji i ładowania danych (ETL).

Konwertuj formaty danych

W aplikacjach ETL, nowe informacje przeznaczone do importu często docierają w formacie danych niezgodnym z istniejącym repozytorium. MapForce oferuje niezrównaną moc i elastyczność w zaawansowanej konwersji i transformacji danych, co czyni go wydajnym narzędziem ETL do globalnych i wewnętrznych projektów integracji danych. Można łatwo integrować dane z wielu plików w różnych formatach.

MapForce, dzięki możliwości automatyzacji integracji danych, jest idealnym produktem pośrednim, który umożliwia łączenie rozproszonych aplikacji w dowolnej firmie, w systemach workflow opartych na technologii internetowej, a nawet w architekturach chmurowych.

W procesie ETL, który zostanie omówiony poniżej, wykorzystywane są trzy formaty danych. Głównym źródłem danych jest arkusz kalkulacyjny w formacie Excel, a ostatecznym miejscem docelowym jest baza danych. Jednakże, dane w kolumnie "SharesAndLeaves" bazy danych są przechowywane jako obiekt JSON. Narzędzie MapForce ETL tworzy obiekt JSON w czasie rzeczywistym i umieszcza go w instrukcji wstawiania danych do bazy danych, co jest widoczne w podglądzie wyniku, znajdującym się w prawym dolnym rogu zrzutu ekranu.

Niezależnie od tego, czy chodzi o schemat XML, JSON, bazę danych, interfejs API Shopify, plik konfiguracyjny EDI, szablon PDF, czy taksonomię XBRL, MapForce integruje dane w oparciu o ich strukturę, niezależnie od konkretnej zawartości. Oznacza to, że można ponownie wykorzystywać mapowania danych, nawet gdy dane biznesowe ulegają zmianom.

MapForce może generować pliki wykonywalne MapForce, które mogą być uruchamiane przez.. MapForce Server...lub kod do integracji danych bez opłat licencyjnych, napisany w językach Java, C# lub C++, umożliwiający automatyczne przetwarzanie projektów ETL. Dzięki temu można zaimplementować zaplanowane lub wyzwalane zdarzeniami operacje integracji/migracji danych, które można wykorzystać w aplikacjach do raportowania, e-commerce lub opartych na architekturze SOA. Operacje integracji danych MapForce można również zautomatyzować za pomocą interfejsu API do integracji danych lub kontrolki ActiveX.

Projekty ETL wymagają manipulacji danymi w celu przekształcenia danych wejściowych przed ich wykorzystaniem przez system docelowy. MapForce oferuje intuicyjny, wizualny interfejs do budowania funkcji, w pełni skalowalne funkcje przetwarzania danych z wbudowanymi bibliotekami, filtrami i warunkami, oraz wiele innych narzędzi, które pozwalają łatwo manipulować danymi i integrować różne formaty.

MapForce nie wymaga instalowania zestawu adapterów ani innych dodatkowych komponentów, które generują dodatkowe koszty. Użytkownicy mają pełną kontrolę nad projektowaniem i implementacją integracji danych oraz transformacji wszystkich typów danych, w tym dowolnych kombinacji danych XML, JSON, baz danych, plików tekstowych, EDI, Excel, XBRL oraz usług internetowych.

Narzędzia ETL do baz danych

Narzędzia MapForce do ekstrakcji, transformacji i ładowania danych (ETL) oferują zaawansowane wsparcie dla.. mapowanie baz danych...w tym mapowanie danych z baz danych pomiędzy dowolną kombinacją formatów XML, JSON, PDF, CSV, EDI, Excel, Protobuf, XBRL, Shopify/GraphQL, usług internetowych, a nawet innych formatów baz danych.

Po załadowaniu struktury bazy danych do okna projektowania, MapForce automatycznie interpretuje schemat bazy danych, umożliwia wybór dostępnych tabel i widoków bazy danych oraz rozpoznaje relacje między tabelami.

Po załadowaniu wszystkich modeli danych wymaganych do mapowania procesów ETL dla Twojej bazy danych, możesz zakończyć proces mapowania, po prostu przeciągając linie łączące elementy źródłowe i docelowe.

Funkcje mapowania baz danych:

MapForce obsługuje wszystkie popularne bazy danych relacyjnych oraz popularne bazy danych NoSQL, umożliwiając tworzenie graficznych schematów mapowania danych między źródłami danych w bazach danych, funkcjami przetwarzania danych i filtrami, a także innymi strukturami danych różnego rodzaju.

Wspierany Bazy danych relacyjne dla procesów ETL:

Wspierany Bazy danych NoSQL dla procesów ETL:

Wiele mapowań ETL w bazach danych wymaga manipulacji danymi między źródłem a celem, w oparciu o warunki logiczne lub instrukcje SQL i SQL/XML. Może być konieczne wykonanie porównań logicznych, obliczeń matematycznych lub operacji na łańcuchach znaków, sprawdzenie, czy dane w bazie zawierają określone wartości, oraz wprowadzenie innych modyfikacji danych. Na powyższym zrzucie ekranu, funkcje przetwarzania danych są przedstawione jako pola znajdujące się pomiędzy liniami łączącymi model danych źródłowych i docelowych.

Funkcje przetwarzania danych umożliwiają wykonywanie zaawansowanych mapowań baz danych w czasie rzeczywistym, spełniając różnorodne potrzeby transformacji danych. Można na przykład tworzyć mapowania baz danych, które wykorzystują wiadomości XML lub EDI do pobierania wierszy z bazy danych na podstawie kryteriów filtrowania zawartych w elementach XML lub EDI.

Po zdefiniowaniu mapowania, wbudowany silnik MapForce umożliwia przeglądanie i zapisywanie wyników jednym kliknięciem.

Mapowania do bazy danych generują wyniki w postaci skryptów SQL (np. instrukcje SELECT, INSERT, UPDATE i DELETE), które są uruchamiane bezpośrednio w MapForce lub za pośrednictwem serwera MapForce, w celu modyfikacji docelowej bazy danych.

Narzędzie ETL do przetwarzania danych tekstowych i plików

Dane historyczne zawarte w istniejących plikach tekstowych mogą być wyodrębniane i aktualizowane, aby były zgodne z istniejącym repozytorium ETL. MapForce zawiera unikalne narzędzie FlexText, które służy do analizy i konwersji plików tekstowych, takich jak raporty tekstowe z systemów mainframe, pliki dzienników oparte na tekście oraz inne typy plików tekstowych z przeszłości, w procesach mapowania. Dzięki interfejsowi graficznemu, FlexText umożliwia wstawienie istniejącego pliku tekstowego i wyodrębnienie fragmentów, które mają zostać przekonwertowane, bezpośrednio w interfejsie mapowania MapForce.

FlexText generuje szablon, który następnie jest importowany do programu MapForce. W programie tym poszczególne bloki tekstowe można przekształcić w dowolną kombinację formatów: XML, bazy danych, PDF, EDI, XBRL, plików tekstowych, Excela, JSON, Protocol Buffers oraz danych usług internetowych. Dzięki zapisaniu konfiguracji utworzonej w FlexText, można ponownie wykorzystać ten sam szablon do konwersji wielu plików tekstowych, korzystając z różnych mapowań.

FlexText umożliwia tworzenie reguł dla szablonów konwersji plików tekstowych, wykorzystywanych w procesach ETL (Extract, Transform, Load). Po otwarciu pliku tekstowego w interfejsie FlexText, plik jest wyświetlany w dwóch sekcjach. Sekcja główna reprezentuje oryginalny plik, natomiast sekcja operacji (po prawej stronie) wyświetla dane pliku w czasie rzeczywistym, w miarę jak wyodrębniasz potrzebne informacje.

Wynik każdej wykonywanej operacji jest widoczny w czasie rzeczywistym, dzięki czemu można natychmiast sprawdzić, czy osiągnięto zamierzony rezultat.

Pliki tekstowe starszego typu mogą zawierać przydatne dane w formatach CSV (wartości oddzielone przecinkami) lub FLF (pola o stałej długości) wewnątrz bardziej złożonych plików tekstowych. FlexText umożliwia bezpośrednie wyodrębnianie takich danych za pomocą operacji CSV i FLF. Po zastosowaniu operacji podziału i innych operacji, można zapisać pozostałe pola sformatowane jako CSV lub FLF, konfigurując nazwy pól, długości itp.

FlexText umożliwia wyodrębnienie potrzebnych danych poprzez usunięcie nieistotnych tekstów, znaków i odstępów za pomocą funkcji podziału. Każdy podział prezentuje dane w dwóch nowych blokach: jeden zawiera wyodrębnione dane, a drugi wyświetla zmodyfikowaną wersję przetworzonego pliku. Można natychmiast zobaczyć wynik każdego wykonanego działania.

FlexText umożliwia operacje "Dodaj węzeł" i "Ignoruj", co zwiększa elastyczność w budowaniu struktury danych. Operacja "Ignoruj" oznacza, że dany fragment tekstu jest nieistotny dla procesu konwersji i instruuje program MapForce, aby go pominął. Operacja "Dodaj węzeł" tworzy nowy węzeł w strukturze danych w programie MapForce, co pozwala na odpowiednie odzwierciedlenie hierarchicznej struktury danych tekstowych, w razie potrzeby.

Funkcja "Switch" umożliwia zdefiniowanie wielu warunków dla pojedynczego bloku tekstu. Dane zawarte w pliku tekstowym są przekazywane do powiązanego kontenera i wykorzystywane w procesie konwersji MapForce tylko wtedy, gdy spełniają określony warunek.

FlexText obsługuje również wyrażenia regularne. Na przykład, plik wejściowy może być raportem generowanym przez system, zawierającym liczby i kody literowe w lewym marginesie, które wskazują typy rekordów. Sekwencja pięciu cyfr, po której następuje litera "O", może oznaczać początek nowej sekcji dla konkretnej lokalizacji biura.