Samouczek ETL: Wideo

Procesy ETL obejmują szeroki zakres złożoności, od prostych zadań, takich jak bezpośrednie przekształcenie danych z interfejsu API do bazy danych, po bardzo skomplikowane scenariusze wymagające rozbudowanego filtrowania, transformacji i manipulacji danymi.

Program Altova MapForce może rozwiązać cały zakres zadań związanych z procesami ETL (ekstrakcja, transformacja, ładowanie danych).

Ten film instruktażowy omawia typowy scenariusz ETL:

• Ekstrakcja Danych CSV otrzymanych w wielu raportach
• Przekształć i przefiltruj dane
• Przenieś przetworzone dane do docelowej bazy danych SQL

Ta konkretna transformacja jest nieco złożona, ponieważ dane w formacie CSV znajdują się w formacie "szerokim", z oddzielnymi kolumnami odpowiadającymi poszczególnym rokom. Częścią naszej transformacji będzie przekształcenie danych do formatu "długiego", bardziej zbliżonego do sposobu przechowywania danych w bazach danych relacyjnych.

W ten sposób, każdy rok staje się wartością w jednej kolumnie, a odpowiadające mu dane są przenoszone do nowej kolumny, co skutkuje większą liczbą wierszy, ale mniejszą liczbą kolumn. Ten format, w którym dane są ułożone w długich wierszach, jest również łatwiej przetwarzany przez popularne narzędzia analityczne i biznesowe.

Ponadto, przed zapisaniem danych w bazie, będziemy filtrować niepotrzebne informacje oraz zaokrąglać długie liczby dziesiętne.

Chociaż tego typu transformacje mogą wydawać się skomplikowanym problemem, ich realizacja jest prosta dzięki narzędziom ETL [mapforce-offers-dynamic-access-to-node-names|MapForce, które oferują m.in. mapowanie danych za pomocą przeciągania i upuszczania, [dynamiczne nazwy węzłów]] oraz wbudowane funkcje.

Ten przykład w tym filmie przedstawia scenariusz ETL, czyli przekształcanie danych z formatu CSV do bazy danych. Jednak MapForce obsługuje szeroką gamę dodatkowych formatów danych, w tym XML, JSON, PDF, Excel, EDI i XBRL. Obsługiwane są również wszystkie popularne bazy danych SQL i NoSQL, które mogą służyć jako źródło lub miejsce docelowe dla mapowania danych.

MapForce jest dostępny w wersji bezpłatnej 30-dniowy okres próbny. Teraz nie są wymagane żadne konto ani karta kredytowa – więc można od razu zacząć testować te funkcje ETL samodzielnie.

Następnie: Zapraszamy do obejrzenia poprzedniego filmu z naszej serii, zatytułowanego Podstawy ETL.