Jak tworzyć projekty mapowania danych w trybie wsadowym

Częstym wymaganiem w przetwarzaniu danych jest mapowanie danych w partiach, szczególnie w kontekście transformacji i integracji danych. Polega to na konwertowaniu danych w grupach, a nie na przetwarzaniu pojedynczych elementów danych jeden po drugim. Mapowanie danych w partiach jest często wymagane w scenariuszach integracji danych lub ETL, gdzie dane z wielu źródeł muszą być ze sobą zsynchronizowane lub przekształcone. Dwa typowe scenariusze to „przetwarzanie partii danych do partii danych” i „przetwarzanie partii danych do pojedynczego zbioru danych”

W naszej serii filmów poświęconych przetwarzaniu danych wsadowych, krok po kroku pokazujemy, jak zaimplementować te projekty, wykorzystując narzędzia wizualne w programie MapForce.

MAPOWANIE DANYCH MIĘDZY RÓŻNYMI PARTIAMI

Przetwarzanie danych w dużych ilościach jest przydatne w sytuacjach, gdy dane są aktualizowane lub modyfikowane partiami, a konieczne jest ich synchronizacja lub transformacja. Może to dotyczyć konwersji do innego formatu, wykonania sortowania lub obliczeń, lub kombinacji tych czynności.

W tym demonstracji tworzymy projekt mapowania danych, który odczytuje pliki z określonego katalogu i wykorzystuje znaki wieloznaczne do zdefiniowania mapowania, które przetwarza dane z wielu plików jednocześnie. Następnie analizujemy inną opcję definiowania konwersji wsadowej, wykorzystując dynamiczne nazwy plików dostarczane przez mapowanie. Ten demonstrator pokazuje również, jak dodawać obliczenia i komentarze do projektów mapowania danych.

Ten film prezentuje proces konwersji plików JSON na pliki XML, jednak MapForce obsługuje konwersję i transformację dla dowolnej kombinacji formatów, takich jak XML, JSON, PDF, bazy danych, pliki tekstowe, Protobuf, Excel, XBRL, Shopify i wiele innych, umożliwiając zaawansowaną integrację danych oraz procesy ETL.

PRZETWARZANIE DANYCH PARTIAMI

Partia do jednego przetwarzanie danych jest kolejnym częstym wymaganiem, na przykład, gdy chcemy połączyć lub scalić wiele plików w jeden, kompleksowy dokument i jednocześnie wykonać operacje transformacji, konwersji lub obliczeń na danych.

Ten przykład przedstawia różne metody definiowania procesu wsadowego, które mogą być zastosowane w różnych sytuacjach:

Określenie zbioru plików znajdujących się w tym samym katalogu za pomocą znaku wieloznacznego
Wybieranie plików wsadowych na podstawie listy nazw plików przechowywanej w innym katalogu

Ten przykład pokazuje również, jak sortować dane scalone z wielu plików przed zapisaniem ich do docelowego pliku.

Po obejrzeniu tych krótkich demonstracji, można pobrać Bezpłatna wersja próbna programu MapForce Spróbuj samodzielnie przetestować mapowanie, konwersję i transformację danych.

WIĘCEJ PRÓBEK PROGRAMU MAPFORCE

Jeśli podobały się Państwu te filmy, zapraszamy do obejrzenia pozostałych części serii demonstracyjnej MapForce, która obejmuje wszystko, od mapowania danych XML i JSON do baz danych, po konfigurowanie funkcji przetwarzania danych i wyodrębnianie danych z dokumentów PDF.