Automatyzuj procesy integracji i transformacji danych za pomocą serwera FlowForce

Organizacje, które przetwarzają duże ilości danych, doskonale wiedzą, jak szybko ręczne przetwarzanie staje się wąskim gardłem. Pliki przychodzą w różnych formatach, zasady biznesowe różnią się w zależności od regionu lub klienta, a margines błędu jest minimalny. Potrzebne jest niezawodne środowisko przetwarzania danych, które może automatycznie kierować, przekształcać i obliczać dane, bez udziału człowieka.

Właśnie do tego zostały zaprojektowane serwery Altova FlowForce Server i MapForce Server. W naszym najnowszym filmie instruktażowym przedstawiamy kompleksowy, praktyczny przykład automatyzacji przepływu pracy, od początku do końca.

Scenariusz ETL z życia wzięty

W filmie prezentujemy praktyczny przykład integracji danych, który wiele firm będzie mogło rozpoznać. Firma otrzymuje zamówienia od klientów zarówno z USA, jak i z Unii Europejskiej w formacie plików Excel. Ponieważ obliczenia podatkowe różnią się w tych dwóch regionach, otrzymane zamówienia muszą być przekazywane do odpowiednich konfiguracji, przetwarzane przy użyciu właściwych algorytmów biznesowych i przekształcane do formatu JSON – wszystko to odbywa się automatycznie.

Oto jak wygląda proces pracy:

1. Plik PO, utworzony w programie Excel, pojawia się w monitorowanym folderze przychodzącym.

2. Serwer FlowForce wykrywa nowy plik za pomocą mechanizmu monitorowania systemu plików i rozpoczyna proces.

3. Mechanizm mapowania warunkowego sprawdza kod kraju zawarty w pliku i określa, czy zamówienie pochodzi ze Stanów Zjednoczonych czy z Unii Europejskiej.

4. W oparciu o ten wynik, serwer FlowForce wykonuje odpowiednie mapowanie regionalne, które uwzględnia prawidłowe obliczenia podatkowe i przekształca dane na format JSON.

5. W przypadku powodzenia, pliki źródłowe i wynikowe są przenoszone do folderu "przetworzone". Jeśli wystąpi błąd, pliki są przenoszone do folderu "nieudane" w celu weryfikacji, a proces kontynuuje działanie.

Tego typu potok przetwarzania danych, oparty na warunkach i składający się z wielu etapów, jest powszechnym wymaganiem w Przepływy pracy ETL, Aplikacja FlowForce Server umożliwia łatwą konfigurację bez konieczności pisania własnego kodu.

Obejrzyj demonstrację:

Jak działają razem serwer FlowForce i program MapForce

Wideo prezentuje, jak trzy produkty firmy Altova współpracują ze sobą, umożliwiając automatyzację całego procesu. MapForce to narzędzie desktopowe służące do projektowania mapowań danych, które definiują, w jaki sposób pliki wejściowe w formacie Excel są przekształcane w dane wyjściowe w formacie JSON, obejmując przy tym wszelkie obliczenia i restrukturyzację danych.

Po przygotowaniu mapowań, są one bezpośrednio wdrażane na serwerze FlowForce.

Podczas działania, serwer FlowForce koordynuje przepływ pracy: monitoruje wyzwalacze, ocenia warunki i zarządza całym procesem. Kiedy nadejdzie czas na wykonanie zdefiniowanej transformacji danych, serwer FlowForce wywołuje serwer MapForce, który jest silnikiem wykonawczym działającym po stronie serwera i realizuje transformacje danych. Dzięki temu podziałowi, projektuje się raz w MapForce, a następnie serwer FlowForce i serwer MapForce zajmują się automatycznym wykonaniem, bez konieczności pisania skryptów powłoki ani tworzenia własnych rozwiązań pośredniczących.

Jak skonfigurować potok przetwarzania danych

Samouczek dotyczący FlowForce pokazuje, jak korzystać z funkcji serwera FlowForce, które są niezbędne do tworzenia solidnych, gotowych do wdrożenia w środowisku produkcyjnym, procesów integracji danych:

• Wywołania systemu plików automatycznie uruchamiają zadanie, gdy w monitorowanym katalogu pojawia się nowy plik – idealne rozwiązanie do przetwarzania danych w miarę ich napływu.

• Wykonanie warunkowe umożliwia definiowanie logiki rozgałęzień w ramach zadania. W naszym przypadku, kod kraju określa, które mapowanie regionalne należy uruchomić, ale to samo podejście sprawdza się dla każdej reguły biznesowej, która wymaga różnych ścieżek przetwarzania.

• Obsługa błędów i sukcesów zapewnia, że proces pracy przebiega płynnie, nawet w przypadku problemów. Zabezpieczone bloki wychwytują błędy, przenoszą problematyczne pliki do wyznaczonego folderu i wykorzystują mechanizmy kontynuacji, dzięki czemu zadanie kontynuuje działanie zamiast całkowicie się przerywać.

• Zmienne i wyrażenia w języku wyrażeń serwera FlowForce umożliwiają obliczanie nazw plików, dynamiczne tworzenie ścieżek oraz przekazywanie danych między poszczególnymi etapami, dając użytkownikowi precyzyjną kontrolę nad automatycznym przepływem pracy.

Film przedstawia również szereg dodatkowych funkcji, które umożliwiają bardziej zaawansowaną automatyzację procesów. Serwer FlowForce obsługuje pętle "dla każdego elementu" do przetwarzania zbiorów plików, umożliwia odkładanie zadań, aby zapewnić spełnienie warunków wstępnych przed ich wykonaniem, oraz oferuje buforowanie wyników dla czasochłonnych zadań udostępnianych jako usługi internetowe. Wyzwalacze oparte na czasie pozwalają na planowanie zadań w określonych odstępach czasu, natomiast wyzwalacze HTTP umożliwiają zewnętrznym systemom uruchamianie zadań na żądanie za pomocą zapytań GET lub POST. Kolejki pomagają w zarządzaniu obciążeniem serwera, zarówno na pojedynczej maszynie, jak i w klastrze.

Dzięki tym funkcjom, serwer FlowForce to wszechstronny silnik przepływu pracy, który może być wykorzystywany do różnorodnych zadań, od prostych procesów ETL opartych na plikach, po złożone, wieloetapowe systemy integracji danych, które współpracują z zewnętrznymi systemami.

Wypróbuj FlowForce bezpłatnie

Niezależnie od tego, czy zespół potrzebuje zautomatyzować powtarzalne przekształcenia danych, zbudować niezawodną infrastrukturę ETL, czy też wyeliminować ręczne etapy przetwarzania danych, serwer FlowForce oferuje narzędzia, które pozwalają to osiągnąć szybko. Oprócz możliwości korzystania z serwera MapForce do integracji danych, serwer FlowForce może również zarządzać procesami związanymi z walidacją i przetwarzaniem plików XML i XBRL, a także generowaniem raportów biznesowych.

Czy jesteście gotowi, aby spróbować sami? Pobierz bezpłatną wersję próbną Poznaj możliwości serwera FlowForce i zacznij tworzyć zautomatyzowane procesy już dziś.

Wszystkie produkty oprogramowania serwerowego Altova Server są dostępne do bezpośredniego pobrania dla systemów Windows i Linux, a także za pośrednictwem bezpłatnego szablonu maszyny wirtualnej Azure lub projektu Docker.