Przejście projektów mapowania danych od fazy rozwoju, przez testowanie, aż do wdrożenia produkcyjnego
Projekty mapowania danych często przypominają proces tworzenia oprogramowania, obejmując odrębne fazy: projektowanie, testowanie i wdrażanie. Dotyczy to szczególnie projektów ETL (ekstrakcja, transformacja, ładowanie), w których konieczne jest wielokrotne wykonywanie mapowania danych w miarę pojawiania się nowych danych, a ryzyko wzrasta wraz z większymi zbiorami danych. Produkty Altova MissionKit i Server Software oferują globalne zasoby do definiowania konfiguracji dla każdej fazy projektu, umożliwiając płynne przejścia między nimi.
Przyjrzyjmy się przykładowi, w którym wykorzystamy MapForce do mapowania danych z pliku źródłowego do bazy danych.
The projekt mapowania danych Poniższy schemat mapowania przyjmuje jako dane wejściowe plik CSV zawierający jedno lub więcej prostych zamówień. Każde zamówienie zawiera numer produktu i ilość, a schemat oblicza łączną wartość zamówienia na podstawie aktualnej ceny produktu, generuje unikalny numer zamówienia i zapisuje zamówienie w istniejącej bazie danych.
Proces tworzenia i wdrażania mapowania danych, takiego jak ten, do środowiska pracy przedsiębiorstwa, wymaga trzech odrębnych etapów: programista lub specjalista ds. danych projektuje mapowanie, tester jakości weryfikuje poprawność mapowania, a następnie mapowanie jest wdrażane do środowiska produkcyjnego. Rozwiązanie Global Resources umożliwia różnym osobom zaangażowanym w projekt, w każdej fazie, zmianę pliku źródłowego danych oraz bazę danych docelowych, bez konieczności modyfikacji samego mapowania.
Globalne zasoby to przenośne odwołania do plików, folderów lub baz danych, które działają jak aliasy. Gdy są przechowywane jako globalne zasoby, ścieżki i szczegóły połączenia z bazą danych stają się wielokrotnego użytku i dostępne w wielu aplikacjach Altova. Poniższy obrazek przedstawia globalne zasoby, które odwołują się do pliku danych wejściowych oraz do bazy danych.
Globalne odwołania można również organizować w konfiguracjach. Na przykład, niektóre projekty mapowania danych wymagają oddzielnych konfiguracji dla projektowania mapowania, testowania i środowiska produkcyjnego. Zmiana konfiguracji wpływa zarówno na plik źródłowy danych, jak i na bazę danych docelową.
Poniższy obrazek przedstawia fragment paska narzędzi MapForce, wraz z rozwijanym menu konfiguracji zasobów globalnych. W tym miejscu użytkownik wybiera aktywną konfigurację.
W procesie mapowania danych, zarówno plik wejściowy, jak i docelowa baza danych są definiowane jako odwołania do zasobów globalnych. Poniżej znajduje się okno dialogowe ustawień komponentu dla pliku źródłowego, zdefiniowanego jako zasób globalny:
Dla każdej konfiguracji globalnego zasobu również definiowana jest docelowa baza danych:
Projektant mapowania danych na początku pracuje z niewielkim zestawem danych próbnych oraz kopią struktury bazy danych. Po zakończeniu mapowania, programista uruchamia ją bezpośrednio w programie MapForce, aby utworzyć i wykonać skrypt SQL, który wstawia dane. Okno wyjściowe MapForce wyświetla wyniki:
W fazie testów chcemy bezpośrednio uruchomić proces mapowania danych w serwerze MapForce w środowisku testowym, które wykorzystuje inny plik wejściowy oraz kopię bazy danych, niż te, z których korzystał pierwotnie programista.
Programista kompiluje mapowanie do pliku wykonywalnego dla serwera MapForce, korzystając z menu "Plik" w programie MapForce
Plik wykonywalny serwera MapForce zawiera definicje mapowań oraz plik i odwołania do bazy danych powiązane z tymi mapowaniami, ale nie zawiera żadnej konkretnej konfiguracji zasobów globalnych. Dzięki temu konfigurację zasobów globalnych można wybrać w czasie działania programu. Definicje zasobów globalnych są przechowywane w pliku XML o nazwie GlobalResources.xml na stanowisku pracy projektanta. Projektant dostarcza zarówno plik wykonywalny serwera MapForce, jak i plik zasobów globalnych do fazy testów.
Zespół testujący korzysta z interfejsu wiersza poleceń MapForce Server, aby uruchomić proces mapowania w określonej konfiguracji. Poniżej przedstawiono ogólną formę interfejsu wiersza poleceń MapForce Server, zawierającą nazwę mapowania oraz parametry dotyczące pliku i konfiguracji globalnych zasobów:
Oto przykładowa komenda, tak jak mogłaby wyglądać w oknie wiersza poleceń:
Jeśli wyniki testów są zadowalające, można wdrożyć mapowanie i zasoby globalne na serwerze FlowForce i uruchomić je jako zadanie na serwerze FlowForce, być może jako część większego procesu Planowane importowanie danych dla przedsiębiorstw Konfiguracja jest wdrażana z głównego menu, wyświetlanego powyżej, za pomocą opcji "Wdróź do serwera FlowForce":
Zasoby globalne można konfigurować i zarządzać nimi za pomocą okna dialogowego "Zarządzanie zasobami globalnymi":
Każda konfiguracja jest przechowywana jako oddzielny obiekt serwera FlowForce i odnosi się do niej definicja zadania w serwerze FlowForce.
Pobierz bezpłatną wersję próbną, aby płynnie przeprowadzać projekty mapowania danych przez poszczególne etapy Twojego wewnętrznego procesu!