Pozwól sztucznej inteligencji zdekodować mapowań EDI w programie MapForce

Spośród wszystkich formatów danych, z jakimi pracuje programista integracji, EDI jest tym, który najczęściej spowalnia proces podczas etapu mapowania. Standardy te mają dziesiątki lat, identyfikatory są celowo krótkie, a struktura jest głęboko zagnieżdżona. Segment, taki jak NAD, lub grupa, taka jak SG29, ma konkretne, biznesowe znaczenie, ale sama nazwa nie informuje o tym, jakie to znaczenie. Zanim będzie można połączyć pojedyncze pole EDI z bazą danych docelową, należy znać, co ono reprezentuje, co zazwyczaj oznacza konieczność odniesienia się do specyfikacji wiadomości.

Ta praca związana z dekodowaniem jest elementem integracji EDI, który trudno zautomatyzować. Określenie, który niejasny element źródłowy odpowiada konkretnej kolumnie docelowej, to proces powolny i wymagający ręcznej pracy, który w całości zależy od osoby znającej format danych.

Właśnie tutaj narzędzie Altova AI w programie MapForce okazuje się najbardziej przydatne. Rozumie ono znaczenie tych nieprzejrzystych identyfikatorów EDI, proponuje odpowiednie połączenia i pozwala akceptować je pojedynczo – bez konieczności wcześniejszego tłumaczenia specyfikacji.

Mapowanie danych EDI

MapForce obsługuje szeroką gamę standardów EDI oraz ich aktualne i poprzednie wersje, w tym:

EDIFACT
ANSI X12
HL7 (Health Level 7) – standard wymiany informacji w ochronie zdrowia
HIPAA w formacie X12
SAP IDOC (Electronic Data Interchange Document) - Elektroniczny dokument wymiany danych w systemie SAP
IATA PADIS
TRADACOMS (brak możliwości jednoznacznego przetłumaczenia bez kontekstu - sugerowane tłumaczenia: "Spółka TRADACOMS", "Usługi firmy TRADACOMS", "Produkty firmy TRADACOMS" - w zależności od kontekstu)
SWIFT
ODETTE
VDA EDI (standard wymiany danych w przemyśle motoryzacyjnym)
FORTRAS (bez tłumaczenia, ponieważ prawdopodobnie jest to nazwa własna)

Oznacza to, że można mapować i konwertować dane w formacie EDI między dowolnymi innymi obsługiwanymi formatami danych, w tym bazami danych, XML, JSON, plikami Excel, PDF i innymi.

Przykład integracji danych EDI w praktyce

Przyjrzyjmy się popularnemu wymaganiu w obszarze integracji danych i procesów ETL: mapowaniu dokumentu EDI na bazę danych backendową i zobaczmy, jak to działa przy użyciu narzędzia Altova AI.

Zaczynamy od zaimportowania pliku EDI zawierającego zamówienie oraz schematu docelowej bazy danych do nowego projektu MapForce. Baza danych zawiera kilka tabel – np. Klienci, Zamówienia, Artykuły – połączonych relacjami, co jest typowe dla znormalizowanego schematu zarządzania zamówieniami.

Zamiast uruchamiać sztuczną inteligencję na całym schemacie jednocześnie, będziemy budować tabele mapowań po kolei. Dzięki temu sugestie będą bardziej precyzyjne, a ich weryfikacja będzie łatwiejsza.

Wybieramy Klienci Użyj tabeli w docelowej bazie danych jako punktu wyjścia i poproś narzędzie Altova AI o znalezienie powiązań umożliwiających mapowanie danych do tabeli "Klienci" gdzieś w źródle danych EDI.

Analizuje strukturę danych źródłowych i proponuje zestaw połączeń, które są oznaczone kolorem zielonym.

W rzeczywistości system proponuje więcej funkcji, niż potrzebujemy w tej chwili: oprócz pól związanych z klientami, sugeruje również połączenia z tabelami "Artykuły" i "ID artykułów". Ponieważ celowo skupiamy się najpierw na tabeli "Klienci", odrzucamy te propozycje, odznaczając odpowiednie pola, a następnie klikamy przycisk Zatwierdź, aby zachować połączenia istotne dla klientów.

Zaletą interaktywnego procesu pracy, w którym akceptujemy lub odrzucamy propozycje, jest to, że sztuczna inteligencja przedstawia obszerny projekt wstępny, a my decydujemy, co należy zatrzymać.

Uzupełnianie pól adresu

Po zdefiniowaniu podstawowych pól dotyczących klienta, przechodzimy do adresu. Prosimy system Altova AI o znalezienie powiązań dla pól adresu, a on zwraca dopasowania dla pól "Adres" i "Miasto".

Potrzebujemy jeszcze połączeń dla ulic State i Street, dlatego prosimy również o nie. W przypadku kolejnych zapytań, system lokalizuje odpowiednie elementy źródłowe dla obu tych lokalizacji.

Warto podkreślić: jeśli pierwsze przejście nie obejmuje wszystkich danych, nie przechodzimy do ręcznego mapowania. Zamiast tego, wskazujemy sztucznej inteligencji konkretne obszary, które wymagają dalszej analizy, i pozwalamy jej generować dodatkowe sugestie tylko dla tych obszarów. Każde kolejne zapytanie zawęża zakres pozostałej pracy.

Przypisywanie artykułów do zamówienia

Teraz możemy zająć się poszczególnymi elementami danych. W docelowej bazie danych, tabela "Artykuły" jest powiązana z tabelą "Zamówienia", więc wybieramy ją tam i ponownie prosimy Altova AI o znalezienie powiązań z bazy źródłowej.

Ta część mapowania EDI jest zazwyczaj najbardziej problematyczna, ponieważ dane dotyczące poszczególnych pozycji znajdują się głęboko wewnątrz zagnieżdżonej grupy segmentów, często z użyciem niejasnych nazw pól. Altova AI radzi sobie z tym w sposób przejrzysty: lokalizuje odpowiednie elementy wewnątrz SG29, czyli grupy segmentów zawierającej szczegółowe dane dotyczące poszczególnych pozycji, i proponuje właściwe połączenia.

Dlaczego to jest szczególnie ważne w kontekście EDI

Powyższy przykład jest dość prosty, ale ilustruje problemy, które powodują, że integracja EDI jest powolna, zwłaszcza w dużych skalach:

Szyfrowane identyfikatory są dla Ciebie rozszyfrowywane. Nie musisz wiedzieć z góry, co oznaczają NAD, LIN lub SG29. Algorytm Altova AI analizuje dane i proponuje odpowiednie powiązania.
Obsługiwana jest struktura zagnieżdżona. Pozycje znajdujące się wewnątrz grup segmentów są wykrywane i łączone automatycznie, bez konieczności ręcznego przeglądania hierarchii.
Zachowujesz pełną kontrolę. Każda propozycja jest analizowana i akceptowana lub odrzucana indywidualnie (lub wszystkie naraz, jeśli ma to sens), dzięki czemu wstępna wersja, nawet bardzo obszerna, nigdy nie staje się nieprzejrzystym "czarnym skrzynkiem".
** Iteracja jest tania.** Kiedy algorytm nie poprawnie przetwarza określone pole, zamiast ręcznie poprawiać wynik, należy ponownie uruchomić algorytm, aby przetworzył tylko to pole.
Wynikiem jest kompletny projekt MapForce. Wszystkie elementy są umieszczane w standardowym środowisku graficznym, gotowe do uruchomienia, automatyzacji za pomocą serwera MapForce lub modyfikacji, podobnie jak w przypadku każdego innego projektu mapowania.

Dla zespołów, które regularnie przesyłają dane EDI w standardach EDIFACT, X12, HL7, HIPAA oraz innych standardach obsługiwanych przez MapForce, narzędzie to przekształca najwolniejszą i najbardziej wyspecjalizowaną część pracy w projekt, który można przejrzeć, zamiast w dokument, który trzeba dekodować.

Wypróbuj to na własnych konfiguracjach wymiany danych elektronicznej (EDI)

Altova AI jest dostępny jako opcja subskrypcyjna, którą można dodać do licencji MapForce, i wymaga aktywnego pakietu wsparcia i utrzymania (SMP). Najszybszym sposobem, aby zobaczyć, jak działa, jest skierowanie go do pliku EDI i do wcześniej zdefiniowanego celu, a następnie obserwowanie, jak radzi sobie z połączeniami, które zwykle trzeba by śledzić ręcznie.

Zapoznaj się z dostępnymi opcjami i rozpocznij subskrypcję w sklepie internetowym [Altova](https://shop.altova.com/\), lub dowiedz się więcej o Altova AI w programie MapForce.