Integracja danych z wykorzystaniem sztucznej inteligencji
Mapowanie danych z wykorzystaniem sztucznej inteligencji w programie MapForce
Mapowanie danych z wykorzystaniem sztucznej inteligencji w programie MapForce
Obecne modele sztucznej inteligencji mają potencjał, aby w znaczący sposób usprawnić zadania integracji danych. Jedne z najważniejszych postępy, istotne dla mapowania danych i procesów ETL, dotyczą możliwości klasyfikacji opartych na sztucznej inteligencji.
Niezależnie od tego, czy chodzi o klasyfikację naturalnych danych wejściowych w postaci języka, czy też innych danych nieustrukturyzowanych, takich jak obrazy i nagrania audio, systemy oparte na sztucznej inteligencji doskonale radzą sobie z rodzajami zadań kategoryzacji, które historycznie były niezwykle trudne, czasochłonne i podatne na błędy. Interfejsy oparte na sztucznej inteligencji, wykorzystujące duże modele językowe (LLM), są w stanie analizować ogromne ilości danych treningowych, które są niezbędne do nauczenia się skomplikowanych wzorców, kontekstów i niuansów języka, co pozwala na efektywne "rozumienie" mowy i treści generowanych przez ludzi.
Z kolei, zdolność systemów sztucznej inteligencji do klasyfikowania danych w różnych dziedzinach może pomóc organizacjom w cennym wykorzystaniu ich danych. Jest to szczególnie istotne w przypadku wzbogacania danych zapisywanych w bazach danych lub innych systemach przechowywania danych podczas procesów integracji danych lub ETL, gdzie dane dostarczane przez sztuczną inteligencję dostarczają dodatkowych informacji, które mogą wspierać procesy decyzyjne w firmie.
Ponieważ wiele systemów sztucznej inteligencji, takich jak GPT-4 firmy OpenAI, jest dostępnych poprzez interfejs API, natychmiast można zintegrować ich funkcjonalność w projektach transformacji danych w programie MapForce.
Dzięki wbudowanym narzędziom, które nie wymagają pisania kodu, można w MapForce zdefiniować żądania do usług internetowych i łatwo skonfigurować połączenia z API, w tym z OpenAI API, Azure OpenAI API, AWS AI Services i innymi, co umożliwia wykorzystanie sztucznej inteligencji do przetwarzania danych w każdym projekcie mapowania danych.
Podstawowe kroki konfiguracji funkcjonalności sztucznej inteligencji w programie MapForce obejmują:
Poniższe przykłady opisują rzeczywiste zastosowania sztucznej inteligencji do klasyfikacji danych podczas procesów ETL (ekstrakcja, transformacja, ładowanie) lub integracji danych.
Automatyzacja analizy sentymentu Przetwarzanie języka naturalnego od dawna stanowiło problem dla analityków danych, ponieważ maszyny nie posiadały wystarczającej wiedzy na temat mniej konkretnych aspektów ludzkiej mowy, takich jak kontekst, sarkazm, niejednoznaczność i slang.
Ponieważ sztuczna inteligencja w dużej mierze pokonała te ograniczenia, może analizować dane tekstowe, takie jak recenzje klientów lub posty w mediach społecznościowych, aby określić nastrój wyrażony w tekście, czy jest on pozytywny, negatywny, czy neutralny. Taka klasyfikacja może pomóc firmom zrozumieć opinie klientów, ocenić nastroje społeczne i podejmować decyzje oparte na danych, wykorzystując wyniki analizy sentymentu.
Poniższy projekt mapowania danych wykorzystuje sztuczną inteligencję do analizy danych wprowadzanych do bazy danych wsparcia i automatycznie określa, czy wpis jest pozytywny, negatywny, czy stanowi zgłoszenie błędu, czy też powinien być traktowany jako propozycja nowej funkcjonalności. Wyniki są następnie zapisywane w bazie danych opinii klientów.
To Artykuł opisuje kroki, które należy podjąć aby zaimplementować tę funkcjonalność ETL opartą na sztucznej inteligencji w programie MapForce.
Podobnie jak w przypadku klasyfikacji tekstu, klasyfikacja obrazów oparta na sztucznej inteligencji jest o wiele bardziej zaawansowana niż starsze technologie. Na przykład, w e-commerce, sztuczna inteligencja może automatycznie kategoryzować obrazy produktów do różnych grup lub identyfikować konkretne obiekty na obrazach. Taka klasyfikacja może wspomagać zarządzanie zapasami, optymalizację wyszukiwania, organizację treści i wiele innych.
W poniższym przykładzie mapowania danych, baza danych katalogu produktów została wzbogacona o funkcję klasyfikacji obrazów opartą na sztucznej inteligencji, która dodaje opisowe tagi do wpisów produktów. Jest to szczególnie przydatne, gdy nazwa produktu jest niejasna (np. "Mongoose", co jest nazwą roweru) lub gdy opis produktu jest całkowicie niekompletny.
Funkcja ta wykorzystuje interfejs API Computer Vision firmy Microsoft Azure Cognitive Services do analizy obrazów produktów i zwraca listę tagów, które zostaną dodane do bazy danych. Na przykład, analizując obraz produktu o nazwie "Żółty arbuz" – który w rzeczywistości okazuje się przynętą wędkarską – zwracane tagi to "przynęta", "wyroby metalowe".
Dowiedz się, jak stworzyć ten projekt integracji danych wykorzystanie sztucznej inteligencji do klasyfikacji obrazów w tym artykule.
Możliwości wykorzystania klasyfikacji opartej na sztucznej inteligencji do wzbogacenia danych przestrzennych są liczne. Oprócz klasyfikacji obrazów i analizy sentymentu, o których mowa powyżej, programiści mogą wykorzystywać narzędzia MapForce, które nie wymagają kodowania i są oparte na sztucznej inteligencji, do automatyzacji następujących procesów:
Aby rozpocząć, dowiedz się więcej o tym, jak stworzyliśmy projekt analizy sentymentu ETL lub jak zmapowaliśmy dane w projekcie klasyfikacji obrazów wykorzystującej sztuczną inteligencję, o których mowa powyżej. Możesz przetestować te funkcje we własnych projektach integracji danych, pobierając w pełni funkcjonalną wersję próbną programu MapForce.
