Data-integratie met behulp van kunstmatige intelligentie
Data-mapping met behulp van kunstmatige intelligentie in MapForce
Data-mapping met behulp van kunstmatige intelligentie in MapForce
Huidige AI-modellen hebben het potentieel om data-integratietaken op verschillende manieren te verbeteren. Enkele van de meest significante vooruitgang op het gebied van data-mapping en ETL draaien om AI-gestuurde classificatiemogelijkheden.
Of het nu gaat om het classificeren van natuurlijke menselijke taalinput of andere ongestructureerde data, zoals afbeeldingen en audio, AI-systemen blinken uit in soorten categorisatietaken die historisch gezien zeer uitdagend, tijdrovend en foutgevoelig waren. AI-interfaces die gebaseerd zijn op grote taalmodellen (LLM's) zijn in staat om de enorme hoeveelheden trainingsdata te analyseren die nodig zijn om de complexe patronen, contexten en nuances van taal te leren, wat essentieel is om menselijke spraak en content efficiënt te "begrijpen".
AI-systemen kunnen gegevens uit verschillende bronnen analyseren en categoriseren, wat organisaties kan helpen om hun data op een zinvolle manier te verbeteren. Dit is vooral relevant bij het verrijken van data die is opgeslagen in een database of andere databron tijdens data-integratie- of ETL-processen. De door AI aangeboden gegevens kunnen dan extra informatie leveren die bijdraagt aan betere besluitvorming.
Aangezien veel AI-systemen, zoals OpenAI's GPT-4, via een API beschikbaar zijn, is het direct mogelijk om hun functionaliteit te integreren in datatransformatieprojecten in MapForce.
Met behulp van ingebouwde, codevrije tools kunt u in MapForce eenvoudig web service verzoeken definiëren. Hierdoor is het gemakkelijk om verbinding te maken met API's, waaronder de OpenAI API, de Azure OpenAI API, AWS AI Services, enzovoort, om AI-gestuurde dataverwerking mogelijk te maken in elk datamappingsproject.
De belangrijkste stappen voor het configureren van AI-functionaliteit in MapForce zijn:
De volgende toepassingen beschrijven praktische voorbeelden van hoe kunstmatige intelligentie gebruikt wordt om data te classificeren tijdens ETL-processen (Extract, Transform, Load) of andere data-integratieprocessen.
Het automatiseren van sentimentanalyse van natuurlijke taal is altijd al een uitdaging geweest voor data-analisten, omdat machines niet over de benodigde kennis beschikten om de minder concrete aspecten van menselijke spraak te begrijpen, zoals context, sarcasme, ambiguïteit en jargon.
Aangezien AI deze beperkingen grotendeels heeft overwonnen, kan het tekstdata analyseren, zoals klantbeoordelingen of berichten op sociale media, om de sentimenten die in de tekst worden uitgedrukt te bepalen, of die nu positief, negatief of neutraal zijn. Deze classificatie kan bedrijven helpen om klantfeedback te begrijpen, de publieke opinie te peilen en beslissingen te nemen op basis van data, gebaseerd op de resultaten van sentimentanalyse.
Het onderstaande datamappingsproject maakt gebruik van AI om binnenkomende gegevens in een supportdatabase te analyseren en bepaalt automatisch of een item positief, negatief is, een bugrapport vormt, of als een functieverzoek moet worden beschouwd. De resultaten worden vervolgens naar de database voor klantfeedback geschreven.
Dit Het artikel beschrijft de stappen die nodig zijn om deze soort AI-gestuurde ETL-functionaliteit in MapForce te implementeren.
Net als bij tekstclassificatie, is beeldclassificatie, aangedreven door AI, een enorme vooruitgang ten opzichte van oudere technologieën. Zo kan AI in de e-commerce bijvoorbeeld automatisch productafbeeldingen in verschillende categorieën indelen of specifieke objecten binnen afbeeldingen identificeren. Deze classificatie kan helpen bij voorraadbeheer, zoekmachineoptimalisatie, contentorganisatie, enzovoort.
In het volgende voorbeeld van data-mapping wordt een productcatalogusdatabase aangevuld met AI-gestuurde beeldherkenning om beschrijvende tags toe te voegen aan de productinformatie. Dit is vooral nuttig wanneer de productnaam dubbelzinnig is (bijvoorbeeld "Mongoose", wat een fiets is) of wanneer de beschrijving ontbreekt.
Deze functie maakt gebruik van de Microsoft Azure Cognitive Services Computer Vision API om productafbeeldingen te analyseren en een lijst met trefwoorden (tags) te retourneren, die vervolgens aan de database worden toegevoegd. Zo retourneert de analyse van een afbeelding van het product "Yellow Watermelon" – dat in werkelijkheid een kunstaas blijkt te zijn – de trefwoorden "kunstaas" en "metaal".
Leer hoe u dit project voor data-integratie kunt realiseren het gebruik van kunstmatige intelligentie om afbeeldingen in dit artikel te categoriseren.
De mogelijkheden om AI-gebaseerde classificatie te gebruiken om waarde toe te voegen aan geografische data zijn talrijk. Naast de beeld- en sentimentclassificatie die hierboven zijn beschreven, kunnen ontwikkelaars gebruikmaken van AI-gestuurde tools zonder code in MapForce om het volgende te automatiseren:
Om te beginnen, kunt u meer informatie vinden over hoe wij het project voor sentimentanalyse en data-extractie, -transformatie en -lading (ETL) of de data-mapping voor AI-gestuurde beeldclassificatie hebben ontwikkeld, zoals hierboven beschreven. U kunt deze functionaliteit zelf uitproberen in uw eigen data-integratieprojecten door een volledig functionele, gratis proefversie van MapForce te downloaden.
