Integração de dados com inteligência artificial
Mapeamento de dados com inteligência artificial no MapForce
Mapeamento de dados com inteligência artificial no MapForce
Os modelos de inteligência artificial atuais têm o potencial de melhorar as tarefas de integração de dados de diversas formas. Alguns dos avanços mais significativos, relevantes para o mapeamento de dados e ETL, estão relacionados às capacidades de classificação baseadas em IA.
Quer seja a classificação de entradas de linguagem natural ou de outros dados não estruturados, como imagens e áudio, os sistemas alimentados por inteligência artificial destacam-se em tipos de tarefas de categorização que, historicamente, têm sido extremamente complexas, demoradas e propensas a erros. As interfaces de inteligência artificial baseadas em modelos de linguagem grandes (LLMs) são capazes de analisar as vastas quantidades de dados de treino necessários para aprender os padrões, contextos e nuances complexos da linguagem, o que lhes permite "compreender" de forma eficiente a fala e o conteúdo gerados por humanos.
Por sua vez, a capacidade dos sistemas de IA para classificar dados em diversos domínios pode ajudar as organizações a agregar valor aos seus dados de forma significativa. Isto é particularmente relevante para melhorar os dados armazenados numa base de dados ou outro repositório de dados durante processos de integração de dados ou ETL, onde os dados fornecidos pela IA oferecem informações adicionais para fundamentar a tomada de decisões empresariais.
Como muitos sistemas de inteligência artificial, como o GPT-4 da OpenAI, estão disponíveis através de APIs, é possível integrar imediatamente a sua funcionalidade em projetos de transformação de dados no MapForce.
Utilizando ferramentas integradas e sem necessidade de programação para definir as solicitações de serviços web no MapForce, é fácil configurar chamadas a APIs, incluindo a API da OpenAI, a API Azure OpenAI, os serviços de IA da AWS, entre outros, para permitir o processamento de dados com inteligência artificial em qualquer projeto de mapeamento de dados.
Os passos gerais para configurar a funcionalidade de inteligência artificial no MapForce incluem:
As seguintes aplicações descrevem implementações práticas que utilizam inteligência artificial para classificar dados durante processos de ETL (extração, transformação e carregamento) ou de integração de dados.
Automatização da análise de sentimentos A compreensão da linguagem natural sempre foi um desafio para os analistas de dados, uma vez que as máquinas careciam da capacidade de entender os aspetos menos concretos da linguagem humana, como o contexto, o sarcasmo, a ambiguidade e a gíria.
Como a inteligência artificial superou em grande parte estas limitações, ela pode analisar dados textuais, como avaliações de clientes ou publicações nas redes sociais, para determinar o sentimento expresso no texto, seja ele positivo, negativo ou neutro. Esta classificação pode ajudar as empresas a compreender o feedback dos clientes, avaliar a opinião pública e tomar decisões baseadas em dados, com base nos resultados da análise de sentimentos.
O projeto de mapeamento de dados abaixo utiliza inteligência artificial para analisar os registos recebidos numa base de dados de suporte e determina automaticamente se uma entrada é positiva, negativa, se constitui um relatório de defeito ou se deve ser considerada como um pedido de funcionalidade. Os resultados são, em seguida, gravados na base de dados de feedback dos clientes.
Isto O artigo descreve os passos necessários para implementar esta funcionalidade de ETL (extração, transformação e carregamento) baseada em inteligência artificial no MapForce.
Semelhante à classificação de texto, a classificação de imagens, impulsionada por inteligência artificial, está muito à frente das tecnologias mais antigas. Por exemplo, no comércio eletrónico, a IA pode categorizar automaticamente imagens de produtos em diferentes classes ou identificar objetos específicos dentro das imagens. Esta classificação pode auxiliar na gestão de stock, na otimização da pesquisa, na organização de conteúdo, e assim por diante.
No exemplo de mapeamento de dados abaixo, uma base de dados de catálogo de produtos é aprimorada com a utilização de inteligência artificial para classificar imagens e adicionar etiquetas descritivas aos produtos. Isto é particularmente útil quando o nome do produto é ambíguo (por exemplo, "Mongoose", que é uma bicicleta) ou quando a descrição está completamente ausente.
A funcionalidade utiliza a API de Visão Computacional dos Serviços Cognitivos da Microsoft Azure para analisar imagens de produtos e retornar uma lista de etiquetas que serão adicionadas à base de dados. Por exemplo, ao analisar uma imagem do produto chamado "Melancia Amarela" – que, na verdade, é uma isca de pesca – as etiquetas retornadas são "isca" e "metalurgia".
Aprenda como criar este projeto de integração de dados utilizando inteligência artificial para classificar imagens neste artigo.
As possibilidades de utilização da classificação baseada em inteligência artificial para agregar valor aos dados mapeados são vastas. Além da classificação de imagens e de sentimentos descritas acima, os desenvolvedores podem utilizar ferramentas de inteligência artificial sem necessidade de programação no MapForce para automatizar:
Para começar, saiba mais sobre como desenvolvemos o projeto de extração, transformação e carregamento (ETL de análise de sentimentos) ou o mapeamento de dados para classificação de imagens com inteligência artificial descrito acima. Pode experimentar esta funcionalidade nos seus próprios projetos de integração de dados ao descarregar uma versão de avaliação gratuita e totalmente funcional do MapForce.
