Integração de dados com inteligência artificial
Mapeamento de dados com inteligência artificial no MapForce
Mapeamento de dados com inteligência artificial no MapForce
Os modelos de inteligência artificial atuais têm o potencial de aprimorar as tarefas de integração de dados de diversas maneiras. Alguns dos avanços mais significativos, relevantes para o mapeamento de dados e ETL, estão relacionados às capacidades de classificação baseadas em IA.
Seja para classificar entradas de linguagem natural ou outros dados não estruturados, como imagens e áudio, os sistemas baseados em inteligência artificial se destacam em tipos de tarefas de categorização que, historicamente, têm sido extremamente desafiadoras, demoradas e propensas a erros. As interfaces de inteligência artificial baseadas em LLMs (modelos de linguagem grandes) são capazes de analisar as vastas quantidades de dados de treinamento necessárias para aprender os padrões complexos, os contextos e as nuances da linguagem, o que é essencial para "compreender" de forma eficiente a fala e o conteúdo gerados por humanos.
Por sua vez, a capacidade dos sistemas de IA para classificar dados em diversos domínios pode ajudar as organizações a agregar valor aos seus dados de maneira significativa. Isso é especialmente relevante para aprimorar os dados armazenados em um banco de dados ou outro sistema de armazenamento durante processos de integração de dados ou ETL, onde os dados fornecidos pela IA oferecem informações adicionais para embasar a tomada de decisões empresariais.
Como muitos sistemas de inteligência artificial, como o GPT-4 da OpenAI, estão disponíveis através de APIs, é possível integrar imediatamente a funcionalidade desses sistemas em projetos de transformação de dados no MapForce.
Utilizando ferramentas integradas e sem necessidade de programação para definir as requisições dos serviços web no MapForce, é fácil configurar chamadas para uma API, incluindo a API da OpenAI, a API Azure OpenAI, os serviços de IA da AWS, entre outros, para permitir o processamento de dados com inteligência artificial em qualquer projeto de mapeamento de dados.
Os passos gerais para configurar a funcionalidade de inteligência artificial no MapForce incluem:
As aplicações a seguir descrevem implementações práticas que utilizam inteligência artificial para classificar dados durante processos de ETL (Extração, Transformação e Carga) ou de integração de dados.
Automatização da análise de sentimentos A dificuldade em processar a linguagem natural sempre foi um obstáculo para os analistas de dados, já que as máquinas careciam da compreensão necessária dos aspectos menos concretos da fala humana, como o contexto, o sarcasmo, a ambiguidade e a gíria.
Como a inteligência artificial superou em grande parte essas limitações, ela pode analisar dados textuais, como avaliações de clientes ou publicações em redes sociais, para determinar o sentimento expresso no texto, seja ele positivo, negativo ou neutro. Essa classificação pode ajudar as empresas a entender o feedback dos clientes, avaliar a opinião pública e tomar decisões baseadas em dados, com base nos resultados da análise de sentimentos.
O projeto de mapeamento de dados abaixo utiliza inteligência artificial para analisar os registros recebidos em um banco de dados de suporte e determina automaticamente se um registro é positivo, negativo, se constitui um relato de erro ou se deve ser considerado como um pedido de nova funcionalidade. Os resultados são então gravados no banco de dados de feedback dos clientes.
Isso O artigo descreve os passos necessários para implementar essa funcionalidade de ETL (extração, transformação e carregamento de dados) baseada em inteligência artificial no MapForce.
Semelhante à classificação de texto, a classificação de imagens impulsionada por inteligência artificial está muito à frente das tecnologias mais antigas. Por exemplo, no comércio eletrônico, a IA pode categorizar automaticamente imagens de produtos em diferentes classes ou identificar objetos específicos dentro das imagens. Essa classificação pode auxiliar na gestão de estoque, otimização de buscas, organização de conteúdo, e assim por diante.
No exemplo de mapeamento de dados abaixo, um banco de dados de catálogo de produtos é aprimorado com a classificação de imagens baseada em inteligência artificial, para adicionar etiquetas descritivas aos anúncios de produtos. Isso é particularmente útil quando o nome do produto é ambíguo (por exemplo, "Mongoose", que é uma bicicleta) ou quando a descrição está completamente ausente.
A função utiliza a API de Visão Computacional dos Serviços Cognitivos da Microsoft Azure para analisar imagens de produtos e retornar uma lista de etiquetas que serão adicionadas ao banco de dados. Por exemplo, ao analisar uma imagem do produto chamado "Melancia Amarela" – que, na verdade, é uma isca de pesca – as etiquetas retornadas são "isca" e "metalurgia".
Aprenda como criar este projeto de integração de dados utilizando inteligência artificial para classificar imagens neste artigo.
As possibilidades de utilizar a classificação baseada em inteligência artificial para agregar valor aos dados mapeados são inúmeras. Além da classificação de imagens e de sentimentos descritas acima, os desenvolvedores podem usar ferramentas de inteligência artificial sem a necessidade de programação no MapForce para automatizar:
Para começar, saiba mais sobre como desenvolvemos o projeto de extração, transformação e carregamento (ETL de análise de sentimentos) ou o mapeamento de dados para classificação de imagens com inteligência artificial descrito acima. Você pode experimentar essa funcionalidade em seus próprios projetos de integração de dados ao baixar uma versão de avaliação gratuita e totalmente funcional do MapForce.
