Aprofundando a análise com a API do Twitter: iPhone 4S vs. Galaxy Nexus

Ao analisarmos os dados obtidos através da API de pesquisa do Twitter, pudemos encontrar informações interessantes sobre o debate entre o iPhone 4S e o Galaxy Nexus. No mundo de hoje, existe uma enorme quantidade de dados disponíveis online que podem ser utilizados para pesquisa, análise de mercado e inteligência competitiva. Embora..Grandes volumes de dados"Pode ser um problema para aqueles que o produzem, armazenam e compilam, mas é extremamente útil para nós, que procuramos respostas. Felizmente, parte desses dados está disponível para consulta online, e, em particular, existe uma grande quantidade de dados sobre interações nas redes sociais.

Neste artigo, exploraremos como utilizar a API de pesquisa do Twitter a partir do MapForce, a ferramenta de mapeamento, conversão e integração de dados da Altova, para agregar dados sobre as publicações recentes dos utilizadores ("tweets") em dois temas muito populares: o Apple "iPhone 4S" versus o "Galaxy Nexus", o mais recente e popular telemóvel Android, e para extrair alguns dados estatísticos sobre os utilizadores que participam nessas discussões. Uma das vantagens da grande quantidade de dados disponíveis atualmente é que podemos consultá-los de formas interessantes e extrair novos significados a partir deles.

Embora existam, sem dúvida, muitos serviços que já oferecem informações sobre as tendências nos tópicos do Twitter (por exemplo, Trendistic), esses serviços apenas oferecem tendências muito básicas e não nos permitem realizar análises mais aprofundadas. No entanto, todos os dados subjacentes estão disponíveis, desde que estejam dispostos a aprender um pouco sobre as APIs de serviços web e como utilizá-las para extrair dados XML para processamento posterior. Para começar, vamos utilizar a API de pesquisa do Twitter para consultar o fluxo de tweets recentes e obter os 100 posts mais recentes que mencionem o "Galaxy Nexus". As Diretrizes de Utilização da Pesquisa no Twitter indicam que, ao utilizar ambas as palavras numa pesquisa, o operador padrão será utilizado, que é o "E", pelo que vamos procurar publicações que contenham "Galaxy E Nexus". Então, vamos tentar e solicitar os 100 itens mais recentes:

http://search.twitter.com/search.atom?q=galaxy+nexus&rpp=100

Se seguir este link, obterá uma segunda janela com uma grande quantidade de dados XML brutos, formatados de acordo com as especificações do formato de agregação Atom. Em alternativa, pode solicitar os dados em formato JSON, caso pretenda processá-los diretamente através de código JavaScript. No entanto, utilizaremos o formato Atom, baseado em XML, para que possamos analisar facilmente os dados e extrair as informações que desejamos. A visualização do resultado da pesquisa acima num navegador não é muito intuitiva, por isso, podemos dar uma olhada rápida aos dados XML no nosso editor XML preferido utilizando a função "Abrir a partir da URL":

Como podem ver, os dados de cada entrada incluem um código de idioma. Neste exemplo, vamos extrair dados deste feed do Twitter, bem como de um segundo resultado de pesquisa sobre o "iPhone 4S", e combiná-los num único ficheiro XML intermédio para análise posterior. Extrair dados XML é muito fácil no MapForce: utilizando a opção "Inserir Ficheiro XML", podemos inserir uma fonte XML e, novamente, especificar a mesma URL que antes. Se necessário, o MapForce criará automaticamente um esquema XML para os dados fornecidos, permitindo-nos visualizá-los e extrair informações deles:

No nosso mapeamento, adicionámos duas fontes no lado esquerdo – uma utilizando uma cadeia de consulta para procurar por "Galaxy Nexus" e outra para procurar por "iPhone 4S" – e, no lado direito, adicionámos um esquema XML simples que nos permitirá agregar os nossos dados e analisá-los de forma mais conveniente no futuro. Neste caso, a correspondência entre os dois lados é direta, pois estamos apenas a extrair informações básicas sobre o utilizador, a data e o idioma do tweet, mas em outras aplicações, a correspondência pode ser mais complexa e incluir funções, bem como consultas a outras fontes de dados, bases de dados ou serviços web. A visualização dos dados XML resultantes pode ser feita diretamente no MapForce, utilizando a aba de saída, e é isto que vemos como resultado da nossa transformação de dados:

Agora podemos usar facilmente as funcionalidades de relatórios do StyleVision para agrupar estes dados por idioma dentro de cada tópico e contar o número de publicações em cada idioma. Podemos, então, apresentar estes dados em gráficos de pizza, o que produz os seguintes resultados interessantes:

Obviamente, estes dados dependem muito da data e hora em que são recolhidos, bem como dos anúncios específicos que estão a ser feitos sobre estes produtos, pelo que os números irão variar bastante. No entanto, podem ser utilizados como uma ferramenta útil para monitorizar diferentes tendências específicas de cada idioma. Uma vez configurado, o relatório pode ser atualizado facilmente com um simples clique para obter uma visão geral naquele momento específico. Para uma análise mais aprofundada a longo prazo, seria necessário modificar um pouco a configuração para consultar mais de 100 tweets recentes. Neste artigo, utilizamos a API de pesquisa do Twitter como um exemplo de fonte de dados e analisámos apenas o idioma como um único ponto de dados. No entanto, existem muitas outras fontes de dados interessantes disponíveis online atualmente, e esta abordagem pode ser utilizada em todas elas de forma semelhante. Se pretende experimentar com outras fontes de dados e outros tipos de informação que deseja extrair, convidamo-lo a experimentar por si mesmo.

A Uma versão de avaliação gratuita de 30 dias do MapForce está disponível, e não existem limites para a forma como pode utilizá-lo as outras funcionalidades da ferramenta de mapeamento e conversão de dados da Altova para tarefas de processamento de dados que vão além da análise de tendências nas redes sociais