Dieper graven met de Twitter API: iPhone 4S versus Galaxy Nexus

We hebben interessante gegevens gevonden toen we dieper onderzoek deden naar de discussie tussen de iPhone 4S en de Galaxy Nexus, met behulp van de Twitter Search API. In de huidige wereld is er een enorme hoeveelheid data online beschikbaar die gebruikt kan worden voor onderzoek, marktanalyse en concurrentieanalyse. HoewelBig data"Het kan een probleem vormen voor degenen die het produceren, opslaan en verwerken, maar het is zeer nuttig voor degenen van ons die op zoek zijn naar antwoorden. Gelukkig is een deel van die data online beschikbaar om te raadplegen, en er is in het bijzonder een enorme hoeveelheid data beschikbaar over interacties op sociale media."

In dit artikel onderzoeken we hoe u de Twitter Search API kunt gebruiken via MapForce, het data-mapping-/conversie-/integratietool van Altova, om gegevens te verzamelen over recente gebruikersbijdragen ("tweets") over twee zeer populaire onderwerpen: de Apple "iPhone 4S" versus de "Galaxy Nexus" als de nieuwste populaire Android-telefoon, en om enkele statistische gegevens over de gebruikers die deelnemen aan die discussies te extraheren. Een van de voordelen van de enorme hoeveelheid data die tegenwoordig beschikbaar is, is dat we deze op interessante manieren kunnen doorzoeken en er nieuwe inzichten uit kunnen halen.

Hoewel er ongetwijfeld al veel bestaande diensten zijn die trends over onderwerpen op Twitter weergeven (bijvoorbeeld Trendistic), bieden die diensten slechts zeer eenvoudige trends en stellen ze ons niet in staat om dieper in de gegevens te duiken. Maar alle onderliggende gegevens zijn beschikbaar als u bereid bent een klein beetje te leren over web service API's en hoe u deze kunt gebruiken om XML-gegevens te extraheren voor verdere verwerking. Als startpunt kunnen we de Twitter Search API gebruiken om de recente tweets te doorzoeken en de laatste 100 berichten op te halen die gaan over "Galaxy Nexus". De Richtlijnen voor het gebruik van Twitter Search geven aan dat het gebruik van beide woorden in een zoekopdracht resulteert in het gebruik van de standaardoperator, namelijk "EN", dus we gaan zoeken naar berichten die zowel "Galaxy" als "Nexus" bevatten. Laten we dat proberen en de 100 meest recente items opvragen:

http://search.twitter.com/search.atom?q=galaxy+nexus&rpp=100

Als u op deze link klikt, krijgt u een tweede venster met een grote hoeveelheid ruwe XML-gegevens, die zijn opgemaakt volgens de specificaties van het Atom Syndication Format. U kunt de gegevens ook in JSON-formaat opvragen, mocht u ze direct willen verwerken met JavaScript-code, maar we gebruiken het XML-gebaseerde Atom-formaat, zodat we de gegevens gemakkelijk kunnen analyseren en de informatie die we nodig hebben kunnen extraheren. Het bekijken van het bovenstaande zoekresultaat in een browser is niet erg gebruiksvriendelijk, dus we kunnen snel een blik werpen op de XML-gegevens in onze favoriete XML-editor met behulp van de functie "Openen vanuit URL":

Zoals u kunt zien, bevat de data voor elke vermelding een taalcode. Voor dit voorbeeld zullen we data extraheren uit deze Twitter-feed, evenals uit een tweede zoekresultaat over de "iPhone 4S", en deze combineren in één tussenliggend XML-bestand voor verdere analyse. Het extraheren van XML-data is erg eenvoudig in MapForce: met de optie "XML-bestand invoegen" kunnen we een XML-bron toevoegen, en we kunnen opnieuw dezelfde URL gebruiken als eerder. Indien nodig, maakt MapForce automatisch een XML-schema voor de aangeleverde data, zodat we deze kunnen visualiseren en informatie eruit kunnen halen:

In onze mapping hebben we aan de linkerzijde twee bronnen toegevoegd: één die een zoekopdracht gebruikt om te zoeken naar "Galaxy Nexus" en de andere om te zoeken naar "iPhone 4S". Aan de rechterzijde hebben we een eenvoudig XML-schema toegevoegd, waarmee we onze gegevens kunnen verzamelen en in de toekomst gemakkelijker kunnen analyseren. In dit geval is de koppeling tussen de twee kanten eenvoudig, omdat we alleen basisinformatie over de gebruiker, de datum en de taal van de tweet extraheren. In andere toepassingen kan de koppeling echter complexer zijn en functies omvatten, evenals zoekopdrachten naar andere databronnen, databases of webdiensten... Het bekijken van de resulterende XML-gegevens kan direct in MapForce worden gedaan met behulp van het tabblad "uitvoer", en dit is wat we zien als resultaat van onze datatransformatie:

Nu kunnen we eenvoudig de rapportagemogelijkheden van StyleVision gebruiken om deze gegevens te groeperen per taal binnen elk onderwerp en het aantal berichten in elke taal te tellen. Vervolgens kunnen we deze gegevens presenteren in de vorm van cirkeldiagrammen, wat de volgende interessante resultaten oplevert:

Uiteraard is deze data sterk afhankelijk van de datum en het tijdstip van de uitvoering, evenals de specifieke aankondigingen die over deze producten plaatsvinden, waardoor de cijfers aanzienlijk kunnen variëren. Toch kan het gebruikt worden als een handige manier om verschillende trends per taal te volgen. Zodra dit is ingesteld, kan het rapport eenvoudig worden bijgewerkt met een enkele klik om een momentopname van de gegevens op dat specifieke moment te verkrijgen. Voor een meer langdurige analyse zou het natuurlijk noodzakelijk zijn om de instellingen aan te passen om meer dan 100 recente tweets op te vragen. In dit artikel hebben we de Twitter Search API gebruikt als een voorbeeld van een databron en hebben we ons alleen gericht op de taal als een uniek datapunt, maar er zijn tegenwoordig nog veel meer interessante databronnen beschikbaar online, en deze aanpak kan op al deze bronnen op een vergelijkbare manier worden toegepast. Als u wilt experimenteren met andere databronnen en andere soorten informatie die u wilt extraheren, nodigen we u uit om dit zelf te proberen.

Een gratis proefversie van 30 dagen van MapForce is beschikbaar, en er zijn geen beperkingen op het gebruik van de andere functies van Altova's tool voor data-mapping en -conversie voor databewerkingstaken die verder gaan dan het analyseren van trends op sociale media