Eine tiefere Analyse mit der Twitter-API: iPhone 4S im Vergleich zum Galaxy Nexus

Wir haben einige interessante Daten entdeckt, als wir mithilfe der Twitter-Such-API tiefer in die Diskussion zwischen dem iPhone 4S und dem Galaxy Nexus eingetaucht. In der heutigen Welt stehen online riesige Mengen an Daten zur Verfügung, die für Forschungszwecke, Marktanalyse und Wettbewerbsbeobachtung genutzt werden können. Während..Big Data"Kann für diejenigen, die es erstellen, speichern und zusammenstellen, ein Problem darstellen, ist es jedoch sehr nützlich für uns, die nach Antworten suchen. Ein Teil dieser Daten ist zum Glück online abrufbar, und insbesondere gibt es eine riesige Menge an Daten über Interaktionen in sozialen Medien.

In diesem Artikel werden wir untersuchen, wie man die Twitter Search API von MapForce, dem Datenmapping-/Konvertierungs-/Integrationswerkzeug von Altova, verwendet, um Daten über aktuelle Nutzerbeiträge („Tweets“) zu zwei sehr beliebten Themen zusammenzutragen – dem Vergleich zwischen dem Apple „iPhone 4S“ und dem „Galaxy Nexus“ als neuestes, angesagtes Android-Smartphone – und einige statistische Daten über die Nutzer zu extrahieren, die an diesen Diskussionen teilnehmen. Einer der Vorteile der großen Datenmenge, die uns heute zur Verfügung steht, ist, dass wir sie auf interessante Weise abfragen und daraus neue Erkenntnisse gewinnen können.

Obwohl es zweifellos viele bestehende Dienste gibt, die bereits Trends zu bestimmten Themen auf Twitter anbieten (z.B. Trendistic), bieten diese Dienste nur sehr einfache Trendanalysen und ermöglichen es uns nicht, tiefergehende Informationen zu erhalten. Aber alle zugrunde liegenden Daten sind verfügbar, wenn man bereit ist, ein wenig über Web-Service-APIs zu lernen und wie man sie nutzen kann, um XML-Daten für weitere Verarbeitung auszulesen. Als Ausgangspunkt verwenden wir die Twitter-Such-API, um den aktuellen Nachrichtenstrom nach den letzten 100 Einträgen zu durchsuchen, die sich auf das Thema „Galaxy Nexus“ beziehen. Die Richtlinien zur Nutzung der Twitter-Suche geben an, dass die Verwendung beider Wörter in einer Suchanfrage dazu führt, dass der Standardoperator verwendet wird, welcher "UND" ist. Daher werden wir nach Einträgen suchen, die sowohl "Galaxy" als auch "Nexus" enthalten. Versuchen wir das also und fordern die 100 neuesten Einträge an:

http://search.twitter.com/search.atom?q=galaxy+nexus&rpp=100

Wenn Sie diesem Link folgen, erhalten Sie ein zweites Fenster mit einer großen Menge an Rohdaten im XML-Format, die gemäß den Spezifikationen des Atom-Syndikationsformats formatiert sind. Alternativ könnten Sie die Daten im JSON-Format anfordern, falls Sie sie direkt über JavaScript-Code verarbeiten möchten, aber wir werden das XML-basierte Atom-Format verwenden, damit wir die Daten einfach analysieren und die gewünschten Informationen extrahieren können. Die Anzeige des obigen Suchergebnisses in einem Browser ist nicht sehr benutzerfreundlich, daher können wir einen schnellen Blick auf die XML-Daten in unserem bevorzugten XML-Editor werfen, indem wir die Funktion "Von URL öffnen" verwenden:

Wie Sie sehen können, enthält die Daten für jeden Eintrag einen Sprachcode. In diesem Beispiel werden wir daher Daten aus diesem Twitter-Feed sowie aus einem zweiten Suchergebnis zum Thema "iPhone 4S" extrahieren und in einer einzigen Zwischen-XML-Datei zusammenführen, um sie weiter zu analysieren. Das Extrahieren von XML-Daten ist in MapForce sehr einfach: Mit der Option "XML-Datei einfügen" können wir eine XML-Quelle einfügen und dabei erneut dieselbe URL wie zuvor angeben. Falls erforderlich, erstellt MapForce automatisch ein XML-Schema für die bereitgestellten Daten, sodass wir diese visualisieren und Informationen daraus extrahieren können:

In unserer Mapping-Konfiguration haben wir auf der linken Seite zwei Datenquellen integriert – eine verwendet eine Abfrage, um nach "Galaxy Nexus" zu suchen, die andere nach "iPhone 4S" – und auf der rechten Seite haben wir ein einfaches XML-Schema eingefügt, das es uns ermöglicht, unsere Daten zusammenzuführen und sie in Zukunft einfacher zu analysieren. In diesem Fall ist die Zuordnung zwischen den beiden Seiten unkompliziert, da wir nur grundlegende Informationen über den Benutzer, das Datum und die Sprache des Tweets extrahieren. In anderen Anwendungen könnte die Zuordnung jedoch komplexer sein und Funktionen sowie Abfragen zu anderen Datenquellen, Datenbanken oder Webdiensten umfassen... Die Vorschau der resultierenden XML-Daten kann direkt in MapForce über den Ausgabebereich erfolgen, und dies ist das Ergebnis unserer Datentransformation:

Jetzt können wir die Berichtsmöglichkeiten von StyleVision einfach nutzen, um diese Daten innerhalb jedes Themas nach Sprache zu gruppieren und die Anzahl der Beiträge in jeder Sprache zu zählen. Anschließend können wir diese Daten in Form von Kreisdiagrammen darstellen, was zu den folgenden interessanten Ergebnissen führt:

Offensichtlich hängt diese Daten stark vom Ausführungsdatum und der Tageszeit sowie von den jeweiligen Ankündigungen bezüglich dieser Produkte ab. Daher schwanken die Zahlen erheblich, aber sie können als nützliches Instrument zur Beobachtung verschiedener sprachspezifischer Trends dienen. Sobald diese Einrichtung eingerichtet ist, kann der Bericht einfach mit einem Klick aktualisiert werden, um zu einem bestimmten Zeitpunkt einen aktuellen Überblick zu erhalten. Für eine langfristigere Analyse wäre es natürlich notwendig, die Abfrage etwas anzupassen, um mehr als 100 aktuelle Tweets abzurufen. In diesem Artikel haben wir die Twitter-Such-API als ein Beispiel für eine Datenquelle verwendet und uns nur auf die Sprache als einen einzelnen Datenpunkt konzentriert, aber es gibt heute viele weitere interessante Datenquellen online, und dieser Ansatz kann auf allen davon auf ähnliche Weise angewendet werden. Wenn Sie mit anderen Datenquellen und anderen Arten von Informationen experimentieren möchten, die Sie extrahieren möchten, laden wir Sie ein, dies selbst auszuprobieren.

A Eine kostenlose 30-Tage-Testversion von MapForce ist verfügbar, und es gibt keine Einschränkungen hinsichtlich der Art und Weise, wie Sie es verwenden können die weiteren Funktionen des Datenmapping- und -konvertierungstools von Altova für Aufgaben der Datenverarbeitung, die über die Analyse von Trends in sozialen Medien hinausgehen…