Travailler avec Avro Big Data dans votre éditeur XML préféré

Les tendances du Big Data incitent les développeurs à travailler avec XML, en plus d'autres protocoles de données tels que JSON et Apache Avro, et XMLSpy prend en charge ces deux formats grâce à des vues d'édition et des fonctionnalités dédiées.

Voyons comment le support spécialisé pour Avro intégré à XMLSpy facilite la visualisation et la recherche de fichiers Avro, ainsi que la modification des schémas Avro. Nous examinerons également certains des avantages de l'utilisation de RaptorXML Server pour le traitement Avro haute performance.

Qu'est-ce qu'Avro ?

Apache Avro™ est un système de sérialisation binaire rapide et compact, conçu pour les grands volumes de données, et qui est le plus souvent utilisé au sein de l'écosystème Apache Hadoop Le format Avro, en plus des avantages de son format binaire compact, est indépendant de la plateforme et peut être utilisé pour échanger des données entre des programmes écrits dans des langages différents. Le schéma Avro correspondant est toujours inclus dans le message Avro transmis, ce qui permet à toute application de décoder les données.

Logo déposé de la Fondation Apache Software

Afficher et modifier le schéma Avro

Schémas Avro Ils sont rédigés en JSON, ce qui permet de les visualiser et de les modifier facilement dans XMLSpy Éditeur JSON, qui vous permet de passer de l'édition textuelle à la vue en grille, permettant ainsi une représentation graphique de la structure du document.

La capture d'écran ci-dessous montre un schéma Avro affiché en mode texte, qui offre la numérotation des lignes, le repliement du code source, la correspondance des parenthèses, des assistants de saisie intelligents et d'autres fonctionnalités utiles pour la modification du format JSON, ainsi qu'une validation intégrée par rapport aux spécifications Avro.

Visualisation et recherche de fichiers Avro

Les fichiers Avro binaires ne sont pas seulement volumineux, mais ils ne sont pas non plus facilement consultables de manière utile à l'aide des outils existants. Pour faciliter cette tâche, les développeurs peuvent utiliser la fonctionnalité Avro View, spécifique à XMLSpy.

Voici une capture d'écran de l'interface conviviale du visualiseur Avro, qui utilise une grille pour afficher les structures de données Avro dans un format tabulaire facile à lire.

Le panneau de blocs, situé sur le côté gauche, vous permet de sélectionner n'importe quel bloc de données, qui sont affichés par leur numéro d'index, afin de les visualiser dans le panneau de données.

Vous pouvez également effectuer une recherche rapide dans l'intégralité du fichier en une seule fois, et chaque occurrence de la chaîne de recherche sera mise en évidence, tant dans le volet des données que dans tout bloc qui contient cette chaîne. La recherche par expressions régulières est également prise en charge.

Puisque le fichier Avro contient le schéma correspondant, celui-ci est également affiché en haut du panneau "Blocs". Cliquez sur le bouton fléché pour extraire le schéma Avro et le visualiser dans la vue "Texte", où vous pouvez également le sauvegarder et/ou le modifier si nécessaire.

L'outil Avro Viewer prend également en charge la validation du fichier binaire Avro par rapport à son schéma.

Ces outils Avro constituent un excellent complément à XMLSpy pour les développeurs travaillant avec de grandes quantités de données, quel que soit leur format. Maintenant, augmentons un peu la puissance de traitement pour les situations où vous êtes confronté à un grand nombre de fichiers Avro.

Traitement Avro sur le serveur RaptorXML

RaptorXML Server, le moteur de validation et de traitement de troisième génération d'Altova, est parfaitement adapté pour gérer les volumes massifs de données contenus dans les fichiers Avro. Conçu dès le départ pour être optimisé pour le calcul parallèle, RaptorXML intègre de nombreuses fonctionnalités qui offrent des performances exceptionnelles, une capacité de traitement accrue et une utilisation efficace de la mémoire pour la validation et le traitement de grandes quantités de données.

RaptorXML prend en charge Avro, en plus de XML, JSON et XBRL. Des commandes sont disponibles pour extraire un schéma Avro à partir d'une instance, valider les schémas Avro, et vérifier la conformité des instances Avro par rapport à leur schéma associé.

Découvrez dès maintenant la prise en charge du format Avro dans XMLSpy. Vous pouvez également télécharger gratuitement le serveur RaptorXML pendant 30 jours.