Trabalhar com grandes volumes de dados Avro no seu editor XML preferido

As tendências do Big Data levam os desenvolvedores a trabalhar com XML, juntamente com outros protocolos de dados, como o JSON e o Apache Avro, e o XMLSpy oferece suporte a ambos, com vistas de edição e funcionalidades específicas.

Vamos analisar como o suporte especializado para Avro no XMLSpy facilita a visualização e a pesquisa de ficheiros Avro, bem como a edição de esquemas Avro. Também vamos examinar algumas das vantagens de utilizar o RaptorXML Server para o processamento de Avro de alto desempenho.

O que é o Avro?

Apache Avro™ é um sistema para a serialização binária rápida e compacta de grandes volumes de dados, que é frequentemente utilizado no ambiente Apache Hadoop O Avro, além das vantagens do seu formato binário compacto, é independente de plataforma e pode ser usado para trocar dados entre programas escritos em diferentes linguagens. O esquema Avro correspondente é sempre incluído na mensagem Avro transmitida, permitindo que qualquer aplicação possa decodificar os dados.

Logotipo registado da Apache Software Foundation

Visualizar e editar o esquema Avro

Esquemas Avro Estão escritos em JSON, e, como tal, podem ser facilmente visualizados e editados no XMLSpy Editor JSON, que permite alternar entre a edição baseada em texto e/ou a visualização em grade, para uma representação gráfica da estrutura do documento.

A captura de ecrã abaixo mostra um esquema Avro na visualização de texto, que oferece numeração de linhas, recolhimento de código, correspondência de parênteses, assistentes de preenchimento inteligente e outras funcionalidades úteis para a edição do JSON, bem como validação integrada com as especificações Avro.

Visualização e pesquisa de ficheiros Avro

Os ficheiros binários Avro não são apenas muito grandes, mas também não são facilmente visualizáveis de forma útil utilizando as ferramentas existentes. Para facilitar este processo, os programadores podem utilizar a funcionalidade Avro View, específica do XMLSpy.

Abaixo, apresentamos uma imagem do visualizador Avro, de fácil utilização, que utiliza uma grelha para apresentar as estruturas de dados Avro num formato tabular fácil de ler.

O painel de blocos, localizado no lado esquerdo, permite selecionar qualquer um dos blocos de dados, que são exibidos pelo seu número de índice, para visualização no painel de dados.

Também pode pesquisar rapidamente todo o ficheiro de uma só vez, e cada ocorrência da cadeia de pesquisa será destacada tanto no painel de dados como em qualquer bloco que contenha essa cadeia. A pesquisa por expressões regulares também é suportada.

Como o ficheiro Avro inclui o esquema correspondente, este também é exibido no topo do painel "Blocos". Clique no botão de seta para extrair o esquema Avro e visualizá-lo na vista de texto, onde também pode guardá-lo e/ou editá-lo, conforme necessário.

O visualizador Avro também suporta a validação do ficheiro binário Avro em relação ao seu esquema.

Estas ferramentas Avro são uma excelente adição ao XMLSpy para os programadores que trabalham com grandes volumes de dados em qualquer formato. Agora, vamos aumentar um pouco a capacidade de processamento para quando se depararem com um grande número de ficheiros Avro.

Processamento Avro no servidor RaptorXML

RaptorXML Server, O motor de validação e processamento de terceira geração da Altova é perfeitamente adequado para lidar com as enormes quantidades de dados contidas em ficheiros Avro. Desenvolvido desde o início para ser otimizado para computação paralela, o RaptorXML inclui uma vasta gama de funcionalidades que proporcionam um desempenho excecional, um aumento da produtividade e uma utilização eficiente da memória para validar e processar grandes volumes de dados.

O RaptorXML suporta Avro, além de XML, JSON e XBRL. Existem comandos disponíveis para extrair um esquema Avro a partir de uma instância, validar esquemas Avro e validar instâncias Avro em relação ao esquema associado.

Descubra agora o suporte para Avro no XMLSpy. Também pode experimentar o servidor RaptorXML gratuitamente durante 30 dias.