Praca z danymi Big Data w formacie Avro w swoim ulubionym edytorze XML

Trendy związane z Big Data sprawiają, że programiści pracują z formatem XML obok innych protokołów danych, takich jak JSON i Apache Avro, a program XMLSpy obsługuje oba te formaty, oferując dedykowane widoki edycji i funkcjonalności.

Sprawdźmy, jak specjalistyczne wsparcie dla formatu Avro w programie XMLSpy ułatwia wizualizację i wyszukiwanie plików Avro, a także edycję schematów Avro. Przyjrzymy się również niektórym zaletom wykorzystania serwera RaptorXML do wydajnego przetwarzania plików Avro.

Czym jest Avro?

Apache Avro™ to system służący do zwartego i szybkiego serializacji danych binarnych, przeznaczony głównie do pracy z dużymi zbiorami danych w środowisku Apache Hadoop Avro, oprócz zalet swojego zwartego formatu binarnego, jest niezależny od platformy i może być wykorzystywany do wymiany danych między programami napisanymi w różnych językach. Odpowiedni schemat Avro jest zawsze dołączany do przesyłanej wiadomości Avro, co umożliwia każdemu programowi zdeserializowanie danych.

Znak towarowy i logo fundacji Apache Software Foundation

Wyświetlanie i edycja schematu Avro

Schematy Avro są zapisane w formacie JSON, co umożliwia ich łatwe przeglądanie i edycję w programie XMLSpy Edytor JSON, który umożliwia przełączanie się między edycją tekstową a widokiem siatkowym, który prezentuje strukturę dokumentu w sposób graficzny.

Zrzut ekranu poniżej przedstawia schemat Avro w trybie tekstowym, który oferuje numerację linii, możliwość zwijania kodu, dopasowywanie nawiasów, inteligentne funkcje wspomagające wprowadzanie danych oraz inne przydatne funkcje ułatwiające edycję danych JSON, a także wbudowaną walidację zgodności ze specyfikacją Avro.

Przeglądanie i wyszukiwanie plików Avro

Pliki Avro w formacie binarnym nie tylko zajmują dużo miejsca – dodatkowo, nie można ich łatwo przeglądać w sposób użyteczny, korzystając z dostępnych narzędzi. Aby ułatwić to zadanie, programiści mogą skorzystać ze specjalnego widoku Avro w programie XMLSpy.

Poniżej znajduje się zrzut ekranu przyjaznego dla użytkownika programu do przeglądania danych Avro, który wykorzystuje siatkę do wyświetlania struktur danych Avro w czytelnym, tabelarycznym formacie.

Panel po lewej stronie umożliwia wybór dowolnych bloków danych, które są wyświetlane wraz z ich numerem indeksu, aby wyświetlić je w panelu danych.

Można również szybko przeszukać cały plik jednocześnie, a każde wystąpienie wyszukiwanego ciągu znaków zostanie wyróżnione zarówno w panelu danych, jak i w każdym bloku, który go zawiera. Obsługiwane jest również wyszukiwanie za pomocą wyrażeń regularnych.

Ponieważ plik Avro zawiera odpowiadający mu schemat, ten również jest wyświetlany na górze panelu "Bloki". Kliknij przycisk strzałki, aby wyodrębnić schemat Avro i wyświetlić go w trybie tekstowym, gdzie można go również zapisać i/lub edytować w razie potrzeby.

Program Avro Viewer umożliwia również weryfikację poprawności danych binarnych w formacie Avro w odniesieniu do zdefiniowanego schematu.

Te Narzędzia Avro Stanowią one doskonałe uzupełnienie programu XMLSpy dla programistów pracujących z dużymi zbiorami danych w dowolnym formacie. Teraz zwiększmy nieco wydajność przetwarzania, aby lepiej radzić sobie z dużą ilością plików Avro.

Przetwarzanie danych w formacie Avro na serwerze RaptorXML

Serwer RaptorXML, silnik walidacji i przetwarzania nowej generacji firmy Altova, doskonale nadaje się do obsługi ogromnych ilości danych zawartych w plikach Avro. Zaprojektowany od podstaw z myślą o optymalizacji pod kątem przetwarzania równoległego, RaptorXML oferuje szereg funkcji, które zapewniają wyjątkową wydajność, zwiększoną przepustowość i efektywne wykorzystanie pamięci, umożliwiając walidację i przetwarzanie dużych zbiorów danych.

RaptorXML obsługuje format Avro, oprócz formatów XML, JSON i XBRL. Dostępne są funkcje umożliwiające wyodrębnienie schematu Avro z konkretnego przykładu danych, weryfikację schematów Avro oraz weryfikację instancji Avro w odniesieniu do powiązanych z nimi schematów.

Sprawdź teraz wsparcie dla formatu Avro w programie XMLSpy. Możesz również skorzystać z bezpłatnej 30-dniowej wersji serwera RaptorXML: spróbuj.