가장 좋아하는 XML 편집기에서 Avro 빅데이터를 활용하는 방법

빅데이터 트렌드에 따라 개발자들은 XML 외에도 다양한 데이터 프로토콜을 함께 사용하고 있습니다 JSON 그리고 Apache Avro, XMLSpy는 이 두 가지 형식을 모두 지원하며, 전용 편집 기능과 인터페이스를 제공합니다.

XMLSpy에서 제공하는 전문적인 Avro 지원 기능을 통해 Avro 파일을 시각적으로 확인하고 검색하는 것, 그리고 Avro 스키마를 편집하는 것이 얼마나 간편하게 이루어지는지 살펴보겠습니다. 또한, 고성능 Avro 처리를 위해 RaptorXML Server를 사용하는 것의 장점도 함께 알아보겠습니다.

Avro란 무엇인가요?

아파치 애브로(Avro)™는 대용량 데이터를 효율적이고 빠르게 이진 형식으로 변환하는 시스템으로, 주로 Apache 프로젝트 내에서 사용됩니다 하둡(Hadoop) Avro는 소형 이진 형식의 장점을 지닐 뿐만 아니라, 플랫폼에 독립적이며 서로 다른 언어로 작성된 프로그램 간에 데이터를 교환하는 데 사용할 수 있습니다. Avro 메시지를 전송할 때 항상 해당 Avro 스키마가 함께 포함되므로, 어떤 애플리케이션이라도 데이터를 쉽게 해독할 수 있습니다.

아파치 소프트웨어 재단의 로고 상표입니다

Avro 스키마 보기 및 편집

Avro 스키마는 JSON 형식으로 작성되며, 따라서 XMLSpy의 JSON 편집기를 통해 쉽게 확인하고 수정할 수 있습니다. 이 편집기는 텍스트 기반 편집과 문서 구조를 그래픽으로 보여주는 그리드 보기 기능을 제공하여 사용자가 원하는 방식으로 문서를 편집할 수 있도록 지원합니다.

아래 스크린샷은 텍스트 보기 모드에서 표시되는 Avro 스키마이며, JSON 편집을 위한 줄 번호 표시, 코드 접기, 괄호 매칭, 자동 완성 기능 등 다양한 유용한 기능을 제공합니다. 또한, Avro 규격에 따른 내장된 유효성 검사 기능도 포함되어 있습니다.

Avro 파일 보기 및 검색하기

바이너리 Avro 파일은 크기가 매우 크기만 한 것이 아니라, 기존 도구를 사용하여 유용하게 내용을 확인하기 어렵습니다. 이러한 불편함을 해소하기 위해 개발자들은 XMLSpy에 내장된 특수 Avro 뷰 기능을 활용할 수 있습니다.

다음은 사용하기 쉬운 Avro 뷰어의 화면 이미지입니다. 이 뷰어는 격자 형태를 사용하여 Avro 데이터 구조를 읽기 쉬운 표 형식으로 표시합니다.

왼쪽의 "블록" 패널에서는 데이터 패널에 표시되는 데이터 블록들을 인덱스 번호와 함께 선택할 수 있습니다.

또한, 전체 파일을 한 번에 빠르게 검색할 수 있으며, 검색어와 일치하는 모든 부분을 데이터 창뿐만 아니라 해당 검색어가 포함된 모든 영역에서 강조 표시합니다. 정규 표현식을 이용한 검색도 지원됩니다.

Avro 파일에는 해당 스키마가 포함되어 있으므로, 해당 스키마는 "블록" 패널의 상단에 표시됩니다. 화살표 버튼을 클릭하면 Avro 스키마를 추출하여 "텍스트 보기"에서 확인할 수 있습니다. 여기서 필요에 따라 스키마를 저장하거나 편집할 수 있습니다.

Avro 뷰어는 또한 Avro 바이너리 파일이 해당 스키마와 일치하는지 검증하는 기능을 지원합니다.

이 Avro 도구들은 어떤 형식으로든 빅데이터를 다루는 개발자들에게 XMLSpy를 사용할 때 매우 유용한 기능입니다. 이제 Avro 파일의 대량 처리가 필요한 경우, 처리 능력을 한 단계 더 향상시켜 보겠습니다.

RaptorXML 서버에서의 Avro 데이터 처리

RaptorXML 서버는 Altova의 세 번째 세대 검증 및 처리 엔진으로, Avro 파일에 포함된 방대한 양의 데이터를 처리하는 데 최적화되어 있습니다. RaptorXML은 처음부터 병렬 처리에 최적화되도록 설계되었으며, 빅데이터의 검증 및 처리를 위해 뛰어난 성능, 향상된 처리량, 효율적인 메모리 활용을 제공하는 다양한 기능을 포함하고 있습니다.

RaptorXML은 XML, JSON, XBRL 외에도 Avro 형식을 지원합니다. Avro 데이터에서 스키마를 추출하고, Avro 스키마를 검증하며, Avro 데이터를 해당 스키마와 비교하여 유효성을 검사하는 기능을 제공합니다.

지금 XMLSpy에서 Avro 지원 기능을 확인해 보세요. 또한, RaptorXML Server를 30일 동안 무료로 사용해 볼 수도 있습니다. (https://www.altova.com/raptorxml/download)