ETL 튜토리얼: 동영상

ETL(추출, 변환, 적재) 프로세스는 매우 다양한 복잡성을 가지며, API 데이터 페이로드를 데이터베이스에 1:1로 매핑하는 간단한 작업부터, 광범위한 데이터 필터링, 변환, 그리고 조작이 필요한 매우 복잡한 시나리오까지 포괄합니다.

Altova MapForce는 이러한 다양한 ETL 작업들을 모두 처리할 수 있습니다.

이 비디오 튜토리얼에서는 일반적인 ETL(추출, 변환, 로드) 시나리오를 살펴봅니다

• 추출 여러 보고서에서 수신된 CSV 데이터
• 데이터를 변환하고 필터링합니다
• 변환된 데이터를 대상 SQL 데이터베이스에 로드합니다

이 특정 변환 과정은 다소 복잡합니다. 왜냐하면 CSV 데이터가 "와이드(wide)" 형식으로 되어 있는데, 여러 해에 해당하는 각각의 데이터가 별도의 열로 구성되어 있기 때문입니다. 저희의 변환 작업 중 일부는 데이터를 "롱(long)" 형식으로 변환하는 것입니다. 이는 관계형 데이터베이스에 데이터가 저장되는 방식과 더 유사하게 데이터를 재구성하는 과정입니다.

이렇게 하면 매년의 데이터가 하나의 열로 표시되고, 해당 데이터는 새로운 열로 이동되어 결과적으로 행의 수는 늘어나지만 열의 수는 줄어듭니다. 이러한 형태의 데이터는 향후 일반적인 분석 및 BI 도구에서 더 쉽게 활용될 수 있습니다.

또한, 데이터베이스에 데이터를 기록하기 전에 불필요한 데이터를 제거하고, 긴 소수점 숫자는 반올림하여 저장합니다.

이러한 종류의 변환을 수행하는 것은 복잡해 보일 수 있지만, 드래그 앤 드롭 방식으로 데이터를 매핑하고, 동적으로 노드 이름을 설정하며, 내장된 기능을 제공하는 [mapforce-offers-dynamic-access-to-node-names|MapForce ETL 도구를 사용하면 쉽게 구현할 수 있습니다. [동적 노드 이름]] 기능도 활용할 수 있습니다.

이 영상의 예시는 CSV 파일을 데이터베이스로 변환하는 ETL(추출, 변환, 적재) 시나리오를 보여주지만, MapForce는 XML, JSON, PDF, Excel, EDI, XBRL 등 다양한 추가 데이터 형식을 지원합니다. 또한, 모든 주요 SQL 및 NoSQL 데이터베이스가 데이터 매핑의 소스 또는 대상으로 지원됩니다.

MapForce는 무료로 이용할 수 있습니다 30일 무료 체험 기간. 이제 계정이나 신용카드가 필요하지 않으니, 직접 ETL 기능을 사용해 보면서 경험해 보세요.

다음 내용: 저희 시리즈의 이전 영상, ETL 기초를 확인해 보세요.