MapForce ETL 도구

기업용 ETL 소프트웨어

ETL(추출-변환-적재) 도구는 외부 소스에서 데이터를 추출하고, 이를 표준화된 데이터 형식으로 변환한 다음, 최종 대상 또는 저장소에 적재하는 기능을 제공합니다.

널리 사용되는 기업 데이터 형식을 지원합니다XMLMapForce는 JSON, PDF, 데이터베이스, 일반 파일, EDI, Protobuf, Shopify/GraphQL 등 다양한 형식의 데이터를 처리할 수 있는 매우 효율적이고 가벼우며 확장 가능한 ETL (추출, 변환, 적재) 도구입니다. MapForce는 직관적인 시각적 ETL 매핑 인터페이스를 제공하여, 사용자가 지원되는 모든 데이터 구조를 쉽게 불러올 수 있으며, 드래그 앤 드롭 기능을 사용하여 노드를 연결하고 데이터 변환 함수 및 필터를 추가하거나, 제공되는 기능을 활용할 수 있습니다 시각 기능 향상 도구 더 복잡한 ETL 프로젝트의 경우.

MapForce ETL 도구는 뛰어난 성능을 자랑하는 MapForce 서버를 통해 시각적인 인터페이스와 함께 완벽하게 자동화될 수 있습니다.

MapForce는 드래그 앤 드롭 방식으로 데이터를 쉽게 매핑할 수 있는 ETL 기능을 제공하여, 데이터 구조 간의 연관성을 쉽게 설정할 수 있습니다.

내장된 함수 라이브러리를 통해 고급 데이터 처리 필터와 기능을 추가할 수 있으며, 시각적인 함수 빌더를 사용하여 복잡한 ETL 또는 데이터 통합 프로젝트에서 여러 개의 연산(인라인 및/또는 재귀적 연산)을 결합할 수 있습니다. 또한, 생성된 함수를 다른 매핑 프로젝트에서 사용할 수 있도록 저장할 수도 있습니다.

MapForce는 여러 입력 및 출력 스키마, 여러 소스 및/또는 대상 파일, 또는 복잡한 다단계 데이터 변환을 포함하는 고급 ETL(추출, 변환, 로드) 시나리오도 지원합니다.

데이터 스트리밍 기능을 통해 ETL(추출, 변환, 적재) 프로젝트의 성능을 크게 향상시킬 수 있습니다. 이 기능을 사용하면 매우 큰 XML, CSV, FLF 파일 및 관계형 데이터베이스에서 데이터를 스트리밍 방식으로 입력받고, 동일한 크기의 XML, CSV, FLF 파일로 출력하거나 데이터베이스에 직접 저장할 수 있습니다.

이 내장 기능 덕분에 MapForce는 방대한 데이터 세트와 ETL(추출, 변환, 로드) 프로젝트를 쉽게 처리할 수 있으며, 처리 능력은 로컬 컴퓨터에 할당된 디스크 공간이나 네트워크를 통해 접근 가능한 저장 공간의 양에 의해 제한됩니다.

이 기능을 활성화하려면, 맵포스 디자인 창의 도구 모음에서 "내장(BUILTIN)" 아이콘을 선택하십시오.

MapForce Server는 대량 데이터베이스 삽입 기능은 물론, 실시간 데이터 스트리밍 기능까지 지원하며, ETL(추출, 변환, 적재) 데이터 매핑 작업을 수행하는 데에도 매우 적합합니다.

데이터 형식을 변환합니다

ETL(추출, 변환, 적재) 환경에서, 가져오기 위해 준비된 새로운 정보는 종종 기존 저장소와 호환되지 않는 데이터 형식으로 제공됩니다. MapForce는 고급 변환 및 데이터 처리 기능을 제공하여 탁월한 성능과 유연성을 자랑하며, 따라서 글로벌 및 기업 내부 데이터 통합 프로젝트를 위한 효율적인 ETL 도구입니다. 다양한 형식의 여러 파일을 쉽게 통합할 수 있습니다.

MapForce는 데이터 통합 자동화 기능을 지원하며, 따라서 로컬 기업 내의 분산된 애플리케이션, 웹 기반 워크플로우, 심지어 클라우드 환경까지 연결하는 데 이상적인 미들웨어 제품입니다.

아래에 제시된 ETL 매핑에는 세 가지 데이터 형식이 포함되어 있습니다. 주요 소스 파일은 엑셀 스프레드시트이고, 최종 출력 저장소는 데이터베이스입니다. 하지만, "SharesAndLeaves" 데이터베이스 열에 저장된 데이터는 JSON 객체 형태로 저장됩니다. MapForce ETL 도구는 필요한 시점에 JSON 객체를 생성하고, 생성된 데이터베이스 삽입문에 해당 객체를 포함시킵니다. 이는 스크린샷 오른쪽 하단에 표시된 출력 미리보기에서 확인할 수 있습니다.

MapForce는 XML, JSON, 데이터베이스 스키마, Shopify API, EDI 설정 파일, PDF 템플릿, XBRL 분류 체계 등 다양한 형식의 데이터를 데이터 구조에 기반하여 통합합니다. 즉, 데이터의 특정 형식에 관계없이 데이터를 통합할 수 있습니다. 따라서 비즈니스 데이터가 변경되더라도 데이터 매핑을 재사용할 수 있습니다.

MapForce는 MapForce 서버에서 실행할 수 있는 MapForce 실행 파일을 생성하거나, ETL 프로젝트의 자동 재처리를 위한 Java, C#, 또는 C++ 기반의 로열티 걱정 없는 데이터 통합 코드를 제공합니다. 이를 통해 보고, 전자 상거래, 또는 SOA 기반 애플리케이션에 포함될 수 있는 예약 기반 또는 이벤트 기반의 데이터 통합/마이그레이션 작업을 구현할 수 있습니다. 또한, 데이터 통합 API 또는 ActiveX 컨트롤을 통해 MapForce의 데이터 통합 작업을 자동화할 수도 있습니다.

ETL 프로젝트는 대상 시스템에서 데이터를 활용하기 전에 입력 데이터를 변환하는 데이터 조작을 필요로 합니다. MapForce는 직관적인 시각적 함수 생성 도구, 내장된 라이브러리, 필터 및 조건을 갖춘 확장 가능한 데이터 처리 기능 등 다양한 기능을 제공하여 사용자가 데이터를 쉽게 조작하고 서로 다른 형식의 데이터를 통합할 수 있도록 지원합니다.

MapForce는 별도의 어댑터나 추가 비용이 발생하는 부가 기능들을 모아서 사용하는 방식에 의존하지 않습니다. 사용자들은 XML, JSON, 데이터베이스, 텍스트 파일, EDI, 엑셀, XBRL, 웹 서비스 데이터 등 모든 데이터 유형의 데이터 통합 및 변환 설계 및 구현에 대해 완벽하게 제어할 수 있습니다. 또한, 이러한 데이터 유형들의 조합도 자유롭게 사용할 수 있습니다.

데이터베이스 ETL 도구들

MapForce 데이터베이스 ETL 도구는 다음과 같은 강력한 기능을 제공합니다 데이터베이스 매핑XML, JSON, PDF, CSV, EDI, Excel, Protobuf, XBRL, Shopify/GraphQL, 웹 서비스, 심지어 다른 데이터베이스 형식 등 다양한 조합 간의 데이터베이스 데이터를 매핑하는 기능을 제공합니다.

디자인 창에 데이터베이스 구조를 불러오면, MapForce는 데이터베이스 스키마를 자동으로 분석하고, 사용 가능한 데이터베이스 테이블과 뷰를 선택할 수 있도록 하며, 테이블 간의 관계를 인식합니다.

데이터베이스 ETL 매핑에 필요한 모든 콘텐츠 모델을 로드한 후에는, 소스(source)와 대상(target) 구조 간에 연결선을 간단히 드래그하여 매핑을 완료할 수 있습니다.

데이터베이스 매핑 기능:

MapForce는 주요 관계형 데이터베이스와 널리 사용되는 NoSQL 데이터베이스를 모두 지원하며, 이를 통해 데이터베이스의 원본 데이터, 데이터 처리 기능 및 필터, 그리고 다양한 유형의 다른 데이터 구조 간의 시각적인 데이터 매핑 설계를 만들 수 있습니다.

지원됨 관계형 데이터베이스 ETL 관련:

지원됨 NoSQL 데이터베이스 ETL 관련:

많은 데이터베이스 ETL 매핑에서는 소스 데이터와 대상 데이터 간에 부울 조건 또는 SQL 및 SQL/XML 문을 기반으로 데이터를 조작해야 합니다. 논리 비교, 수학 연산 또는 문자열 처리, 특정 값의 데이터베이스 데이터 확인, 그리고 데이터에 대한 기타 수정 작업을 수행해야 할 수도 있습니다. 위 스크린샷에서 데이터 처리 기능은 소스 데이터 모델과 대상 데이터 모델을 연결하는 선들 사이에 나타나는 박스 형태로 표시됩니다.

데이터 처리 기능은 다양한 실제 데이터 변환 요구 사항에 맞춰 실시간으로 고급 데이터베이스 매핑을 수행할 수 있도록 지원합니다. 예를 들어, XML 또는 EDI 메시지를 사용하여 특정 필터 기준에 따라 XML 또는 EDI 요소에서 데이터베이스 레코드를 추출하는 데이터베이스 매핑을 구성할 수 있습니다.

매핑 작업이 완료되면, 내장된 MapForce 엔진을 통해 단 한 번의 클릭으로 결과를 확인하고 저장할 수 있습니다.

데이터베이스 매핑 작업은 SQL 스크립트(예: SELECT, INSERT, UPDATE, DELETE 문) 형태로 결과를 생성하며, 이러한 스크립트는 MapForce 내에서 또는 MapForce 서버를 통해 대상 데이터베이스에 직접 실행됩니다.

텍스트 및 플랫 파일 ETL 도구

기존 텍스트 파일에 포함된 레거시 데이터는 추출 및 업데이트를 통해 기존 ETL 저장소와 일관성을 유지할 수 있습니다. MapForce는 매핑 디자인에서 메인프레임 텍스트 보고서, 텍스트 기반 로그 파일 및 기타 레거시 텍스트 파일 유형과 같은 텍스트 파일을 파싱하고 변환하는 데 사용되는 독특한 FlexText 유틸리티를 제공합니다. FlexText는 시각적인 인터페이스를 통해 기존 텍스트 파일을 삽입하고, MapForce 매핑 인터페이스 내에서 변환하려는 부분을 추출할 수 있습니다.

FlexText는 템플릿을 생성하고, 이 템플릿을 MapForce에 불러와서 개별 텍스트 노드를 XML, 데이터베이스, PDF, EDI, XBRL, 일반 파일, Excel, JSON, Protocol Buffers, 웹 서비스 데이터 등 다양한 형식으로 변환할 수 있습니다. FlexText에서 생성한 설정을 저장하면, 동일한 템플릿을 재사용하여 여러 매핑에서 여러 텍스트 파일을 변환할 수 있습니다.

FlexText는 ETL 매핑을 위한 텍스트 파일 변환 템플릿 규칙을 생성할 수 있도록 지원합니다. FlexText 인터페이스에서 텍스트 파일을 열면, 파일 내용이 두 개의 영역으로 표시됩니다. 첫 번째 영역은 원본 파일을 나타내고, 두 번째 영역(오른쪽에 위치)은 사용자가 필요한 데이터를 추출하는 동안 파일의 데이터를 실시간으로 보여줍니다.

사용자가 수행하는 모든 작업의 결과는 실시간으로 표시되므로, 원하는 결과를 얻었는지 즉시 확인할 수 있습니다.

기존 텍스트 파일에는 복잡한 일반 파일 내부에 CSV (쉼표로 구분된 값) 또는 FLF (고정 길이 필드) 형식으로 유용한 데이터가 포함될 수 있습니다. FlexText를 사용하면 CSV 및 FLF 기능을 통해 이러한 데이터를 직접 추출할 수 있습니다. 분할 및 기타 작업을 수행한 후, 필드 이름, 길이 등을 설정하여 남은 CSV 또는 FLF 형식의 필드를 저장할 수 있습니다.

FlexText는 분할 기능을 사용하여 불필요한 텍스트, 문자, 공백 등을 제거함으로써 필요한 데이터만 분리할 수 있습니다. 각 분할 작업은 데이터를 두 개의 새로운 블록으로 표시합니다. 한 블록에는 분리된 데이터가 포함되어 있고, 다른 블록에는 변환된 파일의 수정된 내용이 표시됩니다. 사용자는 수행하는 각 작업의 결과를 즉시 확인할 수 있습니다.

FlexText는 정보 트리를 구성할 때 더 많은 유연성을 제공하기 위해 "노드(Node)" 및 "무시(Ignore)" 기능을 지원합니다. "무시" 기능은 특정 텍스트 블록을 변환 과정에서 필요 없는 것으로 표시하고, MapForce에게 해당 부분을 무시하도록 지시합니다. "노드" 기능은 MapForce 내에서 새로운 노드를 생성하여, 필요에 따라 텍스트 데이터의 계층적인 구조를 정확하게 표현할 수 있도록 돕습니다.

"Switch" 기능은 텍스트 블록 하나에 대해 여러 조건을 정의할 수 있도록 해줍니다. 텍스트 파일 내의 데이터는 정의된 조건을 충족하는 경우에만 해당 컨테이너로 전달되어 MapForce 변환 과정에서 사용됩니다.

FlexText는 정규 표현식도 지원합니다. 예를 들어, 입력 파일은 시스템에서 생성된 보고서일 수 있으며, 이 보고서의 왼쪽 여백에는 숫자와 문자 코드가 포함되어 있어 레코드 유형을 나타냅니다. 이 중, 연속된 숫자 5자리 다음에 "O"가 오는 경우, 이는 특정 사무실 위치에 대한 새로운 섹션의 시작을 의미합니다.